数据投毒与供应链风险
投毒有两个入口：训练侧与检索侧。训练侧是微调或蒸馏数据被污染，让模型学会特定错误行为或触发词；检索侧是往知识库写入错误或恶意内容，影响此后所有相关问题的答案。再叠加模型权重来源不明与第三方插件权限过宽，供应链上的每一环都需要独立校验。对检索型产品来说，检索侧的投毒面往往比训练侧更大，因为只要有人能写进知识库，就能影响全部用户的答案。
基本信息
| 训练侧 | 微调与蒸馏数据的来源审核，标注外包环节的质检与抽检 |
|---|---|
| 检索侧 | 知识库写入审核、来源可信度分级、异常内容检测 |
| 权重侧 | 只从官方渠道获取，校验哈希与版本记录 |
| 插件侧 | 第三方插件与连接器的权限范围、数据流向审计 |
| 检测手段 | 答案与来源一致性校验、异常写入频率告警、内容重复度检测 |
| 变更审计 | 任何数据源或模型的变更都能追溯到具体版本与时间 |
典型使用场景
- 知识库对外开放写入，例如社区文档与用户上传的资料
- 使用众包或外包标注的语料做微调，数据进入链路前缺乏质检
- 引入第三方插件与连接器，权限往往比实际所需更宽
- 从非官方镜像或二手渠道获取模型权重，完整性无法验证
- 多来源文档合并入库，其中一份被篡改会影响整类问题的答案
供应链检查清单
供应链检查清单
[ ] 模型权重：官方源下载 + 哈希比对 + 版本与获取时间记录
[ ] 微调数据：来源标注 + 去重 + 人工抽检 + 留存原始样本
[ ] 知识库写入：发布审核流程，谁提交、谁审核、何时上线全程留痕
[ ] 检索侧防护：来源可信度分级，低可信来源在提示中明确标注
[ ] 第三方插件：权限最小化 + 数据流向评审 + 定期复核授权范围
[ ] 变更审计：数据源与模型变更可追溯到版本，异常写入有告警
# 检查点：模拟一次恶意写入，验证是否会被审核或检测拦下入口与防线
| 入口 | 常见手法 | 主要防线 |
|---|---|---|
| 知识库写入 | 提交含错误结论或隐藏指令的文档 | 写入审核与来源分级，检索结果标注来源 |
| 微调数据 | 掺入带触发词的样本 | 数据抽检与来源追溯，可疑样本隔离 |
| 标注外包 | 质检缺失导致批量错误标注 | 按批次抽检并设置错误率阈值 |
| 权重获取 | 从镜像站下载被替换的权重 | 只用官方渠道并校验哈希 |
| 插件与连接器 | 权限过宽导致越权读写 | 最小权限授权并定期复核 |
检索型产品的投毒面通常比训练侧更大：训练一般需要批量数据与访问权限，而知识库往往允许不少角色写入，一次恶意写入就会持续影响后续所有相关问答。
把模型生成的内容自动回写进知识库要格外谨慎：错误一旦入库就会被当作可信来源反复引用，形成自我强化的错误循环，回写前必须经过审核。