注入防护与内容审核的区别
内容审核管的是「说了什么」：输出是否包含违规类别的内容，指标是违规拦截率与误杀率。注入防护管的是「做了会怎样」：外部内容能否操控系统行为、触发工具调用与副作用，指标是注入拦截率、越权阻断率与任务完成率。两者位置不同、指标不同、失效后果也不同——审核失效是内容外露，注入防护失效是系统执行了非预期动作（发信、改数据、改权限）。
基本信息
| 适用平台 | 所有 LLM 应用；带工具调用能力的系统两类机制都需要 |
|---|---|
| 定位差别 | 审核偏输入输出两端；注入防护贯穿输入、工具调用、输出与出站 |
| 指标差别 | 违规拦截率与误杀率；注入拦截率、越权阻断率、任务完成率 |
| 失效后果 | 违规内容外露；系统执行非预期动作 |
| 参考框架 | OWASP Top 10 for LLM Applications（2025）中两者分属不同条目 |
典型使用场景
- 能力规划：明确当前缺的是审核能力还是注入防护能力
- 接口分工：审核服务通常以文本为输入输出，注入防护要覆盖工具链
- 指标设计：避免用违规拦截率来衡量注入防护效果
- 事件归类：区分「输出了不当内容」与「被诱导执行了动作」
- 合规说明：向审计方解释两类机制各自的覆盖范围
两类机制的对比
| 维度 | 内容审核 | 注入防护 |
|---|---|---|
| 关注点 | 输出内容的合规与安全类别 | 内容对系统行为的操控及其副作用 |
| 位置 | 以输入输出两端为主 | 贯穿输入、工具调用、输出与出站 |
| 指标 | 违规拦截率、误杀率 | 注入拦截率、越权阻断率、任务完成率 |
| 失效后果 | 违规内容外露 | 系统执行非预期动作（发信、改数据） |
| 典型手段 | 分类模型、词表、人工复核 | 信任分层、权限校验、审批、出站控制 |
协同关系梳理
协同关系梳理
# 内容审核：判说了什么 → 拦截违规文本
# 注入防护：判做了会怎样 → 约束工具与数据流
# 组合示例：审核通过的正常文案，也可能携带
# 诱导下一步工具调用的内容，仍需注入检查
# 反例：调高审核阈值不能降低越权风险，两套机制不可互相替代
# 指标：两类指标分别采集、分别告警，避免用一套数字解释两件事两类机制都有误伤成本，但误伤的对象不同：审核误伤是正常内容被拦，注入防护误伤是正常操作被要求确认或降级。调参时要分别看两侧的申诉与转人工数据。
接入内容审核接口不等于覆盖了注入风险：审核通常只看文本内容，而注入的目标是让系统调用工具、发起外发。副作用路径需要单独的机制来约束。