两类机制的对比
| 维度 | 内容审核 | 注入防护 |
|---|---|---|
| 关注点 | 输出内容的合规与安全类别 | 内容对系统行为的操控及其副作用 |
| 位置 | 以输入输出两端为主 | 贯穿输入、工具调用、输出与出站 |
| 指标 | 违规拦截率、误杀率 | 注入拦截率、越权阻断率、任务完成率 |
| 失效后果 | 违规内容外露 | 系统执行非预期动作(发信、改数据) |
协同关系梳理
协同关系梳理
内容审核:判说了什么 → 拦截违规文本
注入防护:判做了会怎样 → 约束工具与数据流
组合示例:审核通过的正常文案,也可能携带
诱导下一步工具的指令,仍需注入检查