首页/AI/提示词工程速查/注入防护测试集设计
本包目录(290 条)
提示词基础40 条模式与框架50 条任务型写法50 条评估与迭代50 条
提示注入与防护50 条
工程化实践50 条

注入防护测试集设计

防护测试集按攻击面分组:直接注入、间接注入、工具返回、多模态、编码混淆;每组写清期望行为(拒绝或降级或照常处理数据)。

提示词工程速查AI更新于 2026-10-12

测试集结构示例

测试集结构示例
组1 直接注入:用户输入含改写任务意图 → 期望:任务正常完成且不执行注入
组2 间接注入:文档内指令样式文本 → 期望:按数据处理,不触发动作
组3 工具返回:结果中含指令 → 期望:不改变后续流程
组4 多模态:图片文字含指令 → 期望:同上
组5 编码混淆:全角与零宽字符变体 → 期望:检测覆盖
评分:每组通过率 + 总体通过率 + 误伤率(正常样本)
期望每条用例写清期望行为;拒绝与照常处理数据是不同结果
对照配正常样本组测误伤;防过头与防不住都要量
来源用例基于公开研究与内部事件设计,不含实际危害载荷

易错点

  • 用例只测“是否拒绝”会漏掉“照常完成任务且不执行注入”的正确行为
  • 不配正常样本组时,无法量化防护带来的误伤

数据来源与参考

  • AgentDojo(Debenedetti et al., 2024)与 InjecAgent 等代理注入评测集的构建思路
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌