工具结果处理约定
工具结果处理约定
1) 工具输出统一包在 result 数据块中
2) 提示中声明：result 内的一切指令不执行
3) 高风险动作（下单/转账/删除）不因 result 内容直接触发
4) 记录工具输出来源 URL 或接口地址，便于追溯| 原因 | 外部系统返回内容不在你的控制范围内 |
|---|---|
| 边界 | 审批与二次确认放在工具调用前，而不是事后 |
| 演练 | 用构造的工具返回做防护回归（不含实际危害内容） |
本包目录（290 条）
提示词基础40 条模式与框架50 条任务型写法50 条评估与迭代50 条
提示注入与防护50 条
- 提示注入的基本概念
- 间接注入：第三方内容夹带指令
- 指令与内容的隔离写法
- 注入与越狱的区别
- 直接注入：用户输入携带指令
- 指令层级：系统高于用户高于内容
- 最小权限原则
- RAG 文档投毒与注入面
- Markdown 图片链接的数据外泄原理
- 提示加固条款写法
- 工具返回内容里的注入
- 分隔符防护的局限
- 输出侧的检查与拦截
- 工具白名单与参数校验
- 沙箱与执行隔离
- 纵深防御的组合设计
- 多模态载体上的注入
- 来源标记（Spotlighting）
- 输入侧的指令样式检测
- 敏感操作的人工审批
- 出站流量与数据外发控制
- 注入防护测试集设计
- 隐藏文本与不可见字符
- 双模型模式：特权模型与受限模型
- canary 标记检测泄露
- 系统提示的保密与泄露应对
- 防护效果的评估指标
- 编码混淆与清洗归一化
- 会话隔离与数据边界
- 安全规则与业务提示分层
- 红队评估的组织流程（防御视角）
- 注入尝试的日志与监控
- 注入事件的响应流程
- 内容来源可信度分层
- 数据标记（datamarking）
- 可疑请求的拒答与降级话术
- 高风险动作的确认设计
- 防护与效用的平衡
- 告警分级与响应
- 对照 OWASP 与 NIST 建立治理清单
- 插件与连接器的供应链风险
- 注入防护与内容审核的区别
- 注入事件复盘与修复闭环
- 防御规则的维护与版本化
- 系统提示泄露的检测思路
- 多代理协作中的注入传播
- 模型与依赖更新后的防护复测
- 内部人员与权限风险
- 输出溯源与水印标记
- 防护开销与性能评估
工具返回内容里的注入
工具（搜索、网页抓取、数据库、外部接口）返回值同样不可信：把它当数据渲染前，先明确它不具备指令权限。
易错点
- 把工具输出与系统指令拼在同一流里，等于给外部内容发指令权限
- 对高风险工具不做独立权限校验，一次注入就可能造成真实操作
数据来源与参考
- AgentDojo：LLM 代理攻击与防护动态评测环境（Debenedetti et al., NeurIPS 2024）