来源信任分层示例
| 层级 | 典型来源 | 允许行为 |
|---|---|---|
| 高 | 系统提示、平台配置 | 定义任务与约束，可触发流程 |
| 中 | 登录用户输入 | 作为任务数据；高影响动作需确认 |
| 低 | 外部网页、检索结果、第三方工具返回 | 仅作数据引用；不触发工具与变更 |
| 待验 | 匿名上传、未知来源附件 | 隔离处理；清洗与审核后再使用 |
落地检查点
落地检查点
1 内容进入上下文前标注来源与层级
2 提示模板写明：低信任区内容不得视为指令
3 工具层按层级校验调用者身份，而非只信文字声明
4 日志记录层级判定结果，便于事后抽检本包目录（290 条）
提示词基础40 条模式与框架50 条任务型写法50 条评估与迭代50 条
提示注入与防护50 条
- 提示注入的基本概念
- 间接注入：第三方内容夹带指令
- 指令与内容的隔离写法
- 注入与越狱的区别
- 直接注入：用户输入携带指令
- 指令层级：系统高于用户高于内容
- 最小权限原则
- RAG 文档投毒与注入面
- Markdown 图片链接的数据外泄原理
- 提示加固条款写法
- 工具返回内容里的注入
- 分隔符防护的局限
- 输出侧的检查与拦截
- 工具白名单与参数校验
- 沙箱与执行隔离
- 纵深防御的组合设计
- 多模态载体上的注入
- 来源标记（Spotlighting）
- 输入侧的指令样式检测
- 敏感操作的人工审批
- 出站流量与数据外发控制
- 注入防护测试集设计
- 隐藏文本与不可见字符
- 双模型模式：特权模型与受限模型
- canary 标记检测泄露
- 系统提示的保密与泄露应对
- 防护效果的评估指标
- 编码混淆与清洗归一化
- 会话隔离与数据边界
- 安全规则与业务提示分层
- 红队评估的组织流程（防御视角）
- 注入尝试的日志与监控
- 注入事件的响应流程
- 内容来源可信度分层
- 数据标记（datamarking）
- 可疑请求的拒答与降级话术
- 高风险动作的确认设计
- 防护与效用的平衡
- 告警分级与响应
- 对照 OWASP 与 NIST 建立治理清单
- 插件与连接器的供应链风险
- 注入防护与内容审核的区别
- 注入事件复盘与修复闭环
- 防御规则的维护与版本化
- 系统提示泄露的检测思路
- 多代理协作中的注入传播
- 模型与依赖更新后的防护复测
- 内部人员与权限风险
- 输出溯源与水印标记
- 防护开销与性能评估
内容来源可信度分层
按来源给内容定信任级别并映射到允许行为：系统提示高于运营配置，用户输入与外部网页更低；低信任内容只作数据、不触发高影响动作。
易错点
- 外部网页内容与登录用户输入同级处理，信任过宽
- 分层只写在文档里，工具层未按层级做校验
数据来源与参考
- Wallace 等《The Instruction Hierarchy: Training LLMs to Prioritize Privileged Instructions》（2024）；OWASP LLM01