来源信任分层是什么
来源信任分层指按内容从哪来给它定信任级别，并把级别映射到允许行为：系统提示与平台配置最高，可以定义任务与约束；登录用户的输入居中，作为任务数据，高影响动作需确认；外部网页、检索结果、第三方工具返回最低，只能作为数据引用，不得触发工具与变更。这份映射必须落在代码里——只写在文档中的分层，等于没有分层。
基本信息
| 理论依据 | 指令层级（Instruction Hierarchy）研究：训练模型优先服从高权限指令 |
|---|---|
| 适用平台 | 所有把多种来源内容拼进同一上下文的 LLM 应用 |
| 落地位置 | 上下文组装层标注来源与级别，工具层按级别校验调用者身份 |
| 配套机制 | 来源标记、输入检测、人工审批、出站控制 |
典型使用场景
- 检索结果入上下文：标为低信任，只参与事实引用，不触发动作
- 用户上传附件：内容来自外部，先隔离清洗再进入数据区
- 第三方接口返回：标记来源，避免返回文本里的语句被当作新指令
- 多租户环境：结合会话隔离，信任分层负责「内容能做什么」，隔离负责「能看到什么」
- 审计复盘：日志里的层级判定结果可用于事后抽检
来源信任分层示例
| 层级 | 典型来源 | 允许行为 |
|---|---|---|
| 高 | 系统提示、平台配置 | 定义任务与约束，可触发流程 |
| 中 | 登录用户输入 | 作为任务数据；高影响动作需确认 |
| 低 | 外部网页、检索结果、第三方工具返回 | 仅作数据引用；不触发工具与变更 |
| 待验 | 匿名上传、未知来源附件 | 隔离处理；清洗与审核后再使用 |
落地检查点
落地检查点
# 1 内容进入上下文前标注来源与信任层级（结构化字段，不只靠文字说明）
# 2 提示模板写明：低信任区内容不得视为指令
# 3 工具层按层级校验调用者身份，而非只信文字声明
# 4 外部内容触发的动作一律走审批或降级为「先出方案，人再执行」
# 5 日志记录层级判定结果与处置动作，便于事后抽检
# 6 新增内容通道时同步定义层级，不留默认放行的通道分层与内容本身是否恶意无关：同一段文字由用户贴进来和由网页抓取进来，允许的行为不同。这种一致性正是分层的好处——不必逐条判断内容是否恶意。
工具层校验是这套机制的安全底线。如果工具只按参数执行、不校验调用者身份与来源级别，那么模型只要被说服，分层设计就被绕过。