输出侧的检查与拦截
输出侧是最后一道闸门,因为前面的每一层都可能被绕过。检查项包括:敏感数据模式(证件号、密钥样式、内部主机名)、非白名单域名的链接与图片、自由文本形式的动作请求,以及输出引用是否来自当次给定的数据区。命中即拦截并记录,写操作必须映射为白名单内的工具调用。
基本信息
| 检查项 | 敏感模式 / 链接白名单 / 动作请求 / 引用校验 |
|---|---|
| 位置 | 输出侧是最后一道闸门,前面各层都可能被绕过 |
| 代价 | 需要维护规则与白名单,误杀要有申诉通道 |
| 记录 | 拦截事件进日志,供安全与运营分析 |
典型使用场景
- 对外客服:拦截回复中的内部主机名与工单编号
- 代码助手:禁止输出疑似密钥与令牌样式字符串
- RAG 问答:校验引用编号是否来自当次召回集合
- 代理应用:把自由文本的动作请求改为工具调用白名单
- 合规审计:统计拦截事件,分析高频触发场景
输出检查项
输出检查项
1) 敏感模式:证件号、密钥样式、内部主机名与内网 IP
2) 链接与图片:非白名单域名直接拦截
3) 动作请求:写操作必须映射为白名单工具调用,
不接受自然语言形式的动作描述
4) 一致性:输出中的引用必须来自本次给定的数据区
5) 记录:命中规则、原文片段与处置结果写入日志
# 注意:只靠模型自查(请确认无风险)不设程序检查,等于没检查
# 误杀要留申诉通道,否则规则会被逐步放松直到失效检查项与处置对照
| 检查项 | 命中示例 | 处置动作 |
|---|---|---|
| 敏感模式 | 输出中出现内网 IP 或密钥样式串 | 拦截并告警,记录触发规则 |
| 链接白名单 | 回答里带外部短链 | 替换为纯文本并提示用户手动核实 |
| 动作请求 | 自然语言描述一个删除操作 | 拒绝执行,改为白名单工具调用 |
| 引用校验 | 引用编号不在本次召回集合内 | 标记为可疑输出并抽样复核 |
| 误杀 | 正常业务内容命中规则 | 走申诉通道,调整规则而非整体关停 |
输出过滤规则太严会拦掉正常业务内容,团队随后倾向于整体关停。更可持续的做法是分级:高危模式直接拦截,低危模式先告警观察,再决定是否升级为拦截。
拦截事件要留样本与规则名。只记录「拦截数量」无法判断是攻击增多还是规则误伤,也没法给规则调优提供依据。