输入侧检测是什么
输入侧指令样式检测指在内容进入模型之前扫描一遍,找出那些形似「命令」的语句:要求改写系统规则、索要系统提示、要求把数据发往某处、要求忽略上述内容等。它不直接拦截,而是按风险分级处理:低风险记录后继续,中风险把内容降权为纯数据,高风险转人工复核或拒绝执行附带动作。之所以分级,是因为正常内容也会讨论指令(比如用户在写一篇讲注入的文章),一刀切会伤业务。
基本信息
| 位置 | 上下文组装前的前置扫描,覆盖用户输入、检索片段、工具返回、附件转写 |
|---|---|
| 输出 | 每条内容的风险级别与命中信号,随请求一起写入日志 |
| 成本 | 规则或小模型即可;关键是低延迟与可解释的命中原因 |
| 配套 | 与来源信任分层、人工审批、出站控制共同构成纵深防御 |
典型使用场景
- 用户输入入口:先分级再决定是否降权,避免直接执行可疑指令
- 检索结果入库前:把网页中出现的指令样式文字标出来,摘要任务只提取事实
- 工具返回结果:外部 API 返回的文本同样可能携带指令,需过一遍扫描
- 附件与图片转写:与文本通道共用同一套规则,避免旁路
- 事后抽检:用命中日志回看误报与漏报,持续调整规则
分级处理示例
分级处理示例
# 低风险:记录并继续(例如内容里出现“忽略上一条”这类措辞)
# 中风险:内容降权,只当数据,不进入指令区
# 高风险:转人工复核,或拒绝执行附带动作(外发、改数据、改权限)
# 原则:动作影响面越大,阈值越保守;同一条内容在不同任务下级别可以不同
# 记录:命中信号、级别判定、处置结果一并入库,便于回看与调参常见信号与处置级别
| 信号类型 | 特征 | 建议级别 |
|---|---|---|
| 规则改写类 | 要求覆盖或忽略既有规则、以上级身份发号施令 | 中到高 |
| 信息索取类 | 索要系统提示、内部配置、密钥等非任务所需信息 | 中 |
| 动作诱导类 | 要求把内容外发到指定地址、改动数据或权限 | 高 |
| 格式伪装类 | 把指令伪装成数据字段、注释或代码片段 | 中 |
规则按语义族而不是关键词设计:同一意图可以有无数种措辞,纯黑名单会被同义改写绕过。可用小模型做意图分类,再用规则兜底高频模式,两者结果合并定级。
分级后的处置动作要落在系统层而不是提示层。把内容标为「数据」之后,工具调用仍需按调用者身份校验权限,否则模型一旦被说服,检测就形同虚设。