首页/AI/提示词工程速查/输入侧的指令样式检测
提示注入与防护50 条

输入侧的指令样式检测

输入侧扫描可疑指令模式(要求改规则、索要系统提示、要求外发数据);命中不直接拦截,而是分级处理。

提示词工程速查AI更新于 2026-10-13

输入侧检测是什么

输入侧指令样式检测指在内容进入模型之前扫描一遍,找出那些形似「命令」的语句:要求改写系统规则、索要系统提示、要求把数据发往某处、要求忽略上述内容等。它不直接拦截,而是按风险分级处理:低风险记录后继续,中风险把内容降权为纯数据,高风险转人工复核或拒绝执行附带动作。之所以分级,是因为正常内容也会讨论指令(比如用户在写一篇讲注入的文章),一刀切会伤业务。

基本信息

位置上下文组装前的前置扫描,覆盖用户输入、检索片段、工具返回、附件转写
输出每条内容的风险级别与命中信号,随请求一起写入日志
成本规则或小模型即可;关键是低延迟与可解释的命中原因
配套与来源信任分层、人工审批、出站控制共同构成纵深防御

典型使用场景

  • 用户输入入口:先分级再决定是否降权,避免直接执行可疑指令
  • 检索结果入库前:把网页中出现的指令样式文字标出来,摘要任务只提取事实
  • 工具返回结果:外部 API 返回的文本同样可能携带指令,需过一遍扫描
  • 附件与图片转写:与文本通道共用同一套规则,避免旁路
  • 事后抽检:用命中日志回看误报与漏报,持续调整规则

分级处理示例

分级处理示例
# 低风险:记录并继续(例如内容里出现“忽略上一条”这类措辞)
# 中风险:内容降权,只当数据,不进入指令区
# 高风险:转人工复核,或拒绝执行附带动作(外发、改数据、改权限)
# 原则:动作影响面越大,阈值越保守;同一条内容在不同任务下级别可以不同
# 记录:命中信号、级别判定、处置结果一并入库,便于回看与调参

常见信号与处置级别

信号类型特征建议级别
规则改写类要求覆盖或忽略既有规则、以上级身份发号施令中到高
信息索取类索要系统提示、内部配置、密钥等非任务所需信息中
动作诱导类要求把内容外发到指定地址、改动数据或权限高
格式伪装类把指令伪装成数据字段、注释或代码片段中
规则按语义族而不是关键词设计:同一意图可以有无数种措辞,纯黑名单会被同义改写绕过。可用小模型做意图分类,再用规则兜底高频模式,两者结果合并定级。
分级后的处置动作要落在系统层而不是提示层。把内容标为「数据」之后,工具调用仍需按调用者身份校验权限,否则模型一旦被说服,检测就形同虚设。

易错点

  • 用关键词黑名单过滤会被同义改写绕过,需要按语义族设计并定期补充变体
  • 全部拦截会伤正常业务,用户提问被莫名拒绝;分级处理才是可持续方案
  • 只扫描用户输入、漏掉检索片段与工具返回,间接注入从旁路进入
  • 命中后只打日志不改变处置,等于记录了攻击却照旧执行

数据来源与参考

  • OWASP LLM Top 10(2025)LLM01 缓解措施(输入验证与过滤)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌