分级处理示例
分级处理示例
低风险：记录并继续（如普通的“忽略上一条”类措辞）
中风险：内容降权（不进入指令区），提示模型专注数据任务
高风险：人工复核或拒绝执行附带动作
原则：影响面越大，阈值越保守| 误报 | 正常内容也会讨论指令；按影响面分级而非一刀切 |
|---|---|
| 组合 | 检测只是其中一层；权限与审批才是底线 |
| 进化 | 误报与漏报样本定期回看，持续调规则 |
输入侧的指令样式检测
输入侧扫描可疑指令模式（要求改规则、索要系统提示、要求外发数据）；命中不直接拦截，而是分级处理。
易错点
- 用黑名单关键词过滤会被同义改写绕过；模式要按语义族设计
- 全部拦截会伤正常业务；分级处理兼顾安全与可用
数据来源与参考
- OWASP LLM Top 10（2025）LLM01 缓解措施（输入验证与过滤）