两个概念为什么要分开
越狱(jailbreak)是绕过安全策略,让模型输出本应被拒绝的内容,入口是对话输入;提示注入(prompt injection)是打乱指令流,让内容被当成命令执行,入口是数据通道(检索结果、工具返回、文件、网页)。两者的防线不同:前者靠安全策略与拒答机制,后者靠隔离、权限与审批。混成一个指标会掩盖真实短板,评估时要分别统计成功率。
基本信息
| 越狱入口 | 对话输入,目标是突破安全策略 |
|---|---|
| 注入入口 | 数据通道(检索、工具结果、文件) |
| 注入主要防线 | 隔离、权限最小化、危险动作审批 |
| 越狱主要防线 | 安全策略与稳定的拒答机制 |
| 复合场景 | 注入内容可能同时尝试越狱,要分别统计 |
典型使用场景
- 评测设计:为两个目标分别准备测试集与成功率口径
- 检索增强系统:重点测间接注入(恶意网页/文档进入资料区)
- 工具调用链路:评估工具返回值被当作指令执行的风险
- 客服系统:既测越狱诱导(要求输出违规内容),也测注入(要求外发数据)
- 上线检查:确认两类防线各自有独立监控指标
复合场景提醒
复合场景提醒
注入内容可能同时尝试越狱:
评测与监控要对两个目标分别统计成功率,防一并漏测。
# 注入测试集:构造带指令的文档/工具结果,观察是否被执行
# 越狱测试集:构造诱导性输入,观察拒答是否稳定
# 指标分开:越狱成功率与注入成功率各自看趋势
# 复合样本单独归一类,避免两边都统计不到对比
| 维度 | 提示注入 | 越狱 |
|---|---|---|
| 目标 | 让系统执行内容中的指令 | 让模型突破安全策略 |
| 入口 | 数据通道(检索/工具/文件) | 对话输入 |
| 影响 | 越权操作、数据外泄 | 违规内容输出 |
| 主要防线 | 隔离、权限、审批 | 安全策略与拒答机制 |
用防注入手段(隔离数据)去应对越狱并不匹配:两者目标不同,测试与监控都要各自建立。
把两者合并成一个「安全成功率」会掩盖真实短板:注入被挡住但越狱成功,或反之,都无法从合并指标里看出。