更新后为什么要复测防护
更换模型版本、推理框架或插件后,原有防护的效果会变化:同一条检测规则在新模型上的绕过率可能上升,也可能开始频繁误伤。因此把安全回归纳入升级流程:用固定的注入用例集在新旧组合上各跑一遍,比较拦截率与误伤率,差异明显时阻止上线或附缓解计划。
基本信息
| 触发时机 | 模型版本切换、系统提示大改、插件增减、防护规则调整 |
|---|---|
| 测什么 | 已知注入用例拦截率、正常请求误伤率、越权工具调用拦截 |
| 对比方式 | 新旧组合跑同一用例集,记录差异与样本量 |
| 门禁 | 拦截率下降或误伤显著上升时阻止上线,或附缓解计划与期限 |
| 记录 | 组合版本、用例集版本、结果与结论一并归档 |
典型使用场景
- 模型换代:新模型对指令的服从方式变化,注入防护必须重测
- 推理框架升级:采样与截断行为变了,输出过滤命中率可能变化
- 插件增减:新增工具扩大动作空间,越权用例要补测
- 规则集大改:新旧规则对比回归,看拦截率与误伤率同步变化
- 季度巡检:即使没有变更,也定期跑一遍确认没有静默漂移
复测记录模板
复测记录模板
组合: 模型 v2 + 推理框架 1.4 + 规则集 v5
用例集: inj-regression-v4(120 条攻击 + 200 条正常)
结果: 拦截 112 / 120(较上一组合 -3)
误伤: 2 / 200 正常请求(阈值为不超过 5 条)
结论: 3 条失效集中于编码变体,补充归一化后复测通过
门禁判定: 通过(拦截率回到基线,误伤率未上升)变更类型与复测重点
| 变更 | 复测重点 | 风险 |
|---|---|---|
| 模型版本切换 | 拦截率与误伤率基线 | 服从性与拒答行为变化 |
| 系统提示大改 | 原有防护描述是否被削弱 | 安全约束被稀释 |
| 新增插件或工具 | 越权调用与权限边界 | 动作空间扩大 |
| 规则集调整 | 新旧规则对比 | 误伤上升或漏检增加 |
复测必须用固定用例集,否则新旧结果不可比,“这次比上次好”只是一句感觉。