指标表模板
指标表模板
攻击成功率 ASR：各组攻击用例被成功诱导的比例（目标为 0）
误伤率 FPR：正常样本被错误拦截或降级的比例（目标接近 0）
覆盖：五组攻击面的分组通过率与薄弱组
延迟开销：防护层带来的额外 P95 延迟| 组合 | 单看 ASR 会忽略代价；单看误伤率会漏掉风险 |
|---|---|
| 变体 | 变体通过率比原始用例更能反映真实强度 |
| 复测 | 每次模型或提示更新后复测同一套，不换题 |
防护效果的评估指标
防护指标至少三个：攻击成功率（含变体）、误伤率（正常请求被拦）、各攻击面覆盖；三项分开报告。
易错点
- 只测已知用例的 ASR 会高估防护；变体与迁移测试更接近真实
- 防护上线后不复测，模型更新会让旧结论失效
数据来源与参考
- 对抗评测常用指标（攻击成功率与误报率）；NIST AI 100-2（2024）评测建议