平衡评估示例
平衡评估示例
同一提示的两个配置：
配置A（宽松）：任务通过率 96%，攻击组通过率 82%
配置B（严格）：任务通过率 88%，攻击组通过率 94%
按场景选：普通问答可用A；涉及外发的代理必须B
上线后监控误伤申诉与可疑事件，双向调参| 场景化 | 低风险高流量场景与高权限场景使用不同强度 |
|---|---|
| 量化 | 把两边的代价都数字化，决策才可讨论 |
| 调节 | 阈值是运营参数，建立定期评估机制 |
防护与效用的平衡
防护过强会伤任务质量：把“正当请求被拒”量化出来，按场景调强度，而不是全系统一个口径。
易错点
- 全系统拦得过严会逼用户绕开系统；按场景分级
- 只看安全指标不看任务指标，上线后发现业务不可用
数据来源与参考
- 安全与效用权衡（utility trade-off）实践；NIST AI 100-2 缓解措施讨论