防护与效用的平衡是什么
防护强度提高，正当请求被拒或被降级的概率也上升，这就是防护与效用的取舍。可行的做法是把两边代价都量化：同一提示用不同强度的配置跑，同时记录任务通过率与攻击组通过率，再按场景选强度——普通问答可以用宽松配置，涉及外发与写操作的代理必须用严格配置。全系统一个口径，通常意味着一部分场景过松、另一部分过严。
基本信息
| 适用平台 | 多场景共用一套防护能力的 LLM 应用 |
|---|---|
| 度量对象 | 任务通过率（效用）与攻击组通过率（安全）同表对比 |
| 决策单位 | 按场景而非按系统：权限与影响面决定强度 |
| 运营方式 | 阈值是运营参数，建立定期评估与调参机制 |
典型使用场景
- 防护上线评审：确认严格配置对正常业务的影响可接受
- 多场景分档：为只读问答、内部工具、对外代理分别设定强度
- 误伤申诉处理：用户抱怨被拦时，用配置与命中规则判断是否过严
- 阈值调整：根据误报与漏报样本，周期性上下调
- 对外说明：用可量化的两组数字说明防护设计的取舍依据
平衡评估示例
平衡评估示例
# 同一提示的两个配置（同一批用例上对比）
# 配置A（宽松）：任务通过率 96%，攻击组通过率 82%
# 配置B（严格）：任务通过率 88%，攻击组通过率 94%
# 选型规则：普通问答可用 A；涉及外发或写操作的代理必须用 B
# 上线监控：误伤申诉量、转人工比例、可疑事件命中率三线并行
# 调参节奏：月度复盘一次，阈值调整后回归集与正常样本一起复跑
# 记录：配置版本号与阈值写进发布清单，便于与事件时间线对齐场景分档建议
| 场景 | 能力范围 | 建议强度 |
|---|---|---|
| 只读问答 | 无工具、无外发 | 宽松，优先保任务质量 |
| 内部检索 | 只能读本租户数据 | 中等，重点防越权 |
| 带外发能力 | 可发邮件、调外部接口 | 严格，动作需审批 |
| 写操作代理 | 可改数据、改权限 | 最严格，全部高风险动作人工确认 |
效用指标要选贴近业务的：任务通过率、无效拒答率、需要人工介入的比例。只看安全指标会导致上线后业务不可用，只看业务指标则等于没设防。
转人工比例是这套机制的关键运营指标：长期偏高说明阈值过严或审批条件过宽，长期为零则可能意味着防护根本没在做事。