线上质量抽检是什么
线上线下不是一回事：评测集覆盖不到真实输入的复杂形态，因此上线后要按比例抽样人工检查。抽检的关键是分层——按任务类型、提示版本、输入长度档配额抽样，否则高流量任务会占满样本，低频场景的问题永远看不到。抽检结果要有去处：低分样本脱敏后进入评测集，评分趋势触发告警阈值调整。
基本信息
| 适用平台 | 已上线的 LLM 应用；需要能导出请求与输出样本 |
|---|---|
| 抽样方式 | 分层抽样：任务类型 × 提示版本 × 输入长度档 |
| 评分维度 | 正确性、完整性、格式、安全（各 0-2 分便于统一口径） |
| 闭环要求 | 低分样本回流评测集，评分趋势驱动告警阈值调整 |
典型使用场景
- 新版本上线后首周：提高抽样率观察稳定性
- 低频场景监控：按任务类型配额，保证长尾场景有样本
- 评审校准：两名评审独立打分，分歧样本集中讨论定标
- 阈值调整：根据抽检发现的问题类型，调整告警条件
- 对外汇报：用趋势数据说明质量变化，而不是靠个案描述
抽检方案示例
抽检方案示例
# 抽样率：常规 1%，新版本上线首周提高；每版本每日至少 50 条
# 分层：任务类型 × 提示版本 × 输入长度档，配额按业务量分布设定
# 评分：正确性 / 完整性 / 格式 / 安全 各 0-2 分，用统一评分表
# 告警：平均分环比下降超过阈值，或格式错误率超出上限
# 回流：低分样本去标识后进评测集，标注日期与来源
# 存档：评分表与样本清单按批次归档，作为质量凭证常见抽检偏差与对策
| 偏差 | 后果 | 对策 |
|---|---|---|
| 只抽高流量任务 | 低频问题被掩盖 | 按任务类型分层配额 |
| 固定评审人 | 标准漂移、疲劳 | 轮换评审与定期定标会议 |
| 只抽成功请求 | 失败与超时路径无人检查 | 失败样本按比例纳入 |
| 只记录分数 | 改进无沉淀 | 低分样本回流评测集 |
| 样本不可回溯 | 无法复核结论 | 保留请求标识，支持抽样复现 |
评分表要先定标再打分：让两名评审先各自打 20 条并对比，口径对齐后再进入正式抽检，否则前几天的分数不可比。
抽检样本含真实用户内容，导出与评审过程需要脱敏与权限控制，保留期限按合规要求设定，不能落到个人设备长期留存。