评委与人工评分的对齐
自动评委上线前先做对齐：抽取 50-100 条覆盖不同质量档的样本，人工双评（有分歧则仲裁）得到基准分，再让评委打同一批，计算一致率与逐档差异。一致率低于阈值就先改评委提示，而不是直接放量使用。人工分数是锚，评委分数是预测，需要周期性重校。
基本信息
| 基准 | 人工双评 + 仲裁得到的分数 |
|---|---|
| 口径 | 先写清「一致」的定义（同档还是相邻档） |
| 阈值 | 相邻档内视为一致时，低于 85% 先修评委提示 |
| 复查 | 上线后每周抽 20 条人工复核，防止漂移 |
典型使用场景
- 自动评委首次上线的准入检查
- 评委提示大改后重新校准
- 换评委模型后重建基准，避免口径混用
- 长期运行时的定期抽查，捕捉评委漂移
- 争议样本分析：找出自动评委与人工分歧最大的那类
对齐检查步骤
对齐检查步骤
1) 抽取 50-100 条样本，覆盖不同质量档（好/中/差都要有）
2) 人工双评并仲裁，得到基准分
3) 评委对同一批样本打分，计算：
- 一致率（相邻档内视为一致）
- 逐档差异：哪一档最容易偏
- 方向：整体偏松还是偏严
4) 一致率低于 85% 时先修评委提示，再重新校准
5) 上线后每周抽 20 条人工复核，记录一致率趋势
# 样本只覆盖高分档时一致率会虚高，各档都要有样本校准结果读法
| 结果 | 含义 | 处置 |
|---|---|---|
| 一致率高且无方向性偏差 | 评委与人工口径基本对齐 | 放量使用，保留周度抽查 |
| 整体偏松 | 评委给分普遍高于人工 | 在提示中收紧档位描述与通过线 |
| 整体偏严 | 评委给分普遍低于人工 | 放宽描述，避免误杀正常输出 |
| 某一档偏差集中 | 该档位的锚点描述不清 | 重写该档的行为描述后再校准 |
| 一致率低且无规律 | 评委本身不稳定 | 检查提示是否给了明确的判定步骤 |
没有人工锚点的评委分数无法验证。先用 50-100 条做小批校准，确认口径对齐之后再扩大规模，比一次评完几万条再发现问题要省得多。
样本只覆盖高分档时一致率会虚高，因为评委和人工在明显好的样本上容易一致。各质量档都要有样本，尤其是差档样本。