成对比较为什么更稳
让评委在 1-5 分里打绝对分，分数会随批次漂移；改成把两个版本的回答并排给评委选优（A/B 判别），稳定性明显提高。做法上有三个要点：要求给出胜负理由、允许判平局、交换 A/B 顺序再评一次以检测位置偏差。判定优先级要写清，通常是事实正确 > 满足要求 > 表达清晰。
基本信息
| 输出 | winner（A / B / tie）+ 简短理由 |
|---|---|
| 为什么稳 | 相对比较比绝对打分漂移更小 |
| 允许平局 | 防止评委在等价输出上随机选边 |
| 位置偏差 | 交换 A/B 顺序重复一次，观察结论是否翻转 |
典型使用场景
- 提示改版对比：同一批问题跑新旧两版，成对判定哪版更好
- 模型切换评估：候选模型与原模型在同样输入下并排比较
- 解码参数对比：温度、采样参数变化对同一提示的影响
- 人工评审降本：先由模型做初判，人工只复核分歧样本
- 回归验收：新版本不能在任何切片上明显输给旧版本
成对评审模板
成对评审模板
比较两个回答（A/B），输出：
{"winner": "A|B|tie", "reason": "不超过 60 字"}
判定优先级：事实正确 > 满足要求 > 表达清晰；
两者差异不影响使用时选 tie，不要强行分胜负。
# 理由要指向具体差异（漏了字段、结论相反），不要写“更流畅”这类泛评
# 每批样本要交换 A/B 位置再评一次，统计位置偏好
# 评委模型与被评模型尽量不同源，降低自偏好偏差类型与对策
| 偏差 | 表现 | 对策 |
|---|---|---|
| 位置偏好 | 总选先出现的那个 | 交换 A/B 顺序再评，统计翻转率 |
| 长度偏好 | 总选更长的回答 | 按信息量判定，长但不含新信息不给分 |
| 自偏好 | 评委偏爱同源模型的输出 | 换评委模型或人工复核分歧样本 |
| 平局回避 | 等价输出也强行分胜负 | 显式允许 tie，并统计平局比例 |
不给平局选项时，评委对等价输出会随机选边，制造出并不存在的版本差异。
只评一轮不换序时，位置偏差会系统性偏向某一侧；交换后仍一致的结论才可信。