评审位置偏差与缓解
成对比较时，评委对出现在前面的答案或出现在后面的答案可能系统性地更偏好。检测方法很直接：同一对样本交换顺序评两次，两次结论一致的算有效比较，不一致的单列为位置不一致样本。不一致比例高，说明这套对比数据的可信度不足。
基本信息
| 检测 | 同一对样本交换顺序评审两次 |
|---|---|
| 统计 | 报告不一致率，而不只报胜率 |
| 缓解 | 交换后取一致结果，或改为逐维绝对评分 |
| 警戒线 | 不一致率达到一成以上，评审可信度明显下降 |
典型使用场景
- 两个提示版本的成对比较：确认胜出不是位置带来的
- 评委模型选型：对比不同评委的位置不一致率
- 上线评审流程：把不一致样本单独送人工复核
- 历史评测数据复盘：检查是否一直受位置偏差污染
位置偏差检测流程
位置偏差检测流程
# 对同一对样本做两次评审
# 第 1 轮：A = 版本1，B = 版本2
# 第 2 轮：A = 版本2，B = 版本1（交换位置）
# 两轮同版本胜出 → 计入有效比较
# 两轮结论互相矛盾 → 标记 position_inconsistent，单列统计
# 报告字段：
# 有效比较数 / 不一致数 / 不一致率
# 不一致率 > 10% 时，结论先不要对外发布
# 缓解手段：不一致样本改由逐维绝对评分处理偏差表现与处置
| 现象 | 可能原因 | 处置 |
|---|---|---|
| 总选前面那个 | 位置偏好 | 交换顺序两次评，取一致结果 |
| 总选更长更详细的那个 | 长度偏好 | 加入「信息相同选更短」的判定准则 |
| 一致率随样本类型变化 | 某类任务对位置更敏感 | 按类型分桶统计不一致率 |
| 不一致率长期偏高 | 评委不稳定或样本本身难分 | 换评委或改为逐维评分 |
通过提示词写「请勿有位置偏好」作用有限，位置偏好本质来自评分流程设计。更有效的做法是流程层面交换两次，或者改用逐维绝对评分再加总。
不一致的样本不要静默丢弃。丢掉它们等于只保留评委容易判断的样本，结论会系统性偏向「容易比较的那部分数据」，看起更漂亮但不可靠。