评委的自偏好与同源问题
模型倾向偏好自己生成的答案：当评委与生成模型同源时，胜率会系统性偏向这一侧。要做的事有两件——用异源评委做交叉评审，以及安排一小批人工盲评作为基准锚点。两者缺一，都可能得到一条整体偏移但看起来稳定的趋势线。
基本信息
| 现象 | 评委给同源模型生成的内容更高分 |
|---|---|
| 检测 | 对比评委评自己与评他人的分数分布 |
| 缓解 | 异源评委 + 盲评（隐藏模型身份与格式线索） |
| 校准 | 人工基准是锚，自动评委只做规模化扩展 |
典型使用场景
- 模型选型：避免用被评模型自己当评委
- 生产自动评审上线：先跑交叉评审矩阵再放量
- 版本对比：两版由不同模型生成时，注意评委来源是否一致
- 质量抽查：抽取一批样本做人工盲评作为长期基准
- 评委提示优化：检查是否残留了能暗示模型身份的线索
交叉评审矩阵
交叉评审矩阵
# 对称交叉，避免单侧偏差
生成模型 A × 评委模型 B → 记录 A 的胜率
生成模型 B × 评委模型 A → 做对照
# 人工基准
同一批样本安排人工小组盲评 30-50 条作为锚点
盲评要求：隐藏模型身份、统一排版、去掉署名与标记
# 判读
- 若自动评委与人工基准方向相反，先信人工结论
- 若两侧胜率都偏向「评委那一方」，说明自偏好明显
- 换评委后分数口径变化，历史数据要重跑而不是拼接偏好来源与处置
| 偏好来源 | 表现 | 处置 |
|---|---|---|
| 同源偏好 | 评委对自家模型答案给分更高 | 换异源评委，做交叉矩阵对照 |
| 身份线索 | 看到模型名或特有格式后偏向 | 盲评时隐藏署名、标记与格式特征 |
| 长度偏好 | 更长更详尽的答案得分更高 | 加入信息量相同时选更短的判定准则 |
| 位置偏好 | 倾向于靠前或靠后的选项 | 交换顺序两次评，取一致结果 |
模型身份在提示里可见时自偏好更强。盲评不只是去掉模型名，还要统一排版、去掉各家特有的标题风格，否则格式本身就是线索。
更换评委等于换了度量尺，之前的分数不能直接拼接。要么重跑历史实验，要么在报告里明确标注口径变化，避免形成一条虚假的连续趋势。