交叉评审矩阵
交叉评审矩阵
生成模型 A × 评委模型 B：记录 A 的胜率
生成模型 B × 评委模型 A：做对照
同时安排人工小组在同一批样本上盲评 30-50 条作为基准
若自动评委与人工基准差方向相反，先信人工结论| 检测 | 让评委评自己与评他人的分数分布对比 |
|---|---|
| 缓解 | 异源评委加盲评（隐藏模型身份与格式线索） |
| 校准 | 人工基准是锚，自动评委只做规模化扩展 |
评委自偏好与同源问题
模型倾向偏好自己生成的答案：评委与生成模型同源时胜率会系统性偏斜；关键评测用异源评委或人工抽查。
易错点
- 模型身份在提示里可见时偏好更强；盲评要连署名与格式线索一起隐藏
- 换评委后分数口径变化，历史对比要重跑而不是拼接
数据来源与参考
- LLM Evaluators Recognize and Favor Their Own Generations（Panickssery et al., 2024）