评委的长度偏好
自动评委常给更长的回答更高分，即使信息并没有更多。检测方法很简单：按输出长度分桶看胜率，如果长度与胜率强相关，说明结论掺了风格偏好。缓解有两条——在评委提示里明确「信息覆盖相同时选更简洁的」，以及在评测流程里按长度分层比较，避免长短答案直接对打。
基本信息
| 为什么 | 更长的输出常含更多无关内容，但评委把篇幅当质量 |
|---|---|
| 检测 | 按输出长度分桶看胜率，强相关即需复核 |
| 缓解 | 提示中明确「信息相同选更短」的判定准则 |
| 约定 | 长度分层比较：同长度区间内比优劣 |
典型使用场景
- 两条提示版本对比：确认胜出不是因为输出更长
- 摘要评审：避免啰嗦版本压过简洁版本
- 客服回复质检：防止话术堆砌被当成服务到位
- 开放性写作评审：长文容易获得不必要的加分
- 评委提示调优：加入反长度偏好条款后重新校准
反长度偏好条款
反长度偏好条款
评审提醒：
- 信息量相同的情况下，更短的答案不扣分
- 不要因为篇幅更长、列举更多而加分
- 只评估三项：正确性、完整性（覆盖必要点）、可读性
- 若两个回答信息覆盖相同，选更简洁的那个
输出格式：
A 胜 / B 胜 / 平局
理由：一句话，必须指向具体信息差异
# 只有「不要有长度偏好」这句话不够，
# 必须给出可执行的判定准则，否则评委无从执行偏差表现与处置
| 现象 | 原因 | 处置 |
|---|---|---|
| 长答案胜率显著更高 | 把篇幅当成质量信号 | 加入信息相同时选更短的准则 |
| 短答案几乎从不获胜 | 评委缺少简洁性维度 | 增加简洁度维度或按长度分层 |
| 理由总提到「更详细」 | 判定依据本身偏了 | 要求理由必须指向具体信息差异 |
| 某类任务偏差更明显 | 该任务对篇幅更敏感 | 按任务类型分别校准评委 |
只写「不要有长度偏好」作用有限，模型不知道具体该怎么做。给出「信息覆盖相同则选更短」这类可执行准则，评委才有明确的行为依据。
不做长度分层时，风格偏好会渗进结论，被解读成质量差异。按长度区间分组比较，能让结论只反映同一长度档内的真实差别。