LLM 评审怎么写
用模型给输出打分或选优，要点是固定评分维度、锚点描述与输出格式，并让「先给依据、后给分数」的顺序固定下来。锚点要写具体——「5 分是信息完整且无错误、3 分是基本正确但有遗漏」，而不是「5 分很好」。Zheng 等人 2023 年用 MT-Bench 与 Chatbot Arena 系统研究过这种评测方式，也指出了已知偏差：评委倾向自身风格的输出、偏好更长的回答。
固定项与已知偏差
| 固定项 | 维度、锚点、输出格式三件套，减少漂移 |
|---|---|
| 顺序 | 先依据后分数，防止先定分再找理由 |
| 同源 | 评委与生成同源模型会有自偏好，尽量换模型 |
| 长度偏差 | 评委易偏好更长的回答，锚点里明确不要因长度加分 |
| 校准 | 定期用人工评分对照，检查评委是否漂移 |
典型使用场景
- 提示改版对比：两个版本批量打分，看维度分布是否改善
- 模型选型：同一批问题交给多个模型，用统一评委比较
- 人工复核前的初筛：把明显不合格的输出标出来，减少人工工作量
- 开放式任务评估：摘要、改写等没有唯一答案的任务用评分而非准确率
- 线上抽样巡检：按周抽样打分，观察质量趋势
评委提示模板
评委提示模板
你是评审。根据材料给回答打分（1-5），输出 JSON：
{"score": n, "reason": "不超过 50 字的依据"}
维度与锚点：
5=信息完整且无错误；3=基本正确但有遗漏；1=含明显错误
先给依据再给分数；不要因为长度或语气加分。 # 抑制长度偏好
材料：<context>……</context>
回答：<response>……</response>评分锚点写法对照
| 锚点 | 可判定性 | 问题 |
|---|---|---|
| 5=完整无错误，3=有遗漏，1=有错 | 高 | 适合直接用于自动化 |
| 5=很好，3=一般，1=差 | 低 | 评委自定标准，批次间分数不可比 |
| 按条数计分（遗漏 1 条扣 1 分） | 高 | 适合清单式输出，不适合开放式写作 |
| 与参考答案相似度 | 中 | 需要参考答案，且惩罚合理改写 |
评委结果只作为参考信号：上线前用几百条样本核对评委与人工评分的一致性，一致性低时先去改锚点。