首页/AI/提示词工程速查/LLM 评审(LLM-as-a-judge)基本写法
本包目录(290 条)
提示词基础40 条模式与框架50 条任务型写法50 条
评估与迭代50 条
提示注入与防护50 条工程化实践50 条

LLM 评审(LLM-as-a-judge)基本写法

用模型给输出打分或选优:评委提示固定评分维度、锚点与输出格式;评委模型与生成模型尽量不同源。

提示词工程速查AI更新于 2026-10-12

评委提示模板

评委提示模板
你是评审。根据材料给回答打分(1-5),输出 JSON:
{"score": n, "reason": "不超过 50 字的依据"}
维度与锚点:
5=信息完整且无错误;3=基本正确但有遗漏;1=含明显错误
先给依据再给分数;不要因为长度或语气加分。
材料:<context>……</context>
回答:<response>……</response>
固定项维度、锚点、输出格式三件套,减少漂移
顺序先依据后分数,防止先定分再找理由
同源评委与生成同源模型会有自偏好,尽量换模型

易错点

  • 评委提示不固定锚点时分数随批次漂移;锚点描述要具体
  • 评委与被评模型同源时偏好自身输出;跨源评审并定期用人工校准

数据来源与参考

  • Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena(Zheng et al., 2023)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌