| 题集 | 20-50 条，覆盖主路径、边界、对抗输入 |
|---|---|
| 标准 | 每条写清通过条件（字数/要素/格式） |
| 对比 | 同参数、同模型、同批次跑新旧版本 |
| 自动化 | LLM-as-judge 需固定评审提示词与模型 |
题集条目格式（YAML 示例）
题集条目格式（YAML 示例）
- id: q01
input: 帮我总结这段合同
criteria: [不遗漏价格条款, 不超过 200 字]
- id: q02
input: 客户说没收到货，帮我回一封邮件
criteria: [包含道歉与解决方案, 不使用感叹号]
# 新旧版本同批跑，人工或 LLM 评审打分对比评测集是团队资产：每次线上差评与事故都沉淀为新题目，防止同类问题复发。