评分表式评审
评分表式评审把评分标准写成维度表,每一档给的是可观察的行为描述(有几处与材料冲突、漏了哪个要点),而不是形容词。评委逐维核对后再按明确规则合成结论。相比让模型给一个总分,它更容易追溯分歧来源,也更容易在不同批次之间保持口径。
基本信息
| 结构 | 维度 + 每档行为描述 + 合成规则 |
|---|---|
| 评分方式 | 各维独立评,最后合成,不先给总分 |
| 通过线 | 关键维度设硬性通过条件 |
| 适用 | 开放性写作、摘要、答案质量评审 |
典型使用场景
- 长答质量评审:分开评事实准确性与完整性,避免一维高掩盖另一维差
- 摘要批量打分:按一致性、覆盖度、简洁度逐维评分
- 客服回复质检:把礼貌与合规分成两个独立维度
- 评委上线前的口径对齐:维度描述写死,减少不同批次的漂移
- 回归对比:逐维看变化,定位是变准了还是变啰嗦了
评分表模板
评分表模板
按维度逐项打分,先各维独立评,最后再合成:
维度A 事实准确性
5 = 所有主张都能在给定材料里找到支持
3 = 主要主张有支持,次要主张未经验证
1 = 存在与材料冲突的主张
维度B 完整性
5 = 覆盖问题的全部要点
3 = 覆盖主要要点
1 = 遗漏关键要点
合成规则:两维均达到 3 才算通过;不做加权总分。
输出格式:
维度A: <分> 依据:<一句话>
维度B: <分> 依据:<一句话>
结论: 通过 / 不通过评分锚点对照
| 维度 | 高分锚点 | 低分锚点 |
|---|---|---|
| 事实准确性 | 全部主张有材料支持 | 存在与材料冲突的主张 |
| 完整性 | 覆盖问题全部要点 | 遗漏关键要点 |
| 简洁度 | 无重复表述与套话 | 大量铺陈,信息密度低 |
| 可读性 | 通顺,无歧义指代 | 指代不明,需反复回读 |
合成规则要显式写出来。用平均分或加权总分时,一个维度拿满分可以掩盖另一个维度不及格,最终结论看起来达标但实际不能用。
维度数量控制在 3-5 个。维度越多,评委注意力越分散,批次间一致性越差;强相关的维度合并成一个即可。