摘要的人工评估维度
摘要质量靠人工评审打分，前提是把维度固定下来：一致性（有没有与原文冲突）、覆盖度（关键点是否齐全）、简洁度（有没有冗余与套话）、可读性（通顺与否）。更关键的一点是把硬性错误单独打钩统计——数字错误、张冠李戴、添加原文没有的信息，这类错误不该混在主观分里。
基本信息
| 维度 | 一致性 / 覆盖度 / 简洁度 / 可读性 |
|---|---|
| 量表 | 1-5 分，每档写一句行为锚点 |
| 硬错 | 单独打钩，不计入主观分 |
| 抽样 | 按切片抽样，每片保底最小样本量 |
典型使用场景
- 摘要模型上线前的验收：用固定评审表打分并与基线对比
- 两个候选版本的取舍：逐维度看差异，而不是只看总分
- 对外披露质量：硬错数量是最有说服力的对外指标
- 评委口径对齐：新评审人先读锚点描述再开评
评审表模板
评审表模板
样本ID：____ 评审人：____ 日期：____
一致性 1-5（5 = 与原文无任何冲突）
覆盖度 1-5（5 = 关键点齐全）
简洁度 1-5（5 = 无冗余无套话）
可读性 1-5（5 = 通顺无歧义）
硬性错误（逐项打钩，可多选）：
□ 数字错误 □ 张冠李戴 □ 添加原文外信息
备注：____
# 每档打分旁写一句理由，便于仲裁与回看
# 同一批样本至少两人评，分歧超过两档进入仲裁维度与锚点读法
| 维度 | 5 分锚点 | 1 分锚点 |
|---|---|---|
| 一致性 | 与原文无任何冲突 | 存在与原文矛盾的信息 |
| 覆盖度 | 关键点全部覆盖 | 遗漏决定性的关键点 |
| 简洁度 | 无冗余与套话 | 大量重复表述，信息密度低 |
| 可读性 | 通顺、指代明确 | 需要反复回读才能理解 |
| 硬性错误 | 无打钩项 | 出现数字错误或添加原文外信息 |
评审必须带锚点描述。没有锚点时，不同评审人对 3 分的理解差异很大，同一批数据的分数在换人后不可比，历史趋势也就没意义了。
只报平均分会掩盖高影响错误：一批摘要平均 4.2 分，但其中有 5 条把金额写错，业务上完全不可用。硬性错误的计数要与平均分一起报。