评审表模板
评审表模板
样本ID：____ 评审人：____
一致性 1-5（5=无任何冲突信息）
覆盖度 1-5（5=关键点齐全）
简洁度 1-5（5=无冗余无套话）
可读性 1-5（5=通顺无歧义）
硬性错误：□数字错误 □张冠李戴 □添加原文外信息| 锚点 | 每档写一句描述，减少评审人间漂移 |
|---|---|
| 硬错 | 一致性中的硬错误单独打钩，不与主观分混在一起 |
| 抽样 | 全量人评成本高；按切片抽样并保证每片最小样本量 |
本包目录（290 条）
提示词基础40 条模式与框架50 条任务型写法50 条
评估与迭代50 条
- 先定成功标准再改提示
- 金标测试集构建
- LLM 评审（LLM-as-a-judge）基本写法
- 摘要自动指标 ROUGE 与局限
- 精确率、召回率与 F1
- 成对比较评估（A/B 判别）
- 准确率与其陷阱（类别不均衡）
- 回归测试集与用例管理
- 测试样本的切片标签
- 结构化输出的可解析率
- A/B 对比实验设计
- 保留集与提示过拟合
- 抽取任务的字段级评估
- 评测样本量的波动直觉
- 混淆矩阵与错误模式分析
- 评分表（rubric）式评审
- 采样随机性与可复现记录
- 摘要的人工评估维度
- 代码评估 pass@k
- 评审位置偏差与缓解
- 错误分类体系（误差分析）
- 迭代闭环：假设→改→回放→对比
- 重复运行与结果波动
- 翻译指标 BLEU 与 chrF
- 执行式评估：用运行结果判对错
- 评委自偏好与同源问题
- 提示变更的卡口（CI 门禁）
- 切片复盘：定位退化的那一块
- 上线后的质量监控
- 神经翻译质量评估（COMET）
- 评委的长度偏好（啰嗦偏差）
- 评委与人工评分的对齐
- 评测集的分层抽样
- badcase 挖掘与归类流程
- token 用量核算与预算
- 语义相似度指标（BERTScore 思路）
- 难例集与对抗样本池
- 两个版本的差异是否显著
- 标注规范文档写法
- 用户反馈闭环
- 提示变更日志与实验记录
- 成本与延迟纳入评测
- 多重比较与指标挑选
- 人工标注一致性（Kappa）
- 影子运行与灰度评估
- 延迟看分位数（P95/P99）
- 双标与仲裁流程
- 金标集的保鲜与轮换
- 输入分布漂移的检测
- 评测报告模板与结论写法
摘要的人工评估维度
摘要人工评审固定维度：一致性、覆盖度、简洁度、可读性；每档打分给锚点，硬性错误单独打钩统计。
易错点
- 打分不带锚点时，不同评审人对 3 分的理解不同；锚点必须写出来
- 只报平均分不报硬错误数量，会漏掉高影响业务的错误类型
数据来源与参考
- SummEval 摘要评估维度研究（Fabbri et al., 2021）：一致性/覆盖/流畅性