标注规范文档是什么
标注规范（标注手册）是评测数据的地基：它规定每个判定怎么下、边界样本怎么处理、遇到歧义怎么办。写手册的目标不是把规则写得漂亮，而是让两个不同的人在看同一份样本时得出同一个结论。判断手册是否合格的检验方式很直接：让两名标注员独立标一批含边界样本的数据，算一致性——分歧集中的地方，就是手册没写清的地方。
基本信息
| 适用平台 | 人工标注、数据标定与评测集构建流程，工具无关 |
|---|---|
| 必需内容 | 任务与标签定义、判定优先级、边界案例、歧义处理、变更记录 |
| 合格标准 | 每条规则能被两人独立执行且结果一致 |
| 维护方式 | 有争议的样本裁定后回填手册，形成正反馈 |
典型使用场景
- 新建评测集：先写手册再开标，避免标注到一半才发现判据不一致
- 外包团队交接：手册是唯一可交付的判定依据，必须自带边界案例
- 规则升级：业务口径变化时，手册的变更记录能说明为什么改
- 争议仲裁：出现判断分歧时，用手册条目而非口头解释来裁定
- 质量复盘：把一致性低的原因落到具体条目上，做定向修订
手册目录模板
手册目录模板
# 1) 任务与标签定义：每类一句话判据，避免长篇描述
# 2) 判定优先级：规则冲突时谁优先（如安全类优先于业务类）
# 3) 边界案例：各 2-3 例真实样本，含错误示例与说明
# 4) 歧义处理：不确定时标 uncertain 并注明困惑点，禁止强行归类
# 5) 不做的事：明确哪些内容不属于本任务，防止标注范围外扩
# 6) 变更记录：规则修改的日期、原因与影响的历史数据范围手册常见缺失项
| 缺失项 | 后果 | 补法 |
|---|---|---|
| 边界案例 | 分歧集中在边界样本上且无法裁定 | 每类补 2-3 个真实样本 |
| 判定优先级 | 多规则命中时结果取决于个人偏好 | 写明冲突时的顺序 |
| 不做的事 | 标注员自行扩展判定范围 | 列出范围外内容与处置方式 |
| 变更记录 | 新标注员按旧版执行，数据前后不一致 | 每次修订留日期与原因 |
先标一小批（比如 50 条）做试点，算双人一致性，再据此改手册，最后放开规模。直接开大规模标注后再发现判据有问题，返工成本最高。
手册要区分「规则」与「示例」：规则是判据，示例只是解释。示例写太多会让标注员按表面相似度套用，遇到新形态样本时反而判错。