双标与仲裁是什么
双标指重要评测集由两人独立标注，互相看不到对方结果；不一致的样本进入仲裁队列，由第三方裁定。这套流程解决的是「标准数据由谁定义」的问题：单人标注等于把评测基准建立在个人判断上，而双标加仲裁能把分歧显式暴露出来，让手册随之改进。仲裁结论必须写理由并回填手册，否则同类分歧会一批批重复出现。
基本信息
| 适用平台 | 评测集构建、金标集维护与标注外包的质量流程 |
|---|---|
| 独立性要求 | 双标阶段两人互不可见对方结果，防止跟标 |
| 仲裁输入 | 争议样本 + 双方各写的一句判定依据 |
| 闭环要求 | 仲裁结论与理由入库，高频分歧类型回填标注手册 |
典型使用场景
- 新建金标集：全量双标后统计一致性，评估数据可用性
- 标注外包验收：以一致率与仲裁结果作为验收与结算依据
- 手册修订：把争议集中的样本整理成新的边界案例
- 仲裁质量复核：抽取一部分已仲裁样本二次复核
- 规则调整后回归：重新双标小批样本，确认分歧下降
流程
流程
# 1) 全量双标：两人独立标注，互不可见对方结果
# 2) 自动比对：一致样本直接入库，不一致样本转入仲裁队列
# 3) 仲裁：第三方参考双方理由裁定，记录结论与依据
# 4) 回写：仲裁发现的高频分歧类型补进标注手册
# 5) 复核：二次抽检一部分仲裁结果，检查仲裁质量
# 6) 存档：保留原始双标结果与仲裁记录，供后续复现与审计角色与职责
| 角色 | 职责 | 不应做的事 |
|---|---|---|
| 标注员 A/B | 按手册独立判定，写清依据 | 看对方结果后再改自己的判定 |
| 仲裁人 | 依据手册裁定争议样本 | 凭个人偏好推翻手册 |
| 手册维护者 | 把高频分歧沉淀为规则与案例 | 只改文档不通知标注方 |
| 质检 | 抽检仲裁质量与一致性趋势 | 只看一致率不看分歧内容 |
仲裁结论要写理由：只给结论时，下一次遇到同类样本双方仍会分歧，仲裁工作量不会随批次减少。
双标的成本约为单标的两倍，通常只对关键评测集使用。低风险的大批量数据可以用「单人标注 + 抽检复核」的组合控制成本。