标注一致性是什么
人工标注难免有主观成分，双人标注要算一致性：两人在同一批样本上的判定有多吻合。裸一致率有缺陷——类别极度不均衡时，两人都判「正常」就能得到很高的一致率，哪怕他们其实都在瞎猜。Cohen's Kappa 扣除了随机一致的部分，更能反映真实一致性。一致性低时先修标注手册，而不是催标注员加快进度。
基本信息
| 适用平台 | Python（scikit-learn 的 cohen_kappa_score）或统计软件 |
|---|---|
| 输入 | 同一批样本上两名标注者的类别标签，需逐条对齐 |
| 常见解读 | 0.6 以上通常可接受；低于此值先复查手册与边界案例 |
| 记录方式 | 一致性指标随标注批次存档，作为数据质量凭证 |
典型使用场景
- 评测集构建：确认标注结果可用作参考标准，而不是个人偏好集合
- 新标注员上岗：用一致性对比判断是否已理解手册
- 规则改版验证：手册修订后重算一致性，确认分歧真的减少
- 争议样本识别：一致性低的类别和样本是手册最需要补的地方
- 外包质量验收：以一致性指标作为阶段验收条件之一
计算示例
计算示例
# pip install scikit-learn 该库提供 Cohen's Kappa 实现
from sklearn.metrics import cohen_kappa_score
a = [1, 0, 1, 1, 0, 1] # 标注者 A 的标签
b = [1, 0, 1, 0, 0, 1] # 标注者 B 的标签
print(cohen_kappa_score(a, b)) # 经验阈值：>=0.6 通常可接受
# 同时输出混淆矩阵，看清分歧集中在哪两个类别之间分数区间与处置
| Kappa 区间 | 含义 | 处置 |
|---|---|---|
| 0.8 以上 | 高度一致 | 数据可直接用于评测 |
| 0.6 至 0.8 | 基本一致 | 抽查分歧样本后使用 |
| 0.4 至 0.6 | 中度一致 | 先补手册边界案例，再复标 |
| 0.4 以下 | 一致性低 | 暂停扩标，回到判据定义重新对齐 |
类别极不均衡时 Kappa 会偏低（Kappa 悖论）：比如 95% 样本都是同一类，两人几乎全判该类，一致率很高但 Kappa 接近 0。此时应同时报告裸一致率与混淆细节。
一致性是过程指标而不是目的：把 Kappa 刷高最容易的办法是让手册含糊、两人都按「拿不准就标默认类」处理。检查分歧样本的内容才能真正判断质量。