准确率为什么会骗人
类别不均衡时准确率几乎没有信息量：99% 的样本都是 A 类时，全部猜 A 也能拿到 99% 的准确率，而模型对 B 类的识别能力可能是零。稳妥的做法是按类别报告精确率、召回率与 F1，并说明使用宏平均还是微平均——宏平均每类等权，关注小类；微平均按样本数加权，受大类主导。
基本信息
| 均衡数据 | 准确率可用，配合混淆矩阵 |
|---|---|
| 不均衡数据 | 看每类 P/R/F1 加宏平均 |
| 关键类 | 单独设定召回下限并监控 |
| 多标签 | 每标签 P/R/F1，再取宏平均或微平均 |
| 报告要求 | 注明平均方式与各类样本量 |
典型使用场景
- 风险分类：高危样本占比低，必须单独看该类召回
- 内容审核：违规样本稀少，准确率高不代表能抓到违规
- 工单分类：长尾类别退化常被大类稀释而看不见
- 字段抽取：空字段与稀有取值单独统计命中率
- 上线门槛：为关键类设定召回下限，达不到就回滚
指标选择口诀
指标选择口诀
类别均衡 → 准确率可用，配合混淆矩阵
类别不均衡 → 看每类 P/R/F1 加宏平均
关键类漏检代价高 → 单独盯关键类的召回下限
多标签 → 每标签 P/R/F1，再取宏/微平均
# 报告时同时给出各类样本量，避免小样本指标被过度解读
# 宏平均与微平均的差异本身就是信号：差距大说明小类表现差
# 关键类设门槛（如召回不低于 0.95），跌破即回滚指标与适用
| 指标 | 含义 | 适用 |
|---|---|---|
| 准确率 | 总体判对比例 | 类别基本均衡时可用 |
| 宏平均 F1 | 各类 F1 等权平均 | 关心小类表现时 |
| 微平均 F1 | 按样本数加权 | 关心整体表现时 |
| 关键类召回 | 关键类被找出的比例 | 漏检代价高的场景 |
只看准确率时小类退化完全不可见；至少加报宏平均与各类别指标，才能发现小类是否已经失效。
宏平均在类别极多时会放大噪声：长尾场景先合并稀疏小类再评估，并在报告里注明合并口径。