判定规则示例
判定规则示例
主指标：字段准确率（决定是否上线）
次级指标：解析率、延迟、分切片表现（解释原因用）
规则：主指标不达标即不上线；
次级指标出现显著恶化时进入复审，不单独作为上线依据。| 预注册 | 主指标与门槛在实验前公布 |
|---|---|
| 解释 | 次级指标用于诊断，不用于改结论 |
| 阈值 | 对比很多候选版本时，胜出标准更严格 |
多重比较与指标挑选
一次对比看几十个指标时容易“挑出”好看的：预先固定主指标与判定规则，次级指标只作解释不作决定。
易错点
- 在 20 个指标里挑 1 个变好的宣布成功，几乎是必然事件
- 候选版本越多越容易选出运气好的；加大样本或复跑验证
数据来源与参考
- 多重比较问题（multiple comparisons）统计常识在模型评测中的应用