多重比较问题是什么
一次对比看几十个指标、或一次比较十几个候选版本时，几乎必然会有某个组合看起来变好了——这不是发现，而是概率。多重比较问题说的就是这件事：比较次数越多，偶然出现的「显著」就越多。对策不是算更复杂的统计，而是先把规则定死：哪一个是主指标、门槛是多少、次级指标只用来解释原因，不参与结论。
基本信息
| 适用场景 | 同一轮实验里对比多个指标、多个候选版本或多个数据切片 |
|---|---|
| 核心做法 | 预注册主指标与判定门槛，实验前公布，实验后不修改 |
| 次级指标定位 | 用于诊断原因与定位退化，不用于推翻主指标结论 |
| 比较次数越多 | 胜出所需的差距应越大，或样本量相应增加 |
典型使用场景
- 评测报告里同时列出准确率、召回率、格式合法率、延迟等多项指标
- 一轮实验比较 5 个以上的候选提示版本
- 按业务切片（地区、渠道、输入长度）分别统计并寻找「亮点」
- A/B 实验看多个转化指标，容易挑到某一个上升的
- 上线后复盘：发现某项指标变差，需确认是否为噪声
判定规则示例
判定规则示例
# 主指标：字段准确率（决定是否上线）
# 次级指标：解析率、延迟、分切片表现（解释原因用）
# 规则：主指标不达标即不上线；
# 次级指标出现显著恶化时进入复审，但不单独作为上线依据
# 候选较多时：提高主指标的胜出门槛（例如要求差值超出噪声区间）
# 记录：本轮比较的所有指标与切片一并存档，避免事后只挑好的那一项复述三类指标的处置
| 指标类别 | 作用 | 能否改变结论 |
|---|---|---|
| 主指标 | 决定上线与否 | 能，且只此一项 |
| 次级指标 | 解释主指标变化的原因 | 不能，异常时触发复审 |
| 切片指标 | 定位问题集中在哪类样本 | 不能，用于找原因与补样本 |
| 护栏指标 | 成本、延迟、安全类底线 | 能，跌破底线即阻断上线 |
候选版本越多，越容易选出运气好的那个。可行的做法是：先在评测集上筛出前两名，再用留出集复跑确认，两步都过才定稿。
切片指标发现异常时要警惕反向问题：切片数量多时，某一片变差也可能只是样本太少。报告切片结论时附上该切片的样本量。