样本量决定结论的分辨率
评测集太小的时候，指标波动会比想象中大得多：100 条里多错几条、少错几条，就能把两个版本的排名翻过来。所以在对比版本之前，先估算「多少条才有分辨力」，再决定要不要下结论。经验上，样本量越少、真实准确率越接近 50%、样本之间越相关，波动就越大。
基本信息
| 适用 | 分类、抽取、问答等有明确对错的评测 |
|---|---|
| 最小规模 | 关键结论建议 200 条以上，并按类别分层 |
| 对比方法 | 同一批样本跑两个版本，用配对比较 |
| 报告要求 | 给区间或重复运行方差，不只给单点值 |
典型使用场景
- A/B 两个提示版本对比，判断差异是否超出噪声
- 调参阶段快速筛选：先用小集粗筛，结论用大集确认
- 向业务方汇报：说明「提升 2%」是否在误差范围内
- 上线门禁：给主指标设一个不低于基线的门槛
- 关键类别单独达标：低频但高风险的类别要保底样本
样本量与波动粗估
样本量与波动粗估
# 近似估算，实际取决于真实准确率与样本相关性
# 准确率在 90% 附近时的 95% 区间粗估
100 条 → 约 ±6 个百分点
200 条 → 约 ±4 个百分点
500 条 → 约 ±2.5 个百分点
1000 条 → 约 ±1.8 个百分点
# 教训：用 20 条样本宣称「提升 10%」没有统计意义
# 做法：同一批样本配对对比，分辨率高于各自独立评测怎么读一个评测结论
| 信息 | 含义 | 缺失时的风险 |
|---|---|---|
| 样本量 | 结论的波动尺度 | 不知道 2% 的差距是不是噪声 |
| 真实准确率水平 | 越接近 50% 波动越大 | 用 90% 场景的直觉去解释 70% 场景 |
| 是否配对 | 同题对比能消掉题目难度差异 | 两组不同题目，差异可能来自题目本身 |
| 类别分布 | 关键类别是否有足够样本 | 总体达标但高风险类别样本只有几条 |
配对比较的做法是：同一批样本、同样参数、两个版本各跑一次，只统计两者判断不一致的样本。这部分样本数远小于全集，因此同一批样本能给出更高的分辨率。
调参用的样本和最终评估用的样本必须分开。反复在同一批样本上调提示，会把噪声当成信号记住，指标虚高，上线后回落。