样本量与波动（粗略估计）
样本量与波动（粗略估计）
100 条：约 ±5 个百分点（95% 区间粗估）
200 条：约 ±3 个百分点
500 条：约 ±2 个百分点
注：近似值，取决于真实准确率与样本相关性| 配对法 | 同题对比 A/B，分辨率高于各自独立评测 |
|---|---|
| 不均衡 | 关键类别的样本数要单独满足，而不是总样本数达标 |
| 报告 | 给不确定区间或重复运行方差，不只给单点值 |
评测样本量的波动直觉
小样本评测的波动比想象大：100 条里差几条就可能翻转结论；对比版本时优先用配对样本与更大的集合。
易错点
- 拿 20 条样本宣称“提升 10%”没有统计意义；先看样本量与波动
- 调参和评估共用同一批样本时指标虚高；保留集要分开
数据来源与参考
- 二项比例置信区间估计（统计估计常识）与配对比较降低方差的实验设计