评测集的分层抽样
抽样要按业务频率与难度分层：高频场景按占比抽，低频但高风险的场景设保底样本数，避免评测集被单一场景主导。纯随机会让低频高风险场景在评测集里只出现几条，指标波动大且说明力弱；而分层设计能保证每个关注场景都有足够的样本量支撑结论。
基本信息
| 分层依据 | 业务频率、难度、风险等级 |
|---|---|
| 保底 | 高风险低频场景必须保底，不被随机抽样淹没 |
| 加权 | 需要还原线上表现时按线上占比加权计算 |
| 记录 | 分层口径写进评测集说明，换人重建可复现 |
典型使用场景
- 线上流量长尾明显：高频场景按占比抽，长尾单独保底
- 高风险低频场景：支付异常、合规提示等必须留样本
- 多语言产品：小语种单独分层，避免被主语种样本压制
- 多输入形态：含表格、含附件、超长文本各设一层
- 评测集维护：每次扩充按同一分层口径补齐，避免结构漂移
分层抽样示例
分层抽样示例
场景A 高频（线上占比 60%） → 抽 120 条
场景B 中频（线上占比 30%） → 抽 60 条
场景C 低频高风险（占比 3%）→ 保底 20 条
其余长尾（占比 7%） → 抽 20 条
合计 220 条
使用方式：
- 看绝对能力：直接看各层准确率
- 需要还原线上整体表现：按线上占比加权计算总分
- 每层样本数写进评测集说明，便于复现与扩充
# 注意：分层比例与线上差异大时，未加权的总分不能代表线上分层设计读法
| 项 | 含义 | 设计不当的后果 |
|---|---|---|
| 高频层 | 覆盖主要流量场景 | 样本不足时主流程问题被低估 |
| 中频层 | 常见但不主导的场景 | 合并进长尾会导致该层退化无法定位 |
| 保底层 | 低频高风险场景 | 无保底时结果波动大，问题看不出来 |
| 长尾层 | 其余零散场景 | 全无样本时上线后暴露未知问题 |
| 加权口径 | 还原线上整体表现 | 口径不统一时总分与分层结论互相矛盾 |
分层比例与线上占比差异很大时，未加权总分不能代表线上表现。报告里要么给出加权分，要么明确说明总分是分层均值，避免读者误读。
评测集扩充时按同一分层口径补齐，否则新旧样本结构不同，改版前后对比会夹进样本结构变化带来的差异。