切片复盘：定位退化的那一块
版本对比不能只报总分，要逐切片算差值并按幅度排序。常见情况是整体指标几乎没变，但长文本或含表格的切片掉了好几个百分点——总分被其他切片的提升掩盖，问题只有拆开看才浮现。切片维度通常按输入长度、语言、场景类型、是否有附件来划。
基本信息
| 维度 | 输入长度、场景类型、语言、是否含表格 |
|---|---|
| 输出 | 每片的样本数、两版准确率与差值 |
| 顺序 | 先看差值为负且绝对值低的切片 |
| 动作 | 退化切片抽样读 10 条，归类原因再决定是否回滚 |
典型使用场景
- 版本上线前复盘：确认没有某个场景被悄悄牺牲
- 问题定位：整体指标没变但线上投诉集中在某一类请求
- 长文本专项：长输入往往是最先退化的切片
- 多语言产品：某一语种的退化很容易被总量摊平
- 小切片保护：低频高价值场景设单独的通过线
切片差值表（示例）
切片差值表（示例）
切片 样本数 v11 v12 差值
短文本(<20字) 620 94.1% 93.8% -0.3
长文本(>800字) 180 88.2% 84.0% -4.2 <- 重点复查
含表格 210 91.0% 92.6% +1.6
多轮对话 150 89.5% 90.1% +0.6
整体 1160 91.5% 91.2% -0.3
判读顺序：
1) 先看差值为负且绝对值低的切片（长文本 -4.2）
2) 对照样本数，确认不是小样本噪声
3) 从该切片抽 10 条读原文，归类原因后再决定是否回滚切片表逐列读法
| 列 | 含义 | 注意 |
|---|---|---|
| 切片 | 按某个维度划分的子集 | 切片口径要写进评测说明，换人可复现 |
| 样本数 | 该切片包含多少条 | 样本太少时差值噪声大，不能直接下结论 |
| 两版准确率 | 各版本在该切片上的表现 | 两版的样本必须完全一致才能相减 |
| 差值 | v12 减 v11 | 排序依据，优先处理负值大且基数低的 |
| 整体 | 全部样本汇总 | 整体持平不代表各切片都没事 |
小切片上的差值容易被误读。样本只有二三十条时，一两条样本的翻转就能带来几个百分点的变化，先看样本量再看差值幅度。
切片口径要固定并记录下来。切片定义变了，两版的差值就不是同一批样本的对比，结论会被口径变化污染。