首页/AI/提示词工程速查/切片复盘:定位退化的那一块
本包目录(290 条)
提示词基础40 条模式与框架50 条任务型写法50 条
评估与迭代50 条
提示注入与防护50 条工程化实践50 条

切片复盘:定位退化的那一块

版本对比不只报总分:逐切片算差值并按幅度排序,定位“总分没变但某片大幅退化”的情况。

提示词工程速查AI更新于 2026-10-12

切片差值表(示例)

切片差值表(示例)
切片            v11    v12    差值
短文本(<20字)   94.1%  93.8%  -0.3
长文本(>800字)  88.2%  84.0%  -4.2  <- 重点复查
含表格          91.0%  92.6%  +1.6
整体            91.5%  91.2%  -0.3
顺序先看绝对值低且差值为负的切片
样本量差值旁边的样本数一起看,小样本差值噪声大
动作退化切片抽样读 10 条,归类原因再决定是否回滚

易错点

  • 只盯总分会在部分切片退化时错过问题;逐片对比应成为例行步骤
  • 小样本切片上的波动当成退化会导致误回滚;先看样本量与波动范围

数据来源与参考

  • 切片分析(slice-based evaluation)实践:HELM 评测对场景分组的报告方式(Liang et al., 2022)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌