难例集是什么
难例集是单独维护的一批「已知容易出错」的样本：否定句式、单位与千分位混用、中英混排、内容里混着指令样式文字、超长输入尾部藏关键信息等。它的定位是雷达不是标尺——看趋势和回归，不苛求绝对高分。把难例分数与常规集分数平均会得出误导性结论，两者必须分开报告。
基本信息
| 组成 | 按类别组织的对抗与边界样本，每类保持一定数量以维持区分度 |
|---|---|
| 规模 | 小而精：每类十几到几十条即可支撑趋势观察，样本过多会拖慢回归 |
| 更新来源 | 线上 badcase 按类别并入，保持类别均衡 |
| 使用方式 | 版本迭代后复跑同一批，与上次结果对比；不做跨任务横向比较 |
典型使用场景
- 提示改版回归：确认改动没有在边界场景上引入退化
- 模型升级评估：新模型在长尾场景上的表现往往与常规集不一致
- 排查线上投诉：把同类投诉构造成样本，验证是否可复现
- 防护验证：注入类样本用于检验防护层是否漏拦
- 能力宣传把关：避免用常规集高分掩盖边界场景的明显失分
难例类别示例
难例类别示例
# H1 否定与双重否定：“并非不需要”“不能认定不成立”
# H2 单位混用与千分位：1,250 万元 / 1.25 亿 / 12,500,000
# H3 中英混排与全半角混杂：模型名、缩写、括号格式不一致
# H4 指令与内容混排：内容中出现指令样式文字
# H5 超长输入：关键信息位于尾部，考察长上下文的信息保留
# H6 表格与嵌套结构：跨行合并单元格的文字流被拉平
# 评分：分类别报告通过率，另附「与上次相比的变化」难例与常规集的分工
| 维度 | 常规评测集 | 难例集 |
|---|---|---|
| 样本来源 | 按业务分布抽样 | 按错误类型构造 |
| 分数解读 | 反映平均质量，可设上线门槛 | 反映稳健性，看趋势不看绝对值 |
| 更新节奏 | 随业务分布变化扩充 | 随新 badcase 类型补充 |
| 报告方式 | 单独报告 | 单独报告，不与常规集平均 |
难例集的类别要均衡：某一类样本堆积到上百条时，总体通过率会被它主导，其他类别的退化看不出来。定期按类别抽样复核配比。
注入类样本仅用于防护验证，需在隔离环境执行并标注用途，避免被当作可复用的攻击素材流转。