错误分类体系
误差分析的第一步不是改提示，而是给错误建一张分类表：格式错误、知识缺失、指令未遵守、信息错误、风格不符。每次评测按类计数，占比最高的那一类就是下一轮投入的方向。没有分类时，改进只能凭印象挑问题，容易反复修同一处而真正的大类一直没动。
基本信息
| 规模 | 控制在 5-8 类，太多没人认真打标 |
|---|---|
| 归属 | 每条错误归入一个主类别，避免重复计数 |
| 输出 | 每版本各类占比与环比变化 |
| 动作 | 占比高的类优先投入，并对应具体改法 |
典型使用场景
- 版本迭代选题：用分类占比决定这一轮改什么
- 提示与数据归因：格式类多说明格式约束不足，知识类多说明要接检索
- 质量报告：用分类占比向业务解释问题结构
- 回归集建设：按类别补样本，避免只覆盖一类问题
错误分类示例
错误分类示例
E1 格式：JSON 不合法、字段缺失或类型不符
E2 知识：需要外部信息且给定资料里没有
E3 指令：违反显式约束（字数、禁用词、语言）
E4 正确性：与事实或给定资料冲突
E5 风格：语气、语言、受众不符合要求
统计口径：
- 每条错误只归主类别，按优先级 E4 > E1 > E3 > E2 > E5
- 输出每版本各类占比与环比变化
- 抽样复核 20 条，确认打标一致性再解读占比分类占比与改法对照
| 占比最高的类 | 说明 | 优先改法 |
|---|---|---|
| E1 格式 | 解析失败或字段缺失突出 | 加强格式约束与字段级校验规则 |
| E2 知识 | 问题超出资料范围 | 接入检索或补充资料，不要硬调提示 |
| E3 指令 | 显式约束被忽略 | 重写约束条款位置与措辞并做回归 |
| E4 正确性 | 输出与资料冲突 | 补引用校验与抽样人工复核 |
| E5 风格 | 语气受众不符 | 提供风格样例与风格卡自检 |
分类体系先粗后细。一开始就分二十类，标注的人记不住，一致性差，最后统计结果反而不可用。等某一类内部的错误模式稳定了，再拆子类。
打标也要抽样复核：同一批样本两人各打一遍，看归属是否一致。若一致率低，说明类别定义本身需要收敛，此时任何占比结论都要打折扣。