字段级评估口径
字段级评估口径
完全匹配:字符串逐字相同
归一化匹配:去空格/大小写/全半角后相同
部分匹配:编辑距离 <= 1 或数值误差 <= 0.5%
报告:每字段三档命中率 + 缺失率 + 幻觉率(原文没有却抽出)| 分档 | 业务对归一化后相同的接受度不同,分档报告便于讨论 |
|---|---|
| 幻觉 | 抽出原文不存在的内容要单独统计,属严重错误 |
| 分母 | 可空字段的有效样本数与必填字段不同,报告注明 |
抽取评估按字段算:完全匹配、归一化后匹配、部分匹配三档分开统计;整体通过率之外要报每字段指标。
完全匹配:字符串逐字相同
归一化匹配:去空格/大小写/全半角后相同
部分匹配:编辑距离 <= 1 或数值误差 <= 0.5%
报告:每字段三档命中率 + 缺失率 + 幻觉率(原文没有却抽出)| 分档 | 业务对归一化后相同的接受度不同,分档报告便于讨论 |
|---|---|
| 幻觉 | 抽出原文不存在的内容要单独统计,属严重错误 |
| 分母 | 可空字段的有效样本数与必填字段不同,报告注明 |