抽取评估为什么按字段算
把所有字段混算一个准确率,会让关键字段的退化被大量简单字段稀释。做法是按字段统计,并把匹配分成三档:完全匹配(逐字相同)、归一化匹配(去空格、统一大小写与全半角后相同)、部分匹配(编辑距离在 1 以内或数值误差在阈值内)。此外要单独统计幻觉率——原文没有却被抽出来的字段属于严重错误。
基本信息
| 匹配分档 | 完全匹配 / 归一化匹配 / 部分匹配 |
|---|---|
| 必报指标 | 每字段三档命中率 + 缺失率 + 幻觉率 |
| 分母口径 | 可空字段与必填字段的有效样本数不同,需注明 |
| 关键字段 | 单独列出,不与普通字段混算 |
典型使用场景
- 票据抽取验收:金额字段必须完全匹配,其他字段允许归一化后匹配
- 姓名与地址抽取:允许去空格与全半角差异,但同音字需人工确认
- 日期抽取:格式差异走归一化比对,语义错误(年月日弄反)需单独看
- 合规字段核验:任何幻觉取值都视为严重错误并计入门槛
- 版本对比:按字段看哪个字段退化,指导提示针对性修改
字段级评估口径
字段级评估口径
完全匹配:字符串逐字相同
归一化匹配:去空格/大小写/全半角后相同
部分匹配:编辑距离 <= 1 或数值误差 <= 0.5%
报告:每字段三档命中率 + 缺失率 + 幻觉率(原文没有却抽出)
# 关键字段单独列,避免被简单字段平均掉
# 分母写清:可空字段的「正确抽空」如何计入
# 幻觉率单独成列,属严重错误,不应混进普通错误里指标与含义
| 指标 | 含义 | 口径提示 |
|---|---|---|
| 完全匹配率 | 逐字相同比例 | 金额与编号类字段的主指标 |
| 归一化匹配率 | 格式归一后相同 | 名称、地址类字段适用 |
| 部分匹配率 | 接近但不等 | 需人工看差异类型 |
| 缺失率 | 应填未填比例 | 可空字段要区分「正确留空」 |
| 幻觉率 | 原文没有却抽出 | 严重错误,单独设门槛 |
所有字段混算一个准确率会掩盖关键字段退化;金额、编号、日期这类字段应单独列出并设更高门槛。
可空字段把「正确抽空」算成命中会虚高;分母口径要在报告里写清,并区分必填与可选字段。