首页/AI/提示词工程速查/抽取任务的字段级评估
评估与迭代50 条

抽取任务的字段级评估

抽取评估按字段算:完全匹配、归一化后匹配、部分匹配三档分开统计;整体通过率之外要报每字段指标。

提示词工程速查AI更新于 2026-10-13

抽取评估为什么按字段算

把所有字段混算一个准确率,会让关键字段的退化被大量简单字段稀释。做法是按字段统计,并把匹配分成三档:完全匹配(逐字相同)、归一化匹配(去空格、统一大小写与全半角后相同)、部分匹配(编辑距离在 1 以内或数值误差在阈值内)。此外要单独统计幻觉率——原文没有却被抽出来的字段属于严重错误。

基本信息

匹配分档完全匹配 / 归一化匹配 / 部分匹配
必报指标每字段三档命中率 + 缺失率 + 幻觉率
分母口径可空字段与必填字段的有效样本数不同,需注明
关键字段单独列出,不与普通字段混算

典型使用场景

  • 票据抽取验收:金额字段必须完全匹配,其他字段允许归一化后匹配
  • 姓名与地址抽取:允许去空格与全半角差异,但同音字需人工确认
  • 日期抽取:格式差异走归一化比对,语义错误(年月日弄反)需单独看
  • 合规字段核验:任何幻觉取值都视为严重错误并计入门槛
  • 版本对比:按字段看哪个字段退化,指导提示针对性修改

字段级评估口径

字段级评估口径
完全匹配:字符串逐字相同
归一化匹配:去空格/大小写/全半角后相同
部分匹配:编辑距离 <= 1 或数值误差 <= 0.5%
报告:每字段三档命中率 + 缺失率 + 幻觉率(原文没有却抽出)
# 关键字段单独列,避免被简单字段平均掉
# 分母写清:可空字段的「正确抽空」如何计入
# 幻觉率单独成列,属严重错误,不应混进普通错误里

指标与含义

指标含义口径提示
完全匹配率逐字相同比例金额与编号类字段的主指标
归一化匹配率格式归一后相同名称、地址类字段适用
部分匹配率接近但不等需人工看差异类型
缺失率应填未填比例可空字段要区分「正确留空」
幻觉率原文没有却抽出严重错误,单独设门槛
所有字段混算一个准确率会掩盖关键字段退化;金额、编号、日期这类字段应单独列出并设更高门槛。
可空字段把「正确抽空」算成命中会虚高;分母口径要在报告里写清,并区分必填与可选字段。

易错点

  • 所有字段混算准确率,金额字段失效被名称字段的正确率掩盖
  • 可空字段把「正确地没抽出」也算成命中,指标虚高,实际覆盖率低
  • 归一化口径不统一(是否去空格、是否转小写),两版报告数字无法对比
  • 幻觉字段与普通错误混统计,严重错误被平均化,无法据此设门槛

数据来源与参考

  • 信息抽取评测惯例(字段级 precision/recall 与归一化匹配)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌