首页/AI/RAG 与向量库速查/归因评估(Attribution)
本包目录(229 条)

归因评估(Attribution)

归因评估检查答案中的每条陈述能否追溯到给定片段:常用 RAGAS 的 faithfulness、Attributed QA 等思路;报告按“完全支撑 / 部分支撑 / 不支撑”分层统计,比单一分数更能定位问题。

RAG 与向量库速查AI更新于 2026-10-12

分层统计示例

分层统计示例
stats = {"full": 0, "partial": 0, "none": 0}
for sent in split_sentences(answer):
    label = judge_attribution(sent, chunks)     # full / partial / none
    stats[label] += 1
print(stats)   # 关注 none 比例与原因样例
数字、条件、时间限定的错误最容易出现在“部分支撑”:引用存在但数值被改写。

易错点

  • 只看整体分数不看分层样例,改进无从下手
  • 把“部分支撑”按完全支撑放过,数字错误被漏掉

数据来源与参考

  • Es et al., RAGAS: Automated Evaluation of Retrieval Augmented Generation (arXiv:2309.15217)
  • Bohnet et al., Attributed Question Answering (arXiv:2212.08037)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌