指标计算
指标计算
from ragas.metrics import answer_relevancy
from ragas import evaluate
res = evaluate(dataset, metrics=[answer_relevancy])
print(res["answer_relevancy"])冗长但切题的答案得分往往仍高：该指标对“答非所问”敏感、对“啰嗦”不敏感。
答案相关性（Answer Relevancy）
answer_relevancy 反向生成问题：用答案让模型“还原”它可能回答的问题，再与原问题比较相似度；衡量答案是否切题，不评价事实正确性。
易错点
- 答案回避问题（全是免责声明）时相关性低，需要结合忠实度一起看
- 该指标不检查正确性，单看它会放过事实错误
数据来源与参考
- RAGAS 官方文档（Answer Relevancy）
- Es et al., RAGAS (arXiv:2309.15217)