单项计算
单项计算
from ragas.metrics import faithfulness
from ragas import evaluate
result = evaluate(dataset, metrics=[faithfulness])
print(result["faithfulness"]) # 0~1,越高越“有据可依”freeform 答案中的常识补充会被判为不支撑:忠实度衡量“依据上下文”,与“实际正确”是两件事。
faithfulness 衡量答案中的事实性陈述有多少能由检索上下文支撑:先拆分答案陈述,再逐条判定是否被上下文蕴含,比值即忠实度;低分意味着幻觉或上下文误用。
from ragas.metrics import faithfulness
from ragas import evaluate
result = evaluate(dataset, metrics=[faithfulness])
print(result["faithfulness"]) # 0~1,越高越“有据可依”