| faithfulness | 答案中的每个论断能否从检索上下文推出（抗幻觉核心指标） |
|---|---|
| answer relevancy | 答案是否切题 |
| context precision | 检索内容中相关比例 |
| context recall | 应有的信息是否都检索到 |
| 前提 | 需要 LLM 裁判与标注集，评测本身也花 token |
RAGAS 评估（Python 示意）
RAGAS 评估（Python 示意）
from datasets import Dataset
from ragas import evaluate
from ragas.metrics import faithfulness, answer_relevancy
ds = Dataset.from_dict({
"question": ["如何计算缓存折扣？"],
"answer": ["缓存命中的输入 token 按更低折扣价计费……"],
"contexts": [["缓存命中按更低单价计费，写入按标准价……"]],
"ground_truth": ["命中缓存的输入按折扣价计费。"],
})
result = evaluate(ds, metrics=[faithfulness, answer_relevancy])
print(result)LLM 裁判本身有波动：固定裁判模型与版本、跑两次看一致性，重要结论人工复核。