首页/AI/RAG 与向量库速查/RAGAS 评估框架入门
本包目录(229 条)

RAGAS 评估框架入门

RAGAS 面向 RAG 管线提供自动化评估:给定「问题、答案、检索上下文、(可选)标准答案」,计算忠实度、答案相关性、上下文精度与召回等指标;指标基于 LLM 与嵌入模型计算,需指定模型。

RAG 与向量库速查AI更新于 2026-10-12

最小示例(Python)

最小示例(Python)
from ragas import evaluate
from ragas.metrics import faithfulness, answer_relevancy, context_precision
from datasets import Dataset

ds = Dataset.from_dict({
    "question": ["如何选择向量数据库?"],
    "answer": ["按数据规模与过滤需求选择……"],
    "contexts": [["选型要考虑……", "Milvus 定位于……"]],
    "ground_truth": ["按规模、过滤、运维成本综合选择"],
})
result = evaluate(ds, metrics=[faithfulness, answer_relevancy, context_precision])
print(result)
评估结果依赖所用裁判模型:跨批次对比时固定模型与提示词版本,指标才可比。

易错点

  • 换裁判模型后直接对比历史分数,波动被误读为管线变化
  • 评估集上下文用了未切片原文,与线上检索行为不一致

数据来源与参考

  • RAGAS 官方文档(Get Started / Metrics)
  • Es et al., RAGAS: Automated Evaluation of Retrieval Augmented Generation (arXiv:2309.15217)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌