首页/AI/RAG 与向量库速查/DeepEval 与 CI 中的评测
本包目录(229 条)

DeepEval 与 CI 中的评测

DeepEval 以测试用例方式组织评测:把问题、检索上下文与输出写成用例,断言各指标阈值,接入 CI 后每次发布自动跑回归——评测从“一次性报告”变成“持续门禁”。

RAG 与向量库速查AI更新于 2026-10-12

用例与断言(示意)

用例与断言(示意)
from deepeval import evaluate
from deepeval.metrics import FaithfulnessMetric, AnswerRelevancyMetric
from deepeval.test_case import LLMTestCase

tc = LLMTestCase(input="如何评估召回?", actual_output=answer,
                 retrieval_context=chunks, expected_output=gold)
evaluate([tc], metrics=[FaithfulnessMetric(threshold=0.7),
                        AnswerRelevancyMetric(threshold=0.7)])
CI 门禁阈值先按当前基线设定(如不下滑 5%),避免一次性拉高导致无人愿意合代码。

易错点

  • 评测自动跑但没人看结果,门禁形同虚设
  • 阈值直接照抄文档默认值,与业务基线不匹配

数据来源与参考

  • DeepEval 官方文档(RAG Metrics / CI 集成)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌