首页/AI/RAG 与向量库速查/RAG 回归测试与上线门禁

RAG 回归测试与上线门禁

把 RAG 拆成可回归的层级:解析切分层(切分数量与样例)、检索层(recall@k)、生成层(忠实度与格式)、端到端(答案抽查);每层设阈值与负责信号,任一变化都触发对比报告。

RAG 与向量库速查AI更新于 2026-10-12

层级回归

层代表指标变更触发
解析切分块数、块长度分布、抽样内容解析器/切分参数变更
检索recall@k、mrr、延迟模型/索引/过滤变更
生成faithfulness、引用合规率提示词/模型变更
端到端人工抽查通过率任一环节变更后

门禁命令示例

门禁命令示例
python eval/run.py --all --compare baseline.json \
  && echo "gates passed" || echo "regression detected"
允许的波动范围要写进门禁配置(如 recall 下降 >3% 阻断),避免人为主观放行。

易错点

  • 只在最终答案层设门禁,检索劣化被生成质量偶发掩盖
  • 基线文件长期不更新,对比结果长期失真

数据来源与参考

  • RAGAS 官方文档(评测流程)
  • Google Cloud 官方文档(ML 测试实践参考)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌