首页/AI/RAG 与向量库速查/RAG 上线评估检查清单
本包目录(229 条)

RAG 上线评估检查清单

上线前的评估检查清单:检索(recall@k、延迟)、生成(忠实度、引用合规、格式)、鲁棒性(无答案、注入、多轮)、运维(监控、回滚、成本);全部有基线数据再上生产,单项缺失即风险敞口。

RAG 与向量库速查AI更新于 2026-10-12

检查维度

维度代表项达标证据
检索recall@10、P95 延迟评测报告 + 监控面板
生成忠实度、引用合规率评测报告 + 抽查记录
鲁棒性无答案集、注入样例、多轮专项测试记录
运维回滚预案、成本上限、告警演练记录 + 配置

发布前命令(示例)

发布前命令(示例)
python eval/run.py --all --compare baseline.json
pytest tests/rag_robustness -q
# 两项均绿再触发发布流程
清单要随故障复盘更新:每次生产问题都补一条检查项。

易错点

  • 只测正常问题不测无答案与注入样例,上线后暴露
  • 没有回滚预案,提示词上线出问题只能临时手改

数据来源与参考

  • RAGAS 官方文档(评测维度)
  • OWASP 官方文档(LLM 应用安全检查)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌