首页/AI/RAG 与向量库速查/建立可回归的检索基线
本包目录(229 条)
架构与流程30 条解析与切分33 条
Embedding 与检索50 条
向量数据库49 条重排与生成32 条评估与优化35 条

建立可回归的检索基线

在功能开发的同时固化评测基线:固定查询集、gold 相关片段、指标脚本与数据快照;每次改动(切分、模型、参数、索引)跑同一套评测,用差异判断收益与回退。

RAG 与向量库速查AI更新于 2026-10-12

基线资产清单

基线资产清单
eval/
  queries.jsonl      # 80~200 条真实问题 + 期望答案要点
  gold.jsonl         # 每条查询的相关片段 id(标注或程序构建)
  run_eval.py        # recall@k / mrr / ndcg + 生成质量抽样
  snapshot/          # 参与评测的文档与分片版本号

回归对比输出

回归对比输出
print({"version": "2026-10-12", "recall@10": 0.87,
       "mrr@10": 0.71, "p95_ms": 180, "vs_prev": "+0.03 / -0.01 / +12"})
查询集要覆盖高频问题与边界问法(缩写、型号、错别字),并随产品迭代补充。

易错点

  • 评测数据夹带生产敏感内容未脱敏,评测仓库泄漏业务信息
  • 不保存数据快照,文档更新后历史指标无法复现

数据来源与参考

  • RAGAS 官方文档(评测流程)
  • TruLens 官方文档(RAG 评测基线)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌