检索评估流水线搭建

检索评估的最小闭环：收集真实问题 → 标注相关片段（人工或程序辅助）→ 脚本化计算 recall@k / mrr / ndcg → 与当前线上配置对照出报告；数据与脚本入库，版本化可复跑。

RAG 与向量库速查AI更新于 2026-10-12

目录与命令

eval/
  dataset/questions.jsonl     # 问题 + 标准相关片段 id
eval/run.py                   # 计算指标

python eval/run.py --index kb_v3 --topk 10
# 输出：recall@10=0.86  mrr@10=0.72  ndcg@10=0.79

标注辅助

# 用强模型先给出候选相关片段，人工只做增删改
candidates = retriever.search(q, top_k=20)
label = human_review(strong_model_label(candidates, q))

标注量从 50～100 条问答起步即可发现主要问题，之后持续增补。

易错点

问题集只覆盖高频问法，长尾与口语化问法未被评测
标注不记录判定理由，分歧无法复盘

数据来源与参考

Manning et al., Introduction to Information Retrieval（评测方法）
RAGAS 官方文档（评测集构建建议）

继续搜索

常用关键词：3389 traceroute iptables 子网掩码 docker

‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌