评测基线是什么
评测基线把「当前系统应有的水平」固化下来：固定的查询集、标注好的相关片段、统一的指标脚本与数据快照。之后每次改动切分、换模型、调参数、换索引，都跑同一套评测并对比差异，判断是收益还是回退。它让优化从凭感觉变成有据可依，也让多人协作时的结论可对齐。
基本信息
| 核心资产 | 查询集、gold 标注、指标脚本、数据快照 |
|---|---|
| 起步规模 | 80 到 200 条真实问题，覆盖高频与边界问法 |
| 使用方式 | 每次改动跑同一套评测，记录与上次的差异 |
| 配套要求 | 指标与版本号绑定，历史结果可检索 |
典型使用场景
- 换 embedding 模型：对比新旧模型的召回与排序指标变化
- 调切分参数：块大小与重叠率调整后确认没有整体退化
- 上线门禁：发布前跑评测，指标下滑超阈值则拦截
- 故障复盘：回答质量下降时用基线判断是哪次改动引入
- 多人协作：不同人改动后都用同一把尺子衡量，减少口头争论
回归对比输出
回归对比输出
# eval/run_eval.py 的核心输出：指标与上次结果的差异
today = {"version": "2026-10-13", "recall@10": 0.87, "mrr@10": 0.71,
"p95_ms": 180, "faithful": 0.93}
print(today)
# 与上次结果对比后写入报告，指标下滑超阈值时让发布流程失败
基线资产清单
| 资产 | 内容 | 作用 |
|---|---|---|
| queries.jsonl | 真实问题与期望答案要点 | 统一提问口径，覆盖高频与长尾 |
| gold.jsonl | 每条查询对应的相关片段 id | 计算召回与排位指标 |
| run_eval.py | 指标计算与生成质量抽样 | 一键复现，避免人工口径差异 |
| snapshot | 参与评测的文档与分片版本 | 保证历史指标可复现可比较 |
查询集要覆盖高频问题与边界问法（缩写、型号、错别字），并随产品迭代补充；只放顺利问法会让指标长期虚高。
基线不是一次性工作：语料上限、模型档位或业务场景变化后，评测集也要跟着更新，否则测的是过时的问题分布。