上线前的检查清单
上线前把评估拆成四组来查：检索（recall@k、MRR、P95 延迟）、生成（忠实度、引用合规、输出格式）、鲁棒性（无答案、提示注入、多轮对话）、运维（回滚预案、成本上限、监控告警）。每一项都要有基线数据与达标证据，缺一项就是一个风险敞口；清单本身还要随每次故障复盘持续补充，越用越厚实。
基本信息
| 检索组 | recall@k、MRR、P95 延迟与索引冒烟测试 |
|---|---|
| 生成组 | 忠实度、引用合规率、输出格式合法性 |
| 鲁棒性组 | 无答案集、提示注入样例、多轮对话 |
| 运维组 | 回滚预案、成本上限、监控告警与演练记录 |
典型使用场景
- 发版前评审：按清单逐项确认证据齐备，再决定是否放行
- 需求验收：把清单作为交付标准写进需求文档，避免上线前临时补测
- 事故复盘：每次线上问题都补一条检查项，防止同类问题重现
- 跨团队对齐：产品、研发与运维对「做到什么程度算达标」有共同依据
- 季度体检：对已上线的系统重新过一遍清单，确认没有随时间退化
发布前命令
发布前命令
python eval/run.py --all --compare baseline.json # 指标与基线对比
pytest tests/rag_robustness -q # 鲁棒性用例
docker compose -f smoke.yml up # 索引冒烟测试
# 三项都通过再触发发布流程，任何一项失败都要先定位原因
检查维度
| 维度 | 代表项 | 达标证据 |
|---|---|---|
| 检索 | recall@10、P95 延迟 | 评测报告与监控面板 |
| 生成 | 忠实度、引用合规率 | 评测报告与抽查记录 |
| 鲁棒性 | 无答案集、注入样例、多轮 | 专项测试记录 |
| 运维 | 回滚预案、成本上限、告警 | 演练记录与配置 |
清单要随故障复盘更新：每次生产问题都补一条检查项，否则同一类问题会以不同形式反复出现。
证据要能复现：评测报告注明语料快照与模型版本，监控面板给出时间范围，抽查记录写明样本量，否则「达标」只是一个说法。
清单要区分「必须项」与「改进项」：必须项缺失就不放行，改进项排入迭代计划，否则一张越来越长的清单会拖慢每一次发布。