选型观察点
| 维度 | 验证方式 |
|---|---|
| 长文稳定性 | 多片段（8+）场景下的忠实度与遗漏 |
| 指令遵循 | 引用格式与“不知道”行为的落实率 |
| 中文质量 | 术语、数字、单位表述准确性抽样 |
| 成本/延迟 | 默认参数下的 P95 与单次费用 |
A/B 对比脚本骨架
A/B 对比脚本骨架
for model in ["model-a", "model-b"]:
scores = run_eval(eval_set, model=model, prompt=PROMPT_VERSION)
print(model, {"faithful": scores.faithful, "cite_ok": scores.cite_ok,
"p95_ms": scores.p95, "cost": scores.cost})模型升级要像代码一样管理：绑定评测集跑回归，保留回退开关。