质量与性能一起看
量化上线前要同时验证两条线：质量上的业务评测集通过率、格式遵循与长文一致性，性能上的吞吐、首 token 延迟、逐词元延迟、显存水位与可并发序列数，缺一不可。只证明其中一条，等于把剩下那条的风险留给线上。
基本信息
| 适用平台 | 使用权重量化的推理服务 |
|---|---|
| 质量线 | 业务用例通过率与关键回归集 |
| 性能线 | 吞吐、延迟分位数、显存水位 |
| 留存要求 | 保留基线快照与量化版本记录 |
验证清单（示意）
验证清单（示意）
质量：业务用例通过率与关键回归集
性能：吞吐、首 token 延迟、逐词元延迟，对照未量化基线
资源：显存水位、缓存可容纳的并发数典型使用场景
- 上线前评估：两条线都达标才允许切换
- 版本对照：量化与未量化版本用同一评测集
- 回归覆盖：长文、格式要求与拒答边界三类样例
- 回退准备：保留基线快照，出问题时快速切回
两条线的判定
| 维度 | 看什么 | 不达标的处置 |
|---|---|---|
| 质量 | 业务通过率与格式遵循 | 回到未量化版本或更换量化方案 |
| 性能 | 吞吐与延迟分位数 | 调整批参数或更换实现 |
| 资源 | 显存水位与可并发数 | 重新核算容量 |
保留基线快照与量化版本记录：出问题时能快速回退，并定位是版本还是参数变化。
样本选取：回归集覆盖长文、格式要求与拒答边界三类样例，量化对这些场景更敏感。
评测跑两遍：第一遍可能受预热与缓存影响，第二遍的数据更接近稳定状态。
量化权重与引擎版本要配对记录：同一份量化权重换到另一个引擎上，表现可能不一样。
上线之后继续抽样：有些退化只在特定输入上出现，定期抽检比只做上线前评估更稳。