验证清单（示意）
验证清单（示意）
质量：业务用例通过率 / 关键回归集
性能：tokens/s、TTFT、TPOT 对照 FP16 基线
资源：显存水位、KV 可容纳并发数保留基线快照与量化版本记录：出问题时能快速回退并定位是版本还是参数变化。
量化效果评估：质量与性能一起看
量化上线前同时验证两条线：质量（业务评测集通过率、格式遵循、长文一致性）与性能（吞吐、TTFT、TPOT、显存水位、可并发序列数），缺一不可。
易错点
- 只看困惑度微降就放行：下游任务可能差异明显，必须带业务样本回归
数据来源与参考
- vLLM 官方文档：量化（docs.vllm.ai）
- Hugging Face 量化指南（huggingface.co/docs）