对比示例（示意）
对比示例（示意）
70B 模型：
FP16：权重 ~140 GB + KV/工作区
4bit：权重 ~35 GB + KV/工作区（不变）
→ 总降幅取决于 KV/权重的比例规划时把量化收益只记在权重；KV 仍按原公式估，两者账目独立（KV 侧收益见 kv-quant-budget 条目）。
量化收益的正确预期
量化省的是权重一栏：4 位权重把权重降到约 1/4，但 KV、激活与工作区不随之缩小；总占用降幅由权重占比决定，长上下文场景降幅有限。
易错点
- 按权重降幅推总显存降幅：长窗口下 KV 是大头，实际改善远小于预期
数据来源与参考
- vLLM 官方文档：量化支持（docs.vllm.ai）
- Hugging Face 量化指南（huggingface.co/docs）