量化收益的正确预期
量化省的主要是权重那一栏：4 位权重把权重降到约四分之一，但 KV、激活与工作区不会随之缩小。总占用的降幅由权重在总量中的占比决定，因此在长上下文场景下，实际改善远小于按权重比例算出的数字。
基本信息
| 量化主要省 | 权重 |
|---|---|
| 不受影响 | KV、激活、工作区 |
| 总降幅取决于 | 权重在总量中的占比 |
| 长上下文 | 降幅更小 |
| 规划做法 | 两笔账分开算 |
典型使用场景
- 做显存预算时避免高估收益
- 向需求方解释为什么量化后并发提升有限
- 决定该降权重精度还是降 KV 精度
- 对比不同配置方案的性价比
- 把量化前后的并发上限实测一遍，作为容量表的输入
以 70B 为例
以 70B 为例
# FP16：权重约 140 GB + KV/工作区
# 4bit：权重约 35 GB + KV/工作区（不变）
# 总降幅取决于 KV 与权重的比例，长窗口下 KV 占比更高
# 示意口径，按实际精度重算哪些项会下降
| 项目 | 量化后是否下降 | 说明 |
|---|---|---|
| 权重 | 下降明显 | 4 位约降至四分之一 |
| KV | 不变 | 想省要单独降 KV 精度 |
| 激活与工作区 | 不变 | 随批次与后端变化 |
规划时把量化收益只记在权重一栏，KV 仍按原公式估：两笔账独立，混在一起算就会偏乐观，上线时才发现并发没涨。
想同时省权重与 KV，要分别使用权重量化与 KV 降精度两个手段：它们互补，收益可以叠加，容量表要把两项分开列。
省下来的显存最好有明确用途：扩窗口、提并发还是换更小的机型，三者对配置的要求完全不同。
多卡切分时量化收益按卡折算：每张卡的权重都会缩，但 KV 与工作区按各自的配置与切分方式分摊。