解码速度的上限来自带宽
自回归解码是访存受限的计算：每生成一个 token，都要把权重读一遍。因此单请求解码速度的理论上限约等于显存带宽除以每个 token 需要读取的权重大小。这解释了为什么量化权重解码更快：读取量变小了。它也说明优化并发时，答案通常在批处理而不在单请求速度。
理论上限估算示例
理论上限估算示例
# 公式
单请求 tokens/s ≈ 显存带宽 ÷ 权重总字节数
# 示例：70 亿参数半精权重约 14 GB，某卡带宽约 2039 GB/s
# 理论上限 ≈ 2039 ÷ 14 ≈ 145 tokens/s
# 实际值低于此数：还要看批内竞争、KV 读取与调度开销影响解码速度的因素
| 因素 | 影响方式 | 优化方向 |
|---|---|---|
| 权重体积 | 每个 token 要读取的数据量 | 量化降低读取量 |
| 显存带宽 | 决定单位时间能读多少数据 | 选带宽更高的卡型 |
| 批大小 | 批量增大能摊薄单 token 的读取开销 | 提高并发以提升总吞吐 |
| KV 读取 | 长上下文下 KV 读取量上升 | 控制上下文长度与缓存精度 |
| 调度与通信 | 多卡与排队带来额外开销 | 减少通信、合理配置并行 |
典型使用场景
- 解释性能差异：同参数量不同量化档位的解码速度差异
- 选卡判断：容量相同的情况下，带宽决定单请求速度量级
- 优化方向选择：单请求已到带宽上限时，转而优化批处理提升总吞吐
- 容量规划：按带宽与权重体积估算单请求速度，作为延迟基线
- 排障对照：实测远低于理论上限时，查批内竞争、KV 读取与降频
这条规律只描述单请求：多请求并发时总吞吐由批处理与调度决定，单请求速度下降而整体吞吐上升是正常现象。
把理论上限当承诺值：实际还受批内竞争、KV 读取与调度开销影响，容量与延迟承诺要留出余量。