显存带宽决定解码速度上限

自回归解码是内存受限型计算：每生成一个 token 要读一遍权重，因此单请求解码速度的理论上限约等于显存带宽除以每 token 需读取的权重字节数。

理论上限估算示例

公式：单请求 tokens/s ≈ 显存带宽 ÷ 权重总字节数

示例：7B FP16 权重 ≈ 14 GB
A100 80GB 带宽 ≈ 2039 GB/s
理论上限 ≈ 2039 ÷ 14 ≈ 145 tokens/s（实际低于此值，批处理可提升总吞吐）

这解释了为什么同参数量的量化版权重体积更小、解码更快：每 token 的读取量下降了。

‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌