每 token KV 心算算例

把公式压成「每 token 大小」做心算：拿到层数、KV 头数与头维度后一次算出量级，再乘窗口与并发；fp8 KV 直接减半。

算例：80 层 / 8 KV 头 / 128 维 / FP16

每 token：2 × 80 × 8 × 128 × 2 B ≈ 320 KiB
8K 窗口：320 KiB × 8192 ≈ 2.5 GiB / 序列
16 并发：≈ 40 GiB
（KV 用 fp8 存储时字节数减半）

同样算法换成 4K 窗口或 32 并发即可快速得到另一张表：先心算再上机验证。

‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌