显存与并发估算40 条

KV 降精度：减半的并发账

KV 用 fp8 存储时字节数减半：等效于同一 KV 池下并发翻倍或窗口翻倍；vLLM 用 kv-cache-dtype 启用，需硬件与版本支持，质量影响需评测验证。

KV 降精度的并发账

KV 用 8 位存储时字节数减半：在同一个 KV 池下，等效于可并发序列数翻倍，或者可用窗口翻倍。主流引擎用 KV 缓存精度参数启用，需要硬件与版本支持，质量影响要通过评测确认，不能只看显存数字。

# 换算思路（按实际模型与精度折算，不要照抄数值）
# 每 token 的 KV 字节数减半 → 同一池子可容纳序列数约翻倍
# 窗口翻倍与并发翻倍是同一笔账的两种用法
vllm serve <模型路径> --kv-cache-dtype fp8

与权重 4 位量化叠加时收益独立成立：一个省权重、一个省 KV，分别记账才能把容量算准。

只在短窗口场景验证会低估收益：KV 本来就小时不显眼，长上下文场景才是它真正发挥作用的地方。

降精度之后要重算并发档位：KV 池能装更多序列，但并发上限还受调度能力与显存带宽约束。

把窗口与并发的取舍写进容量表：同一笔 KV 预算用在哪个方向，取决于业务更缺上下文长度还是更缺同时在线数。

‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌