显存与并发估算40 条

KV 降精度：减半的并发账

KV 用 fp8 存储时字节数减半：等效于同一 KV 池下并发翻倍或窗口翻倍；vLLM 用 kv-cache-dtype 启用，需硬件与版本支持，质量影响需评测验证。

减半换算与启用

# 每 token 320 KiB（FP16）→ 160 KiB（fp8）
# 同一 KV 池可并发序列数约 ×2（其余条件不变）
vllm serve <模型路径> --kv-cache-dtype fp8

与权重 4 位量化叠加时收益独立成立：一个省权重、一个省 KV，分别记账。

‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌