KV 缓存精度：fp8 选项

KV 缓存可降精度存储以降低显存占用、抬高并发上限：vLLM 提供 --kv-cache-dtype fp8（还有平台相关的 fp8 变体）；对长上下文场景的效果直接，但需评估精度影响。

启用（vLLM 示意）

vllm serve <模型路径> --kv-cache-dtype fp8
# 取值与可用性随硬件与版本变化，以版本文档为准

并非所有硬件组合都生效：验证方式是看 KV 水位与并发上限是否真实变化，再做小流量质量对比。

‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌