启用示意（vLLM，运行时机随版本变化）
启用示意（vLLM，运行时机随版本变化）
vllm serve <模型路径> --quantization fp8
# 支持矩阵与精度变体（e4m3/e5m2）以版本文档为准在线量化（加载时转换）与预量化权重是两条路径：前者准备成本低，后者行为更可控，按流程成熟度选择。
FP8 量化：新代 GPU 的加速选项
FP8 在 H 系列及更新的 GPU 上有原生算力：支持权重+激活的 W8A8 量化与 KV 缓存量化，显存与吞吐改善明显；前提是硬件与推理栈同时支持。
易错点
- 把 FP8 当通用开关：旧卡无原生支持会回落慢速路径，效果可能不如 BF16
数据来源与参考
- vLLM 官方文档：FP8 量化（docs.vllm.ai）
- NVIDIA Transformer Engine 文档（docs.nvidia.com/deeplearning/transformer-engine）