FP8 量化是什么
FP8 在 H 系列及更新的数据中心 GPU 上有原生算力支持：既能做权重与激活的 8 位量化（W8A8），也能用在 KV 缓存上，显存与吞吐的改善都比较直接。前提是硬件与推理栈同时支持；在老卡上要么不支持，要么回落到慢速路径，效果可能还不如 BF16。
基本信息
| 原生支持 | H 系列及更新的数据中心 GPU |
|---|---|
| 量化范围 | 权重与激活、KV 缓存 |
| 精度变体 | e4m3 / e5m2（以文档为准） |
| 实现路径 | 在线量化或预量化权重 |
| 前提 | 硬件与推理栈同时支持 |
典型使用场景
- 新卡上想同时拿到吞吐与显存收益
- 长上下文场景把 KV 也降到 8 位
- 成本敏感场景用更少资源撑同样的流量
- 对比不同量化路线的实际收益
- 为容量规划提供一份 8 位精度的基线数据
- 把量化方式与版本记进模型台账，便于后续回溯
启用与验证
启用与验证
vllm serve <模型路径> --quantization fp8
# 支持矩阵与精度变体（e4m3/e5m2）以版本文档为准
# 上线前验证两项：显存水位是否变化、固定评测集的质量对比四项逐条确认
| 检查项 | 怎么确认 | 说明 |
|---|---|---|
| 硬件支持 | 查算力代际 | 老卡没有原生支持 |
| 量化是否生效 | 看显存与吞吐变化 | 未生效时指标基本不变 |
| 质量影响 | 固定评测集对比 | 位宽下降需要回归 |
| 精度变体 | 按文档选择 | 影响范围与稳定性 |
在线量化（加载时转换）与预量化权重是两条路径：前者准备成本低，后者行为更可控，按团队流程的成熟度选择。
FP8 的收益与模型结构有关：注意力层占比高的模型通常收益更明显，逐模型实测比套用别人的经验值可靠。
把不同量化路线的对照结果做成一张表：换模型时直接查表，比重新做一轮实验省事。