首页/AI/大模型部署与运维速查/服务端 INT8(W8A8)路径
推理参数与优化50 条

服务端 INT8(W8A8)路径

把激活也压到 8 位(W8A8,常配合 SmoothQuant 类技术)以利用整型算力:TensorRT-LLM 等栈提供支持;相比纯权重量化,对算子与部署流程要求更高。

配置层级(示意,以版本文档为准)

配置层级(示意,以版本文档为准)
TensorRT-LLM:构建阶段启用 int8 / smooth-quant 流程
vLLM:部分后端支持加载 w8a8 量化权重
W8A8 需要校准或提前量化流程:质量与收益要端到端测,不是换个开关了事。

易错点

  • 把它当 W4A16 的平替:激活量化对异常值敏感,质量调参空间不同,评测不能省

数据来源与参考

  • TensorRT-LLM 文档(nvidia.github.io/TensorRT-LLM)
  • vLLM 官方文档:量化支持(docs.vllm.ai)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌