配置层级(示意,以版本文档为准)
配置层级(示意,以版本文档为准)
TensorRT-LLM:构建阶段启用 int8 / smooth-quant 流程
vLLM:部分后端支持加载 w8a8 量化权重W8A8 需要校准或提前量化流程:质量与收益要端到端测,不是换个开关了事。
把激活也压到 8 位(W8A8,常配合 SmoothQuant 类技术)以利用整型算力:TensorRT-LLM 等栈提供支持;相比纯权重量化,对算子与部署流程要求更高。
TensorRT-LLM:构建阶段启用 int8 / smooth-quant 流程
vLLM:部分后端支持加载 w8a8 量化权重