加载 AWQ 权重（vLLM）
加载 AWQ 权重（vLLM）
vllm serve <awq 权重的模型目录>
# 量化信息在权重目录的 config 中声明，引擎自动识别与 GPTQ 同属 4 位权重方案：显存取舍相近，选型看实际质量与内核效率，别只看单一基准。
AWQ：激活感知的 4 位量化
AWQ（激活感知权重量化）按激活分布保护重要通道，4 位权重（W4A16）通常质量保持较好、对校准集依赖相对小；主流推理框架内置支持。
易错点
- 照宣传语直接换方案：不同模型上 AWQ 与 GPTQ 各有胜负，先跑评测再定
数据来源与参考
- llm-awq 仓库（github.com/mit-han-lab/llm-awq）
- vLLM 官方文档：量化支持（docs.vllm.ai）