维度对照
| 维度 | GPTQ | AWQ |
|---|---|---|
| 量化思路 | 逐层误差最小化 | 激活感知通道保护 |
| 校准依赖 | 相对敏感 | 相对鲁棒 |
| 引擎支持 | 广泛 | 广泛（vLLM 等内置） |
| 选型建议 | 先跑评测集比较质量与吞吐 | 同左 |
评测维度建议包含：知识问答、格式遵循、长文一致性与生成速度，避免只对比困惑度。
AWQ 与 GPTQ 的取舍对照
两种主流 4 位权重量化思路不同：GPTQ 逐层最小化量化误差、生态成熟；AWQ 按激活保护重要通道、对校准集依赖相对小；最终以同模型实测为准。
易错点
- 只比困惑度：格式遵循、长文一致性等业务指标可能给出相反结论
数据来源与参考
- AutoGPTQ 仓库（github.com/AutoGPTQ/AutoGPTQ）
- llm-awq 仓库（github.com/mit-han-lab/llm-awq）
- vLLM 官方文档：量化支持（docs.vllm.ai）