AWQ 是什么
AWQ（激活感知权重量化）按激活分布识别并保护重要通道，把权重压到 4 位（W4A16）。相比同等的低位宽方案，它通常质量保持较好、对校准集的依赖也相对小；主流推理框架内置支持，加载时按权重目录里的量化声明自动识别。
基本信息
| 量化对象 | 权重（W4A16） |
|---|---|
| 核心思路 | 按激活分布保护重要通道 |
| 质量特点 | 通常保持较好 |
| 使用方式 | 加载已量化权重即可 |
| 对比对象 | 其他 4 位权重方案 |
典型使用场景
- 需要在质量与显存之间取平衡的部署
- 从 FP16 过渡到 4 位的第一步尝试
- 多实例部署时降低单实例权重占用
- 单卡显存不够、又不愿意牺牲窗口长度
- 把候选方案的评测结果留档，换模型时可直接对照
- 把量化方式写进权重目录的说明，交接时不用靠猜
加载与对照
加载与对照
vllm serve <awq 权重的模型目录>
# 量化信息在权重目录的 config 中声明，引擎会自动识别
# 换方案前做一次对照：同一评测集分别跑 AWQ 与其它的 4 位权重选型要看什么
| 对比项 | AWQ | 其它 4 位方案 |
|---|---|---|
| 质量保持 | 通常较好 | 视模型而定 |
| 校准依赖 | 相对较小 | 往往更强 |
| 内核效率 | 取决于引擎 | 同样取决于引擎 |
| 结论方式 | 实测 | 实测 |
与另外的 4 位权重方案同属一个量级：显存取舍相近，选型要看实际质量与内核效率，别只盯着单一基准的数字。
选型结论只对实测过的模型与场景有效：换个模型重新跑一遍评测，比复用别人的结论省事得多。
同一次评测里把显存、吞吐与质量三项一起记录：只看其中一项很容易做出错误取舍。
把权重来源与量化工具版本记进台账：出现质量差异时，这是唯一能快速比对的信息。