两种四位权重量化的取舍
两种主流的四位权重量化思路不同：一种逐层最小化量化误差、生态成熟；另一种按激活分布保护重要通道、对校准集的依赖相对小。选型不能只看论文结论，要以同模型、同评测集实测为准，质量与吞吐两条线都要看。
基本信息
| 适用平台 | 支持权重量化的推理引擎 |
|---|---|
| 量化位宽 | 常见四位权重加分组量化 |
| 校准依赖 | 两者都需要校准数据，敏感程度不同 |
| 验证方式 | 同模型、同评测集对照质量与吞吐 |
维度对照
| 维度 | 逐层误差最小化 | 激活感知保护 |
|---|---|---|
| 量化思路 | 逐层最小化误差 | 按激活保护重要通道 |
| 校准依赖 | 相对敏感 | 相对鲁棒 |
| 引擎支持 | 广泛 | 广泛，主流引擎多已内置 |
| 选型建议 | 先跑评测集比较质量与吞吐 | 同左 |
典型使用场景
- 显存受限：权重量化是降低权重占用最直接的手段
- 吞吐优先：低精度权重通常带来更高吞吐
- 质量敏感任务：先跑评测集再决定能否上线
- 多引擎适配：先确认目标引擎对量化格式的支持
- 回退准备：保留未量化的权重版本以备切回
- 留档归档：量化权重与校准数据一起存放，复现与回退都有依据
评测维度建议包含知识问答、格式遵循、长文一致性与生成速度，避免只比困惑度。
量化格式与引擎版本绑定：升级引擎后要确认原有量化权重仍被支持，别等到上线才发现加载失败。
校准数据要贴近业务：用通用语料校准再跑业务任务，效果差异可能比预期大。
量化压的是权重，缓存仍按激活值精度存在：显存收益主要来自权重侧，容量核算别把两个口径混着算。