bitsandbytes 是什么
bitsandbytes 在加载时直接做 8 位或 4 位（NF4）量化，不需要预先量化好的权重，因此上手很快，常用于实验与显存紧张的单机场景。代价是反量化存在额外开销，在线高并发下的吞吐通常不及面向推理优化的量化内核。
基本信息
| 量化时机 | 加载时即时量化 |
|---|---|
| 支持位宽 | 8 位、4 位 NF4 |
| 主要优点 | 无需预量化权重，上手快 |
| 主要代价 | 反量化开销 |
| 适用场景 | 实验与单机部署 |
典型使用场景
- 本地快速试跑一个原本装不下的模型
- 显存紧张时先把服务跑起来
- 做量化效果的初步验证
- 教学与演示环境
- 把试跑用的配置单独存档，避免与生产配置混在一起
- 记录试跑时的显存与吞吐数据，作为迁移到预量化方案的对照
4 位加载
4 位加载
from transformers import AutoModelForCausalLM, BitsAndBytesConfig
bnb = BitsAndBytesConfig(load_in_4bit=True, bnb_4bit_quant_type="nf4")
model = AutoModelForCausalLM.from_pretrained(
"<模型路径>", quantization_config=bnb, device_map="cuda")
# 需要 8 位时改用 load_in_8bit=True什么时候用它
| 场景 | 是否合适 | 原因 |
|---|---|---|
| 本地试跑 | 合适 | 免预量化、上手快 |
| 单机低并发 | 可以 | 开销可以接受 |
| 在线高并发 | 不推荐 | 反量化开销随批量放大 |
| 快速对照实验 | 合适 | 便于比较不同位宽 |
NF4 与 8 位都属于即用量化：反量化有开销，做在线高并发之前先与预量化方案对比吞吐，别直接上线。
8 位与 4 位在显存与质量上的取舍不同：先确认模型与任务能接受哪种损失，再决定位宽，而不是默认用最小的那个。
它更适合实验与验证阶段：真正上生产时把结论迁移到预量化方案上，通常能拿到更好的吞吐。
切换位宽要重跑一次基线：显存与延迟都会变，原先标定的并发档位不再适用。
试跑结论要标注适用条件：把它当成生产建议，容易让人误以为该位宽在任何负载下都够用。