4 位加载（示意）
4 位加载（示意）
from transformers import AutoModelForCausalLM, BitsAndBytesConfig
bnb = BitsAndBytesConfig(load_in_4bit=True, bnb_4bit_quant_type="nf4")
model = AutoModelForCausalLM.from_pretrained("<模型路径>", quantization_config=bnb, device_map="cuda")NF4 与 int8 都属即用量化：反量化有开销，做在线高并发前先与 AWQ/GPTQ/FP8 路线对比吞吐。