加载已量化权重（示意）
加载已量化权重（示意）
# 需要安装 auto-gptq 等对应运行时
from transformers import AutoModelForCausalLM, AutoTokenizer
tok = AutoTokenizer.from_pretrained("<gptq 权重目录>")
model = AutoModelForCausalLM.from_pretrained("<gptq 权重目录>", device_map="cuda")量化在离线完成：校准集、位宽与分组参数都会影响质量，验证要用业务评测集。