常见档位（近似）
| 档位 | 7B 模型体积量级 | 特点 |
|---|---|---|
| Q8_0 | 约 7 GB | 接近原始精度，体积仍较大 |
| Q5_K_M | 约 5 GB | 质量与体积平衡 |
| Q4_K_M | 约 4.4 GB | 常用起点，显存占用低 |
| Q3_K_M | 约 3.3 GB | 质量开始可见下降 |
| Q2_K | 约 2.7 GB | 仅极端受限场景 |
转换与量化（llama.cpp 工具链）
转换与量化（llama.cpp 工具链）
python convert_hf_to_gguf.py ./models/<模型> --outfile model-f16.gguf --outtype f16
./build/bin/llama-quantize model-f16.gguf model-Q4_K_M.gguf Q4_K_M体积为近似值，随模型结构与工具版本浮动；上线前用固定评测集对比质量。