GGUF 量化档位与选择

GGUF 是 llama.cpp 生态的权重格式，内置多档量化（Q4_K_M、Q5_K_M、Q8_0 等）：K 系列带混合精度策略，档位越高越接近原精度、文件越大。

本地运行与再量化

llama-server -m <模型>.Q4_K_M.gguf -c 4096    # 本地服务
# 把 F16 权重再量化（工具名以版本文档为准）
llama-quantize <f16.gguf> <out.gguf> Q4_K_M

通用起点：Q4_K_M；质量敏感上移 Q5/Q6；显存宽裕用 Q8 或 F16。带校准数据的量化方法可改善低比特质量，命令以版本文档为准。

‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌