首页/AI/大模型部署与运维速查/模型权重格式:safetensors / bin / GGUF / ONNX
部署形态与选型43 条

模型权重格式:safetensors / bin / GGUF / ONNX

权重格式决定能上哪些推理框架:safetensors 是服务端主流(vLLM、TGI 直接支持);GGUF 面向 llama.cpp 与 Ollama;ONNX 多用于跨平台与编译部署栈。

格式对照

格式常见使用者说明
safetensorsvLLM / TGI / Transformers安全序列化格式,支持内存映射加载
PyTorch bin(pickle)较早发布的模型加载慢、存在反序列化风险
GGUFllama.cpp / Ollama单文件 + 多量化档位
ONNX / TensorRT 引擎ONNX Runtime / TensorRT-LLM偏编译部署,与硬件绑定

查看模型目录内容

查看模型目录内容
ls models/<模型>/
# 关注:config.json、tokenizer*、*.safetensors、*.index.json
同一仓库通常同时提供多种格式,按推理框架能力挑选,不要拿到哪种用哪种。

易错点

  • 无 .index.json 的多分片权重在部分框架下无法自动合并加载,下载时确认索引文件齐全

数据来源与参考

  • Hugging Face safetensors 文档(huggingface.co/docs/safetensors)
  • llama.cpp 仓库(github.com/ggml-org/llama.cpp)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌