格式对照
| 格式 | 常见使用者 | 说明 |
|---|---|---|
| safetensors | vLLM / TGI / Transformers | 安全序列化格式,支持内存映射加载 |
| PyTorch bin(pickle) | 较早发布的模型 | 加载慢、存在反序列化风险 |
| GGUF | llama.cpp / Ollama | 单文件 + 多量化档位 |
| ONNX / TensorRT 引擎 | ONNX Runtime / TensorRT-LLM | 偏编译部署,与硬件绑定 |
查看模型目录内容
查看模型目录内容
ls models/<模型>/
# 关注:config.json、tokenizer*、*.safetensors、*.index.json同一仓库通常同时提供多种格式,按推理框架能力挑选,不要拿到哪种用哪种。