首页/AI/大模型部署与运维速查/磁盘与下载空间的估算
本包目录(267 条)
部署形态与选型43 条推理环境与 GPU50 条推理参数与优化50 条
显存与并发估算40 条
服务化与网关34 条运维监控与排障50 条

磁盘与下载空间的估算

磁盘容量按权重文件同算法估算(参数 × 精度字节),另加 tokenizer、配置与日志;下载与转换阶段需要临时空间,预留倍量更稳。

示例

示例
7B FP16 权重文件 ≈ 14 GB
7B GGUF Q4_K_M ≈ 4~5 GB(含元数据)
预留下载/转换临时空间:再留 0.5~1 倍
多版本权重并存(FP16 + 量化 + GGUF)时按份数累加,模型盘单独规划分区。

易错点

  • 模型盘放到快满分区:下载中途失败,错误却报在加载阶段

数据来源与参考

  • Hugging Face Hub 文档(huggingface.co/docs/hub)
  • vLLM 官方文档:模型下载(docs.vllm.ai)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌