首页/AI/大模型部署与运维速查/模型加载慢:定位与加速
运维监控与排障50 条

模型加载慢:定位与加速

加载耗时由磁盘 IO、文件数量、校验与网络盘延迟决定;用分段计时量出加载阶段,区分冷缓存、慢盘还是网络盘,再对照手段加速。

分段观察

分段观察
ls -l <模型目录> | wc -l          # 分片数量(是否碎成大量小文件)
free -h                            # 首次加载前后看 buff/cache 变化
iostat -x 1                        # 需装 sysstat;看盘吞吐与 %util
  • 冷启动读盘:首次加载慢、第二次走页缓存明显变快,属正常现象
  • 网络盘(NFS/CIFS):小文件多时延迟放大,考虑本地 NVMe 或预先缓存
  • 多卡并行加载:张量并行下每个 rank 各自读盘,IO 压力成倍
  • 校验开销:加载时校验与镜像解压会占用时间,可在构建期前移
把「加载完成」与「服务就绪」分开计时:权重就绪后还有 CUDA Graph 捕获与预热。

易错点

  • 在 NFS 上直接跑大模型:加载时间抖动会被误判成服务性能问题

数据来源与参考

  • Hugging Face 官方文档:safetensors(设计包含速度考量)
  • vLLM 官方文档:Loading models(docs.vllm.ai)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌