首页/AI/大模型部署与运维速查/模型盘与加载 IO:本地盘与页缓存
本包目录(267 条)
部署形态与选型43 条
推理环境与 GPU50 条
推理参数与优化50 条显存与并发估算40 条服务化与网关34 条运维监控与排障50 条

模型盘与加载 IO:本地盘与页缓存

大模型加载受磁盘读带宽与页缓存命中影响:模型放本地 NVMe 能缩短冷启动,多实例共用同一模型文件时页缓存命中与否差异明显。

读盘测速与缓存观察

读盘测速与缓存观察
# 顺序读测速(按实际模型文件大小调整)
dd if=/models/weights.safetensors of=/dev/null bs=1M status=progress
free -h                       # 页缓存占用
cat /proc/meminfo | grep -i cached
加载慢先分流:是读盘慢还是拷贝到显存慢,用 iostat 与 nvidia-smi 同时观察可分辨。
容器场景避免把模型放网络存储上:带宽与延迟波动会直接放大冷启动时间。

易错点

  • 模型放机械盘或网络存储:加载时间波动大,冷启动超时经常源于这里

数据来源与参考

  • Linux 内核文档:/proc/meminfo(kernel.org)
  • NVIDIA 数据中心部署指南(docs.nvidia.com/datacenter)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌