首页/AI/大模型部署与运维速查/MIG 多实例 GPU 概念与命令
本包目录(267 条)
部署形态与选型43 条
推理环境与 GPU50 条
推理参数与优化50 条显存与并发估算40 条服务化与网关34 条运维监控与排障50 条

MIG 多实例 GPU 概念与命令

MIG 把一张数据中心卡切成多个隔离实例(各自有显存与算力),适合多租户或大小模型混部;消费卡不支持,切分档位随型号而定。

查看与启用(A100 等示例)

查看与启用(A100 等示例)
nvidia-smi -i 0 --query-gpu=mig.mode.current --format=csv
sudo nvidia-smi mig -lgip              # 列出可用的实例档位
sudo nvidia-smi mig -cgi 1g.10gb -C    # 按档位创建实例(档位以 -lgip 输出为准)
适用A100/H100 等数据中心卡
收益实例间显存与故障隔离
代价单实例算力按切分缩水、配置复杂度上升
MIG 实例在容器与 K8s 中可作为独立 GPU 资源申请,适合「小模型多租户」场景。

易错点

  • 在已切分的卡上直接跑整卡任务:报显存不足或设备不可用,先恢复整卡模式

数据来源与参考

  • NVIDIA MIG 用户指南(docs.nvidia.com/datacenter/tesla/mig-user-guide)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌