首页/AI/大模型部署与运维速查/MIG 多实例 GPU 概念与命令
推理环境与 GPU50 条

MIG 多实例 GPU 概念与命令

MIG 把一张数据中心卡切成多个隔离实例(各自有显存与算力),适合多租户或大小模型混部;消费卡不支持,切分档位随型号而定。

MIG 多实例 GPU 概念与命令

MIG 把一张数据中心卡切成多个隔离实例,每个实例有独立的显存与算力,适合多租户或大小模型混部。它属于硬件层面的切分,隔离性优于容器分时共享;消费卡不支持该能力,可用档位随型号与驱动而变,切换形态前需要先清空卡上的任务。

基本信息

适用数据中心卡(消费卡不支持)
收益实例间显存与故障隔离
代价单实例算力按切分缩水,配置复杂度上升
查看档位列出可创建的实例规格后再决定切法
调度支持切片可在容器与 Kubernetes 中作为独立 GPU 资源申请

典型使用场景

  • 多租户:每个租户分到独立切片,故障与显存互不影响
  • 大小模型混部:小模型占切片、大模型占整卡或更大切片
  • 成本分摊:按切片计量,便于内部结算
  • Kubernetes 调度:把切片作为独立资源类型分配给不同工作负载
  • 对比评估:先小规模试切片方案,再决定是否长期采用

查看与启用(示例,档位以实际输出为准)

查看与启用(示例,档位以实际输出为准)
# 查询当前切片模式
nvidia-smi -i 0 --query-gpu=mig.mode.current --format=csv

# 列出可创建的实例档位
sudo nvidia-smi mig -lgip

# 按档位创建实例(档位编号以列表输出为准)
sudo nvidia-smi mig -cgi 1g.10gb -C

与分时共享的差异

维度MIG 切片容器分时共享
隔离方式硬件隔离,显存独立共享整卡,隔离弱
粒度按固定档位切分按时间片共享
单实例性能受档位限制随同卡负载波动
配置复杂度较高,需规划档位较低,配置即用
切片在容器与 Kubernetes 中可作为独立 GPU 资源申请,适合小模型多租户场景;调度侧按不同资源名区分整卡与切片。
切换切片形态要先把卡上的任务清空:有进程正在使用设备时无法完成模式切换,操作前先停服务再改配置。

易错点

  • 在已切分的卡上直接跑整卡任务:报显存不足或设备不可用,先恢复整卡模式
  • 以为切片是软隔离可以随意超配:显存与算力按档位固定,超配会直接失败
  • 切分档位照抄他人配置:可用档位随型号与驱动不同,先用列表命令确认
  • 在消费卡上尝试切片:不支持该能力,先确认卡型再规划方案

数据来源与参考

  • NVIDIA MIG 用户指南(docs.nvidia.com/datacenter/tesla/mig-user-guide)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌