MIG 多实例 GPU 概念与命令
MIG 把一张数据中心卡切成多个隔离实例,每个实例有独立的显存与算力,适合多租户或大小模型混部。它属于硬件层面的切分,隔离性优于容器分时共享;消费卡不支持该能力,可用档位随型号与驱动而变,切换形态前需要先清空卡上的任务。
基本信息
| 适用 | 数据中心卡(消费卡不支持) |
|---|---|
| 收益 | 实例间显存与故障隔离 |
| 代价 | 单实例算力按切分缩水,配置复杂度上升 |
| 查看档位 | 列出可创建的实例规格后再决定切法 |
| 调度支持 | 切片可在容器与 Kubernetes 中作为独立 GPU 资源申请 |
典型使用场景
- 多租户:每个租户分到独立切片,故障与显存互不影响
- 大小模型混部:小模型占切片、大模型占整卡或更大切片
- 成本分摊:按切片计量,便于内部结算
- Kubernetes 调度:把切片作为独立资源类型分配给不同工作负载
- 对比评估:先小规模试切片方案,再决定是否长期采用
查看与启用(示例,档位以实际输出为准)
查看与启用(示例,档位以实际输出为准)
# 查询当前切片模式
nvidia-smi -i 0 --query-gpu=mig.mode.current --format=csv
# 列出可创建的实例档位
sudo nvidia-smi mig -lgip
# 按档位创建实例(档位编号以列表输出为准)
sudo nvidia-smi mig -cgi 1g.10gb -C与分时共享的差异
| 维度 | MIG 切片 | 容器分时共享 |
|---|---|---|
| 隔离方式 | 硬件隔离,显存独立 | 共享整卡,隔离弱 |
| 粒度 | 按固定档位切分 | 按时间片共享 |
| 单实例性能 | 受档位限制 | 随同卡负载波动 |
| 配置复杂度 | 较高,需规划档位 | 较低,配置即用 |
切片在容器与 Kubernetes 中可作为独立 GPU 资源申请,适合小模型多租户场景;调度侧按不同资源名区分整卡与切片。
切换切片形态要先把卡上的任务清空:有进程正在使用设备时无法完成模式切换,操作前先停服务再改配置。