GPU 共享形态速览
常见的 GPU 共享形态各有取舍:整卡直通给虚机、按档位做硬件切片、容器层面的分时共享。隔离性、粒度与运维复杂度差异明显——隔离越好配置越重,粒度越细损耗越显著,因此选型要先明确是多租户还是单租户、要隔离还是要成本。
基本信息
| 整卡直通 | 整卡给虚机,隔离好、粒度粗 |
|---|---|
| 硬件切片 | 显存与算力按档位划分,隔离较好 |
| 分时共享 | 容器分时使用整卡,隔离弱、部署轻 |
| 选择依据 | 租户隔离要求、成本预算与运维能力 |
| 注意点 | 分时共享下显存仍会互相挤占 |
典型使用场景
- 多租户生产:优先选择有硬件隔离的方案,故障边界清晰
- 开发与测试环境:分时共享够用,成本更低
- 虚机上运行 GPU 任务:直通整卡,虚机内部按传统方式运维
- 小模型规模部署:把一张卡切成多个切片,按需分配
- 成本与隔离的平衡评估:按业务敏感度分环境选择不同形态
切片规格查看
切片规格查看
# 查看整卡与已有切片实例
nvidia-smi -L
# 列出可创建的实例规格档位
nvidia-smi mig -lgip
# 容器分时共享:由调度侧的共享配置开启,隔离性弱于硬件切片三种形态对照
| 形态 | 隔离性 | 适用 |
|---|---|---|
| 整卡直通 | 高,整卡独占 | 虚机承载的单租户任务 |
| 硬件切片 | 中高,显存与故障隔离 | 多租户小模型混部 |
| 分时共享 | 弱,共享显存与算力 | 开发测试与低敏感场景 |
分时共享下显存仍互相挤压:任一容器出现显存不足都可能波及同卡其他容器,多租户生产环境优先选择带隔离的方案。
隔离性与成本基本成正比:按业务敏感度分环境选择,不要把开发环境的分时共享策略直接带到生产。