首页/AI/大模型部署与运维速查/GPU 虚拟化与共享形态速览
推理环境与 GPU50 条

GPU 虚拟化与共享形态速览

常见共享形态各有取舍:PCIe 直通整卡给虚机、MIG 做硬件隔离切片、容器分时共享降低门槛;隔离性、粒度与运维复杂度差异明显,按场景选择。

GPU 共享形态速览

常见的 GPU 共享形态各有取舍:整卡直通给虚机、按档位做硬件切片、容器层面的分时共享。隔离性、粒度与运维复杂度差异明显——隔离越好配置越重,粒度越细损耗越显著,因此选型要先明确是多租户还是单租户、要隔离还是要成本。

基本信息

整卡直通整卡给虚机,隔离好、粒度粗
硬件切片显存与算力按档位划分,隔离较好
分时共享容器分时使用整卡,隔离弱、部署轻
选择依据租户隔离要求、成本预算与运维能力
注意点分时共享下显存仍会互相挤占

典型使用场景

  • 多租户生产:优先选择有硬件隔离的方案,故障边界清晰
  • 开发与测试环境:分时共享够用,成本更低
  • 虚机上运行 GPU 任务:直通整卡,虚机内部按传统方式运维
  • 小模型规模部署:把一张卡切成多个切片,按需分配
  • 成本与隔离的平衡评估:按业务敏感度分环境选择不同形态

切片规格查看

切片规格查看
# 查看整卡与已有切片实例
nvidia-smi -L

# 列出可创建的实例规格档位
nvidia-smi mig -lgip

# 容器分时共享:由调度侧的共享配置开启,隔离性弱于硬件切片

三种形态对照

形态隔离性适用
整卡直通高,整卡独占虚机承载的单租户任务
硬件切片中高,显存与故障隔离多租户小模型混部
分时共享弱,共享显存与算力开发测试与低敏感场景
分时共享下显存仍互相挤压:任一容器出现显存不足都可能波及同卡其他容器,多租户生产环境优先选择带隔离的方案。
隔离性与成本基本成正比:按业务敏感度分环境选择,不要把开发环境的分时共享策略直接带到生产。

易错点

  • 把开发环境的分时共享配置直接搬进生产多租户:显存互相挤占,故障边界不清
  • 以为切片后算力按比例线性变化:切片按固定档位划分,单切片性能受档位限制
  • 虚机直通后按整卡规划并发:虚机内的驱动与工具链需要独立维护,容量与物理机不完全等价
  • 忽略共享形态对监控的影响:分时共享下卡级指标难以归属到具体租户,计量与计费会失真

数据来源与参考

  • NVIDIA MIG 用户指南(docs.nvidia.com/datacenter/tesla)
  • NVIDIA vGPU 文档(docs.nvidia.com/grid)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌