首页/AI/大模型部署与运维速查/GPU 虚拟化与共享形态速览
推理环境与 GPU50 条

GPU 虚拟化与共享形态速览

常见共享形态各有取舍:PCIe 直通整卡给虚机、MIG 做硬件隔离切片、容器分时共享降低门槛;隔离性、粒度与运维复杂度差异明显,按场景选择。

MIG 规格查看

MIG 规格查看
nvidia-smi -L                 # 查看整卡与已有 MIG 实例
nvidia-smi mig -lgip          # 列出可创建的 GPU 实例规格
# 容器分时共享:k8s 侧由 device plugin 的 time-slicing 配置开启
PCIe 直通整卡给虚机,隔离好、粒度粗
MIG硬件隔离切片,显存与算力按档位划分
time-slicing容器分时共享,隔离弱、部署轻
分时共享下显存仍互相挤压:任一容器 OOM 会波及同卡其他容器,多租户生产优先隔离方案。

易错点

  • 把开发环境的分时共享配置直接搬进生产多租户:显存互相挤占,故障边界不清

数据来源与参考

  • NVIDIA MIG 用户指南(docs.nvidia.com/datacenter/tesla)
  • NVIDIA vGPU 文档(docs.nvidia.com/grid)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌