首页/AI/大模型部署与运维速查/K8s GPU 调度:device plugin 与资源申请
推理环境与 GPU50 条

K8s GPU 调度:device plugin 与资源申请

Kubernetes 通过 NVIDIA device plugin 把 GPU 暴露为扩展资源 nvidia.com/gpu,调度器按节点可分配数分配;MIG 切片与整卡以不同资源名呈现,申请写法一致。

安装与核对可分配资源

安装与核对可分配资源
helm repo add nvidia https://nvidia.github.io/k8s-device-plugin
helm install nvidia-device-plugin nvidia/nvidia-device-plugin
kubectl get node <节点名> -o json | jq '.status.allocatable["nvidia.com/gpu"]'

Pod 申请(清单片段)

Pod 申请(清单片段)
resources:
  limits:
    nvidia.com/gpu: 1    # GPU 属不可压缩资源,须写在 limits
MIG 切片以 nvidia.com/mig-<profile> 形式暴露;GPU Operator 可把驱动、容器运行时与插件一起纳管。

易错点

  • 只在 requests 里写 GPU:扩展资源不会生效,Pod 可能拿不到卡

数据来源与参考

  • NVIDIA k8s-device-plugin 文档(github.com/NVIDIA/k8s-device-plugin)
  • NVIDIA GPU Operator 文档(docs.nvidia.com/datacenter/cloud-native)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌