首页/AI/大模型部署与运维速查/Kubernetes 部署推理服务要点
本包目录(267 条)
部署形态与选型43 条
推理环境与 GPU50 条推理参数与优化50 条显存与并发估算40 条服务化与网关34 条运维监控与排障50 条

Kubernetes 部署推理服务要点

K8s 上跑推理服务的三件事:安装 NVIDIA device plugin 暴露 nvidia.com/gpu 资源、在 Pod 里申请 GPU、给推理服务配就绪探针与优雅退出。

Pod 资源声明(节选)

Pod 资源声明(节选)
spec:
  containers:
    - name: vllm
      image: vllm/vllm-openai:latest
      args: ["--model", "/models/<模型>"]
      resources:
        limits:
          nvidia.com/gpu: "1"
      readinessProbe:
        httpGet: { path: /health, port: 8000 }
        initialDelaySeconds: 120

排查 GPU 不可调度

排查 GPU 不可调度
kubectl get nodes -o json | jq '.items[].status.allocatable | {"nvidia.com/gpu": .["nvidia.com/gpu"]}'
kubectl describe pod <pod> | tail -20
模型加载耗时长的服务要给足 initialDelaySeconds,否则 Pod 会在启动期间被反复重启。

易错点

  • limits 里写 nvidia.com/gpu 时不能用小数:GPU 不可切分,需要共享时考虑 MIG 或多实例方案

数据来源与参考

  • Kubernetes 官方文档(kubernetes.io)
  • NVIDIA GPU Operator 文档(docs.nvidia.com/datacenter/cloud-native)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌