Pod 资源声明(节选)
Pod 资源声明(节选)
spec:
containers:
- name: vllm
image: vllm/vllm-openai:latest
args: ["--model", "/models/<模型>"]
resources:
limits:
nvidia.com/gpu: "1"
readinessProbe:
httpGet: { path: /health, port: 8000 }
initialDelaySeconds: 120排查 GPU 不可调度
排查 GPU 不可调度
kubectl get nodes -o json | jq '.items[].status.allocatable | {"nvidia.com/gpu": .["nvidia.com/gpu"]}'
kubectl describe pod <pod> | tail -20模型加载耗时长的服务要给足 initialDelaySeconds,否则 Pod 会在启动期间被反复重启。