compose 片段（GPU 声明）
compose 片段（GPU 声明）
services:
vllm:
image: vllm/vllm-openai:latest
command: ["--model", "/models/<模型>", "--max-model-len", "8192"]
ports: ["8000:8000"]
volumes: ["./models:/models"]
ipc: host
deploy:
resources:
reservations:
devices:
- driver: nvidia
count: 1
capabilities: [gpu]启停与查看
启停与查看
docker compose up -d
docker compose logs -f vllm
docker compose ps新版 compose 规范也支持简写 gpus: all，以所用 compose 版本的规范为准。