docker run 部署示例
docker run 部署示例
docker run --runtime nvidia --gpus all --ipc=host -p 8000:8000 -v ~/.cache/huggingface:/root/.cache/huggingface vllm/vllm-openai:latest --model <模型名或本地路径> --max-model-len 8192| 镜像 | vllm/vllm-openai（官方） |
|---|---|
| 端口 | 容器内 8000 |
| 要点 | --ipc=host 共享内存、挂载 HF 缓存避免重复下载 |
镜像 tag 建议固定到具体版本，latest 会在重建时静默升级引擎行为。