首页/AI/大模型部署与运维速查/内网离线部署完整流程
部署形态与选型43 条

内网离线部署完整流程

离线部署的关键是把「模型 + 镜像 + Python 依赖」三样东西在联网环境准备齐,再整体搬运;任何一项缺失都会在内网表现为加载失败。

离线包清单(示例)

离线包清单(示例)
1. 模型目录(含 tokenizer 与 config)
2. Docker 镜像(docker save / docker load)
3. 依赖 wheel 仓库(pip download -d ./wheels -r requirements.txt)
4. 启动脚本与配置模板
5. 校验清单(文件名 + 大小或校验和)

镜像与依赖搬运

镜像与依赖搬运
docker save vllm/vllm-openai:latest | gzip > vllm-image.tar.gz
# 内网侧
gunzip -c vllm-image.tar.gz | docker load
pip install --no-index --find-links ./wheels -r requirements.txt
内网机器的时间同步、DNS 与证书也会影响镜像拉取与 pip,离线包校验清单能省下大量排查时间。

易错点

  • 只搬模型不搬镜像:内网无外网时 docker pull 直接失败
  • wheel 与目标机器的 Python 版本或平台不匹配(如 manylinux 标签差异)会安装失败

数据来源与参考

  • Docker 官方文档(docs.docker.com)
  • pip 官方文档(pip.pypa.io)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌