首页/AI/大模型部署与运维速查/升级流水线:镜像/权重/配置三件套
本包目录(267 条)
部署形态与选型43 条推理环境与 GPU50 条推理参数与优化50 条显存与并发估算40 条服务化与网关34 条
运维监控与排障50 条

升级流水线:镜像/权重/配置三件套

版本升级把三个制品分开管理:镜像(代码与依赖)、权重(模型文件)、配置(启动参数);各自版本化与锁定,升级先在预发对比基准,再灰度单实例、观察、全量。

镜像引擎版本、CUDA 运行时与依赖;用不可变标签
权重目录与修订号(revision);与镜像解耦
配置启动参数与模板;纳入版本管理

灰度观察点(示意)

灰度观察点(示意)
curl -s http://127.0.0.1:8001/metrics | grep -E 'num_requests|time_to_first_token'
# 另核对:错误率、KV 水位、TTFT/TPOT 与旧版本对比
回退路径保持可用:旧镜像与旧权重在观察期不删,回退只改指向,不重新构建。

易错点

  • 升级顺手也改配置:两个变量叠加,性能变化与故障都难归因

数据来源与参考

  • Google SRE 手册:Canarying Releases(sre.google/sre-book)
  • vLLM 官方仓库 Release notes(github.com/vllm-project/vllm)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌