首页/AI/大模型部署与运维速查/回滚预案:三件套快照

回滚预案:三件套快照

回滚的前提是留痕:每次发布记录「权重版本 + 启动命令 + 路由配置」三件套快照;回滚即切回旧实例组或按快照重启旧配置。

回滚的前提是留痕

回滚的前提是留痕:每次发布都记录权重版本、启动命令与路由配置这三件套快照;回滚就是切回旧实例组,或者按快照重启旧配置。没有快照的回滚只能靠记忆拼配置,风险很高,也很容易引入二次故障。

基本信息

适用平台自托管推理服务的发布流程
快照内容权重版本、启动命令、路由配置
触发条件发布前约定好的指标阈值
演练要求低峰期做一次回滚演练

发布记录模板

发布记录模板
权重:修订号或路径,以及量化版本
启动:完整命令行或配置文件的哈希
路由:网关配置的版本号

快照与回滚流程

快照与回滚流程
1 发布前:记录三件套快照并归档
2 发布后:观察延迟与错误率,对照约定的回滚条件
3 触发:切换路由到旧实例组,或按快照重启旧配置
4 验证:确认旧版本恢复服务并复盘原因
5 更新:把本次差异补进发布记录模板

典型使用场景

  • 版本发布:每次发布都留一份可回退的快照
  • 灰度切换:切分比例异常时快速切回
  • 量化方案回退:质量不达标时切回未量化版本
  • 演练验证:低峰期演练一次,确认快照可用
  • 决策确认:触发回滚的判断由两人复核,避免单人误判扩大影响
回滚演练在低峰期做一次:确认快照可用、切换时间可预期。
回滚触发条件要事先写清:临时讨论会浪费最宝贵的处置时间。
回滚之后要复盘:把本次遇到的差异补进发布记录模板,下次发布才有改进。
多套环境并行发布时,快照要与发布记录一一对应:靠版本号才能找对那一份。
路由配置单独留版本号:切换与回滚大多发生在这层,也是改动最频繁的一层。
快照的归档位置写进发布清单:放在共享位置并注明路径,换人执行也找得到。

易错点

  • 发布不记参数快照:回滚靠记忆凑配置,容易引入二次故障
  • 回滚条件临时判断:看到什么程度该回滚没有共识,容易犹豫拖延
  • 快照只存在发布人本地:人不在就找不到,快照要放共享位置
  • 回滚后不更新模板:同一个坑会重复踩

数据来源与参考

  • Google SRE 手册:发布工程(sre.google/sre-book)
  • vLLM 官方文档:部署(docs.vllm.ai)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌