首页/AI/大模型部署与运维速查/维护窗口与变更管理
运维监控与排障50 条

维护窗口与变更管理

有感知的变更(驱动升级、重启、权重切换)安排在低峰窗口,执行前完成公告、双人复核与回退预案;无感变更走常规发布流程,别混在一起做。

有感知的变更要进窗口

驱动升级、进程重启、权重切换、硬件更换这些有感知的变更,要安排在业务低峰窗口,执行前完成公告、双人复核与回退预案。参数热更这类无感变更走常规发布流程即可,两类变更不要挤在同一个窗口,否则出问题时很难界定是哪一步引入的。

基本信息

适用平台自托管推理服务的变更管理
变更分级无感变更与有感变更
窗口前三件套公告、复核、回退预案
涉及角色执行人、复核人、值班与业务接口人
记录要求变更前后配置、版本号与耗时都要留档

窗口执行清单

  • 分级:无感变更走热更新,重启、驱动与硬件变更进维护窗口
  • 窗口前三件套:公告、双人复核、回退预案就位
  • 窗口内:先备份与快照,再执行,逐步验证
  • 窗口后:观察一个完整业务高峰再宣布结束
  • 错峰安排:驱动与内核升级不与业务发布挤在同一个窗口
  • 记录归档:把实际步骤与耗时补回变更记录

变更前检查(示意)

变更前检查(示意)
[ ] 备份与快照完成(含配置与权重版本号)
[ ] 回退命令演练过(谁执行、几步、预计多久)
[ ] 监控与告警在线(能发现失败信号)
[ ] 值班与厂商支持可联系(硬件类变更)

变更类型与窗口

变更类型是否中断服务典型安排
参数热更否走常规发布流程
进程重启是,秒级到分钟级低峰窗口执行
驱动与内核升级是,含整机重启低峰窗口加双人复核
硬件更换是,单机不可用低峰窗口并提前摘除流量
驱动与内核升级尽量与业务发布错开:两类变更叠加时,故障定界的难度会翻倍。
回退预案要提前演练:没演练过的回退,在现场往往比故障本身更耗时,还可能引入二次故障。
窗口尽量选在低峰且监控有人值守的时段:没人看监控的窗口,出了问题也要等到第二天才被发现。

易错点

  • 窗口只留给执行步骤不留验证时间:收尾仓促,问题留到业务高峰才暴露
  • 公告发得太晚:调用方来不及调整,窗口内的临时沟通会拖慢执行
  • 回退预案只写在纸上:真正需要回退时才发现命令写错或备份不可用
  • 多个变更塞进一个窗口:出问题时无法判断是哪一步引入的

数据来源与参考

  • Google SRE 手册:Release Engineering(sre.google/sre-book)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌