有感知的变更要进窗口
驱动升级、进程重启、权重切换、硬件更换这些有感知的变更,要安排在业务低峰窗口,执行前完成公告、双人复核与回退预案。参数热更这类无感变更走常规发布流程即可,两类变更不要挤在同一个窗口,否则出问题时很难界定是哪一步引入的。
基本信息
| 适用平台 | 自托管推理服务的变更管理 |
|---|---|
| 变更分级 | 无感变更与有感变更 |
| 窗口前三件套 | 公告、复核、回退预案 |
| 涉及角色 | 执行人、复核人、值班与业务接口人 |
| 记录要求 | 变更前后配置、版本号与耗时都要留档 |
窗口执行清单
- 分级:无感变更走热更新,重启、驱动与硬件变更进维护窗口
- 窗口前三件套:公告、双人复核、回退预案就位
- 窗口内:先备份与快照,再执行,逐步验证
- 窗口后:观察一个完整业务高峰再宣布结束
- 错峰安排:驱动与内核升级不与业务发布挤在同一个窗口
- 记录归档:把实际步骤与耗时补回变更记录
变更前检查(示意)
变更前检查(示意)
[ ] 备份与快照完成(含配置与权重版本号)
[ ] 回退命令演练过(谁执行、几步、预计多久)
[ ] 监控与告警在线(能发现失败信号)
[ ] 值班与厂商支持可联系(硬件类变更)变更类型与窗口
| 变更类型 | 是否中断服务 | 典型安排 |
|---|---|---|
| 参数热更 | 否 | 走常规发布流程 |
| 进程重启 | 是,秒级到分钟级 | 低峰窗口执行 |
| 驱动与内核升级 | 是,含整机重启 | 低峰窗口加双人复核 |
| 硬件更换 | 是,单机不可用 | 低峰窗口并提前摘除流量 |
驱动与内核升级尽量与业务发布错开:两类变更叠加时,故障定界的难度会翻倍。
回退预案要提前演练:没演练过的回退,在现场往往比故障本身更耗时,还可能引入二次故障。
窗口尽量选在低峰且监控有人值守的时段:没人看监控的窗口,出了问题也要等到第二天才被发现。