首页/开发/CI/CD 与发布速查/发布窗口的事故响应
质量门禁与回滚51 条

发布窗口的事故响应

发布期间的事故响应要点:尽早确认与变更的关联、优先止血(回滚或开关)、冻结后续发布、保持单一指挥与固定同步频率。

CI/CD 与发布速查开发更新于 2026-10-13

发布窗口事故响应是什么

发布期间事故响应的要点:尽早确认影响面与是否与本次发布相关;止血优先——回滚或关闭开关优先于根因定位;冻结同批次其他发布,避免叠加变量;保持单一指挥与固定同步频率(如每十五分钟一次),减少信息碎片。恢复服务与查明原因可以并行,但止血永远优先,别让讨论拖长影响时长。

基本信息

先做确认影响面与是否与本次发布相关
止血回滚或关闭开关,优先于根因定位
冻结暂停同批次的其他发布,避免叠加变量
节奏固定间隔同步(如每 15 分钟)
指挥单一指挥,明确执行人与沟通人

典型使用场景

  • 发布中告警:先核对近期变更与时间关联
  • 止血执行:按预案回滚或关闭开关
  • 冻结通道:暂停其他发布,隔离变量
  • 指挥体系:指定单一指挥与记录人
  • 对外沟通:按事故分级选择口径
  • 复盘改进:把响应中的卡点转成行动项

响应检查单

响应检查单
- [ ] 确认影响面(用户、功能、地域)
- [ ] 关联查看近期变更与发布
- [ ] 决定止血动作(回滚 / 开关 / 降级)
- [ ] 冻结相关发布通道
- [ ] 向干系人同步状态

响应要素读法

要素做法注意
确认影响面与变更关联先别深挖根因
止血回滚、开关、降级优先恢复服务
冻结暂停其他发布隔离新增变量
同步固定节奏通报避免碎片化打扰
收尾确认稳定再解除观察期不可省
先定位根因再止血会拉长影响时长:恢复服务与查明原因可以并行,但止血优先。
变更关联先行:发布窗口内的事故默认与变更相关,先按此假设行动再验证。
记录时间线:止血与排查同时进行时,时间线是复盘与改进的依据。

易错点

  • 多人同时操作环境:变更叠加、状态不可预测,应指定单一执行人
  • 恢复后立即继续发布:系统未回到稳定观察期,二次事故概率上升
  • 沟通无固定节奏:干系人反复追问,现场被打断
  • 止血动作没人拍板:讨论拖长影响时长,预案里写死决策权限

数据来源与参考

  • Google SRE Book《Managing Incidents》
  • PagerDuty《Incident Response》文档
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌