首页/云/可观测性速查/事故处理流程:先止损,后追因
告警与响应50 条

事故处理流程:先止损,后追因

标准流程:确认分级、指定角色、先止损、固定节奏同步、确认恢复、转复盘;追根因放在恢复之后,处置期间不做责任判断。

可观测性速查云更新于 2026-10-12

时间线示例

时间线示例
10:07 告警 HighErrorRate(order-svc) firing
10:09 IC 指定,开始止损评估
10:14 回滚 v1.8.2,错误率回落
10:30 指标恢复,发布缓解公告
11:00 事故关闭,复盘排期
  • 止损动作优先级:回滚、切流、扩容、限流、降级开关
  • 对外口径只讲事实与影响,不猜测根因
  • 每 15-30 分钟一条状态更新,直到关闭
恢复之后再复盘:处置期间讨论“谁的问题”会拖慢止损。

易错点

  • 边恢复边定责,关键操作被情绪与争论拖慢
  • 长时间无更新,干系人不断来问,反而打断处置节奏

数据来源与参考

  • Google SRE Book · 第 14 章 Managing Incidents
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌