升级策略是什么
升级策略(escalation policy)定义告警未被确认时如何逐级唤醒:主值班在若干分钟内没有响应就转给备值班,再超时转团队负责人,仍未处理则转工程负责人。它的价值在于兜住「没人看到」这个最危险的失效模式——告警发出不等于有人接手。每一级都要有真实可触达的通道(电话加即时消息),并且定期用测试告警走一遍全链路演练。
基本信息
| 归属 | 值班与事件响应流程,PagerDuty 等工具有原生实现 |
|---|---|
| 关键参数 | 每级目标人、确认时限、通道类型、重复通知次数 |
| 常见形态 | L1 主值班、L2 备值班、L3 团队负责人、L4 工程负责人 |
| 演练要求 | 定期用探针告警实测全链路 |
| 权限要求 | 值班表与告警工具的配置权限 |
典型使用场景
- 兜底唤醒:夜间告警无人响应时自动升级,避免整夜无人处置
- 分级响应:按严重级别决定升级速度,严重故障可以直接跳级
- 交接真空:值班交接期间临时调整目标,避免电话打给已下班的人
- 通道互补:即时消息未确认则升级为电话,绕过被静音的群
- 复盘取证:升级记录成为复盘时判断响应速度的依据
设计要点
- 每级给出明确确认时限,而不是笼统写「尽快响应」
- 同一级不要同时通知所有人,责任分散最后会变成没人拍板
- 升级目标要知道该看哪个看板、有哪些预案,否则升级了仍无法处置
- 升级链定期演练,用真实渠道验证号码与账号是否仍然有效
- 记录每次升级事件,用于校准确认时限设置得是否合理
升级链示例
升级链示例
L1 主值班(IM + 电话) 确认时限 5 分钟
L2 备值班(IM + 电话) 确认时限 10 分钟
L3 团队负责人(电话) 确认时限 15 分钟
L4 工程负责人(电话) 超时后人工介入
# 演练:发一条探针告警,逐级确认通道是否真能触达
# 调整:节假日或大促期间临时修改升级目标与时限级次与要求
| 层级 | 目标 | 要求 |
|---|---|---|
| L1 | 当班主值班 | 通道必须能叫醒人 |
| L2 | 备值班 | 与 L1 不重合,避免同时离线 |
| L3 | 团队负责人 | 有权调动资源 |
| L4 | 工程负责人 | 超时后进入人工介入流程 |
升级链长期不演练,关键时刻往往卡在离职或换号的通道上;用探针告警跑一次全链路,比在文档里写十遍更有效。