风暴从哪里来
告警风暴不是监控系统故障，而是物理事件的连锁反应：一次市电中断会依次触发配电告警、不间断电源切换、空调停机、机房温升、湿度与漏水告警，最终在几秒内产生成百上千条消息。风暴的危害在于淹没根因：值班人员看到的是满屏告警，真正需要处置的那一条反而找不到。抑制的目标不是少报警，而是让每条报出来的告警都有意义。
基本信息
| 常见手段 | 重复告警去重、延时确认、父子关系抑制、抑制窗口、按设备与区域分组归并 |
|---|---|
| 抑制前提 | 先建立设备与系统的依赖关系模型，没有依赖关系就无法判断谁是根因 |
| 抑制窗口 | 根因告警发生后在设定时长内抑制其衍生的从属告警，窗口长度按事件恢复时间确定 |
| 必须保留 | 根因告警本身不可被抑制，且应置顶展示并触发升级通知 |
| 风险控制 | 抑制规则需有清单与生效范围，定期复核避免长期屏蔽真实告警 |
| 效果指标 | 单位事件的告警条数、根因定位时间、有效告警占比 |
抑制手段对照
| 手段 | 作用 | 注意事项 |
|---|---|---|
| 去重 | 同一测点同一状态不重复上报 | 状态变化时应及时恢复与再触发 |
| 延时确认 | 过滤瞬时波动引起的告警 | 延时过长会推迟真实事件的发现 |
| 父子关系抑制 | 根因告警抑制其下游衍生告警 | 依赖关系错误会屏蔽无关告警 |
| 抑制窗口 | 在故障恢复期内保持静默 | 窗口结束后应自动复核状态并补报 |
| 分组归并 | 把同一区域的同类告警合并展示 | 归并后仍需能展开查看明细 |
| 分级通知 | 只有达到级别的告警才触达人员 | 需定期验证各级通道本身可用 |
设计步骤
- 先梳理依赖关系：供电、制冷、环境、消防与网络之间的上下游链条
- 为每条依赖关系定义抑制方向：上游故障时抑制哪些下游告警
- 设置抑制窗口时长，按典型故障的恢复时间取值并留出余量
- 对根因告警设置置顶展示与升级通知，确保它不被顺序淹没
- 投运后用真实或模拟事件演练，统计告警条数与定位时间是否改善
- 定期复核抑制规则，删除与当前设备不符的过期规则
抑制的效果用「每起事件产生多少条告警、定位根因用了多久」来衡量，而不是用告警数量下降的幅度；单纯减少条数却延长了定位时间，属于负优化。
抑制规则一旦配置错误，可能长期屏蔽真实告警；所有抑制规则应有清单、责任人与复核周期，并保留被抑制告警的原始记录。