首页/云/可观测性速查/告警定期巡检:合并、降级与删除
告警与响应50 条

告警定期巡检:合并、降级与删除

按月巡检规则清单:看触发历史、是否可行动、有无 runbook;无预案的僵尸告警降级或删除,过时阈值更新,变更走评审流程。

可观测性速查云更新于 2026-10-12
  • 导出规则清单与近 90 天触发记录
  • 标记噪声源、无触发僵尸规则、动作重复的规则组
  • 评审逐条决议:保留 / 降级 / 合并 / 删除 / 改造
  • 对保留下来的关键告警核对其 runbook 链接有效性

触发历史取样(PromQL)

触发历史取样(PromQL)
# 过去 90 天 firing 评估次数排行(用于巡检取样)
topk(50, sum by (alertname) (count_over_time(ALERTS{alertstate="firing"}[90d])))
巡检也要看“好告警是否正常触发”:长期零触发的关键告警可能是阈值错了或链路断了。

易错点

  • 只看触发次数删除低频告警,可能删掉真正保命的规则
  • 删除前先核对它与 SLO、故障场景的对应关系,避免误伤

数据来源与参考

  • Google SRE Workbook · 告警治理
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌