首页/系统与基础设施/自动化运维速查/告警规则与巡检结果的联动
巡检与自助运维60 条

告警规则与巡检结果的联动

告警规则与巡检结果的联动关键在共享判定口径与处置入口:阈值只在同一处定义、两侧共同引用,巡检异常写入事件或工单流程跟踪而不是直接转成告警。维护窗口要同时抑制两侧,巡检项下线时对应的告警规则也必须同步下线。

​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌​​‌​‌‌‌‌​‌‌​​​​‌​‌‌‌​‌​‌​‌‌‌​‌​​​‌‌​‌‌‌‌​‌‌​‌‌​‌​‌‌​​​​‌​‌‌‌​‌​​​‌‌​‌​​‌​‌‌​‌‌‌‌​‌‌​‌‌‌​​​‌​‌‌‌‌​‌‌​​​​‌​‌‌​‌‌​​​‌‌​​‌​‌​‌‌‌​​‌​​‌‌‌​‌​​​​‌​‌‌​‌​‌‌‌​​‌​​‌‌‌​‌​‌​‌‌​‌‌​​​‌‌​​‌​‌​​‌​‌‌​‌​‌‌​‌​​‌​‌‌​‌‌‌​​‌‌‌​​‌‌​‌‌‌​​​​​‌‌​​‌​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌​​‌​‌‌​‌‌‌‌​‌‌​‌‌‌​​​‌​‌‌​‌​‌‌‌​​‌​​‌‌​​‌​‌​‌‌‌​​‌‌​‌‌‌​‌​‌​‌‌​‌‌​​​‌‌‌​‌​​​​‌​‌‌​‌​‌‌​‌‌​​​‌‌​‌​​‌​‌‌​‌‌‌​​‌‌​‌​‌‌​‌‌​​​​‌​‌‌​​‌‌‌​‌‌​​‌​‌​​‌​‌‌‌​​‌‌​‌​​​​‌‌‌​‌​​​‌‌​‌‌​‌​‌‌​‌‌​​

两套判定机制的关系

巡检按周期批量判定,告警按持续指标实时判定,二者是互补而不是替代。联动不等于把巡检发现直接变成告警,而是让两侧共享判定口径与处置入口:同一故障不应既触发阈值告警又触发巡检告警,两条路径应指向同一份处置依据。

基本信息

联动方式巡检结果写入指标、事件或工单系统
去重键目标标识加检查项标识
维护窗口计划内变更期间同时抑制两侧通知
口径一致阈值与判定条件保持单一来源
失效处理巡检项下线时同步下线对应告警规则

典型使用场景

  • 互补检测:指标告警负责持续偏离,巡检负责组合条件与状态类问题
  • 结论互通:巡检发现的配置漂移写入事件系统,作为工单与审批输入
  • 抑制联动:维护窗口内同时抑制指标告警与巡检告警,避免双重噪音
  • 规则清理:巡检项或阈值变更后同步更新告警规则,避免遗留误报
  • 责任归属:两类结果指向同一处置入口,值班无需在多个系统间切换

两类判定机制对比

维度指标告警巡检发现
触发方式指标持续越界周期批量判定
覆盖内容可量化指标组合条件与状态类检查
时效性接近实时取决于巡检周期
联动要点与巡检共享阈值来源结果写入同一事件与工单入口

共享同一份判定条件

共享同一份判定条件
# 阈值集中定义,供告警规则与巡检脚本共同引用
disk_warn_pct: 85          # 单一来源,避免两侧阈值不一致
disk_crit_pct: 92
# 告警侧:持续越界才触发,过滤单点采样抖动
- alert: DiskHigh
  expr: disk_used_pct > 85
  for: 10m
# 巡检侧:脚本从同一配置读取阈值,禁止在脚本内硬编码
# threshold: 读取共享配置,结论写入事件系统
两侧阈值必须来自同一处定义。告警规则与巡检脚本各写一份时,任何一次调整都会造成口径分叉,同一现象出现两种结论,值班人员只能自行判断该信哪一侧。
把巡检发现的每条异常都转成告警会形成持续噪音:状态类问题在修复前每个周期都会重现。巡检异常应交由工单或事件流程跟踪,告警仅用于需要立即响应的场景。

易错点

  • 阈值双份维护:告警与巡检口径不一致,同一现象出现两种结论
  • 巡检异常无差别转告警:同一问题每周期重复推送,噪音淹没真实告警
  • 维护窗口只抑制一侧:巡检告警照常推送,双重噪音依旧存在
  • 巡检项下线后告警规则遗留:规则无人维护却持续触发,责任归属不清

数据来源与参考

  • Prometheus 官方文档:告警规则与 Alertmanager 路由
  • ITIL 4 服务管理实践:监控与事件管理
  • Google SRE 系列:告警与值班

整理校对:其其网ICT文档中心 · 本页地址:docs.qiqicto.com/automation/alert-rule-inspection-result-linkage.html

​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌​​‌​‌‌‌‌​‌‌​​​​‌​‌‌‌​‌​‌​‌‌‌​‌​​​‌‌​‌‌‌‌​‌‌​‌‌​‌​‌‌​​​​‌​‌‌‌​‌​​​‌‌​‌​​‌​‌‌​‌‌‌‌​‌‌​‌‌‌​​​‌​‌‌‌‌​‌‌​​​​‌​‌‌​‌‌​​​‌‌​​‌​‌​‌‌‌​​‌​​‌‌‌​‌​​​​‌​‌‌​‌​‌‌‌​​‌​​‌‌‌​‌​‌​‌‌​‌‌​​​‌‌​​‌​‌​​‌​‌‌​‌​‌‌​‌​​‌​‌‌​‌‌‌​​‌‌‌​​‌‌​‌‌‌​​​​​‌‌​​‌​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌​​‌​‌‌​‌‌‌‌​‌‌​‌‌‌​​​‌​‌‌​‌​‌‌‌​​‌​​‌‌​​‌​‌​‌‌‌​​‌‌​‌‌‌​‌​‌​‌‌​‌‌​​​‌‌‌​‌​​​​‌​‌‌​‌​‌‌​‌‌​​​‌‌​‌​​‌​‌‌​‌‌‌​​‌‌​‌​‌‌​‌‌​​​​‌​‌‌​​‌‌‌​‌‌​​‌​‌​​‌​‌‌‌​​‌‌​‌​​​​‌‌‌​‌​​​‌‌​‌‌​‌​‌‌​‌‌​​