首页/系统与基础设施/自动化运维速查/配置收敛失败的告警设计
配置管理与编排60 条

配置收敛失败的告警设计

收敛失败告警要区分执行失败与结果不符,用周期性复查发现后者,并以持续时间门槛过滤正常过渡。告警需携带目标、期望值、实际值与判定依据,才能被直接处置。

​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌​​‌​‌‌‌‌​‌‌​​​​‌​‌‌‌​‌​‌​‌‌‌​‌​​​‌‌​‌‌‌‌​‌‌​‌‌​‌​‌‌​​​​‌​‌‌‌​‌​​​‌‌​‌​​‌​‌‌​‌‌‌‌​‌‌​‌‌‌​​​‌​‌‌‌‌​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌‌​​‌‌​​‌‌​​‌‌​‌​​‌​‌‌​​‌‌‌​​‌​‌‌​‌​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌‌​​‌‌‌​‌‌​​‌‌​​‌​‌​‌‌‌​​‌​​‌‌​​‌‌‌​‌‌​​‌​‌​‌‌​‌‌‌​​‌‌​​​‌‌​‌‌​​‌​‌​​‌​‌‌​‌​‌‌​​‌‌​​‌‌​​​​‌​‌‌​‌​​‌​‌‌​‌‌​​​‌‌‌​‌​‌​‌‌‌​​‌​​‌‌​​‌​‌​​‌​‌‌​‌​‌‌​​​​‌​‌‌​‌‌​​​‌‌​​‌​‌​‌‌‌​​‌​​‌‌‌​‌​​​‌‌​‌​​‌​‌‌​‌‌‌​​‌‌​​‌‌‌​​‌​‌‌‌​​‌‌​‌​​​​‌‌‌​‌​​​‌‌​‌‌​‌​‌‌​‌‌​​

配置收敛失败的告警设计是什么

收敛失败指编排执行结束但目标状态未达到期望:动作报错、动作成功但状态不符、或状态被外部改动又漂移回去。告警设计要抓住三点:区分执行失败与收敛失败——前者是过程出错,后者是结果不符,后者更容易被漏报;以持续时间而不是单次采样判定,短暂偏离可能只是正常过渡;告警要带可执行上下文(目标、期望值、实际值、判定依据),否则值班只能重新人工排查。

基本信息

两类失败执行失败(动作报错)与收敛失败(结果不符)
判定频率周期性复查,而非只在执行后判一次
时间维度持续偏离超过阈值才告警,抗瞬时噪声
告警内容目标、期望值、实际值、判定依据、建议动作
降噪手段分组、抑制、与变更事件关联

典型使用场景

  • 编排执行完毕后周期性复查目标状态
  • 发现配置被外部手工改动而偏离基线
  • 服务重载或重启后配置未按期望生效
  • 分批执行中某批未收敛但流程继续推进
  • 把长期漂移作为流程与权限改进的输入

收敛告警应包含的要素

收敛告警应包含的要素
# 目标标识与位置(哪台设备、哪个服务、哪个配置项)
# 期望值(来自期望状态定义,附版本或提交哈希)
# 实际值(采集到的现状,附采集时间与采集方式)
# 判定依据(哪条规则判定为未收敛)
# 持续时间(偏离已持续多久,用于区分过渡与真实失败)
# 建议动作与关联的变更编号

场景与告警设计要点

场景现象设计要点
执行报错任务返回失败立即告警并附带错误输出
结果不符任务成功但状态未达期望需周期性复查才能发现
外部改动状态漂移回旧值关联权限与流程类告警
周期抖动短暂偏离后自愈按持续时间判定,避免噪声
执行成功与状态收敛是两件事。编排自带的执行结果只覆盖前者,收敛需要独立的周期性复查机制,否则会出现仪表盘全绿但配置实际不符的情况。
收敛告警要设置持续时间门槛,否则变更过程中正常的中间状态会持续触发告警,值班对同类消息脱敏,真实故障反而被淹没。

易错点

  • 只告警执行失败不检查收敛结果,任务报成功而配置未生效的情况长期无人发现
  • 缺少持续时间门槛,变更过程中的中间态持续告警,值班逐渐忽略同类消息
  • 告警不含期望值与实际值,值班需重新登录目标逐项比对,处理耗时远超判定本身
  • 收敛复查频率过低,问题延后到下一次业务高峰才暴露
  • 未与变更事件关联,变更引起的告警与既有故障混在一起,定位方向被误导

数据来源与参考

  • Google SRE Book:监控与告警设计
  • Prometheus 官方文档:告警规则与 for 持续时间
  • ITIL 4 事件管理实践指南

整理校对:其其网ICT文档中心 · 本页地址:docs.qiqicto.com/automation/config-convergence-failure-alerting.html

​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌​​‌​‌‌‌‌​‌‌​​​​‌​‌‌‌​‌​‌​‌‌‌​‌​​​‌‌​‌‌‌‌​‌‌​‌‌​‌​‌‌​​​​‌​‌‌‌​‌​​​‌‌​‌​​‌​‌‌​‌‌‌‌​‌‌​‌‌‌​​​‌​‌‌‌‌​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌‌​​‌‌​​‌‌​​‌‌​‌​​‌​‌‌​​‌‌‌​​‌​‌‌​‌​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌‌​​‌‌‌​‌‌​​‌‌​​‌​‌​‌‌‌​​‌​​‌‌​​‌‌‌​‌‌​​‌​‌​‌‌​‌‌‌​​‌‌​​​‌‌​‌‌​​‌​‌​​‌​‌‌​‌​‌‌​​‌‌​​‌‌​​​​‌​‌‌​‌​​‌​‌‌​‌‌​​​‌‌‌​‌​‌​‌‌‌​​‌​​‌‌​​‌​‌​​‌​‌‌​‌​‌‌​​​​‌​‌‌​‌‌​​​‌‌​​‌​‌​‌‌‌​​‌​​‌‌‌​‌​​​‌‌​‌​​‌​‌‌​‌‌‌​​‌‌​​‌‌‌​​‌​‌‌‌​​‌‌​‌​​​​‌‌‌​‌​​​‌‌​‌‌​‌​‌‌​‌‌​​