配置收敛失败的告警设计是什么
收敛失败指编排执行结束但目标状态未达到期望:动作报错、动作成功但状态不符、或状态被外部改动又漂移回去。告警设计要抓住三点:区分执行失败与收敛失败——前者是过程出错,后者是结果不符,后者更容易被漏报;以持续时间而不是单次采样判定,短暂偏离可能只是正常过渡;告警要带可执行上下文(目标、期望值、实际值、判定依据),否则值班只能重新人工排查。
基本信息
| 两类失败 | 执行失败(动作报错)与收敛失败(结果不符) |
|---|---|
| 判定频率 | 周期性复查,而非只在执行后判一次 |
| 时间维度 | 持续偏离超过阈值才告警,抗瞬时噪声 |
| 告警内容 | 目标、期望值、实际值、判定依据、建议动作 |
| 降噪手段 | 分组、抑制、与变更事件关联 |
典型使用场景
- 编排执行完毕后周期性复查目标状态
- 发现配置被外部手工改动而偏离基线
- 服务重载或重启后配置未按期望生效
- 分批执行中某批未收敛但流程继续推进
- 把长期漂移作为流程与权限改进的输入
收敛告警应包含的要素
收敛告警应包含的要素
# 目标标识与位置(哪台设备、哪个服务、哪个配置项)
# 期望值(来自期望状态定义,附版本或提交哈希)
# 实际值(采集到的现状,附采集时间与采集方式)
# 判定依据(哪条规则判定为未收敛)
# 持续时间(偏离已持续多久,用于区分过渡与真实失败)
# 建议动作与关联的变更编号场景与告警设计要点
| 场景 | 现象 | 设计要点 |
|---|---|---|
| 执行报错 | 任务返回失败 | 立即告警并附带错误输出 |
| 结果不符 | 任务成功但状态未达期望 | 需周期性复查才能发现 |
| 外部改动 | 状态漂移回旧值 | 关联权限与流程类告警 |
| 周期抖动 | 短暂偏离后自愈 | 按持续时间判定,避免噪声 |
执行成功与状态收敛是两件事。编排自带的执行结果只覆盖前者,收敛需要独立的周期性复查机制,否则会出现仪表盘全绿但配置实际不符的情况。
收敛告警要设置持续时间门槛,否则变更过程中正常的中间状态会持续触发告警,值班对同类消息脱敏,真实故障反而被淹没。