最怕的是静默失效
复制与快照任务在正常运行时几乎不与业务交互,失败也不会立即造成报错,因此问题常被长期掩盖:复制中断后积压单调增长,快照任务失败后可用恢复点逐日变少,直到真正需要恢复时才发现手上没有干净时间点。监控设计的目标是把这些静默失效转成可感知信号,并且指标要反映是否偏离预期,而不是简单呈现某条日志是否出现。
监控对象
| 复制状态 | 复制关系是否正常,方向是否符合预期设计 |
|---|---|
| 积压量 | 尚未传输的数据量以及随时间的变化趋势 |
| 链路延迟 | 往返时延与抖动,影响同步复制的可行性 |
| 快照任务 | 生成成功率、失败次数与最后一次成功时间 |
| 保留窗口 | 当前可用恢复点覆盖的最早与最晚时间点 |
| 空间占用 | 快照与差异数据的容量增长趋势 |
典型使用场景
- 为容灾系统建立监控看板,让保护状态在一屏内可判断
- 复制中断后确认告警是否及时触发,评估检测能力是否足够
- 快照任务长期失败后回溯为什么没有被及时发现
- 向业务方说明保护有效性,用可用恢复点时间范围作为口径
- 容量趋势预测,判断快照占用在多长时间内可能耗尽空间
- 告警降噪,区分需要立即处置与可在窗口内处理的事件
监控与告警设计
| 监控对象 | 关键指标 | 告警思路 |
|---|---|---|
| 复制关系 | 运行状态与复制方向 | 非预期状态立即告警,方向变更需二次确认 |
| 积压量 | 绝对值与变化趋势 | 连续多个周期不收敛即告警,而非只看阈值 |
| 链路延迟 | 往返时延与抖动幅度 | 明显劣化时预警,避免同步复制被动降级 |
| 快照任务 | 成功与否及最后一次成功时间 | 超过预期周期未成功即告警 |
| 保留窗口 | 可用恢复点的时间范围 | 窗口缩短到低于承诺即告警 |
| 容量占用 | 快照与差异数据的增长率 | 结合增长率预测空间耗尽时间 |
监控要点
监控要点
# 一、复制侧:状态、方向、积压量与链路延迟纳入同一看板
# 二、快照侧:任务成功率与最后一次成功时间必须可见
# 三、恢复侧:把可用恢复点的时间范围作为可对外解释的指标
# 四、趋势优先:积压连续多个周期不收敛比单点超阈值更值得关注
# 五、静默检测:超过预期周期没有成功记录,即使无报错也要告警
# 六、告警分级:区分需要立即处置与可在窗口内处理的两类事件监控指标要能被非存储角色理解。在运维交接、业务沟通和审计场景中,可用恢复点的最晚时间往往比复制关系状态正常更能说明保护是否有效。把积压量与保留窗口这类业务可解释的指标放在看板显眼位置,可以明显缩短问题从发生到被发现的间隔。