该监控哪些量
复制链路的健康状况由一组互相关联的指标共同描述:复制状态(正常、同步中、落后、中断、暂停)、落后时间、落后数据量、链路往返时延与丢包率、目标端写入延迟,以及一致性校验状态。只看状态位容易漏判:状态显示正常但落后时间持续上升的复制关系,风险远高于状态显示同步中而落后量正在下降的关系。这些指标之间存在先后顺序,链路时延上升往往先表现为传输速率下降,之后才反映为落后时间增长。
基本信息
| 复制状态 | 正常、同步中、落后、中断、暂停 |
|---|---|
| 落后时间 | 副本相对源端的时间差,直接对应可达 RPO |
| 落后数据量 | 尚未传输的字节数,决定追赶所需时间 |
| 链路指标 | 往返时延、丢包率、带宽利用率 |
| 目标端指标 | 写入延迟、后端利用率、缓存命中率 |
| 校验状态 | 一致性校验结果与最近一次校验时间 |
典型使用场景
- 复制延迟告警:落后时间超过业务阈值即通知责任人
- 链路劣化趋势分析:时延缓慢上升通常先于中断出现
- 带宽容量评估:落后数据量长期高位说明有效带宽不足
- 故障复盘:还原中断发生时刻、持续时长与追赶速度
- 切换决策:确认落后量在可接受范围内才允许执行切换
- 容量规划:用历史落后曲线反推专线带宽与扩容节奏
指标判读
| 指标 | 正常表现 | 异常含义 |
|---|---|---|
| 复制状态 | 正常或同步中 | 落后或中断需要立即排查 |
| 落后时间 | 稳定在阈值内的小值 | 持续增长说明传输跟不上变化 |
| 落后数据量 | 在低位小幅波动 | 高位不降说明带宽或目标端有瓶颈 |
| 往返时延 | 稳定且与链路距离匹配 | 突增多为拥塞或中间设备异常 |
| 丢包率 | 接近零 | 非零丢包会显著拖慢同步速率 |
| 目标端写入延迟 | 平稳 | 上升说明瓶颈已经转移到存储侧 |
落后时间是唯一可以较直接换算成数据风险的指标,因此告警应以它为主、以复制状态为辅。同时要把落后数据量与链路速率结合起来看:落后量本身没有绝对好坏,关键是按当前速率还需要多久才能追平。
告警阈值必须结合业务 RPO 分别设定,不能对所有复制关系套用同一个数值。RPO 要求五分钟的业务,落后时间超过十五分钟就应告警;RPO 为二十四小时的业务,同一阈值只会制造噪声,最终导致真正重要的告警被忽略。
落后告警排查顺序
落后告警排查顺序
# 1) 落后时间是否仍在增长?增长说明传输速率低于变化速率
# 2) 链路往返时延与丢包是否异常?异常先查网络侧
# 3) 目标端写入延迟是否上升?上升说明瓶颈在存储侧
# 4) 是否有备份或快照任务正在抢占后端资源?
# 5) 源端变化量本身是否突增(批量导入、月末结账、大版本发布)?