首页/数据/数据工程与 ETL 速查/位点滞后监控设计
本包目录(311 条)
管道基础52 条Kafka64 条调度与编排40 条数仓建模52 条数据质量50 条
CDC 与同步53 条

位点滞后监控设计

位点滞后比“延迟秒数”更可靠:定期采集源端当前位点与工具消费位点,换算成落后字节数与时间,并记录源写入速率与消费速率两条曲线;位点长时间不推进或 binlog 保留余量不足时提前告警。

监控项设计(采集伪代码)

监控项设计(采集伪代码)
每 N 分钟:
  源位点   = SHOW MASTER STATUS        # (file, pos)
  消费位点 = 工具位点表 / connector offset
  滞后字节 ≈ (源文件序号 - 消费文件序号) × 平均文件大小 + 偏移差
  保留余量 = 最早 binlog 文件序号 - 消费位点文件序号

告警:
  位点 15 分钟未推进
  保留余量 < 2 个文件
源端位点与消费位点要同时存历史,事后复盘时能看出是“写入突增”还是“消费停滞”。

易错点

  • 只监控 Kafka lag,不监控消费位点与源端的距离,链路其他段的问题被漏掉
  • 被监控机器的时钟与数据库不同步,换算的滞后时间失真

数据来源与参考

  • MySQL 官方文档(SHOW BINARY LOGS 与位点)
  • 行业 CDC 运维监控实践
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌