本包目录(311 条)
管道基础52 条Kafka64 条调度与编排40 条数仓建模52 条数据质量50 条
CDC 与同步53 条

Debezium 监控指标

Debezium 通过 Kafka Connect 暴露指标:MilliSecondsBehindSource 反映事件时间与处理时间的滞后,TotalNumberOfEventsSeen 统计事件总量,另有过滤与队列类指标。配合 JMX 或指标采集系统,对滞后持续上升、事件速率骤降设告警。

MilliSecondsBehindSource源事件时间到当前处理的滞后毫秒数
TotalNumberOfEventsSeen累计处理的事件数
NumberOfEventsFiltered被过滤掉的事件数(白名单/黑名单生效情况)
采集方式Kafka Connect 指标(JMX),按 connector 维度

用 JMX 工具查看连接器指标

用 JMX 工具查看连接器指标
kafka-run-class.sh kafka.tools.JmxTool --object-name "kafka.connect:type=connector-metrics,connector=mysql-cdc-orders"
指标名与可用性随连接器版本略有差异,接入监控前先用 JMX 实际确认指标存在。

易错点

  • 只看 Kafka consumer lag,不看源端时间滞后,真实数据延迟被低估
  • 告警只按平均值阈值,短时毛刺掩盖持续的大延迟

数据来源与参考

  • Kafka Connect 官方文档(JMX metrics)
  • Debezium 官方文档(Monitoring)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌