首页/数据/数据工程与 ETL 速查/Debezium:Kafka Connect 上的 CDC
CDC 与同步53 条

Debezium:Kafka Connect 上的 CDC

Debezium 是开源的 CDC 平台,以 Kafka Connect 连接器形式读取 MySQL、PostgreSQL、Oracle、SQL Server、MongoDB 等数据源的日志,把行级变更输出为结构化事件(before/after、op、来源位点)发送到 Kafka;也提供 Debezium Server 形态直接投递到 Kinesis 等目标。

定位面向日志解析的开源 CDC 平台
运行形态Kafka Connect 连接器(集群)或 Debezium Server
支持源MySQL、PostgreSQL、Oracle、SQL Server、MongoDB、Db2 等
事件内容before/after 行镜像、op、source 位点、ts_ms

典型数据流向

典型数据流向
MySQL binlog
  → Debezium Connector(运行在 Kafka Connect)
  → Kafka Topics(一表一主题)
  → 下游:数仓 / 检索 / 缓存 / 审计
每个连接器需要独立的 database.server.id,与其他从库和 CDC 实例错开。

易错点

  • 多个 connector 共用 server.id,位点互相抢占,事件时有时无
  • 把 Debezium 当端到端同步工具:它负责捕获进 Kafka,落目标库还要配 sink 或下游作业

数据来源与参考

  • Debezium 官方文档(Architecture / Connectors 索引)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌