首页/数据/数据工程与 ETL 速查/Flink CDC YAML 管道:整库同步
CDC 与同步53 条

Flink CDC YAML 管道:整库同步

Flink CDC 3.x 提供 YAML 管道:用 source/sink/pipeline 三段声明数据流,bin/flink-cdc.sh 提交,适合把整库或一批表同步到消息队列、湖仓等目标,并可做库表改名路由,减少逐表写 SQL 的重复工作。

mysql-to-kafka.yaml 示例

mysql-to-kafka.yaml 示例
source:
  type: mysql
  hostname: 10.0.0.5
  port: 3306
  username: cdc_ro
  password: '***'
  tables: app.orders, app.users
  server-id: 5400-5404
  server-time-zone: Asia/Shanghai

sink:
  type: kafka
  properties.bootstrap.servers: 10.0.0.6:9092
  topic: mysql-to-kafka

pipeline:
  name: mysql-to-kafka
  parallelism: 2

提交作业

提交作业
bin/flink-cdc.sh mysql-to-kafka.yaml
管道属性随版本演进(3.0 与 3.1 的 sink 参数有差异),落库前对照所用版本的官方示例核对一遍。

易错点

  • tables 用正则全库同步却不排除日志/大表,带宽与存储被意外消耗
  • server-id 区间与其他 CDC 实例或从库冲突

数据来源与参考

  • Flink CDC 官方文档(Data Pipeline / YAML 作业)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌