首页/数据/数仓建模速查/Flink CDC 实时入仓链路
湖仓与引擎63 条

Flink CDC 实时入仓链路

Flink CDC 直连数据库日志(MySQL binlog 等)做实时同步:全量+增量自动衔接,入湖前需处理主键更新与 schema 变更。

数仓建模速查数据更新于 2026-10-12
来源binlog/redo log
模式全量+增量
落点湖表/Kafka/OLAP
难点schema 变更

CDC 入湖

CDC 入湖
CREATE TABLE mysql_orders (
  order_id STRING,
  pay_amt DECIMAL(18,2),
  PRIMARY KEY (order_id) NOT ENFORCED
) WITH (
  'connector' = 'mysql-cdc',
  'hostname' = '10.0.0.10',
  'port' = '3306',
  'database-name' = 'trade',
  'table-name' = 'orders'
);

INSERT INTO ods_mysql_orders SELECT * FROM mysql_orders;
源表加字段后未同步目标表结构,同步任务会因 schema 不匹配中断。

易错点

  • 源库大事务导致 CDC 阶段延迟陡增,无监控

数据来源与参考

  • Flink CDC 官方文档:MySQL CDC Connector
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌