首页/数据/数据工程与 ETL 速查/flink-cdc scan.startup.mode 启动模式
CDC 与同步53 条

flink-cdc scan.startup.mode 启动模式

scan.startup.mode 决定 CDC 源从何处开始消费:initial(默认,先快照全量再跟增量)、earliest-offset、latest-offset、specific-offset、timestamp。无状态作业从 latest-offset 起会跳过历史,有状态作业通常用 initial 或直接依赖状态恢复。

可选值

取值行为
initial先做全量快照,再无缝跟踪增量(默认)
earliest-offset从当前可用的最早位点开始回放(不做快照)
latest-offset从当前最新位点开始,只消费之后的新变更
specific-offset从指定的 file/pos 或 GTID 开始(需附位点参数)
timestamp从指定时间点对应的位点开始

SQL 中显式指定

SQL 中显式指定
'scan.startup.mode' = 'latest-offset'
earliest-offset 能追回多少历史取决于 binlog 保留期;保留期之外的数据同样拿不到。

易错点

  • 有状态恢复时顺带改了启动模式,参数被忽略或行为不符预期
  • specific-offset 只给文件名没给偏移,作业启动直接失败

数据来源与参考

  • Flink CDC 官方文档(Startup Reading Position)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌