首页/数据/数仓建模速查/Checkpoint 与端到端一致性
湖仓与引擎63 条

Checkpoint 与端到端一致性

Checkpoint 周期性快照算子状态,配合两阶段提交 sink 可实现端到端精确一次;间隔越小恢复越快但运行时开销越大。

数仓建模速查数据更新于 2026-10-12
语义at least/exactly once
手段快照+两阶段提交
间隔按恢复目标设定
存储HDFS/对象存储

开启与调参

开启与调参
-- flink-conf.yaml 关键项
-- execution.checkpointing.interval: 60s
-- execution.checkpointing.timeout: 10min
-- state.backend: rocksdb
-- state.checkpoints.dir: hdfs:///flink/checkpoints
Checkpoint 目录要纳入容量监控,历史快照按保留策略清理。

易错点

  • Checkpoint 频繁超时不再被忽略,任务重启后重复消费

数据来源与参考

  • Apache Flink 官方文档:Checkpointing
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌