湖仓与引擎63 条

Spark 检查点与任务恢复

检查点把流状态与元数据落盘：流任务必须设置 checkpointLocation；批任务用本地检查点可以切断血缘过长的问题。

批检查点

spark.sparkContext.setCheckpointDir('hdfs:///tmp/checkpoint')
val df = spark.table('dwd_trade_order_di').repartition(64).checkpoint()
df.count()

流任务的检查点目录与业务目录要分开存储，避免清理任务误删。

‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌