首页/数据/数据工程与 ETL 速查/微批 Micro-batch 模式
本包目录(311 条)
管道基础52 条
Kafka64 条调度与编排40 条数仓建模52 条数据质量50 条CDC 与同步53 条

微批 Micro-batch 模式

微批把流按固定小间隔切成批执行,实现简单、天然幂等,代价是延迟约等于批次间隔;Spark Structured Streaming 即此模型。

思想以时间为界切小批,逐批提交
延迟约等于批次间隔
优点复用批处理引擎与优化器,容错简单

Structured Streaming 触发间隔

Structured Streaming 触发间隔
query = df.writeStream \
    .trigger(processingTime='1 minute') \
    .format('parquet') \
    .option('checkpointLocation', 's3a://bucket/ck/orders') \
    .start('s3a://bucket/dwd/orders')
间隔过小会带来小文件与元数据开销,1 分钟级是常见起点,再按延迟要求调整。

易错点

  • 多个 query 共用一个 checkpoint 目录会互相破坏状态,必须按 query 隔离
  • 批间隔内数据量抖动大时会频繁空跑,可结合 availableNow 方式调度触发

数据来源与参考

  • Structured Streaming Programming Guide: Triggers(Apache Spark)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌