| 思想 | 以时间为界切小批,逐批提交 |
|---|---|
| 延迟 | 约等于批次间隔 |
| 优点 | 复用批处理引擎与优化器,容错简单 |
Structured Streaming 触发间隔
Structured Streaming 触发间隔
query = df.writeStream \
.trigger(processingTime='1 minute') \
.format('parquet') \
.option('checkpointLocation', 's3a://bucket/ck/orders') \
.start('s3a://bucket/dwd/orders')间隔过小会带来小文件与元数据开销,1 分钟级是常见起点,再按延迟要求调整。