| 模式 | append/update/complete |
|---|---|
| 触发 | 微批/连续 |
| 迟到 | watermark |
| 落点 | 文件/表/forEachBatch |
微批写入
微批写入
q = (spark.readStream.format('kafka')
.option('kafka.bootstrap.servers','broker:9092')
.option('subscribe','trade_events')
.load()
.writeStream.format('parquet')
.option('checkpointLocation','/ck/stream_trade')
.option('path','/warehouse/stream/trade')
.trigger(processingTime='1 minute')
.start())没有 checkpointLocation 的流任务无法恢复进度，重启会重复消费。