| 参数 | spark.sql.shuffle.partitions |
|---|---|
| 默认 | 200 |
| 经验 | 单分区 100-200MB |
| 配合 | AQE 自动合并 |
并行度设置
并行度设置
spark.conf.set('spark.sql.shuffle.partitions', '400')
spark.conf.set('spark.sql.adaptive.enabled', 'true')
spark.conf.set('spark.sql.adaptive.coalescePartitions.enabled', 'true')分区数按数据量估算：总 shuffle 数据量除以 200MB 再取整。