| 能力 | 合并分区/切 join/拆倾斜 |
|---|---|
| 开关 | spark.sql.adaptive.enabled |
| 倾斜 | skewJoin 子开关 |
| 版本 | Spark 3.x 通用 |
AQE 配置
AQE 配置
spark.conf.set('spark.sql.adaptive.enabled', 'true')
spark.conf.set('spark.sql.adaptive.skewJoin.enabled', 'true')
spark.conf.set('spark.sql.adaptive.advisoryPartitionSizeInBytes', '128m')AQE 依赖运行阶段统计，极端倾斜（单 key 占大半）仍建议先做业务层打散。