| 机制 | 小表广播 |
|---|---|
| 阈值 | spark.sql.autoBroadcastJoinThreshold |
| 写法 | broadcast hint |
| 限制 | 内存占用 |
广播连接
广播连接
from pyspark.sql.functions import broadcast
orders = spark.table('dwd_trade_order_di')
store = spark.table('dim_store').where('is_current=1')
res = orders.join(broadcast(store), 'store_id', 'left')
res.show(5)广播表超过阈值时会失败或把 driver 压垮，需要评估维表真实大小。