| 交互 | spark-sql(进入交互式 shell) |
|---|---|
| 批执行 | spark-sql -e "SQL" / spark-sql -f job.sql |
| 附带配置 | spark-sql --conf k=v --database db |
常用调用
常用调用
spark-sql -e "SELECT count(*) FROM dwd_order WHERE dt='2026-10-11';"
spark-sql -f /opt/jobs/dwd_order_daily.sql
spark-sql --master yarn --conf spark.sql.shuffle.partitions=400 -f job.sql先用 EXPLAIN 看分区裁剪与 join 策略,再全量跑;纯 SQL 任务同样需要资源参数,别用默认并行度硬扛。