Spark SQL：统一批流的内存计算引擎

Spark SQL 兼容 Hive 元数据与语法，支持批处理、流处理与机器学习；执行计划经 Catalyst 优化，比原生 MR 更适合迭代计算。

数仓建模速查数据更新于 2026-10-12

定位	统一批流引擎
兼容	Hive Metastore/语法
优化	Catalyst+钨丝计划
场景	ETL/分析/流

Spark 提交作业

spark-submit \
  --master yarn \
  --deploy-mode cluster \
  --num-executors 20 --executor-memory 8g \
  --conf spark.sql.shuffle.partitions=400 \
  job_trade_dws.py

Spark 3.x 的 AQE 与动态分区裁剪在多数 ETL 场景能减少手工调参。

易错点

仍按 MR 思路手调并行度，忽略 AQE 能力

数据来源与参考

Apache Spark 官方文档：Spark SQL Guide

继续搜索

常用关键词：3389 traceroute iptables 子网掩码 docker

‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌