湖仓与引擎63 条

Tez 引擎：DAG 执行减少落盘

Tez 把多个 MR 阶段合并成 DAG，中间结果尽量不落盘，适合多阶段 ETL；切换引擎只需改执行参数，SQL 不变。

Tez 参数

set hive.execution.engine=tez;
set tez.queue.name=etl_default;
set hive.tez.container.size=4096;
set hive.tez.java.opts=-Xmx3276m;

Tez 容器内存配置要与队列资源匹配，配置过大反而排队等待。

‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌