| 原因 | 分区多/reduce 多/流式写入 |
|---|---|
| 写入控制 | 控制并发与桶数 |
| 读取合并 | 合并输入参数 |
| 定期治理 | 合并重写任务 |
合并输入小文件
合并输入小文件
set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;
set mapred.max.split.size=134217728; -- 128MB
set hive.merge.mapfiles=true;
set hive.merge.size.per.task=268435456; -- 256MB合并任务本身消耗资源，按周对高分区数表执行，而不是每天全量重写。