压缩对照
| 压缩 | 特点 | 适用 |
|---|---|---|
| Snappy | 快、压缩比中等 | 中间过程数据 |
| Zstd | 压缩比高、解压快 | 长期存储 |
| Gzip | 压缩比高、CPU 高 | 低频归档 |
参数设置
参数设置
set hive.exec.compress.intermediate=true;
set mapreduce.map.output.compress.codec=org.apache.hadoop.io.compress.SnappyCodec;
set hive.exec.compress.output=true;压缩格式对上层透明，可以在不改 SQL 的情况下按表调整。