算法
| 算法 | 压缩比 | 速度 | 典型用途 |
|---|---|---|---|
| snappy | 中 | 快 | 列存默认、热数据 |
| lz4 | 中 | 很快 | 高吞吐场景 |
| gzip | 较高 | 中 | 通用归档、文本 |
| zstd | 高 | 较快 | 冷数据、成本敏感 |
| bzip2 | 高 | 慢 | 离线归档 |
Spark 写入压缩配置
Spark 写入压缩配置
spark.conf.set('spark.sql.parquet.compression.codec', 'zstd')
df.write.mode('overwrite').parquet('s3a://bucket/dwd/orders')普通 gzip 文本在 Hadoop 里不可切分，单大文件会限制并行度；列存格式内部按页压缩，不受此限制。