格式
| 格式 | 优势 | 典型场景 |
|---|---|---|
| ORC | 高压缩、Hive 生态 | 离线宽表事实 |
| Parquet | Spark 生态、嵌套 | 多引擎读取 |
| Avro | 行存、schema 演化 | 写入缓冲层 |
建 ORC 表
建 ORC 表
CREATE TABLE dwd_order (...)
PARTITIONED BY (dt string)
STORED AS ORC
TBLPROPERTIES ('orc.compress' = 'ZLIB');压缩算法按冷热分层:热数据轻压缩、冷数据高压缩。
列存 + 压缩(ORC/Parquet)是分析事实表默认;ORC 在 Hive 生态压缩与谓词下推成熟,Parquet 在 Spark 生态与嵌套结构支持广。
| 格式 | 优势 | 典型场景 |
|---|---|---|
| ORC | 高压缩、Hive 生态 | 离线宽表事实 |
| Parquet | Spark 生态、嵌套 | 多引擎读取 |
| Avro | 行存、schema 演化 | 写入缓冲层 |
CREATE TABLE dwd_order (...)
PARTITIONED BY (dt string)
STORED AS ORC
TBLPROPERTIES ('orc.compress' = 'ZLIB');