本包目录(311 条)
管道基础52 条
Kafka64 条调度与编排40 条数仓建模52 条数据质量50 条CDC 与同步53 条

ORC 列式文件格式

ORC 是 Hive 生态常用的列式格式,提供列级索引、布隆过滤与谓词下推支持;在 Hive 为主、Spark 为辅的仓库里使用广泛。

特点列式、索引丰富(min/max、布隆过滤)、压缩高效
使用Hive 建表 STORED AS ORC;Spark 亦可读写
取舍Hive 生态重选 ORC,湖仓与多引擎选 Parquet 也常见

Hive 建 ORC 表

Hive 建 ORC 表
CREATE TABLE dwd_order_orc (
  order_id STRING, amount DECIMAL(10,2), dt STRING
) PARTITIONED BY (dt STRING)
STORED AS ORC
TBLPROPERTIES ('orc.compress' = 'ZLIB');
ORC 与 Parquet 都是成熟列存格式,选型更多取决于引擎生态与团队既有规范,而非单点性能。

易错点

  • orc.compress 需要与查询引擎兼容,换引擎前先用小数据验证读取
  • 频繁小批量写 ORC 会产生大量小文件,需要定期合并(concatenate)

数据来源与参考

  • Apache ORC 官方文档:ORC Specification
  • Apache Hive LanguageManual:ORC Files
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌