首页/数据/数仓建模速查/Iceberg Catalog 选型
湖仓与引擎63 条

Iceberg Catalog 选型

Catalog 决定表定位与并发控制:Hive Metastore 兼容存量、REST Catalog 面向统一服务、云上 Glue 与云原生集成;同一表需通过同一 Catalog 访问。

数仓建模速查数据更新于 2026-10-12

Catalog

Catalog特点适用
Hive Metastore兼容存量生态已有 Hive 集群
REST Catalog统一服务化多引擎共享
Glue/云目录云原生托管公有云环境

Spark 配置

Spark 配置
spark.sql.catalog.demo=org.apache.iceberg.spark.SparkCatalog
spark.sql.catalog.demo.type=hive
spark.sql.catalog.demo.uri=thrift://hms:9083
spark.sql.defaultCatalog=demo
同一张 Iceberg 表被两种 Catalog 指向不同元数据路径,会出现「数据看不见」的诡异问题。

易错点

  • 多引擎用不同 Catalog 访问同一表,元数据不一致

数据来源与参考

  • Apache Iceberg 官方文档:Catalogs
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌