首页/数据/数据工程与 ETL 速查/数据仓库与数据湖的关系
本包目录(311 条)

数据仓库与数据湖的关系

数据仓库面向结构化、强治理、口径稳定的分析;数据湖面向前置存储多形态原始数据、schema 后置;湖仓一体在对象存储上叠加表格式(Iceberg/Hudi/Delta)与 SQL 引擎,兼顾两者。

对比

维度数据仓库数据湖湖仓一体
数据类型结构化为主结构化与半结构化、非结构化结构化加开放格式
schema写入时校验读取时解析表格式提供事务与演进
治理强、口径统一弱、依赖上层元数据与权限统一
典型引擎MPP 与数仓引擎Spark 加对象存储Spark / Trino / Flink 加表格式

湖仓表定义示例

湖仓表定义示例
CREATE TABLE lake.orders (order_id BIGINT, amount DECIMAL(18,2), dt STRING)
USING iceberg
PARTITIONED BY (dt);
选型看数据形态与治理要求:口径要求强的一致场景仍建议按数仓范式组织,湖负责原始与探索数据。

易错点

  • 把数据湖当数仓用却没有口径治理,报表数据不可信
  • 湖里保留海量原始数据但无生命周期策略,成本失控

数据来源与参考

  • Apache Iceberg 与 Delta Lake 官方文档
  • 行业湖仓建设实践
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌