首页/数据/数据工程与 ETL 速查/湖仓一体 Lakehouse 关键能力
管道基础52 条

湖仓一体 Lakehouse 关键能力

湖仓一体在数据湖的存储上叠加表格式的事务与元数据能力:ACID 写入、schema 演进、快照与时间旅行,让分析型查询直接用湖上数据。

形态

能力传统数据仓库数据湖湖仓一体
存储成本高(纵向扩展)低(对象存储)低
事务一致性强弱(文件级)表级快照与事务
数据类型结构化为主任意类型结构化为主并支持半结构化
典型生态商业 MPPHDFS 直读Iceberg/Hudi/Delta + 多引擎

湖仓读写路径示意

湖仓读写路径示意
Spark/Flink 写入 → 表格式(快照/日志) → Trino/Spark 查询
批写流读、流写批读的混合场景由表格式的元数据层保证一致性
湖仓的核心不是存储本身,而是表格式提供的元数据协议与多引擎互操作。

易错点

  • 宣称支持事务的表格式也需要维护任务(快照过期、小文件合并)配合
  • 多引擎共读前先确认版本兼容,元数据协议差异可能导致读写失败

数据来源与参考

  • Apache Iceberg 官方文档
  • 《Lakehouse: A New Generation of Open Platforms》(Databricks 论文)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌