首页/数据/数据工程与 ETL 速查/数据湖概念与典型组成
管道基础52 条

数据湖概念与典型组成

数据湖用集中式存储(HDFS/对象存储)保存原始与加工数据,schema 在读时确定;由存储层、表格式层与计算引擎三层组合而成。

存储HDFS、S3、OSS 等,成本低、容量大
表格式Iceberg、Hudi、Delta 提供事务与元数据管理
计算Spark、Flink、Trino 等按需读取

没有目录规范与治理的数据湖会退化成“数据沼泽”:重复数据、口径不一、找不到可信来源。落地区、清洗区、应用区分层是必要约定。

分区目录示意

分区目录示意
s3://lake/landing/orders/2026/10/11/              原始落地
s3://lake/curated/dwd/orders/dt=2026-10-11/      清洗明细
s3://lake/marts/ads/sales_daily/dt=2026-10-11/   应用结果
对象存储上的 rename 是拷贝加删除,小文件与过度分区会显著放大成本。

易错点

  • 把数据湖当“所有数据的垃圾桶”而不设生命周期,成本与治理负担会快速上升
  • 对象存储 LIST 操作费用与延迟都要考虑,避免每次全量列举目录

数据来源与参考

  • AWS 官方文档:What is a Data Lake
  • Apache Iceberg 官方文档:Introduction
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌