| 存储 | HDFS、S3、OSS 等,成本低、容量大 |
|---|---|
| 表格式 | Iceberg、Hudi、Delta 提供事务与元数据管理 |
| 计算 | Spark、Flink、Trino 等按需读取 |
没有目录规范与治理的数据湖会退化成“数据沼泽”:重复数据、口径不一、找不到可信来源。落地区、清洗区、应用区分层是必要约定。
分区目录示意
分区目录示意
s3://lake/landing/orders/2026/10/11/ 原始落地
s3://lake/curated/dwd/orders/dt=2026-10-11/ 清洗明细
s3://lake/marts/ads/sales_daily/dt=2026-10-11/ 应用结果对象存储上的 rename 是拷贝加删除,小文件与过度分区会显著放大成本。