管道基础52 条

对象存储作为数据落地区

数据湖常以对象存储作为落地区：S3/OSS 等提供廉价容量，Hadoop 生态通过 s3a:// 等 scheme 访问；注意其最终一致性已改善但目录操作语义与本地文件系统不同。

路径 scheme	s3a://（Hadoop 常用）、oss://、cos:// 依发行版而定
分层约定	landing（原始）→ curated（清洗）→ marts（应用）
访问工具	spark/hadoop fs、各云厂商 CLI/SDK

用 hadoop fs 查看分区目录

hadoop fs -ls s3a://lake/curated/dwd/orders/dt=2026-10-11/ | head
hadoop fs -cat s3a://lake/curated/dwd/orders/dt=2026-10-11/_SUCCESS

对象存储的 rename 是拷贝加删除、并非原子操作；依赖“临时目录 rename 落地”的流程要改为清单文件或提交协议标记完成。

‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌