首页/数据/数仓建模速查/对象存储目录布局与生命周期
湖仓与引擎63 条

对象存储目录布局与生命周期

湖仓数据落对象存储时按「层/域/表/分区」组织目录,配合存储生命周期策略把冷分区转低频;注意对象存储的重命名与列举开销较高。

数仓建模速查数据更新于 2026-10-12
布局层/域/表/分区
生命周期冷热转换
开销列举与重命名
注意最终一致性

目录与生命周期

目录与生命周期
s3://corp-lake/silver/trade/order/dt=2026-10-12/part-00000.parquet

生命周期策略示例:
- 30 天:标准存储
- 30-365 天:低频访问
- 365 天以上:归档存储
对象存储不支持目录原子重命名,湖表提交依赖清单文件而非改名,切勿手工搬目录。

易错点

  • 手工移动对象存储目录,表元数据指向失效

数据来源与参考

  • Apache Iceberg 官方文档:Object Storage
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌