首页/数据/数据工程与 ETL 速查/数仓表生命周期与归档
本包目录(311 条)

数仓表生命周期与归档

生命周期策略决定明细保留多久、汇总保留多久:热数据留近 N 天、冷数据转低频存储或归档,删除前先确认血缘与合规要求;常用手段是按分区批量清理。

分层差异ODS/DWD 保留期短,DWS/ADS 可长期保留结果
归档方式低频存储、冷存储、导出对象存储
清理按分区删除并保留元数据说明
合规涉个人信息的数据按最小必要期限保留

清理过期分区

清理过期分区
-- 删除指定日期前的分区(执行前先确认血缘影响)
ALTER TABLE dwd_trade_order_detail_di DROP PARTITION (dt < '2026-04-15');

-- 列出分区与占用情况
SHOW PARTITIONS dwd_trade_order_detail_di;
删除分区属于不可逆操作:先评估影响面(哪些下游还在读该区间),并在变更记录中留痕。

易错点

  • 直接删分区不看血缘,下游回溯任务突然失败
  • ODS 保留期短于 DWD,出现历史数据无法重跑

数据来源与参考

  • Apache Hive 官方文档:ALTER TABLE DROP PARTITION
  • 行业数据生命周期治理实践
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌