分区生命周期管理
事实表按分区设置保留策略：热区（近 N 天）访问频繁，用轻压缩保证扫描速度；温区访问变少，可提高压缩比或降级到冷存储；冷区按合规要求归档到对象存储或直接删除分区。策略要按数据域分级：交易与审计类数据的保留期通常远长于行为埋点类数据。
基本信息
| 热区 | 近 N 天，高频访问，轻压缩 |
|---|---|
| 温区 | 低频访问，高压缩或冷存储介质 |
| 冷区 | 归档到对象存储，或按合规删除 |
| 分级依据 | 数据域（交易、审计 vs 行为日志） |
| 归档前提 | 先验收副本并做一次恢复演练 |
| 执行方式 | 按分区删除或迁移，避免全表重写 |
典型使用场景
- 成本控制：把一年前的行为日志分区归档，降低在线存储成本
- 合规删除：按个人信息保存期限要求删除超期数据
- 查询加速：热区保持轻压缩与较少文件数，保证日报扫描速度
- 容量规划：按增长率预估下一年度存储与分区数量
- 恢复演练：定期从归档中恢复指定分区，验证归档可用
分区删除与归档
分区删除与归档
ALTER TABLE dwd_click DROP IF EXISTS PARTITION (dt = '2025-10-12');
-- 归档前先验收对象存储副本与恢复演练，确认能恢复再删在线分区
ALTER TABLE dwd_click ARCHIVE PARTITION (dt = '2025-10-12'); -- 归档到冷存储，保留可读性
SHOW PARTITIONS dwd_order; -- 核对分区清单，确认生命周期脚本执行结果分层策略要点
| 层级 | 保留期示例 | 注意点 |
|---|---|---|
| 热 | 近 30-90 天 | 压缩率让位于扫描速度 |
| 温 | 3 个月到 1 年 | 压缩提高，查询延迟上升 |
| 冷 | 1 年以上 | 归档需可恢复，删除需合规确认 |
删除策略要按数据域分级：交易与审计类数据的保留期通常长于行为类数据，用统一期限管理会出现该留的被删、该删的留着的情况。
生命周期脚本要纳入调度并做结果核对：脚本静默失败时存储成本会逐年上涨而不易察觉，可以用分区数量与总容量两个指标做长期监控。