分层保留期与冷热策略
按层设置数据保留期是控制存储成本与合规风险的常规手段：ODS 保留原始快照一段时间加月末快照，DWD 明细按合规要求长期保留，DWS 与 ADS 按分析周期滚动清理。冷数据则通过存储类别下沉到低频或归档存储，热数据留在标准存储或 OLAP 集群。
基本信息
| 作用 | 控制存储成本与合规留存 |
|---|---|
| 冷热手段 | 生命周期转低频/归档、OLAP 下沉 |
| 执行方式 | 按分区 DROP、按前缀配生命周期 |
| 前置条件 | 确认下游依赖与补数窗口 |
| 留痕 | 清理动作要有审批记录 |
典型使用场景
- ODS 只保留可补数窗口内的原始快照，超期分区按日清理
- 月末快照单独长期保留，用于月度对账与同比分析
- DWS 按分析周期滚动清理（如保留 730 天），避免汇总层无限膨胀
- ADS 按报表实际需要保留，报表下线后同步清理
- 合规审计：确认需要长期留存的表已单独设置保留策略，不被通用规则误删
保留与清理
保留与清理
-- 清理超出补数窗口的 ODS 快照分区
ALTER TABLE ods_user_snapshot DROP IF EXISTS PARTITION (dt < '2026-07-14');
-- 对象存储侧按前缀配置生命周期（示例，规则匹配前缀）
-- ods/ 90 天后过期删除
-- dws/ 730 天后转归档
清理前先确认：无下游依赖、不在合规留存范围内、有审批记录分层保留策略
| 层 | 保留策略 | 依据 |
|---|---|---|
| ODS | 90 天加月末快照 | 追溯与补数窗口 |
| DWD | 1 至 3 年 | 合规与回溯分析 |
| DWS | 按分析周期滚动 | 汇总可重算 |
| ADS | 按报表需要 | 展示需求，可重建 |
清理动作要有审批记录与执行日志；删除对象存储数据通常不可恢复，建议先转冷存储观察一个周期再真正删除。
超过补数窗口的历史分区被删掉后，如果上游也没有留档，这段历史就永久缺失；删除前要确认补数能力，而不只是确认当前没人读。