首页/数据/数据工程与 ETL 速查/分层边界与加工下沉判断

分层边界与加工下沉判断

判断加工写在哪一层的实用标准:涉及业务规则(枚举映射、金额口径)放 DWD;多需求共用的聚合放 DWS;一次性或强业务定制放 ADS。放反会造成重复计算或口径分裂。

ODS只落地与分区
DWD清洗、规范、维度退化
DWS共性聚合
ADS最终口径与交付形态

判断清单

判断清单
该逻辑是否被 2 个以上下游使用?→ 是则下沉到 DWD/DWS
是否是业务规则(枚举、币种、单位)?→ 放 DWD
是否只服务一个报表?→ 留在 ADS
是否经常变化?→ 放 ADS,避免影响公共层
把规则固定在公共层是治理口径最有效的手段:一处修改、全链路生效。

易错点

  • 同一套清洗逻辑在 DWD 与 ADS 各写一份,源字段变化时只改了一处
  • 公共层频繁变更,所有下游都要回归测试

数据来源与参考

  • 阿里《大数据之路:阿里巴巴大数据实践》分层设计原则
  • 行业数据仓库建设实践
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌