首页/数据/数据工程与 ETL 速查/数仓分层总览(ODS/DWD/DWS/ADS/DIM)
本包目录(311 条)

数仓分层总览(ODS/DWD/DWS/ADS/DIM)

离线数仓常见五层:ODS 贴源、DWD 明细、DIM 公共维度、DWS 轻度汇总、ADS 应用层;分层解决复用、口径统一与链路可维护问题,代价是存储与调度节点增加。

分层对照

层次定位典型加工
ODS贴源落地,结构与源一致抽取、加分区、极少清洗
DWD业务过程明细,清洗后复用去重、脱敏、类型规范、维度退化
DIM公共维度,全库共享一致性编码、历史跟踪(拉链)
DWS按主题轻度汇总按天与粒度聚合出宽表
ADS面向报表与接口的最终结果口径计算、指标落地

分层命名示例

分层命名示例
ods_order_mysql            源库订单表贴源
dwd_trade_order_detail_di   订单明细(日增量)
dim_user_zip                用户维度拉链表
dws_trade_user_1d           用户主题日汇总
ads_order_overview_1d       订单看板日结果
分层不是越多越好:小团队可只保留 ODS/DWD/DWS/ADS 四层,关键是边界清晰、口径只在固定层实现。

易错点

  • ADS 直接读 ODS 跳过公共层,口径散落各处,后续改一处漏三处
  • 分层命名不统一(1d/di/ds 混用),新人无法判断更新频率

数据来源与参考

  • 阿里《大数据之路:阿里巴巴大数据实践》数仓分层章节
  • Kimball《The Data Warehouse Toolkit》
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌