首页/数据/数据工程与 ETL 速查/DWS 轻度汇总层设计
本包目录(311 条)

DWS 轻度汇总层设计

DWS 按主题域对明细做轻度汇总(常见按天加用户或商品等维度粒度),目标是让多个下游共享同一份汇总结果;粒度过粗会丢维度组合,过细则收益有限。

粒度如 日 × 用户、日 × 商品
内容可加度量与常用派生字段
复用多个 ADS 共用一张 DWS
更新按 dt 覆盖写入

用户主题日汇总

用户主题日汇总
INSERT OVERWRITE TABLE dws_trade_user_1d PARTITION (dt='2026-10-11')
SELECT user_id,
       COUNT(DISTINCT order_id) AS order_cnt,
       SUM(pay_amount)         AS pay_amt,
       MAX(create_time)        AS last_order_time
FROM dwd_trade_order_detail_di
WHERE dt='2026-10-11'
GROUP BY user_id;
判断是否值得进 DWS:同类汇总被两个以上下游使用且逻辑稳定;一次性需求直接写在 ADS。

易错点

  • DWS 粒度太细(接近明细),存储膨胀却没有减少计算
  • 把口径不稳定的临时需求固化进 DWS,后续无人敢改

数据来源与参考

  • 阿里《大数据之路:阿里巴巴大数据实践》汇总数据层(DWS)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌