首页/数据/数仓建模速查/汇总的物化策略:全量与增量
维度与事实设计149 条

汇总的物化策略:全量与增量

汇总表两种刷新:全量重算简单可靠但成本高;增量滚动省资源但要处理迟到数据与重复提交,适合数据量大且上游稳定的场景。

数仓建模速查数据更新于 2026-10-12
全量重算快照,口径稳
增量只算新分区,省资源
风险迟到数据需回补

增量滚动

增量滚动
INSERT OVERWRITE TABLE dws_sales_day PARTITION (dt = '2026-10-12')
SELECT '2026-10-12' AS dt, region_sk, sum(amt) AS amt
FROM dwd_sales WHERE dt = '2026-10-12' GROUP BY region_sk;
增量方案要配迟到数据回补任务:被修正的历史分区重新计算。

易错点

  • 迟到数据不回补,汇总与明细长期偏差
  • 全量重算无并发保护,任务重叠

数据来源与参考

  • 数仓工程实践:汇总刷新策略
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌