首页/数据/数据工程与 ETL 速查/物化视图与预聚合加速
本包目录(311 条)

物化视图与预聚合加速

物化视图把预聚合结果物化存储,由引擎按需改写查询;也可用普通汇总表加调度刷新实现。关键点是刷新策略(全量或增量)、数据新鲜度与失败回退。

形式引擎物化视图(Doris/StarRocks/ClickHouse/Trino)或调度汇总表
刷新定时刷新或写入时触发
收益高并发报表查询明显加速
风险刷新失败或延迟会导致展示过期数据

汇总表方式的刷新

汇总表方式的刷新
-- 用调度每日覆盖刷新,查询直接读汇总表
INSERT OVERWRITE TABLE ads_metric_daily_agg PARTITION (dt='2026-10-11')
SELECT category, channel, SUM(pay_amt) AS pay_amt, COUNT(DISTINCT user_id) AS user_cnt
FROM dwd_trade_order_detail_di WHERE dt='2026-10-11'
GROUP BY category, channel;
汇总表刷新失败必须告警并阻止下游读取过期分区,否则看板展示旧数据更难发现。

易错点

  • 汇总表刷新晚于下游看板读取时间,展示的是前一天数据
  • 维度组合增加后需要大量物化视图,维护成本失控

数据来源与参考

  • Apache Doris 与 StarRocks 官方文档(物化视图)
  • 行业预聚合实践
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌