首页/数据/数仓建模速查/去重计数指标的三类实现
指标体系63 条

去重计数指标的三类实现

count distinct 简单但昂贵;近似算法(HLL)省资源但有误差;位图(bitmap)精确且可交并,适合基数中等且需要圈选的场景。

数仓建模速查数据更新于 2026-10-12

方案对比

方案精度成本适用
count distinct精确高中小数据量
HLL近似低大基数容忍误差
bitmap精确中圈选与交并

位图交并

位图交并
-- Doris 位图:周活 = 7 天位图并集
SELECT bitmap_count(bitmap_union(user_bitmap)) AS wau
FROM dws_user_bitmap_day
WHERE dt BETWEEN '2026-10-05' AND '2026-10-11';
去重口径(用户 ID 定义、跨端合并)决定能否与别处数字对齐,算法只是实现。

易错点

  • 不同报表用不同算法,数字对不上被当成故障
  • 位图全局基数巨大时构建成本失控

数据来源与参考

  • Apache Doris 官方文档:BITMAP 类型
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌