湖仓与引擎63 条

数据倾斜识别与加盐处理

倾斜表现为个别 reducer 长尾：先按 key 统计分布定位热点，可用加盐打散（热点 key 拼随机前缀）后两阶段聚合解决。

定位热点

SELECT store_id, count(1) AS cnt
FROM dwd_trade_order_di
WHERE dt='2026-10-12'
GROUP BY store_id
ORDER BY cnt DESC
LIMIT 20;

加盐后聚合结果仍要在第二阶段按原始 key 汇总，否则计数翻倍。

‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌