首页/数据/数仓建模速查/hashdiff 变更检测
本包目录(97 条)

hashdiff 变更检测

把需跟踪的属性按固定顺序拼接后取哈希作为 hashdiff 列,比较新旧哈希即可判断是否变更,免去逐列比较。

数仓建模速查数据更新于 2026-10-12
拼接属性按序 concat,空值占位
算法md5 或 sha 系列
要点空值处理与顺序全局统一

hash 生成

hash 生成
SELECT id,
  md5(concat_ws('|', coalesce(name,'#'), coalesce(phone,'#'), coalesce(tier,'#'))) AS hashdiff
FROM stg_user;
拼接顺序或空值占位变更会导致全表哈希漂移,改动必须全链路同步。

易错点

  • NULL 未做占位处理,哈希随空值波动
  • 属性拼接顺序在上下游不一致,变更全量误判

数据来源与参考

  • 拉链表实现实践
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌