首页/数据/数据工程与 ETL 速查/脱敏数据的质量校验

脱敏数据的质量校验

脱敏前后要校验三件事:脱敏后字段仍符合格式规则、业务键的稳定映射保持(同一明文得到同一脱敏值可关联)、统计分布不被破坏(均值与分位数在容忍范围内);用固定样本比对脱敏前后可比指标。

映射冲突检查(一个脱敏值对应多个明文即冲突)

映射冲突检查(一个脱敏值对应多个明文即冲突)
SELECT md5_val, COUNT(DISTINCT raw_val) AS raw_cnt
FROM tmp_mask_mapping
GROUP BY md5_val
HAVING COUNT(DISTINCT raw_val) > 1;
校验脚本本身不要输出明文样本;脱敏映射表属敏感资产,权限与留存周期单独管理。

易错点

  • 脱敏后没验证关联键稳定性,下游 join 大量丢失行
  • 校验过程打印明文样本,造成二次泄漏风险

数据来源与参考

  • 行业数据脱敏与合规实践
  • DAMA-DMBOK(数据安全与质量)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌