首页/数据/数仓建模速查/DWD 清洗规则清单
分层与规范64 条

DWD 清洗规则清单

常见清洗动作:主键去重(保留最新批次)、字符串去空格、日期格式统一、枚举标准化、非法值归入未知成员、金额精度对齐;规则集中管理可回放。

数仓建模速查数据更新于 2026-10-12
去重主键+批次取最新
格式trim/日期统一
枚举映射表标准化
异常归入未知成员

去重与格式化

去重与格式化
SELECT order_id,
       trim(cust_name) AS cust_name,
       to_date(replace(birth_dt,'/','-')) AS birth_date
FROM (SELECT *, row_number() OVER (PARTITION BY order_id ORDER BY etl_load_time DESC) AS rn
      FROM ods_order
      WHERE dt='2026-10-12') t
WHERE rn = 1;
清洗规则用映射表加 SQL 实现,避免散落在多个脚本里的 CASE 分支。

易错点

  • 清洗规则只写在脚本注释里,无人能复现

数据来源与参考

  • Kimball《数据仓库工具箱(第3版)》
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌