首页/数据/数据工程与 ETL 速查/数据质量问题定位四步法
本包目录(311 条)

数据质量问题定位四步法

定位流程:① 复现现象(确认时间范围与影响面)② 缩小范围(按分区、维度、单条键下钻)③ 沿血缘找变更(上游任务、DDL、参数、数据源)④ 修复并加校验防复发。

  • ① 复现:确定出问题的时间范围、表与字段,量化影响行数
  • ② 缩小:按分区与维度下钻,找到异常集中的业务键
  • ③ 回溯:查上游任务日志、DDL 变更、参数与数据源文件
  • ④ 修复:重跑受影响区间,补校验规则并记录复盘

缩小范围的下钻查询

缩小范围的下钻查询
-- 按天观察异常指标变化,定位起始日期
SELECT dt, COUNT(1) AS cnt, SUM(CASE WHEN pay_amount IS NULL THEN 1 ELSE 0 END) AS null_amt
FROM dwd_trade_order_detail_di
WHERE dt BETWEEN '2026-10-01' AND '2026-10-11'
GROUP BY dt ORDER BY dt;
先量化影响面再动手修:影响行数决定是否需要回刷历史,也决定对外沟通口径。

易错点

  • 不确认影响面就重跑,可能把问题区间扩大
  • 只修数据不改上游,次日同一问题再次出现

数据来源与参考

  • 行业数据质量故障排查实践
  • Apache Airflow 官方文档(任务日志排查)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌