首页/数据/数据工程与 ETL 速查/行数比对与波动检查

行数比对与波动检查

行数比对是最基础的稽核:源与目标同口径计数比对、当日与近 7 日基线比对;差异超阈值即告警,是发现抽取断流、过滤条件误改的快速手段。

源目标比对同一时间窗同一过滤条件下计数
基线比对与近 7 日均值比较波动率
阈值绝对值加比例双阈值
定位差异按业务维度下钻

源与目标行数比对

源与目标行数比对
SELECT 'src' AS side, COUNT(1) AS cnt
FROM src_order WHERE update_time >= '2026-10-11 00:00:00'
UNION ALL
SELECT 'dwd', COUNT(1)
FROM dwd_trade_order_detail_di WHERE dt = '2026-10-11';

波动率计算

波动率计算
SELECT dt, cnt,
       ROUND((cnt - avg_cnt) / NULLIF(avg_cnt, 0), 4) AS diff_rate
FROM (
  SELECT dt, cnt,
         AVG(cnt) OVER (ORDER BY dt ROWS BETWEEN 7 PRECEDING AND 1 PRECEDING) AS avg_cnt
  FROM (SELECT dt, COUNT(1) AS cnt FROM dwd_trade_order_detail_di GROUP BY dt) t
) x
WHERE dt = '2026-10-11';
行数正常不代表数据正常:大促、批量补录会让行数正常波动,规则要结合业务日历调整。

易错点

  • 阈值固定不变,大促期间每天误报
  • 源与目标过滤条件不一致,比对结果没有意义

数据来源与参考

  • 行业数据质量稽核实践与波动监控
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌