首页/数据/数据工程与 ETL 速查/分区空洞与空分区检查
本包目录(311 条)

分区空洞与空分区检查

分区检查覆盖三类问题:应有分区缺失、分区存在但行数为 0、行数远低于基线的“小分区”;分别对应调度失败、上游确实无数据、过滤条件误伤等原因,检查结果按链路汇总到值班看板。

缺失分区检测(应有日期清单与实际分区比对)

缺失分区检测(应有日期清单与实际分区比对)
SELECT expect.dt
FROM expected_dates expect
LEFT JOIN (SELECT DISTINCT dt FROM dwd_trade_order_di) actual
  ON expect.dt = actual.dt
WHERE actual.dt IS NULL
  AND expect.dt <= '2026-10-11';
小分区阈值要叠加业务日历:周末与节假日的正常回落不应被当成故障。

易错点

  • 只盯最新分区,中间历史分区缺失长期无人发现
  • 把节假日正常低量报成故障,值班对告警逐渐麻木

数据来源与参考

  • 行业数仓运维实践(分区校验)
  • Apache Spark 官方文档(分区表)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌