本包目录(311 条)

及时性校验

及时性校验关注数据是否按时可用:分区产出时间与承诺时间(SLA)比较、最新分区滞后天数、下游开始时间是否早于上游完成时间;及时性问题通常要治调度而不是治数据。

指标产出时间、滞后天数、SLA 达成率
数据源调度平台任务结束时间、表最近更新时间
告警超过承诺时间未产出即告警
根因上游延迟、资源竞争、长时间锁或数据量激增

产出滞后检查

产出滞后检查
-- 最新分区日期与今天相差天数
SELECT MAX(dt) AS latest_dt, DATEDIFF(CURRENT_DATE, MAX(dt)) AS lag_days
FROM dwd_trade_order_detail_di;

SLA 达成率

SLA 达成率
SELECT dt,
       ROUND(SUM(CASE WHEN ready_time <= promise_time THEN 1 ELSE 0 END) / COUNT(1), 4) AS sla_rate
FROM etl_task_ready_log
WHERE dt >= '2026-10-01'
GROUP BY dt;
及时性告警要区分“还没到点”和“已超时”,否则凌晨会收到大量无意义提醒。

易错点

  • 只在任务失败时告警,任务成功但没产出数据的情况漏警
  • SLA 只统计任务结束时间,不统计产出可用时间,报表仍可能读空

数据来源与参考

  • Apache Airflow 官方文档:SLA 配置
  • 行业数据 SLA 实践
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌