本包目录(311 条)

数据新鲜度监控

新鲜度监控跟踪每张关键表最新分区的更新时间与业务时间差,按承诺时间分级告警;它回答的是现在能不能用的问题,是值班看板的常用首屏指标。

指标最新分区值、分区写入时间、业务延迟
采集元数据接口或直接查询表
分级按承诺时间前 N 分钟预警
看板按链路聚合展示,先看链路再看单表

新鲜度查询

新鲜度查询
SELECT MAX(dt) AS latest_dt,
       DATEDIFF(CURRENT_DATE, MAX(dt)) AS biz_lag_days
FROM dwd_trade_order_detail_di;

-- 结合元数据取分区写入时间(示例字段)
SELECT table_name, dt, write_time
FROM table_partition_meta
WHERE table_name IN ('dwd_trade_order_detail_di','dws_trade_user_1d')
ORDER BY write_time DESC;
新鲜度要按业务日期而不是写入日期判断:补昨天的数据与产出今天的数据,含义完全不同。

易错点

  • 只看写入时间不看业务日期,补数被误判为正常
  • 监控表清单长期不更新,新表无人覆盖

数据来源与参考

  • 行业数据平台新鲜度监控实践
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌