首页/数据/NoSQL 速查/数据质量巡检:完整性、时效与分布
本包目录(322 条)
MongoDB99 条Elasticsearch89 条ClickHouse56 条时序与列式28 条
选型与架构50 条

数据质量巡检:完整性、时效与分布

数据接入后要持续巡检四类问题:量级异常(突增突降)、时效劣化(最新数据时间落后)、字段质量(空值率、非法值)、分布漂移(枚举与分位数变化)。把检查写成可调度查询,结果落表并接告警。

NoSQL 速查数据更新于 2026-10-12

巡检查询示例(ClickHouse)

巡检查询示例(ClickHouse)
-- 量级与时效
SELECT
  count() AS rows_1h,
  max(ts) AS latest,
  dateDiff('second', max(ts), now()) AS lag_seconds
FROM logs.events
WHERE ts >= now() - INTERVAL 1 HOUR;

-- 字段空值率
SELECT countIf(user_id = '' OR user_id IS NULL) / count() AS null_ratio
FROM logs.events
WHERE ts >= now() - INTERVAL 1 DAY;

与历史基线对比(伪代码)

与历史基线对比(伪代码)
today = run_check("rows_1h")
baseline = median(last_14_days_same_hour("rows_1h"))
if today < baseline * 0.5 or today > baseline * 2:
    alert("量级偏离基线", today=today, baseline=baseline)
基线比固定阈值更稳:流量有周期和趋势,固定的"低于 N 条告警"会频繁误报或被忽略;按同时段历史分位数建基线。

易错点

  • 巡检只看向上偏离(数据太多):采集中断导致的写入归零更需要及时告警
  • 基线在业务大促或版本发布期间未暂停:周期性变更会污染基线并持续误报

数据来源与参考

  • ClickHouse Docs: system.query_log
  • InfluxData Docs: Check tasks(概念参考)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌