稽核结果表设计

稽核结果表统一存储每次校验结果:规则、对象、分区、检查维度、样本量、失败量、是否通过、耗时与明细;它是看板、告警与复盘的数据基础,字段设计要支持按时间与对象下钻。

关键字段rule_id、table_name、dt、dimension、fail_cnt、pass_flag
补充check_time、cost_ms、detail
分区按 dt 分区,便于历史对比
保留至少覆盖一个季度以便趋势分析

稽核结果表

稽核结果表
CREATE TABLE dq_audit_result (
  rule_id    STRING,
  table_name STRING,
  check_dim  STRING COMMENT '完整性/唯一性/一致性/及时性/准确性/有效性',
  total_cnt  BIGINT,
  fail_cnt   BIGINT,
  pass_flag  BOOLEAN,
  cost_ms    BIGINT,
  detail     STRING COMMENT '失败样例或差异说明',
  check_time TIMESTAMP
) PARTITIONED BY (dt STRING)
STORED AS ORC;
detail 字段存少量失败样例(如前 20 条键值),比只存计数更能加速定位。

易错点

  • 结果表不存样本明细,事后无法复现问题
  • 失败行数不区分 0 表示通过与未执行,统计口径混乱

数据来源与参考

  • 行业数据质量平台实践(稽核结果模型)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌