| 关键字段 | rule_id、table_name、dt、dimension、fail_cnt、pass_flag |
|---|---|
| 补充 | check_time、cost_ms、detail |
| 分区 | 按 dt 分区,便于历史对比 |
| 保留 | 至少覆盖一个季度以便趋势分析 |
稽核结果表
稽核结果表
CREATE TABLE dq_audit_result (
rule_id STRING,
table_name STRING,
check_dim STRING COMMENT '完整性/唯一性/一致性/及时性/准确性/有效性',
total_cnt BIGINT,
fail_cnt BIGINT,
pass_flag BOOLEAN,
cost_ms BIGINT,
detail STRING COMMENT '失败样例或差异说明',
check_time TIMESTAMP
) PARTITIONED BY (dt STRING)
STORED AS ORC;detail 字段存少量失败样例(如前 20 条键值),比只存计数更能加速定位。