首页/数据/数据工程与 ETL 速查/隔离表(quarantine)设计
本包目录(311 条)

隔离表(quarantine)设计

隔离表集中存放校验失败的行:原始字段、失败规则、失败时间、来源分区,供人工修复与重放;按天分区、设保留策略,并配“隔离量趋势”监控,隔离量突然升高通常意味着上游发生了变化。

隔离表结构示例

隔离表结构示例
CREATE TABLE dw_quarantine.order_fail (
  order_id      BIGINT,
  payload       STRING,      -- 原始行序列化内容
  dq_rule       STRING,      -- 触发的规则标识
  src_partition STRING,      -- 来源分区
  fail_time     TIMESTAMP
) PARTITIONED BY (dt STRING);
修复后重放走幂等写入(按主键 upsert),避免修复数据与增量数据重复叠加。

易错点

  • 隔离表只写不读,越堆越大长期没人处理
  • 重放不做幂等,与已增量修正的数据重复

数据来源与参考

  • 行业数据质量治理实践(隔离表/死信区)
  • DAMA-DMBOK(数据质量管理)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌