首页/数据/数据工程与 ETL 速查/脏数据处理策略:拦截/隔离/放行/降级

脏数据处理策略:拦截/隔离/放行/降级

脏数据有四种处置策略:拦截(阻断下游并告警)、隔离(转隔离区,主流程继续)、放行并标注(容忍小比例错误但打质量标记)、降级(用上一日数据兜底)。策略按字段重要性与下游用途选择,并写入数据字典。

拦截关键字段错误时阻断下游,强一致优先
隔离错误行进隔离表,主流程不中断
放行并标注小比例容忍,下游可见质量标记
降级用前一日数据兜底,需公告口径

隔离写法示例

隔离写法示例
INSERT INTO quarantine_orders
SELECT *, 'dup_pk' AS dq_reason, CURRENT_TIMESTAMP() AS dq_time
FROM stage_orders
WHERE order_id IN (
  SELECT order_id FROM stage_orders GROUP BY order_id HAVING COUNT(*) > 1
);
放行必须留痕:没有质量标记的默默放行,下游往往在数周后才发现口径问题。

易错点

  • 一刀切拦截,小问题放大成下游停摆
  • 默默放行不打标记,脏数据被下游当成正常数据使用

数据来源与参考

  • DAMA-DMBOK(数据质量管理)
  • 行业数据质量治理实践
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌