首页/数据/数据工程与 ETL 速查/数据质量规则引擎

数据质量规则引擎

规则引擎把校验规则从代码变成配置:规则名、目标表、过滤条件、校验类型、阈值、告警级别、责任人;调度平台按表与周期批量执行并汇总结果,新增规则不用改任务代码。

规则要素对象、条件、类型、阈值、级别、责任人
类型空值、唯一、枚举、范围、行数、自定义 SQL
执行按表与周期批量调度
输出规则结果表加告警与看板

规则配置示例

规则配置示例
{
  "rule_id": "dq_order_pk_uniq",
  "table": "dwd_trade_order_detail_di",
  "partition": "dt=2026-10-11",
  "type": "uniqueness",
  "keys": ["order_id", "item_no"],
  "threshold": {"max_fail_rows": 0},
  "level": "P1",
  "owner": "trade-dw"
}
规则引擎的价值在闭环:每条告警都能追到责任人与处理记录,而不是发到群里就结束。

易错点

  • 规则全量跑大表导致稽核本身耗资源,需按重要性分级与采样
  • 规则责任人字段留空,告警无人认领

数据来源与参考

  • 行业数据质量平台实践(规则配置化思路)
  • Apache Griffin 项目文档(数据质量规则模型)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌