优先级示意
| 优先级 | 规则类型 | 示例 |
|---|---|---|
| P0 | 主键完整唯一、金额勾稽、分区存在 | 订单主键重复、支付金额勾稽差异 |
| P1 | 枚举与范围、及时性 | 状态字典外值、产出超时 |
| P2 | 分布波动、提示类 | 行数偏离基线、空值率升高 |
落地原则
落地原则
P0 全量落地 → P1 按链路补齐 → P2 试点
每条规则必须有：责任人 / 阈值依据 / 处置动作没有责任人与处置动作的规则等于没有规则：告警发出后无人响应会快速消耗团队对体系的信任。
本包目录（311 条）
管道基础52 条Kafka64 条调度与编排40 条数仓建模52 条
数据质量50 条
- 数据质量六维度
- 完整性校验
- 唯一性校验
- 一致性校验
- 行数比对与波动检查
- 及时性校验
- 空值检测 SQL 模板
- 数据质量问题定位四步法
- 准确性校验
- 有效性校验
- 金额勾稽与总分核对
- 枚举与数值范围校验规则
- 跨表一致性稽核
- dbt 数据测试（schema 测试）
- 数据 SLA 与承诺时间
- 跨系统对账体系
- 主键重复定位 SQL
- 数据质量规则引擎
- Great Expectations 数据校验入门
- dbt 自定义测试与严重级别
- 质量看板与质量分
- 波动监控与基线告警
- 数据新鲜度监控
- 质量问题分级与告警策略
- 稽核结果表设计
- 血缘辅助问题定位
- 数据质量事故复盘
- Amazon Deequ 数据质量库
- 常用 Expectation 速查
- 上线质量卡点（CI 集成）
- Spark 聚合式质量校验
- 数据回刷后的复检清单
- 抽样校验设计
- 质量规则优先级与收敛
- 脏数据处理策略：拦截/隔离/放行/降级
- 指标双算对账
- 源头治理与数据契约
- 实时链路的数据质量校验
- 脱敏数据的质量校验
- 分区空洞与空分区检查
- 增量空洞检测
- 质量误报治理
- 稽核任务并行度与资源控制
- 隔离表（quarantine）设计
- 空值与默认值陷阱
- 时区与跨天边界校验
- 质量规则的自测
- 跨库类型与精度校验
- 质量规则的版本管理
- 表级质量标签
质量规则优先级与收敛
规则不可能一次做全：按“影响面 × 发现能力 × 实现成本”排优先级——先覆盖核心链路的关键字段（主键、金额、时间、状态），再补提示类规则；定期清理长期未命中的规则，避免规则膨胀后告警无人处理。
易错点
- 先做几百条提示类规则，告警噪音淹没真问题
- 规则只增不减，运行成本与维护负担持续上升
数据来源与参考
- DAMA-DMBOK（数据质量治理）
- 行业数据质量规则管理实践