本包目录(311 条)

数据质量六维度

数据质量通常按六个维度衡量:完整性(该有的有没有)、唯一性(是否重复)、一致性(跨表跨系统是否对得上)、及时性(是否按时产出)、准确性(是否与事实相符)、有效性(是否符合格式与取值约束)。

六维度

维度回答的问题典型校验
完整性字段缺失或分区缺失?空值率、分区存在性
唯一性主键是否重复?主键分组计数
一致性多表多系统是否对得上?对账、关联核对
及时性是否按时产出?产出时间与 SLA 比对
准确性数值是否正确?与源系统或采样核对
有效性取值是否合法?枚举、范围、格式校验

六维度在一条链路上的落点

六维度在一条链路上的落点
ODS 落地:完整性(行数、分区)
DWD 清洗:唯一性(主键去重)、有效性(枚举标准化)
DWS 聚合:准确性(勾稽)、一致性(跨主题)
ADS 交付:及时性(SLA 达成率)
六个维度不必每条链路都全做:按数据用途选关键维度设规则,把有限的校验预算花在影响面大的表上。

易错点

  • 只做行数校验,字段级错值(如金额单位错)长期漏检
  • 六个维度全铺、规则几百条没人看结果,等于没做

数据来源与参考

  • DAMA-DMBOK 数据管理知识体系(数据质量维度)
  • 行业数据质量治理实践
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌