首页/数据/数据工程与 ETL 速查/源头治理与数据契约

源头治理与数据契约

数据质量的根因常在源头:与上游约定字段非空、枚举、更新时效等约束(数据契约),在入库前做格式与范围校验,把问题挡在入口;上游的结构与口径变更纳入通知与评审流程,避免下游被动发现。

数据契约示意(简化)

数据契约示意(简化)
# 数据契约示例
table: ods_orders
owner: trade-system
schema:
  order_id: {type: bigint, nullable: false, unique: true}
  amount:   {type: decimal(12,2), nullable: false, min: 0}
  status:   {type: string, enum: [PAID, REFUND, CLOSED]}
freshness:
  sla: "T+1 06:00"
入口校验接入时用脚本校验 schema 与取值约束
变更通知DDL 与口径调整走评审并同步下游
责任共担契约双方共同维护,违约有记录
契约要自动化才有效:靠文档与口头约定,几个月后就会和实际实现脱节。

易错点

  • 契约只写在文档里,没有自动校验,流于形式
  • 上游改字段不通知,下游在报表出错后才发现

数据来源与参考

  • 行业数据契约(Data Contract)实践
  • DAMA-DMBOK(数据治理)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌