首页/数据/数据工程与 ETL 速查/数据契约 Data Contract
管道基础52 条

数据契约 Data Contract

数据契约把上下游对表结构、字段语义、质量期望与产出时间的约定显式化:上游变更流程化,下游按契约做校验与告警,减少“悄悄改字段”事故。

内容schema、字段语义、主键、质量规则、产出 SLA
载体YAML/JSON 契约文件、元数据平台登记
执行发布前校验 + 运行时稽核

契约示例(YAML 片段)

契约示例(YAML 片段)
dataset: dwd.orders
owner: data-platform
schema:
  - name: order_id
    type: string
    nullable: false
  - name: amount
    type: decimal(10,2)
sla:
  freshness: "02:00"
quality:
  - rule: unique(order_id)
  - rule: amount >= 0
契约只有配合校验清单才有约束力:每次发布跑结构比对,运行时跑质量规则并对齐告警。

易错点

  • 契约不是一次性文档,源端改字段后不更新契约等于没有契约
  • 只定义字段不定义缺失值语义,空值处理仍会在下游扯皮

数据来源与参考

  • Data Contract 社区规范(datacontract.com)
  • 《Fundamentals of Data Engineering》数据治理章节
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌