首页/数据/数据工程与 ETL 速查/上线质量卡点(CI 集成)
本包目录(311 条)

上线质量卡点(CI 集成)

把数据校验接进发布流程:模型与调度变更后先跑集成测试与质量规则,通过才允许发布到生产;卡点要区分阻断级(键完整、金额勾稽)与提示级(波动类)。

卡点位置合并请求、发布流水线、上线后首次运行
阻断级主键唯一、非空、金额勾稽
提示级波动、均值类校验
产物测试报告与失败明细留档

流水线示例

流水线示例
steps:
  - name: dag-smoke-test
    run: python -m pytest tests/test_dagbag.py
  - name: data-quality-gate
    run: dbt test --select tag:blocking
  - name: publish
    run: bash scripts/sync_dags.sh
卡点判定要快:对全量历史跑校验会拖慢发布,验收级校验限定在样本分区执行。

易错点

  • 所有校验都设成阻断级,发布流程频繁被打断
  • 只在 CI 跑结构校验,数据质量问题在生产才暴露

数据来源与参考

  • dbt 官方文档:在 CI 中运行测试
  • Apache Airflow 官方文档:DAG 测试
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌