pydeequ 校验骨架
pydeequ 校验骨架
from pydeequ.checks import Check, CheckLevel
from pydeequ.verification import VerificationSuite
result = (VerificationSuite(spark)
.onData(df)
.addCheck(Check(spark, CheckLevel.Error, "orders")
.hasSize(lambda x: x >= 1000)
.isComplete("order_id")
.isUnique("order_id")
.isNonNegative("amount"))
.run())| 定位 | Spark 生态的数据质量约束与指标库 |
|---|---|
| 扫描方式 | 一次扫描计算多约束指标，降低反复扫表成本 |
| 结果 | 可转成表格落库，接入稽核结果表与看板 |
| 适用 | 已有 Spark 作业、需要在写数前批量把关 |
约束阈值要结合历史基线设定：全设零容忍会让正常波动也触发失败。