首页/数据/数据工程与 ETL 速查/Great Expectations 数据校验入门

Great Expectations 数据校验入门

Great Expectations(GX)用“期望”(Expectation)描述数据应满足的条件,对批次数据跑校验并生成可读报告;核心对象是数据源、批次、校验器与 Expectation Suite,适合在管道中做可复用校验。

核心对象DataSource / Batch / Validator / Expectation Suite
典型用法对 DataFrame 或 SQL 结果做期望检查
输出校验结果与 Data Docs 报告
集成Airflow、Spark、dbt 等

DataFrame 校验示例

DataFrame 校验示例
import pandas as pd
import great_expectations as gx

df = pd.read_csv("data/orders.csv")
context = gx.get_context()
validator = context.sources.pandas_default.read_dataframe(df)

validator.expect_column_values_to_not_be_null("order_id")
validator.expect_column_values_to_be_unique("order_id")
result = validator.validate()
print(result.success)
GX 不同大版本的 API 差异较大(上下文与数据源写法多次调整),升级前对照官方迁移指南改代码。

易错点

  • 把 GX 当通用工具直接对生产大表全量跑,校验本身拖垮引擎
  • 只跑校验不落结果,历史通过率无法追踪

数据来源与参考

  • Great Expectations 官方文档(Expectations 与 Validator)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌