首页/数据/数据工程与 ETL 速查/常用 Expectation 速查

常用 Expectation 速查

常用期望覆盖行数、唯一性、取值范围、枚举集合、正则格式与统计量:表行数在区间内、主键唯一、金额非负、状态在集合内、手机号匹配正则,组合成 Suite 后可批量执行。

常用期望

期望用途
expect_table_row_count_to_be_between行数区间
expect_column_values_to_be_unique主键唯一
expect_column_values_to_not_be_null非空
expect_column_values_to_be_in_set枚举集合
expect_column_values_to_be_between数值范围
expect_column_values_to_match_regex格式正则

组合使用

组合使用
validator.expect_table_row_count_to_be_between(min_value=1000, max_value=10000000)
validator.expect_column_values_to_be_in_set("status", ["created", "paid", "shipped", "closed"])
validator.expect_column_values_to_match_regex("phone", r"^1[3-9][0-9]{9}$")
validator.expect_column_mean_to_be_between("pay_amount", min_value=10, max_value=500)
阈值别写太死:均值类期望随业务波动,建议按近 30 天分位数确定区间。

易错点

  • 均值区间按某天数值拍脑袋设定,大促期间全线告警
  • 正则写法与源数据格式(含国家码)不匹配,产生误报

数据来源与参考

  • Great Expectations 官方文档:Expectation Gallery
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌