首页/数据/数据工程与 ETL 速查/稽核任务并行度与资源控制

稽核任务并行度与资源控制

稽核任务本身消耗集群资源:按表与分区拆分并行、限制并发度、错峰到核心链路产出之后运行;大表校验优先分区级扫描与增量窗口,避免与核心 ETL 抢资源,也避免全表扫描的浪费。

调度侧资源控制示意

调度侧资源控制示意
audit_job:
  concurrency: 4              # 并发上限,按队列容量设置
  queue: audit                # 与核心 ETL 隔离的队列或资源组
  schedule: "0 4 * * *"       # 核心链路产出后错峰运行
  scan_scope: "dt='{{ ds }}'"  # 只扫当日分区,不做全表扫描
各调度平台的队列与资源组字段不同,本示例表达的是策略:隔离、限流、分区裁剪。

易错点

  • 稽核与核心 ETL 共享队列,产出高峰互相拖慢
  • 大表校验不做分区裁剪,扫描量成倍浪费

数据来源与参考

  • Apache Airflow 官方文档(Pools 与并发控制)
  • 行业数据稽核并发实践
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌