| 声明方式 | schedule=[Dataset("s3://bucket/dw/orders")] |
|---|---|
| 生产者 | 任务用 outlets 声明产出数据集 |
| 触发语义 | 数据集更新即产生一次下游运行 |
| 版本差异 | 2.4 为 Dataset，3.x 为 Asset |
数据集声明示例
数据集声明示例
from datetime import datetime
from airflow.datasets import Dataset
from airflow.decorators import dag, task
orders_ds = Dataset("s3://lake/dw/orders")
@task(outlets=[orders_ds])
def produce_orders():
pass
@dag(schedule=[orders_ds], start_date=datetime(2026, 1, 1))
def downstream():
pass数据集调度适合上游不定时、一到下游就要跑的场景；仍要配兜底超时告警，防止上游整天无产出。