| 常见 Sensor | FileSensor / ExternalTaskSensor / 各系统分区 Sensor |
|---|---|
| poke 模式 | 按 poke_interval 轮询并占住槽位 |
| reschedule 模式 | 轮询间释放槽位,由调度器再唤醒 |
| 超时 | timeout 到点任务失败 |
reschedule 用法
reschedule 用法
from airflow.sensors.filesystem import FileSensor
wait_file = FileSensor(
task_id="wait_file",
filepath="/data/in/{{ ds }}.done",
poke_interval=60,
timeout=60 * 60 * 6,
mode="reschedule",
)大量 Sensor 用 poke 模式会把执行槽位占满,导致其它任务排队——长等待统一改 reschedule。