| 节点 | 一个任务/算子（跑 SQL、执行脚本、等待文件） |
|---|---|
| 边 | 依赖关系：上游成功后下游才可调度 |
| 无环 | 不允许循环依赖，否则无法确定执行顺序 |
依赖关系示意
依赖关系示意
extract_orders ─→ transform_orders ─→ load_dwd ─┐
extract_users ─→ build_dim_users ──────────────┴→ ads_sales_daily把“等待上游产出”建成显式依赖，比在下游里 sleep 半小时可靠得多。
本包目录（311 条）
管道基础52 条Kafka64 条
调度与编排40 条
- 调度系统解决什么问题
- DAG 有向无环图与依赖建模
- Airflow DAG 文件结构
- cron 表达式基础与示例
- 业务日期与运行时间
- 回填与补数流程
- Airflow TaskFlow API
- 依赖类型：时间/任务/数据/外部
- catchup 补跑行为控制
- Airflow Operator 常用算子
- 重跑的幂等设计
- Airflow Sensor 等待与 reschedule 模式
- Airflow CLI 常用命令
- 重试策略与告警分级
- Airflow XCom 跨任务传参
- 任务超时与完成时限控制
- 调度平台监控与值班指标
- Airflow Connections 连接管理
- Airflow 执行器选型
- 并发控制：队列、池与并行度
- Airflow Variables 参数化
- 调度时区处理
- airflow.cfg 关键参数
- Airflow 部署要点
- 手动触发与参数覆盖
- Airflow 动态任务映射与 TaskGroup
- Airflow 分支与触发规则
- Airflow 任务状态机
- 调度工具选型对比
- Airflow DAG 测试与 CI 校验
- DolphinScheduler 核心概念
- Airflow 数据集驱动调度
- DolphinScheduler 部署与架构
- 跨 DAG 依赖与就绪检查
- Airflow Secrets Backend
- DolphinScheduler 定时与补数
- Airflow 指标导出与告警
- DolphinScheduler API 与自动化
- XXL-JOB 分布式任务调度
- DAG 版本管理与发布
DAG 有向无环图与依赖建模
DAG 用节点表示任务、边表示依赖，无环保证“总能排序执行完”。可视化 DAG 是排查“为什么还没跑”的常用入口：上游没完成，下游只会等待。
易错点
- A 等 B、B 等 A 的循环依赖在部分平台不报错但永不执行，建模时避免
- 依赖粒度太粗（整库一个大 DAG）会让局部失败牵连全链路，按主题域拆分更稳
数据来源与参考
- Apache Airflow 官方文档：DAGs
- Apache DolphinScheduler 官方文档：工作流定义