本包目录(311 条)

Airflow 部署要点

生产部署三个基础件:元数据库(PostgreSQL)、带队列的执行器、被所有组件共享的 DAG 目录;容器化常用官方 Helm Chart,升级先在预发跑数据库迁移与 DAG 全量解析校验。

元数据库PostgreSQL(官方推荐)
DAG 分发共享存储或 git-sync 边车
容器化官方 Helm Chart,组件可独立扩缩
版本升级先跑数据库迁移,再滚动组件

Helm 安装骨架

Helm 安装骨架
helm repo add apache-airflow https://airflow.apache.org
helm upgrade --install airflow apache-airflow/airflow \
  -n airflow --create-namespace \
  --set executor=CeleryExecutor \
  --set dags.persistence.enabled=true
调度器、worker、webserver 版本必须一致;只升级部分组件会出现任务状态错乱。

易错点

  • SQLite 只适合试用,生产并发下容易损坏元数据库
  • 用 rsync 半同步覆盖 DAG 目录,文件读一半会导致解析失败

数据来源与参考

  • Apache Airflow 官方文档:Installation 与 Helm Chart
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌