首页/数据/数据工程与 ETL 速查/Airflow Secrets Backend
本包目录(311 条)

Airflow Secrets Backend

Secrets Backend 让 Connections/Variables 从 Vault、云密钥管理或 K8s Secret 读取,而不是存在元数据库;按前缀约定命名路径后,可实现凭据集中管理与轮换。

常见后端HashiCorp Vault / 云密钥管理 / K8s Secrets
命名约定connections/<conn_id>、variables/<key>
配置位置airflow.cfg 的 secrets 段或环境变量
回退本地元数据库仍可作为后备来源

Vault 后端配置示意

Vault 后端配置示意
[secrets]
backend = airflow.providers.hashicorp.secrets.vault.VaultBackend
backend_kwargs = {"connections_path": "connections", "variables_path": "variables", "url": "http://vault:8200", "auth_type": "token"}
切换后端前先确认 DAG 里没有硬编码凭据,否则只是换了存储位置、没有解决泄漏点。

易错点

  • backend_kwargs 里放 token 明文,等于把问题从元数据库搬到配置文件
  • 多后端叠加时优先级顺序没理清,读到的值可能来自意料之外的后端

数据来源与参考

  • Apache Airflow 官方文档:Secrets Backends
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌