10分钟上手User-Community Airflow Helm Chart:快速部署Apache Airflow的终极教程

📅 2026/7/28 23:43:27 👁️ 阅读次数 📝 编程学习
10分钟上手User-Community Airflow Helm Chart:快速部署Apache Airflow的终极教程

10分钟上手User-Community Airflow Helm Chart:快速部署Apache Airflow的终极教程

【免费下载链接】chartsThe User-Community Airflow Helm Chart is the standard way to deploy Apache Airflow on Kubernetes with Helm. Originally created in 2017, it has since helped thousands of companies create production-ready deployments of Airflow on Kubernetes.项目地址: https://gitcode.com/gh_mirrors/charts27/charts

User-Community Airflow Helm Chart是在Kubernetes上使用Helm部署Apache Airflow的标准方式。自2017年创建以来,它已帮助数千家公司在Kubernetes上创建了生产就绪的Airflow部署。本教程将带你快速掌握使用该Helm Chart部署Apache Airflow的完整流程。

准备你的环境:部署前的必备条件

在开始部署之前,请确保你的环境满足以下要求:

  • Kubernetes1.18+
  • Helm3.0+(installing helm)
  • (可选)配置包含DAG文件的Git仓库 (loading dag definitions)
  • (可选)外部PostgreSQLMySQL数据库 (connecting your database)
  • (可选)用于CeleryExecutor的外部Redis数据库 (connecting your redis)

如果你需要搭建Kubernetes集群,以下是一些流行的Kubernetes发行版:

平台Kubernetes发行版
本地机器k3d
本地机器kind
本地机器minikube
亚马逊云Amazon Elastic Kubernetes Service (EKS)
微软云Azure Kubernetes Service (AKS)
谷歌云Google Kubernetes Engine (GKE)

添加Helm仓库:获取Airflow Chart的最快方法

执行以下命令将Airflow Helm仓库添加到你的Helm配置中:

## 添加helm仓库 helm repo add airflow-stable https://airflow-helm.github.io/charts ## 更新helm仓库缓存 helm repo update

创建自定义配置文件:简单配置满足你的需求

Helm Chart通过values文件进行配置,完整的配置项列表可在chart的values.yaml文件中找到(该文件也设置了默认值)。

User-Community Airflow Helm Chart拥有超过1000个配置项,但不必担心,你可以从定义几个重要的值开始,然后逐步扩展你的custom-values.yaml文件。

我们建议你从以下示例之一开始创建你的custom-values.yaml文件:

  • CeleryExecutor
  • KubernetesExecutor
  • CeleryKubernetesExecutor

安装Airflow Chart:一键部署的简单步骤

使用以下命令安装Airflow Helm Chart:

## 设置发布名称和命名空间 export AIRFLOW_NAME="airflow-cluster" export AIRFLOW_NAMESPACE="airflow-cluster" ## 创建命名空间 kubectl create ns "$AIRFLOW_NAMESPACE" ## 使用helm 3安装 helm install \ "$AIRFLOW_NAME" \ airflow-stable/airflow \ --namespace "$AIRFLOW_NAMESPACE" \ --version "8.X.X" \ --values ./custom-values.yaml

⚠️注意⚠️

始终固定--version参数,以避免意外更新Chart版本!你可以在CHANGELOG中找到完整的Chart版本列表。

访问Airflow UI:开始使用你的Airflow集群

安装完成后,通过以下命令访问Airflow Web界面:

## 端口转发Airflow Web服务器 kubectl port-forward svc/${AIRFLOW_NAME}-web 8080:8080 --namespace $AIRFLOW_NAMESPACE ## 在浏览器中打开:http://localhost:8080 ## (默认登录:`admin`/`admin`)

后续学习:深入了解Airflow的更多功能

恭喜你成功部署了Apache Airflow!以下资源可以帮助你进一步扩展和优化你的Airflow部署:

  • 管理Airflow用户
  • Airflow与LDAP或OAUTH集成
  • 文档:关键功能
  • 文档:常见问题
  • 文档:示例
  • 文档:Helm配置项

通过本教程,你已经掌握了使用User-Community Airflow Helm Chart在Kubernetes上快速部署Apache Airflow的方法。现在你可以开始创建和管理你的数据管道了!

【免费下载链接】chartsThe User-Community Airflow Helm Chart is the standard way to deploy Apache Airflow on Kubernetes with Helm. Originally created in 2017, it has since helped thousands of companies create production-ready deployments of Airflow on Kubernetes.项目地址: https://gitcode.com/gh_mirrors/charts27/charts

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考