# 部署气流该技能涵盖将 Airflow DAG 和项目部署到生产中，无论是使用 Astro（Astronomer 的托管平台）还是 Docker Compose 或 Kubernetes 上的开源 Airflow。 **选择路径：** Astro 非常适合托管操作和更快的 CI/CD。对于开源，请使用 Docker Compose 进行开发，使用 Helm 图表进行生产。 ** ** ## Astro（天文学家） Astro 提供 CLI 命令和 GitHub 集成来部署 Airflow 项目。 ### 部署命令命令 |它的作用 ---|--- `astro 部署` |完整项目部署——构建 Docker 镜像并部署 DAG `astro 部署 --dags` |仅 DAG 部署 — 仅推送 DAG 文件（快速，无需构建镜像） `astro 部署 --image` |仅镜像部署 — 仅推送 Docker 镜像（用于多存储库 CI/CD） `astro 部署 --dbt` | dbt 项目部署 — 部署 dbt 项目与 Airflow 一起运行 ### 完整项目部署从 Astro 项目构建 Docker 镜像并部署所有内容（DAG、插件、需求、包）：天文部署当您更改了“requirements.txt”、“Dockerfile”、“packages.txt”、插件或任何非 DAG 文件时，请使用此选项。 ### 仅 DAG 部署仅推送 `dags/` 目录中的文件，而不重建 Docker 镜像： astro部署--dags 这比完整部署要快得多，因为它跳过了映像构建。当您仅更改 DAG 文件且未修改依赖项或配置时，请使用此选项。 ### 仅图像部署仅推送 Docker 映像而不更新 DAG： astro 部署--image 这在 DAG 与映像分开部署的多存储库设置中，或者在独立管理映像和 DAG 部署的 CI/CD 管道中非常有用。 ### dbt 项目部署部署 dbt 项目以在 Astro 部署上与 Cosmos 一起运行： astro 部署--dbt ### GitHub 集成 Astro 支持自动化部署的分支到部署映射： * 将分支映射到特定部署（例如，“main”->“生产”、“develop”->“staging”） * 推送到映射分支会触发自动部署 * 支持合并时仅 DAG 部署以加快迭代速度在 Astro UI 的 **部署设置 > CI/CD** 下进行配置。 ### CI/CD 模式 Astro 上常见的 CI/CD 策略： 1. **仅在功能分支上使用 DAG** ：在开发过程中使用 `astro deploy --dags` 进行快速迭代 2. **在 main 上完全部署** ：在合并到 main 时使用“astro部署”以进行生产版本 3. **单独的图像和 DAG 管道**：在单独的 CI 作业中使用 `--image` 和 `--dags` 来实现独立的发布周期 ### 部署队列当快速连续触发多个部署时，Astro 会在部署队列中按顺序处理它们。每个部署都会在下一个部署开始之前完成。 ### 参考 * [Astro 部署文档]() ** ** ## 开源：Docker Compose 使用官方 Docker Compose 设置部署 Airflow。建议将其用于学习和探索 - 对于生产，请使用带有 Helm 图表的 Kubernetes（见下文）。 ### 先决条件 * Docker 和 Docker Compose v2.14.0+ * 官方 `apache/airflow` Docker 镜像 ### 快速入门下载官方 Airflow 3 Docker Compose 文件：卷曲 -LfO 'https://airflow.apache.org/docs/apache-airflow/stable/docker-compose.yaml' 这建立了完整的 Airflow 3 架构：服务 |目的 ---|--- `airflow-apiserver` | REST API 和 UI（端口 8080） `气流调度器` |安排 DAG 运行 `气流 dag 处理器` |解析和处理 DAG 文件 `气流工作者` |执行任务（CeleryExecutor） `气流触发器` |处理可延迟/异步任务 `postgres` |元数据数据库 `redis` | Celery 消息代理 ### 最小设置为了使用 LocalExecutor 进行更简单的设置（无 Celery/Redis），请创建一个 `docker-compose.yaml`： x-airflow-common：&airflow-common image: apache/airflow:3 # 使用最新的 Airflow 3.x 版本环境：&airflow-common-env AIRFLOW__CORE__EXECUTOR：LocalExecutor AIRFLOW__DATABASE__SQL_ALCHEMY_CONN：postgresql+psycopg2://airflow:airflow@postgres/airflow AIRFLOW__CORE__LOAD_EXAMPLES：'假' AIRFLOW__CORE__DAGS_FOLDER：/opt/airflow/dags 卷： - ./dags:/opt/airflow/dags - ./logs:/opt/airflow/logs - ./plugins:/opt/airflow/plugins 取决于： postgres：条件：服务健康服务： postgres：图片：postgres：16 环境： POSTGRES_USER：气流 POSTGRES_PASSWORD：气流 POSTGRES_DB：气流卷： - postgres-db-volume:/var/lib/postgresql/data 健康检查：测试：[“CMD”，“pg_isready”，“-U”，“气流”] 间隔：10秒重试次数：5 开始周期：5s 气流初始化： <<：*气流-常见入口点：/bin/bash 命令： - -c - | 气流数据库迁移气流用户创建\ --用户名管理员\ --名字管理员\ --姓氏用户\ --角色管理员\ --电子邮件 admin@example.com \ --密码管理员取决于： postgres：条件：服务健康气流 API 服务器： <<：*气流-常见命令：airflow api-server 端口： - “8080:8080” 健康检查：测试：[“CMD”，“curl”，“--fail”，“http://localhost:8080/health”] 间隔：30秒超时时间：10秒重试次数：5 开始时间：30秒气流调度器： <<：*气流-常见命令：气流调度器气流 dag 处理器： <<：*气流-常见命令：气流 dag 处理器气流触发： <<：*气流-常见命令：气流触发器卷： postgres-db-卷： > **Airflow 3 架构说明**：Web 服务器已被 **API 服务器**（`airflow api-server`）取代，并且 **DAG 处理器**现在作为独立于调度程序的独立进程运行。 ### 常用操作 # 启动所有服务 docker 组成-d # 停止所有服务 docker 组合下来 # 查看日志 docker compose 日志 -f 气流调度程序 # 需求改变后重启 docker compose down && docker compose up -d --build # 运行一次性 Airflow CLI 命令 docker compose exec airflow-apiserver 气流 dags 列表 ### 安装 Python 包将包添加到“requirements.txt”并重建： # 添加到requirements.txt，然后： docker 组合下来 docker compose up -d --build 或者使用自定义 Dockerfile： FROM apache/airflow:3 # 固定到特定版本（例如 3.1.7）以实现可重复性复制requirements.txt。运行 pip install --no-cache-dir -rrequirements.txt 更新 `docker-compose.yaml` 以从 Dockerfile 构建： x-airflow-common：&airflow-common 构建：上下文： . dockerfile: Dockerfile # ...配置的其余部分 ### 环境变量通过“docker-compose.yaml”中的环境变量配置 Airflow 设置：环境： # 核心设置 AIRFLOW__CORE__EXECUTOR：LocalExecutor 气流__核心__并行度：32 AIRFLOW__CORE__MAX_ACTIVE_TASKS_PER_DAG：16 # 电子邮件 AIRFLOW__EMAIL__EMAIL_BACKEND：airflow.utils.email.send_email_smtp AIRFLOW__SMTP__SMTP_HOST：smtp.example.com # 连接（作为 URI） AIRFLOW_CONN_MY_DB: postgresql://user:pass@host:5432/db ** ** ## 开源：Kubernetes（Helm Chart）使用官方 Apache Airflow Helm 图表在 Kubernetes 上部署 Airflow。 ### 先决条件 * 一个 Kubernetes 集群 * 配置了“kubectl” * 安装了`helm` ### 安装 # 添加 Airflow Helm 存储库 helm 仓库添加 apache-airflow https://airflow.apache.org 舵回购更新 # 使用默认值安装 helm 安装气流 apache-airflow/airflow \ --命名空间气流\ --创建命名空间 # 使用自定义值安装 helm 安装气流 apache-airflow/airflow \ --命名空间气流\ --创建命名空间\ -f 值.yaml ### 键值.yaml 配置 # 执行者类型执行器：KubernetesExecutor # 或 CeleryExecutor、LocalExecutor # 气流图像（固定到您想要的版本）默认Airflow存储库：apache/airflow defaultAirflowTag: "3" # 或 pin: "3.1.7" # DAG 的 Git 同步（推荐用于生产）达格： git同步：启用：真仓库：https://github.com/your-org/your-dags.git 分支：主干子路径：dags wait: 同步间隔 60 # 秒 # API 服务器（替换 Airflow 3 中的 Web 服务器） api服务器：资源：要求：中央处理器：“250m” 内存：“512Mi” 限制：中央处理器：“500m” 内存：“1Gi” 副本：1 # 调度程序调度程序：资源：要求：中央处理器：“500m” 内存：“1Gi” 限制：中央处理器：“1000m” 内存：“2Gi” # 独立 DAG 处理器 dag处理器：启用：真资源：要求：中央处理器：“250m” 内存：“512Mi” 限制：中央处理器：“500m” 内存：“1Gi” # 触发器（用于可延迟任务）触发者：资源：要求：中央处理器：“250m” 内存：“512Mi” 限制：中央处理器：“500m” 内存：“1Gi” # Worker 资源（仅限 CeleryExecutor）工人：资源：要求：中央处理器：“500m” 内存：“1Gi” 限制：中央处理器：“2000米” 内存：“4Gi” 副本：2 # 日志持久化日志：坚持：启用：真大小：10Gi # PostgreSQL（内置） PostgreSQL: 启用：真 # 或者使用外部数据库＃postgresql： # 启用：假 # 数据： # 元数据连接： # 用户：气流 # 通过：气流 # 主机：your-rds-host.amazonaws.com # 端口：5432 # 分贝：气流 ### 升级 # 使用新值升级 helm 升级气流 apache-airflow/airflow \ --命名空间气流\ -f 值.yaml # 升级到新的 Airflow 版本 helm 升级气流 apache-airflow/airflow \ --命名空间气流\ --set defaultAirflowTag="<版本>" ### Kubernetes 上的 DAG 部署策略 1. **Git-sync**（推荐）：DAG 自动从 Git 存储库同步 2. **持久卷** : 挂载包含 DAG 的共享 PV 3. **烘焙到镜像中** ：将 DAG 包含在自定义 Docker 镜像中 ### 有用的命令 # 检查 Pod 状态 kubectl 获取 pod -n 气流 # 查看调度程序日志 kubectl 日志 -f 部署/气流调度器 -n 气流 # 端口转发 API 服务器 kubectl 端口转发 svc/airflow-apiserver 8080:8080 -n 气流 # 运行一次性 CLI 命令 kubectl exec -it 部署/airflow-scheduler -n airflow -- 气流 dags 列表 ** ** ## 相关技能 * **setting-up-astro-project** ：用于初始化新的 Astro 项目 * **managing-astro-local-env** ：用于使用 `astro dev` 进行本地开发 * **authoring-dags** ：用于在部署之前编写 DAG * **testing-dags** ：用于在部署之前测试 DAG

部署气流

包含技能