airflow

项目概述

Apache Airflow 是一个以编程方式编写、调度和监控工作流的开源平台。工作流（DAG）用 Python 代码定义，因此更易维护、可版本化、可测试、可协作；调度器按依赖关系在多个 worker 上执行任务，丰富的命令行工具与 Web 界面让查看生产管道运行状态、监控进度与排查问题变得直观。

工作流即代码：定义一次，调度、监控、协作全托管。

主要功能

• 工作流即代码：用 Python 定义 DAG，天然支持版本管理与代码评审
• 任务调度：调度器按依赖与时序在多个 worker 上执行任务
• 可视化监控：Web 界面展示管道运行状态、进度与失败详情
• 命令行工具：丰富的 CLI 可对 DAG 执行复杂操作
• 场景广泛：编排 ETL、ELT、机器学习与 MLOps 等各类流程
• 容器化部署：提供官方 Docker 镜像，便于在多种基础设施上运行

适用人群

• 数据工程师
• 数据平台团队
• MLOps 工程师
• 批处理任务调度需求者

快速上手

1. 通过 PyPI 安装：

pip install apache-airflow

2. 一键启动本地开发环境：

airflow standalone

3. 打开 Web 界面查看内置示例 DAG
4. 参照官方教程编写自己的第一个 DAG

核心优势

• 代码可协作：工作流以代码形式存在，可评审、可回滚、可测试
• 界面直观：管道运行状况一目了然，问题定位成本低
• 生态成熟：Apache 软件基金会项目，社区庞大、集成丰富

系统要求

注意事项

• 学习成本：DAG 模型与调度语义有概念门槛，建议先完成官方教程再上线
• 生产部署：airflow standalone 仅适合本地体验，生产环境需自行规划元数据库与 worker 等组件