Airflow：深入理解Apache Airflow Task

news2025/4/21 21:30:56

Apache Airflow是一个开源工作流管理平台，支持以编程方式编写、调度和监控工作流。由于其灵活性、可扩展性和强大的社区支持，它已迅速成为编排复杂数据管道的首选工具。在这篇博文中，我们将深入研究Apache Airflow 中的任务概念，探索不同类型的任务，如何创建它们，以及各种最佳实践。

Airflow任务介绍

任务是Airflow工作流（也称为有向无环图或DAG）中最小的工作单元。任务表示单个操作、功能或计算，是更大工作流的一部分。在数据管道上下文中，任务可能包括数据提取、转换、加载或任何其他数据处理操作。

任务类型

Apache Airflow中的三种基本任务类型：操作员，传感器和taskflow装饰任务。

Operators

Operator是预定义的任务模板，可以很容易地组合起来创建大多数dag。它们代表单一的工作或操作单元，并且气流具有广泛的内置Operator，以适应各种应用场景。

Sensors

Sensor是Operator的一个独特子类，它专注于在继续工作流程之前等待外部事件的发生。传感器对于确保在任务开始执行之前满足某些条件是必不可少的。

TaskFlow-decorated任务

TaskFlow是在Airflow 2.0中引入的新特性，它支持使用@task装饰器将Python函数打包为任务，从而简化了创建自定义任务的过程。这种方法允许你在dag内定义内联任务，从而提高了代码的可重用性和可读性。

创建任务

要创建任务，请实例化操作符并提供所需的参数。下面是使用PythonOperator创建任务的示例：

from airflow import DAG 
from airflow.operators.python import PythonOperator 
from datetime import datetime 

def my_function(): 
    print("Hello, Airflow!") 
    dag = DAG( 
        'my_dag', 
        start_date=datetime(2023, 4, 5), 
        schedule_interval='@daily' 
    ) 
    
    task = PythonOperator( 
        task_id='my_task', 
        python_callable=my_function, 
        dag=dag 
    )

my_function 是Python普通函数，通过python_callable参数赋值，把python函数转为Airflow任务。

任务依赖关系

DAG中的任务可以具有依赖关系，这些依赖关系定义了它们执行的顺序。要设置依赖关系，可以使用set_upstream（）和set_downstream（）方法或bitshift操作符（<<和>>）：

task_a = DummyOperator(task_id='task_a', dag=dag) 
task_b = DummyOperator(task_id='task_b', dag=dag) 

task_a.set_downstream(task_b) 
# or 
task_a >> task_b

任务重试和失败处理

Airflow支持配置重试次数和任务重试之间的延迟。这可以在创建任务时使用retries和retry_delay参数来完成：

from datetime import timedelta 
        
task = PythonOperator( 
    task_id='my_task', 
    python_callable=my_function, 
    retries=3, 
    retry_delay=timedelta(minutes=5), 
    dag=dag 
)