ZONE.CI 全球网

Airflow 2.3.0Airflow 2.2.0
Airflow 2.3.0
Airflow 2.2.0

1.1 设计准则1.2 课外扩展Airflow 作为一个任务平台，它通过编程方式来设计任务的工作流，并提供了强大的调度和监控功能。使用 Airflow 可以将任

1. 添加自定义配置信息2. Python脚本中进行使用在 airflow.cfg 文件中是可以定义自己的变量的，比如说我们需要定义一下 Impala 数据连接

1. 写回溯历史的脚本2. Backfill回溯数据2.1 tutorial任务回溯2.2 编写测试脚本2.3 example_python_operator示

最近更新了 AirFlow 2.x 版本，发现配置了 schedulr_interval 之后，任务根本无法进行调度。
dag = DAG( dag_id

1. 日志占用磁盘大小2. 清理本地调度文件3. 清理MySQL库中的执行日志3. 完整脚本AirFlow 日常任务的跑批，常常伴随着大量日志文件的产生，尤其是

1 目前部署方式2. 解决方法（一）3. 解决方法（二）4. 解决方法（三）⭐
1 目前部署方式问题描述：目前我在部署 Airflow 任务的方式如下图所示，不

之前我们简单总结过串联任务的 DAG 脚本如何编写，具体可以参考一下 串联任务。下面我们改写一下脚本，来让脚本并行跑任务。将任务处理成并行 task，最大的好处

1. SQL文件2. 复用函数3. DAG文件日常任务中，我们会遇到一些串联任务，比如下方这个 run_case_sql1 ➜ run_case_sql2

# coding: utf8import contextlibimport osimport reimport socketimport subprocessi

# coding: utf8import jsonimport base64import hashlibimport requestsfrom typing i

1. PyHive连接Hive2. 使用HiveServer2HookAirFlow 中使用的 HiveServer2Hook 底层使用的 pyhive，所以先

☂️自定义ImpalaOperator

# coding: utf8import osimport refrom typing import Any, Dict, Optionalfrom airfl

1. 配置SMTP2. 使用EmailOperator3. 在任务失败或重启时发送警告邮件使用 Python 来发送邮件比较简单，将此功能集成在 AirFlow

1. 停止脚本2. 启动脚本
1. 停止脚本#!/bin/bashps -ef | grep -Ei (airflow webserver) | awk {pr

1. 任务无法调度1.1 任务有操作Windows共享的部分
1. 任务无法调度
1.1 任务有操作Windows共享的部分

1. DAG任务名与已有的任务重名2. 输出表检查在 AirFlow 上部署任务已经有很长一段时间，期间出过一些各种各样的小问题，以下做一个整理总结以及反思，部

https://cloud.tencent.com/developer/article/1424491
https://livebook.manning.com