Azkaban：大数据任务调度与编排工具的安装与使用

news2024/11/18 23:48:18

        在当今大数据时代，数据处理和分析任务变得越来越复杂。一个完整的大数据分析系统通常由大量任务单元组成，如 shell 脚本程序、mapreduce 程序、hive 脚本、spark 程序等。这些任务单元之间存在时间先后及前后依赖关系，为了高效地组织和执行这些复杂的任务，需要一个强大的工作流调度系统。Azkaban 就是这样一个任务调度和编排工具，它可以帮助我们轻松地管理和执行大数据任务。本文介绍了 Azkaban 的简介、体系结构、安装步骤、使用方法等方面的内容。

一、Azkaban 简介

（一）遇到的问题及解决方案

在大数据处理过程中，我们经常会遇到以下问题：

  1. 多个脚本执行有顺序要求。例如，在启动 Hadoop 集群时，需要先启动 Zookeeper 集群，再启动 HDFS，接着启动 YARN，最后启动日志系统。
  2. 任务之间存在依赖关系。某些任务需要在其他任务完成后才能执行。
  3. 需要定时执行任务。例如，每天定时执行数据备份任务。

为了解决这些问题，我们需要一个任务编排工具。Azkaban 就是这样一个工具，它可以帮助我们组织和管理大数据任务，确保任务按照正确的顺序和时间执行。

（二）功能特点

  1. 任务调度和编排：Azkaban 可以调度和编排各种类型的任务，包括 shell 脚本、MapReduce 任务、Hive 脚本、Spark 任务等。
  2. 任务依赖管理：Azkaban 可以管理任务之间的依赖关系，确保任务按照正确的顺序执行。
  3. 定时任务执行：Azkaban 可以设置任务在特定的时间自动执行。
  4. 可视化管理界面：Azkaban 提供了一个可视化的管理界面，方便用户管理和监控任务的执行情况。

（三）与其他类似工具的比较

  1. Oozie：Oozie 也是一个任务调度和编排工具，但它比较笨重，安装包较大，功能强大但使用起来不太方便。
  2. DolphinScheduler：DolphinScheduler 是一个流行的任务调度工具，它具有易用性和强大的功能。与 Azkaban 相比，DolphinScheduler 在一些方面更加灵活和易于扩展。

二、Azkaban 的体系结构

Azkaban 主要由三部分组成：

（一）WebServer

  1. 功能：WebServer 是 Azkaban 的核心组件之一，它提供了一个可视化的管理界面，方便用户管理和监控任务的执行情况。WebServer 还负责分发作业和调度作业。
  2. 接口：WebServer 暴露了一系列的 RESTful API，方便用户通过编程的方式与 Azkaban 进行交互。

（二）ExecServer

  1. 功能：ExecServer 是 Azkaban 的执行引擎，它负责执行用户提交的任务。ExecServer 对 WebServer 暴露 API，提供执行作业的功能。
  2. 与 WebServer 的关系：WebServer 和 ExecServer 之间通过 API 进行通信。WebServer 负责分发作业和调度作业，ExecServer 负责执行作业。

（三）MySQL

  1. 功能：MySQL 是 Azkaban 的数据库，用于存储任务的元数据、任务的执行状态等信息。MySQL 实现了 Web 和 Exec 之间的数据共享和部分状态的同步。
  2. 数据库设计：Azkaban 的数据库设计简洁明了，主要包括任务表、任务执行状态表、任务依赖关系表等。通过这些表，Azkaban 能够有效地管理和跟踪任务的执行情况。
  3. 数据库配置：在安装 Azkaban 时，需要在 MySQL 中创建一个名为 azkaban 的数据库，并执行相应的 SQL 脚本，生成元数据。

三、Azkaban 的安装步骤

Azkaban 的安装可以分为两种方式：使用源码安装和使用安装包安装。下面以使用安装包安装为例，介绍 Azkaban 的安装步骤。

通过网盘分享的文件：azkaban-3.56.0.zip

（一）上传和解压安装包

  1. 使用命令 yum install unzip 安装解压工具。
  2. 把 azkaban - 3.56.0.zip 拉到 /opt/moudles/ 目录下
  3. 使用命令 unzip azkaban - 3.56.0.zip - d /opt/installs/ 解压安装包到指定目录。
  4. 移动到指定位置：cd /opt/installs/
  5. 重命名：mv azkaban - 3.56.0/ azkaban。
yum install unzip

unzip azkaban-3.56.0.zip -d /opt/installs/

cd /opt/installs/

mv azkaban-3.56.0/ azkaban

（二）生成 MySQL 元数据

在 MySQL 中创建一个名为 azkaban 的数据库：

create database azkaban CHARACTER SET UTF8;

在 MySQL 中执行 SQL 脚本

source /opt/installs/azkaban/azkaban-db-0.1.0-SNAPSHOT/create-all-sql-0.1.0-SNAPSHOT.sql;

或者在文件夹中解压 azkaban-3.56.0.zip

总共29个表，是Azkaban的元数据

（三）配置 web - server

进入 web - server 文件夹：

cd /opt/installs/azkaban/web-server

在web-server文件夹下：

执行该命令生成keystore 文件

keytool -keystore keystore -alias jetty -genkey -keyalg RSA

密码默认设置为 123456，输入 Y 确认。

查看文件

修改web-server 下的conf 下的 azkaban.properties文件：

# Azkaban Personalization Settings
azkaban.name=YanGe的迈巴赫
azkaban.label=9.9包邮
azkaban.color=#FF3601
azkaban.default.servlet.path=/index
# 此处需要编写绝对路径，如果跟我的安装路径一样，不需要改
web.resource.dir=/opt/installs/azkaban/web-server/web
# 时区默认是美国时区，修改为上海时区
default.timezone.id=Asia/Shanghai

# Azkaban UserManager class
user.manager.class=azkaban.user.XmlUserManager
user.manager.xml.file=/opt/installs/azkaban/web-server/conf/azkaban-users.xml

# Loader for projects
executor.global.properties=/opt/installs/azkaban/web-server/conf/global.properties
azkaban.project.dir=projects
# 配置mysql数据库连接的
database.type=mysql
mysql.port=3306
mysql.host=bigdata01
mysql.database=azkaban
mysql.user=root
mysql.password=123456
mysql.numconnections=100

# Velocity dev mode
velocity.dev.mode=false

# Azkaban Jetty server properties.
jetty.use.ssl=false
jetty.maxThreads=25
jetty.port=8081

# 此处是我们的生成的秘钥密码
jetty.keystore=keystore
jetty.password=123456
jetty.keypassword=123456
jetty.truststore=keystore
jetty.trustpassword=123456

# Azkaban Executor settings
executor.maxThreads=50
executor.port=12321
executor.flow.threads=30

# mail settings
#mail.sender=mx543042252@163.com
#mail.host=smtp.163.com
#mail.user=mx543042252@163.com
#mail.password=KFJYOIGXRIVFFIKP
# User facing web server configurations used to construct the user facing server URLs. They are useful when there is a reverse proxy between Azkaban web servers and users.

# enduser -> myazkabanhost:443 -> proxy -> localhost:8081

# when this parameters set then these parameters are used to generate email links.

# if these parameters are not set then jetty.hostname, and jetty.port(if ssl configured jetty.ssl.port) are used.
# azkaban.webserver.external_hostname=myazkabanhost.com
# azkaban.webserver.external_ssl_port=443
# azkaban.webserver.external_port=8081
job.failure.email=
job.success.email=
lockdown.create.projects=false
cache.directory=cache

# JMX stats
jetty.connector.stats=true
executor.connector.stats=true
azkaban.native.lib=false
# Azkaban plugin settings

azkaban.jobtype.plugin.dir=plugins/jobtypes

注意要配置jetty

web-server/conf 目录下 azkaban-users.xml

<user password="admin" roles="admin,metrics" username="admin" />

（四）配置 exec - server

修改 exec - webserver 下的 conf 下的 azkaban.properties 文件：

# Azkaban Personalization Settings
azkaban.name=Azkaban
azkaban.label=My Local Azkaban
azkaban.color=#FF3601
azkaban.default.servlet.path=/index
web.resource.dir=/opt/installs/azkaban/web-server/web/
default.timezone.id=Asia/Shanghai

# Azkaban UserManager class
user.manager.class=azkaban.user.XmlUserManager
user.manager.xml.file=/opt/installs/azkaban/web-server/conf/azkaban-users.xml

# Loader for projects
executor.global.properties=/opt/installs/azkaban/exec-server/conf/global.properties
azkaban.project.dir=projects/
azkaban.execution.dir=execution/
executor.flow.threads=30
flow.num.job.threads=10
job.log.chunk.size=100
job.log.backup.index=10
job.max.Xms=1
job.max.Xmx=2
azkaban.server.flow.max.running.minutes=-1



# Azkaban mysql settings by default. Users should configure their own username and password.
database.type=mysql
mysql.port=3306
mysql.host=bigdata01
mysql.database=azkaban
mysql.user=root
mysql.password=123456
mysql.numconnections=100
# Azkaban Executor settings
executor.maxThreads=50
executor.flow.threads=30


# Azkaban Executor settings
executor.maxThreads=50
executor.port=12321
executor.flow.threads=30

# JMX stats
jetty.connector.stats=true
executor.connector.stats=true

azkaban.native.lib=lib/
#azkaban.jobtype.plugin.dir=plugins/jobtypes


# uncomment to enable inmemory stats for azkaban
#executor.metric.reports=true
#executor.metric.milisecinterval.default=60000

修改 exec - webserver 下插件下的一个配文件 

plugins/jobtypes/commonprivate.properties

set execute-as-user
execute.as.user=false
memCheck.enabled=false

修改驱动包：删除旧的 MySQL 驱动包，替换为新的驱动包。在 web - server 和 exec - server 两个文件夹下的 lib 目录中进行操作。

cd /opt/installs/azkaban/exec-server/lib
rm -rf mysql-connector-java-5.1.28.jar

cp /opt/installs/sqoop/lib/mysql-connector-java-8.0.26.jar ./


cd /opt/installs/azkaban/web-server/lib
rm -rf mysql-connector-java-5.1.28.jar

cp /opt/installs/sqoop/lib/mysql-connector-java-8.0.26.jar ./

（五）修改执行权限

需要将exec-server下以及 web-server 下所有的执行脚本都赋权限

修改 web - server 下的执行权限：

cd /opt/installs/azkaban/web-server/bin
chmod 777 start-web.sh shutdown-web.sh
cd internal/
chmod 777 internal-start-web.sh util.sh

修改 exec - server 下的执行权限：

cd /opt/installs/azkaban/exec-server/bin
chmod 777 start-exec.sh shutdown-exec.sh
cd internal/
chmod 777 internal-start-executor.sh util.sh

（六）启动 web - server 和 exec - server

cd   /opt/installs/azkaban-3.56.0/web-server/bin
./start-web.sh

cd   /opt/installs/azkaban-3.56.0/exec-server/bin
./start-exec.sh

四、Azkaban 的使用

需要注意的点：

1. azkaban的job流文件，后缀是.job

        1) type属性 必须赋值

        值有：command,java,pig

2. azkaban执行的job必须要提前打包，打包的格式必须是zip格式

        不能打包文件夹，打包文件

3. 流文件里的书写格式：

        1）一定要注意行末不要有空格

        2）编码集的问题，如果在window上实在不行，可以上传到linux进行zip压缩，然后下载到windows上，再上传到azkaban上

（一）创建项目

  1. 登录 Azkaban 的 WebServer，进入管理界面。
  2. 点击 “Create Project” 按钮，创建一个新的项目。
  3. 输入项目名称、描述等信息，并选择项目的类型（如命令行任务、Java 任务等）。

Name 不能是中文的

Description 不能为空，可以是中文

（二）编写 job 任务

  1. 在项目中创建一个新的 job 文件，后缀为.job。
  2. job 文件的格式如下：
type=command
command=echo "hello world"

使用windows编辑这个文件的时候，一般要注意，格式，需要是unix:

（三）打包和上传

  1. 将编写好的 job 文件打包成 zip 格式，注意不能打包文件夹，只能打包文件。
  2. 在 Azkaban 的管理界面中，选择项目，点击 “Upload” 按钮，上传打包好的文件。

（四）错误修复

如果执行时报错

在exec-server中，修改配置文件 azkaban.proerties 添加如下代码，注意安装路径

azkaban.jobtype.plugin.dir=/opt/installs/azkaban/exec-server/plugins/jobtypes

重启exec-server即可。

（五）执行任务

  1. 在项目中选择要执行的任务，点击 “Execute” 按钮，启动任务的执行。
  2. 可以在任务的执行日志中查看任务的执行情况。

五、总结

        Azkaban 是一个强大的任务调度和编排工具，它可以帮助我们轻松地组织和管理大数据任务，提高数据处理的效率和可靠性。本文介绍了 Azkaban 的简介、体系结构、安装步骤、使用方法等方面的内容，希望对大家有所帮助。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/2184039.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

【架构】prometheus+grafana系统监控

【架构】prometheus+grafana系统监控

文章目录 一、Prometheus简介二、Grafana简介三、PrometheusGrafana系统监控的实现四、优势与应用场景 参考 PrometheusGrafana系统监控是一个强大的组合&#xff0c;用于实时监控和分析系统的性能与状态。以下是对这一组合在系统监控中的详细解析&#xff1a; 一、Prometheus…
阅读更多...
10月1日刷题记录

10月1日刷题记录

C C
阅读更多...
postgresql僵尸进程的处理思路

postgresql僵尸进程的处理思路

简介 僵尸进程&#xff08;zombie process&#xff09;是指一个已经终止但仍然在进程表中保留条目的进程。正常情况下&#xff0c;当一个进程完成执行并退出时&#xff0c;操作系统会通过父进程调用的wait()或waitpid()系统调用来收集该子进程的退出状态。如果父进程未及时调用…
阅读更多...
快速了解：MySQL InnoDB和MyISAM的区别

快速了解：MySQL InnoDB和MyISAM的区别

目录 一、序言二、InnoDB和MyISAM对比1、InnoDB特性支持如下2、MyISAM特性支持如下 三、两者核心区别1、事务支持2、锁机制3、索引结构4、缓存机制5、故障恢复6、使用场景 一、序言 在MySQL 8.0中&#xff0c;InnoDB是默认的存储引擎。除了InnoDB&#xff0c;MySQL还支持其它的…
阅读更多...
SQL - 函数

SQL - 函数

1. 操作类函数 这一类函数针对数据结构&#xff0c;表格进行筛选操作 1.1 GROUP BY 根据某个单一列中属性或者多个列对结果集进行分组 SELECT column1, SUM(column2) FROM table GROUP BY column1; 上述代码将所选择列进行column1中的属性分组&#xff0c;作为每一行的索引…
阅读更多...
如何在idea使用RabbitMQ

如何在idea使用RabbitMQ

一.RabbitMQ的安装和访问 1.在linux虚拟机安装RabbitMQ docker run -d --name rabbitmq -p 5671:5671 -p 5672:5672 -p 4369:4369 -p 25672:25672 -p 15671:15671 -p 15672:15672 rabbitmq:3.9.9-management 2.启动RabbitMQ docker start rabbitmq 3.访问 RabbitMQ网页 在自…
阅读更多...
【Python】Uvicorn：Python 异步 ASGI 服务器详解

【Python】Uvicorn：Python 异步 ASGI 服务器详解

Uvicorn 是一个为 Python 设计的 ASGI&#xff08;异步服务器网关接口&#xff09;Web 服务器。它填补了 Python 在异步框架中缺乏一个最小化低层次服务器/应用接口的空白。Uvicorn 支持 HTTP/1.1 和 WebSockets&#xff0c;是构建现代异步Web应用的强大工具。 ⭕️宇宙起点 &a…
阅读更多...
C++网络编程之IP地址和端口

C++网络编程之IP地址和端口

概述 IP地址和端口共同定义了网络通信中的源和目标。IP地址负责将数据从源设备正确地传输到目标设备&#xff0c;而端口则确保在目标设备上数据被交付到正确的应用或服务。因此&#xff0c;在网络编程中&#xff0c;IP地址和端口是密不可分的两个概念&#xff0c;共同构成了网络…
阅读更多...
Why RTSP？RTSP播放器优势探究

Why RTSP？RTSP播放器优势探究

RTSP优势探究 好多开发者搞不清楚&#xff0c;低延迟的传输&#xff0c;到底是走RTMP、WebRTC还是RTSP&#xff1f;如果走RTSP&#xff0c;RTSP播放器的优势有哪些&#xff1f;能否达到期望的延迟&#xff1f;答案是肯定的&#xff0c;废话不多说&#xff0c;上效果图&#xf…
阅读更多...
Power apps：一次提交多项申请

Power apps：一次提交多项申请

1、添加一个Form&#xff0c;导入sharepoint列表&#xff0c;添加确认&#xff0c;继续&#xff0c;取消按钮 2、在页面的onvisible属性中添加 Set(applynumber,Last(付款申请表).申请编号1); #定义一个申请编号变量&#xff0c;每次申请&#xff0c;就将列表最后一个…
阅读更多...
医疗陪诊APP开发实战：从互联网医院系统源码开始

医疗陪诊APP开发实战：从互联网医院系统源码开始

本文将从互联网医院系统源码出发&#xff0c;深入探讨医疗陪诊APP的开发实战。 一、从互联网医院系统源码入手 开发医疗陪诊APP的基础在于互联网医院系统的源码。互联网医院系统通常包括以下几个模块&#xff1a; 1.用户管理&#xff1a;用户注册、登录、信息管理等功能。 …
阅读更多...
C++继承的三种方式[ACCESS]

C++继承的三种方式[ACCESS]

C继承的定义 两个类的继承关系在派生类中声明&#xff0c;派生类定义使用以下语法&#xff1a; class DerivedClass: [ACCESS] BaseClass{ /…/ }; 冒号&#xff08;:&#xff09;后的[ACCESS]是继承的最高权限级别符&#xff0c;可以是以下三个值&#xff08;存取权限级别&am…
阅读更多...
fpga系列 硬件(时序收敛)：触发器建立时间(setuptime)

fpga系列 硬件(时序收敛)：触发器建立时间(setuptime)

触发器 电平触发、边沿触发和脉冲触发是三种主要的触发形式。always (posedge clk or negedge rst_n) 是一个典型的 Verilog 语句&#xff0c;用于定义一个带复位的触发器。D触发器是一种基本的数字存储元件&#xff0c;主要用于数据存储和时序控制。 D触发器的建立时间和保持…
阅读更多...
Zabbix自动发现SNMP主机

Zabbix自动发现SNMP主机

前言 利用Zabbix监控DELL R740主机硬件&#xff0c;监控通过自动发现主机&#xff0c;链接SNMP监控模板 一、配置自动发现 自动发现脚本 cat discovery_host.pyfrom os.path import abspath, dirname, join import json import sysreload(sys) sys.setdefaultencoding(utf-8…
阅读更多...
【2024】前端学习笔记11-网页布局-弹性布局flex

【2024】前端学习笔记11-网页布局-弹性布局flex

学习笔记 网页布局弹性布局&#xff1a;flex案例&#xff1a;flex布局案例 网页布局 在页面布局中&#xff0c;display属性用于设置一个元素的显示方式。它可以指定元素是作为块级元素、内联元素还是充当表格元素显示。 display的常见属性值&#xff1a; block&#xff1a;将…
阅读更多...
前端——Ajax和jQuery

前端——Ajax和jQuery

一、Ajax Ajax即“Asynchronous Javascript And XML”&#xff08;异步 JavaScript 和 XML&#xff09;&#xff0c; 通过 JS 异步的向服务器发送请 求并接收响应数据。 同步访问&#xff1a;当客户端向服务器发送请求时&#xff0c;服务器在处理的过程中&#xff0c;浏览器…
阅读更多...
AutoGen实现多代理-Planning_and_Stock_Report_Generation（六）

AutoGen实现多代理-Planning_and_Stock_Report_Generation（六）

1. 案例背景 本节内容是构建Agent组&#xff0c;通过广播模式&#xff0c;实现管理者对agent工作流的管理。本实验链接&#xff1a;传送门 2. 代码实践 2.1 环境设置 llm_config{"model": "gpt-4-turbo"}# 工作任务描述 task "Write a blogpost a…
阅读更多...
【CSS3】css开篇基础（1）

【CSS3】css开篇基础（1）

1.❤️❤️前言~&#x1f973;&#x1f389;&#x1f389;&#x1f389; Hello, Hello~ 亲爱的朋友们&#x1f44b;&#x1f44b;&#xff0c;这里是E绵绵呀✍️✍️。 如果你喜欢这篇文章&#xff0c;请别吝啬你的点赞❤️❤️和收藏&#x1f4d6;&#x1f4d6;。如果你对我的…
阅读更多...
【树莓派系列】树莓派首次开机配置

【树莓派系列】树莓派首次开机配置

树莓派首次开机配置 文章目录 树莓派首次开机配置1.镜像烧录2.开启串口调试1.无屏幕2.有屏幕3.串口登录系统 3.配置网络VNC与SSH的区别 4.更新vim5.固定IP地址6.开启SSH&#xff0c;网络登录开发板7.xrdp图形化登录开发板XRDP与VNC区别8.更新国内下载镜像源9.vscode连接开发板1…
阅读更多...
C语言 | Leetcode C语言题解之第450题删除二叉搜索树中的节点

C语言 | Leetcode C语言题解之第450题删除二叉搜索树中的节点

题目&#xff1a; 题解&#xff1a; struct TreeNode* deleteNode(struct TreeNode* root, int key){struct TreeNode *cur root, *curParent NULL;while (cur && cur->val ! key) {curParent cur;if (cur->val > key) {cur cur->left;} else {cur c…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023