Azkaban搭建与使用

news2025/1/10 23:42:50

下载最新azkaban源文件:https://github.com/azkaban/azkaban/releases
集群模式安装
1.解压 azkaban-db-3.84.4.tar.gz、 azkaban-exec-server-3.84.4.tar.gz 和 azkaban-web-server-3.84.4.tar.gz 到/opt/install/azkaban 目录下

linux>tar -zxvf azkaban-db-3.84.4.tar.gz -C /opt/install/azkaban
linux>tar -zxvf azkaban-exec-server-3.84.4.tar.gz -C /opt/install/azkaban
linux>tar -zxvf azkaban-web-server-3.84.4.tar.gz -C /opt/install/azkaban

配置 MySQL
登陆 MySQL,创建 Azkaban 数据库

linux>mysql -uroot -p123
mysql>create database azkaban;

创建 azkaban 用户并赋予权限
设置密码有效长度 4 位及以上

mysql> set global validate_password_length=4;

报错:ERROR 1193 (HY000): Unknown system variable ‘validate_password_length’
这是说你启动没有安全检查插件
解决办法:vi /etc/my.cnf,然后在[mysqld]的下方加入如下代码:

plugin-load-add=validate_password.so
validate-password=FORCE_PLUS_PERMANENT

plugin-load-add=validate_password.so:插件的加载方法,每次服务器启动时都必须给出该选项;
validate-password=FORCE_PLUS_PERMANENT:validate-password在服务器启动时使用该选项来控制插件的激活。
重启mysql服务后

mysql>flush privileges;  //刷新
mysql>SHOW VARIABLES LIKE 'validate_password%';  //查看安全策略

设置密码策略最低级别

mysql> set global validate_password_policy=0;

创建 Azkaban 用户,任何主机都可以访问 Azkaban,密码是 123456

mysql> CREATE USER 'azkaban'@'%' IDENTIFIED BY '123456';

赋予 Azkaban 用户增删改查权限

mysql> GRANT SELECT,INSERT,UPDATE,DELETE ON azkaban.* to 'azkaban'@'%' WITH GRANT OPTION;

5)创建 Azkaban 表,完成后退出 MySQL

mysql> use azkaban;
mysql> source /opt/install/azkaban/azkaban-db-3.84.4/create-all-sql-3.84.4.sql
mysql> quit;

6)更改 MySQL 包大小;防止 Azkaban 连接 MySQL 阻塞

linux> vim /etc/my.cnf

7)在[mysqld]下面加一行 max_allowed_packet=1024M

[mysqld]
max_allowed_packet=1024M

8)重启 MySQL

linux>systemctl restart mysqld

配置 Executor Server
Azkaban Executor Server 处理工作流和作业的实际执行
1)编辑 azkaban.properties

linux>vi /opt/install/azkaban/azkaban-exec-server-3.84.4/conf/azkaban.properties
修改如下的属性
#...
default.timezone.id=Asia/Shanghai
#...
azkaban.webserver.url=http://192.168.58.203:8081
executor.port=12321
#...
database.type=mysql
mysql.port=3306
mysql.host=192.168.58.203
mysql.database=azkaban
mysql.user=azkaban
mysql.password=123456
mysql.numconnections=100

2)同步 azkaban-exec 到所有节点

linux>spc -r /opt/install/azkaban/azkaban-exec  192.168.58.201@`pwd`

3)必须进入到/opt/install/azkaban/azkaban-exec 路径,分别在三台机器上,启动 executor server

linux1> bin/start-exec.sh
linux2> bin/start-exec.sh
linux3> bin/start-exec.sh

注意:如果在/opt/install/azkaban/azkaban-exec 目录下出现 executor.port 文件,说明
启动成功
4)下面激活 executor,需要

linux1> curl -G  "192.168.58.201:12321/executor?action=activate" && echo
linux2> curl -G  "192.168.58.202:12321/executor?action=activate" && echo
linux3> curl -G  "192.168.58.203:12321/executor?action=activate" && echo
如果三台机器都出现如下提示,则表示激活成功
{"status":"success"}

配置 Web Server
Azkaban Web Server 处理项目管理,身份验证,计划和执行触发。
1)编辑 azkaban.properties

linux>vi /opt/install/azkaban/azkaban-web-server-3.84.4/conf/azkaban.properties
修改如下属性
...
default.timezone.id=Asia/Shanghai
...
database.type=mysql
mysql.port=3306
mysql.host=192.168.58.203
mysql.database=azkaban
mysql.user=azkaban
mysql.password=123456
mysql.numconnections=100
...
azkaban.executorselector.filters=StaticRemainingFlowSize,CpuStatus

说明:
#StaticRemainingFlowSize:正在排队的任务数;
#CpuStatus:CPU 占用情况
#MinimumFreeMemory:内存占用情况。测试环境,必须将 MinimumFreeMemory 删除掉,否则
它会认为集群资源不够,不执行。
2)修改 azkaban-users.xml 文件,添加 atguigu 用户

linux> vim /opt/install/azkaban/azkaban-web/conf/azkaban-users.xml

<azkaban-users>
 <user groups="azkaban" password="azkaban" roles="admin"  username="azkaban"/>
 <user password="metrics" roles="metrics" username="metrics"/>
 <user password="atguigu" roles="admin" username="atguigu"/>
 <role name="admin" permissions="ADMIN"/>
 <role name="metrics" permissions="METRICS"/>
</azkaban-users>

3)必须进入到 192.168.58.203 的/opt/install/azkaban/azkaban-web 路径,启动 web server

linux> bin/start-web.sh

4)访问 http://192.168.58.203:8081,并用 atguigu 用户登陆 密码:atguigu
在这里插入图片描述
使用实例
1.命令行类的单job文件编写

linux> vim /root/HelloWord.job
type=command
command=echo 'hello world'

2.job打成zip包

linux>cd /root/
linux>zip HelloWord.zip HelloWord.job

将文件传到window本地,通过azkaban的页面,来加载程序。
注意:
1.文件保存为格式必须为UFT-8 无 BOM
2.后缀必须是 .job
3.必须是zip的压缩包

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/650077.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

算法:静态查找表

查找表&#xff08;Search table&#xff09;是由同一类型的数据元素&#xff08;或记录&#xff09;构成的集合。关键字(key)是数据元素中某个数据项的值&#xff0c;又称为键值&#xff0c;用它可以表示一个数据元素&#xff0c;也可以标识一个记录的数据项&#xff08;字段&…

当深度学习撞上高性能计算,科研仿佛坐上了加速器

今天深度学习无处不在&#xff0c;当你打开移动终端的时候&#xff0c;各种APP会推荐到你喜欢的食物、你喜欢的电影&#xff0c;你关注的新闻热点。在生活中更是改变着我们&#xff0c;今天的智能语音让语言障碍破除&#xff0c;在预测疾病基因大数据领域预测疾病来确定药物治疗…

2023年大学生就业怎么样?双一流高校就业率仅15%,到底是咋了?

2023年&#xff0c;大学毕业生就业状况如何&#xff0c;一直是社会关注的焦点。尤其是中国的双一流高校&#xff0c;以其优越的教学与研究背景和实力&#xff0c;被众多年轻人视为就业的理想选择。 然而&#xff0c;在最新的统计数据中&#xff0c;这些一流高校的就业率却惊人…

欧科云链OKLink全新推出Onchain AML服务 助力新金融合规健康发展

据香港大公报报道&#xff0c;为期两天的全球高端经济峰会2023格林威治经济论坛(GreenwichEconomicForum&#xff0c;下称GEF论坛)于6月15日在香港交易所举办&#xff0c;欧科云链控股有限公司&#xff08;下称“欧科云链”&#xff0c;股票代码&#xff1a;01499.HK&#xff0…

【北邮国院大三下】Logistics and Supply Chain Management 物流与供应链管理 Week4

北邮国院大三电商在读&#xff0c;随课程进行整理知识点。仅整理PPT中相对重要的知识点&#xff0c;内容驳杂并不做期末突击复习用。个人认为相对不重要的细小的知识点不列在其中。如有错误请指出。转载请注明出处&#xff0c;祝您学习愉快。 如需要pdf格式的文件请私信联系或…

VALSE 2023 无锡线下参会个人总结 6月12日-3

VALSE2023 无锡线下参会个人总结 6月12日-3 6月12日会议日程安排Workshop&#xff1a;多模态大模型与提示学习左旺孟&#xff1a;预训练模型和语言增强的零样本视觉学习余宙&#xff1a;知识增强的多模态预训练和提示学习王云鹤&#xff1a;多模态交织&#xff1a;高效模型架构…

STM32中断设置以及中断优先级设置-不含代码例程

本项目使用到的是STM32F030C8型号的MCU&#xff0c;我们可以从官方下载到的标准库文件中的启动汇编文件中&#xff0c;查看到本型号单片机的外部中断向量表。&#xff08;如下图所示&#xff09; 首先&#xff0c;我们了解一下NVIC是什么&#xff0c;在core_cm0.h文件中的标准库…

海川润泽“巧克力”DTU强势来袭

1、设备介绍 “巧克力”DTU(型号&#xff1a;HCRZ-DTU200)&#xff0c;它可以实现远程通信、安全传输等功能&#xff0c;提高了传输的效率和可靠性。采用全新工业级设计&#xff0c;灵活应用于不同场景。此款DTU体积小(76mm31mm21.8mm)、重量轻(150g)&#xff0c;安装简便&…

「任务派发」上线,高效管理跨平台营销任务

作为企业矩阵号相关业务的负责人&#xff0c;您在工作中是否遇到&#xff1a; 下达一个营销任务&#xff0c;需要在几十上百个群里沟通对接&#xff1f;任务发布后&#xff0c;无法掌握各运营者执行情况&#xff1f;账号数据难回收&#xff0c;无法检验任务完成效果&#xff1…

阿里云携手开放原子开源基金会倡议发起云原生工作委员会,两大开源项目达成捐赠意向

6月11日&#xff0c;2023开放原子全球开源峰会正式拉开帷幕。本届峰会以“开源赋能&#xff0c;普惠未来”为主题&#xff0c;设置了开幕式暨高峰论坛、20余场分论坛和开源成果及重点项目展览。在峰会主论坛&#xff0c;开放原子开源基金会理事长孙文龙协各家单位共同倡议发起云…

抖音加码自营电商,拿什么做出差异化?

今年618期间&#xff0c;抖音电商可谓是花尽了心思。不仅推出了补贴活动&#xff0c;上架了单品超值购、商城频道主题日、搜索彩蛋等玩法&#xff0c;而且在售后方面&#xff0c;还推出了“安心购”服务&#xff0c;可提供“七天无理由退货”“极速退款”“运费险”“过敏包退”…

关于QTreeView使用自定义Tree Model时,插入子项目时,扩展箭头不显示的问题

在使用自定义的TreeModel显示数据时&#xff0c;添加子项目后&#xff0c;扩展箭头不显示&#xff0c;但是点击原来扩展箭头在的地方时&#xff0c;树仍能够展开添加的子项目。 经过研究发现&#xff0c;QTreeView有以下代码&#xff1a; 说明如果调用的beginInserRows中的par…

Apikit 自学日记: 如何创建/生成 API 文档

在 API 研发管理产品中&#xff0c;几乎所有的协作工作都是围绕着 API 文档进行的。 我们在接触了大量的客户后发现&#xff0c;采用 文档驱动 的协作模式会比先开发、后维护文档的方式更好&#xff0c;团队协作效率和产品质量都能得到提高。因此我们建议您尝试基于文档来进行工…

vite预渲染 vite-plugin-prerender 大坑记录

本文部分配置转自&#xff1a;vite预渲染怎么实现_猿耳盗铃的博客-CSDN博客 懒得重新写&#xff0c;贴下版本和自己踩的各种坑吧 以下为版本&#xff0c;本文只给vite vue3的建议&#xff0c;不一定适用&#xff0c;因为正常情况能build成功&#xff0c;我昨天中午之前一直没…

JUC高级-0614

5.LockSupport与线程中断 5.1 线程中断 蚂蚁金服面试题&#xff1a;如何中等一个线程&#xff0c;如何停止一个线程什么是中断机制 首先&#xff1a;一个线程不应该由其他线程来强制中断或停止&#xff0c;而是应该由线程自己自行停止。所以&#xff0c;Thread.stop, Thread.…

不用编程超简单的自动化测试工具:Airtest入门篇教程

目录 一、背景 二、什么是Airtest 三、Airtest下载安装 四、Airtest入门使用教程 4.1 连接设备&#xff1a; 4.2 具体测试场景案例&#xff1a; 五、总结 一、背景 很多刚入行或从其他行业转行做测试的同学&#xff0c;日复一日每天做点工已经点得疲惫和麻木&#xff…

数仓架构“瘦身”,Hologres 5000CU时免费试用

Hologres基于创新的HSAP架构&#xff0c;可以将您原先数仓架构中的OLAP系统&#xff08;Greenplum、Presto、Impala、ClickHouse&#xff09;、KV数据库/Serving系统&#xff08;HBase、Redis&#xff09;统一在一个大数据计算引擎中&#xff0c;并提供快速的离线实时一体化分析…

企业如何搭建公司的宿舍管理系统?让数字化改变新的管理方式

什么是企业宿舍管理系统 企业宿舍管理系统是一种用于管理企业宿舍的软件。它可以帮助企业更好地管理公司的宿舍&#xff0c;包括员工选房、入住登记、租金管理、公共设施预订等。该系统通常使用计算机和互联网技术&#xff0c;以便更高效地处理和记录与宿舍相关的活动和任务。…

【Nginx】Ubuntu23.04 安装Nginx

Ubuntu23.04 安装Nginx 1.官方文档2.命令补充 1.官方文档 ❤️ 根据Nginx官方文档在Ubuntu23.04版本上安装Nginx&#xff0c;直接跟随步骤复制命令即可。 → Nginx官方Ubunt安装文档 如图&#xff1a; 这里复制了一份&#xff0c;并翻译了&#xff1a; 安装必备组件&#xff1…

【剑指offer专项突破版】哈希表篇——“C“

文章目录 前言一、插入、删除和随机访问都是 O(1) 的容器题目分析思路分析代码 二、最近最少使用缓存题目分析思路分析代码 三、有效的变位词题目分析代码 四、变位词组题目分析思路分析代码 五、外星语言是否排序题目分析思路分析代码 六、最小时间差题目分析思路分析代码①—…