Azkaban部署

news2024/11/25 17:57:28

首先我们需要现在相关的组件,在这里已经给大家准备好了相关的安装包,有需要的可以自行下载。

只需要启动hadoop集群就可以,如果现在你的hive是打开的,那么请你关闭!!!

如果不关会造成证书冲突,会启动失败,会让你痛不欲生,痛心疾首

如果没有特别说明,这些操作都是在hadoop03上进行

这里放一个下载连接!!!

----------------------------------------

通过网盘分享的文件:ak.zip
链接: https://pan.baidu.com/s/1E4J9k8LClPj7XuYZWSdNJA 提取码: 4bfp 
--来自百度网盘超级会员v4的分享

--------------------------------------------------

首先我们创建一个文件夹

mkdir -p /export/servers/azkaban

创建完成之后,我们切换到software目录下。

cd /export/software

输入rz上传我们之前上传过的那几个安装包。

首先我们选择安装包里的·relational database安装包,也就是azkaban-db-0.1.0-SNAPSHOT.tar.gz,这个安装包。

上传完成之后,对安装包进行一个解压缩。

tar -zxvf /export/software/azkaban-db-0.1.0-SNAPSHOT.tar.gz -C /export/servers/azkaban

这个安装完成之后,我们再进rz

行下一个文件的上传与安装,

rz上传azkaban-web-server-0.1.0-SNAPSHOT.tar.gz这个压缩包。

Azkaban web server,同样是上传到software目录。

上传完成之后,我们同样解压缩到akzaban文件夹。

tar -zxvf /export/software/azkaban-web-server-0.1.0-SNAPSHOT.tar.gz -C /export/servers/azkaban

等待这个压缩包解压缩完成之后,我们就可以进行下一个压缩包的上传和安装了,还是老规矩,依旧是software文件夹。

输入rz上传azkaban-exec-server-0.1.0-SNAPSHOT.tar.gz压缩文件。

tar -zxvf /export/software/azkaban-exec-server-0.1.0-SNAPSHOT.tar.gz -C /export/servers/azkaban

那么的,在所有的文件都解压缩完成之后,我们就能换到servers目录下的akzaban目录了。

cd /export/servers/azkaban

切换完成之后,我们需要对我们加压缩的三个文件夹进行重命名,方便后期管理。

那么首先,

mv azkaban-db-0.1.0-SNAPSHOT azkaban-db

下一个

mv azkaban-web-server-0.1.0-SNAPSHOT azkaban-web

最后一个

mv azkaban-exec-server-0.1.0-SNAPSHOT  azkaban-exec

好的,所有的文件都重命名完成之后,我们就需要切换到,mysql数据库里了。

配置Relational Database

没有连接数据库的·给自己两巴掌,然后去

Hive的部署,远程模式搭建,centos换源,linux上下载mysql。_hive-4.0.1-CSDN博客

这个地方,只看下载mysql的就可以

那么输入

mysql -uroot -p+密码

这个地方大家输入自己的密码就可以。

不会安装数据库或者没有安装成功的

可以去博主的另一篇文章里找一下,这里会给大家放一个链接。

进入数据库成功之后,我们需要创建一个属于azkaban的数据库

create database azkaban;

创建完成之后,我们需要初始化一下这个数据库。

接下来输入

use azkaban;

选择成功后,输入下面的命令

source /export//servers/azkaban/azkaban-db/create-all-sql-0.1.0-SNAPSHOT.sql;

初始化完成之后,输入

show tables;

就可以查看一些关于azkaban的多个表。

看完之后,就可以exit;

退出了

配置azkaban web server

切换到azkaban的web那个文件的目录下。

cd /export/servers/azkaban/azkaban-web/conf

输入

vi azkaban.properties

进入之后,将 配置里的参数修改为,

dafult.timezone.id=

Asia/Shanghai

将mysql。password修改成,作者的密码是这个,大家的根据自己的实际情况填写。

Itcast@2023

将mysql.user

root

,这个地方修改完成之后,还需要修改一下azkaban.executorselector.filters的值进行修改。

StaticRemainingFlowSize,CpuStatus

全部的修改完成之后就可以开心的保存退出了。

配置Azkaban Executor Server

和配置db差不多,同样要先进入到

cd /export/servers/azkaban/azkaban-exec/conf

之后输入

vi azkaban.properties

进入之后,将 配置里的参数修改为,

dafult.timezone.id=

Asia/Shanghai

将mysql。password修改成,作者的密码是这个,大家的根据自己的实际情况填写。

Itcast@2023

将mysql.user

root

完成之后需要再自己添加一个参数

executor.port=12321

在这个地方完成之后,大家切换到自己的lib目录

cd /export/servers/azkaban/azkaban-exec/lib

然后找到自己的mysql那个东西,删除掉

rm -rf mysql-connector-java-5.1.28.jar

删除掉之后,重新上传一个mysql的关联jar包。

在前面的资料里给出了。

然后,切换到web的lib

cd /export/servers/azkaban/azkaban-web/lib

切换完成后,我们还是删除mysql包、

rm -rf mysql-connector-java-5.1.28.jar

之后,上传jar包。和上面那个上传的一样就ok。

那么好,我们再切换到conf目录下。

修改一下命令

log4j.appender.server.File=/export/data/logs/azkaban-execserver.log

启动azkaban

在上面的配置完成之后,我们就需要进行下一步,

cd /export/servers/azkaban/azkaban-exec

之后使用脚本启动

bin/start-exec.sh

启动完成之后,使用jps命令,查看azkaban是都启动成功

如果需要停止服务,请输入。

bin/shutdown-exec.sh

,看完之后,我们输入ll。

来查看一下exec目录下面的命令。

这里需要注意的事情是!不可以切换到bin目录下再一键脚本启动,会造成azkaban启动的时候无法获取conf目录下配置文件的问题。

下一步,我们就可以开始激活azkaban exeexutor server

curl -G "localhost:12321/executor?action=activate" && echo;

切换到web的目录

cd /export/servers/azkaban/azkaban-web

输入

bin/start-web.sh

命令执行成功之后,输入jps,来查看一下执行的命令,

看完之后,输入ll,查看一下是否有out文件出现。

下面ll

!!!

就是!

激动人心的!访问azkaban web用户界面!

那么请打开你的浏览器

输入

hadoop03:8081

在username上输入:(有的也可能是大写的A,两个都试试)

azkaban

password

azkaban

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2247428.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Jmeter中的定时器

4)定时器 1--固定定时器 功能特点 固定延迟:在每个请求之间添加固定的延迟时间。精确控制:可以精确控制请求的发送频率。简单易用:配置简单,易于理解和使用。 配置步骤 添加固定定时器 右键点击需要添加定时器的请求…

JavaEE初学07

JavaEE初学07 MybatisORMMybatis一对一结果映射一对多结果映射 Mybatis动态sqlif标签trim标签where标签set标签foreach标签补充 Mybatis Mybatis是一款优秀的持久层框架,他支持自定义SQL、存储过程以及高级映射。Mybatis几乎免除了所有的JDBC代码以及设置参数和获取…

【layui】table的switch、edit修改

<title>简单表格数据</title><div class"layui-card layadmin-header"><div class"layui-breadcrumb" lay-filter"breadcrumb"><a>系统设置</a><a>简单表格数据</a></div> </div>&…

工具使用_docker容器_crossbuild

1. 工具简介 2. 工具使用 拉取 multiarch/crossbuild 镜像&#xff1a; docker pull multiarch/crossbuild 创建工作目录和示例代码&#xff1a; mkdir -p ~/crossbuild-test cd ~/crossbuild-test 创建 helloworld.c &#xff1a; #include <stdio.h>int main() …

Android 天气APP(三十七)新版AS编译、更新镜像源、仓库源、修复部分BUG

上一篇&#xff1a;Android 天气APP&#xff08;三十六&#xff09;运行到本地AS、更新项目版本依赖、去掉ButterKnife 新版AS编译、更新镜像源、仓库源、修复部分BUG 前言正文一、更新镜像源① 腾讯源③ 阿里源 二、更新仓库源三、修复城市重名BUG四、地图加载问题五、源码 前…

基于Java Springboot海洋馆预约系统

一、作品包含 源码数据库设计文档万字PPT全套环境和工具资源部署教程 二、项目技术 前端技术&#xff1a;Html、Css、Js、Vue、Element-ui 数据库&#xff1a;MySQL 后端技术&#xff1a;Java、Spring Boot、MyBatis 三、运行环境 开发工具&#xff1a;IDEA/eclipse 数据…

采用python3.12 +django5.1 结合 RabbitMQ 和发送邮件功能,实现一个简单的告警系统 前后端分离 vue-element

一、开发环境搭建和配置 #mac环境 brew install python3.12 python3.12 --version python3.12 -m pip install --upgrade pip python3.12 -m pip install Django5.1 python3.12 -m django --version #用于检索系统信息和进程管理 python3.12 -m pip install psutil #集成 pika…

STM32的中断(什么是外部中断和其他中断以及中断号是什么)

一、什么是EXTI 和NVIC EXTI&#xff08;External Interrupt/Event Controller&#xff09;EXTI 是外部中断/事件控制器&#xff0c;它负责处理外部信号变化&#xff0c;并将信号传递给中断控制器&#xff08;如 NVIC&#xff09;。主要负责以下功能&#xff1a; 外部事件检测…

【MyBatis】全局配置文件—mybatis.xml 创建xml模板

文章目录 模板文件配置元素typeAliasessettings 模板文件 创建模板 按照顺序打开【File】–>【settings】–>【Editor】–>【File and Code Templates】&#xff08;或直接搜索&#xff09; <?xml version"1.0" encoding"UTF-8" ?> <…

『VUE』34. 异步组件(详细图文注释)

目录 加载速度的优化示例代码总结 欢迎关注 『VUE』 专栏&#xff0c;持续更新中 欢迎关注 『VUE』 专栏&#xff0c;持续更新中 加载速度的优化 实际项目中你可能会有几十个组件,如果一开始就加载了全部组件(哪怕其中有些组件你暂时用不到)这无疑大大增加了响应时间,用户体验…

鸿蒙开发-音视频

Media Kit 特点 一般场合的音视频处理&#xff0c;可以直接使用系统集成的Video组件&#xff0c;不过外观和功能自定义程度低Media kit&#xff1a;轻量媒体引擎&#xff0c;系统资源占用低支持音视频播放/录制&#xff0c;pipeline灵活拼装&#xff0c;插件化扩展source/demu…

Spark——安装步骤详细教程

1、安装步骤 1、上传 cd /opt/modules 2、解压 tar -zxf spark-3.1.2-bin-hadoop3.2.tgz -C /opt/installs 3、重命名 cd /opt/installs mv spark-3.1.2-bin-hadoop3.2 spark-local 4、创建软链接 ln -s spark-local spark 5、配置环境变量&#xff1a; vi /etc/prof…

MFC工控项目实例三十一模拟量转化为工程量

实测工程量值&#xff08;变送器量程最大值-变送器量程最小值&#xff09;/&#xff08;数字量最大值-数字量最小值&#xff09;*&#xff08;当前采集工程量值-零点误差值&#xff09;。 相关程序代码 SEAL_PRESSURE.h class CSEAL_PRESSUREApp : public CWinApp { public:C…

svn 崩溃、 cleanup失败 怎么办

在使用svn的过程中&#xff0c;可能出现整个svn崩溃&#xff0c; 例如cleanup 失败的情况&#xff0c;类似于 这时可以下载本贴资源文件并解压。 或者直接访问网站 SQLite Download Page 进行下载 解压后得到 sqlite3.exe 放到发生问题的svn根目录的.svn路径下 右键呼出pow…

Win10系统开启了文件夹管控(文件夹限制访问)导致软件向系统公共文档目录写入失败的问题排查分享

目录 1、问题说明 2、查看系统是否开启了文件夹管控 3、在未安装杀毒软件的Win10电脑上可能会自动打开文件夹管控 4、到微软官网上查看Windows 安全中心的病毒和威胁防护与文件夹管控的详细说明 5、解决办法探讨 6、最后 C++软件异常排查从入门到精通系列教程(专栏文章列…

移远通信推出全新5G RedCap模组RG255AA系列,以更高性价比加速5G轻量化大规模商用

11月20&#xff0c;全球领先的物联网整体解决方案供应商移远通信宣布&#xff0c;正式推出其全新5G RedCap模组RG255AA系列。该系列模组支持5G NR独立组网&#xff08;SA&#xff09;和LTE Cat 4双模通信&#xff0c;具有高性能高集成度、低功耗、小尺寸、高性价比等优势&#…

传输控制协议(TCP)和用户数据报协议(UDP)

一、传输控制协议&#xff08;TCP&#xff09; 传输控制协议&#xff08;Transmission Control Protocol&#xff0c;TCP&#xff09;是一种面向连接的、可靠的、基于字节流的传输层通信协议&#xff0c;由 IETF 的 RFC 793 定义。 它通过三次握手建立连接&#xff0c;确保数…

C++初阶(十五)--STL--list 的深度解析与全面应用

文章目录 一、头文件与基本概念 二、构造函数和析构函数 1.构造函数 2.析构函数 三、元素访问 front back 四、迭代器相关函数 begin end rebegin&#xff08;反向迭代器&#xff09; rend&#xff08;反向迭代器&#xff09; 五、容量相关函数 empty size max…

企业数智化新纪元,安全体系保驾护航

随着云计算、大数据、人工智能等技术的不断发展成熟&#xff0c;企业数智化建设进入到了深水区&#xff0c;网络安全已经成为企业发展最重要的基石。企业如何更好地拥抱先进生产力、构建强大的安全体系、重塑企业核心竞争力&#xff0c;是每一位技术决策者需要认真思考和解决的…

学Linux的第九天--磁盘管理

目录 一、磁盘简介 &#xff08;一&#xff09;、认知磁盘 &#xff08;1&#xff09;结构 &#xff08;2&#xff09;物理设备的命名规则 &#xff08;二&#xff09;、磁盘分区方式 MBR分区 MBR分区类型 扩展 GPT格式 lsblk命令 使用fdisk管理分区 使用gdisk管理分…