首先我们需要现在相关的组件,在这里已经给大家准备好了相关的安装包,有需要的可以自行下载。
只需要启动hadoop集群就可以,如果现在你的hive是打开的,那么请你关闭!!!
如果不关会造成证书冲突,会启动失败,会让你痛不欲生,痛心疾首
如果没有特别说明,这些操作都是在hadoop03上进行
这里放一个下载连接!!!
----------------------------------------
通过网盘分享的文件:ak.zip
链接: https://pan.baidu.com/s/1E4J9k8LClPj7XuYZWSdNJA 提取码: 4bfp
--来自百度网盘超级会员v4的分享
--------------------------------------------------
首先我们创建一个文件夹
mkdir -p /export/servers/azkaban
创建完成之后,我们切换到software目录下。
cd /export/software
输入rz上传我们之前上传过的那几个安装包。
首先我们选择安装包里的·relational database安装包,也就是azkaban-db-0.1.0-SNAPSHOT.tar.gz,这个安装包。
上传完成之后,对安装包进行一个解压缩。
tar -zxvf /export/software/azkaban-db-0.1.0-SNAPSHOT.tar.gz -C /export/servers/azkaban
这个安装完成之后,我们再进rz
行下一个文件的上传与安装,
rz上传azkaban-web-server-0.1.0-SNAPSHOT.tar.gz这个压缩包。
Azkaban web server,同样是上传到software目录。
上传完成之后,我们同样解压缩到akzaban文件夹。
tar -zxvf /export/software/azkaban-web-server-0.1.0-SNAPSHOT.tar.gz -C /export/servers/azkaban
等待这个压缩包解压缩完成之后,我们就可以进行下一个压缩包的上传和安装了,还是老规矩,依旧是software文件夹。
输入rz上传azkaban-exec-server-0.1.0-SNAPSHOT.tar.gz压缩文件。
tar -zxvf /export/software/azkaban-exec-server-0.1.0-SNAPSHOT.tar.gz -C /export/servers/azkaban
那么的,在所有的文件都解压缩完成之后,我们就能换到servers目录下的akzaban目录了。
cd /export/servers/azkaban
切换完成之后,我们需要对我们加压缩的三个文件夹进行重命名,方便后期管理。
那么首先,
mv azkaban-db-0.1.0-SNAPSHOT azkaban-db
下一个
mv azkaban-web-server-0.1.0-SNAPSHOT azkaban-web
最后一个
mv azkaban-exec-server-0.1.0-SNAPSHOT azkaban-exec
好的,所有的文件都重命名完成之后,我们就需要切换到,mysql数据库里了。
配置Relational Database
没有连接数据库的·给自己两巴掌,然后去
Hive的部署,远程模式搭建,centos换源,linux上下载mysql。_hive-4.0.1-CSDN博客
这个地方,只看下载mysql的就可以
那么输入
mysql -uroot -p+密码
这个地方大家输入自己的密码就可以。
不会安装数据库或者没有安装成功的
可以去博主的另一篇文章里找一下,这里会给大家放一个链接。
进入数据库成功之后,我们需要创建一个属于azkaban的数据库
create database azkaban;
创建完成之后,我们需要初始化一下这个数据库。
接下来输入
use azkaban;
选择成功后,输入下面的命令
source /export//servers/azkaban/azkaban-db/create-all-sql-0.1.0-SNAPSHOT.sql;
初始化完成之后,输入
show tables;
就可以查看一些关于azkaban的多个表。
看完之后,就可以exit;
退出了
配置azkaban web server
切换到azkaban的web那个文件的目录下。
cd /export/servers/azkaban/azkaban-web/conf
输入
vi azkaban.properties
进入之后,将 配置里的参数修改为,
dafult.timezone.id=
Asia/Shanghai
将mysql。password修改成,作者的密码是这个,大家的根据自己的实际情况填写。
Itcast@2023
将mysql.user
root
,这个地方修改完成之后,还需要修改一下azkaban.executorselector.filters的值进行修改。
StaticRemainingFlowSize,CpuStatus
全部的修改完成之后就可以开心的保存退出了。
配置Azkaban Executor Server
和配置db差不多,同样要先进入到
cd /export/servers/azkaban/azkaban-exec/conf
之后输入
vi azkaban.properties
进入之后,将 配置里的参数修改为,
dafult.timezone.id=
Asia/Shanghai
将mysql。password修改成,作者的密码是这个,大家的根据自己的实际情况填写。
Itcast@2023
将mysql.user
root
完成之后需要再自己添加一个参数
executor.port=12321
在这个地方完成之后,大家切换到自己的lib目录
cd /export/servers/azkaban/azkaban-exec/lib
然后找到自己的mysql那个东西,删除掉
rm -rf mysql-connector-java-5.1.28.jar
删除掉之后,重新上传一个mysql的关联jar包。
在前面的资料里给出了。
然后,切换到web的lib
cd /export/servers/azkaban/azkaban-web/lib
切换完成后,我们还是删除mysql包、
rm -rf mysql-connector-java-5.1.28.jar
之后,上传jar包。和上面那个上传的一样就ok。
那么好,我们再切换到conf目录下。
修改一下命令
log4j.appender.server.File=/export/data/logs/azkaban-execserver.log
启动azkaban
在上面的配置完成之后,我们就需要进行下一步,
cd /export/servers/azkaban/azkaban-exec
之后使用脚本启动
bin/start-exec.sh
启动完成之后,使用jps命令,查看azkaban是都启动成功
如果需要停止服务,请输入。
bin/shutdown-exec.sh
,看完之后,我们输入ll。
来查看一下exec目录下面的命令。
这里需要注意的事情是!不可以切换到bin目录下再一键脚本启动,会造成azkaban启动的时候无法获取conf目录下配置文件的问题。
下一步,我们就可以开始激活azkaban exeexutor server
curl -G "localhost:12321/executor?action=activate" && echo;
切换到web的目录
cd /export/servers/azkaban/azkaban-web
输入
bin/start-web.sh
命令执行成功之后,输入jps,来查看一下执行的命令,
看完之后,输入ll,查看一下是否有out文件出现。
下面ll
!!!
就是!
激动人心的!访问azkaban web用户界面!
那么请打开你的浏览器
输入
hadoop03:8081
在username上输入:(有的也可能是大写的A,两个都试试)
azkaban
password
azkaban