【人工智能训练师】3 集群搭建

news2024/11/13 6:35:01

开启集群环境

本次环境为单节点伪集群环境，环境中已经安装JDK1.8、Hadoop2.7.7、Mysql5.7、hive2.3.4。—

1.环境中已经安装/root/software/hadoop-2.7.7，格式化HDFS，开启集群，查看集群状态。（HDFS端口为9000，其他端口默认）
2.环境中已经安装数据库、hive、spark、hbase等组件，需要开启mysql服务，初始化数据库，即可开启Hive客户端等其服务。

本步骤用于开启集群环境，用于后续数据分析（Hadoop Mapreduce/Hive）使用。

Zookeeper配置文件：/root/software/zookeeper-3.4.14/conf/zoo.cfg （位置为32行，注意为外网IP）
服务开启命令：/root/software/zookeeper-3.4.14/bin/zkServer.sh start

# 1.修改云主机host文件，添加内网IP，对应映射名为hadoop000，实现云主机自身使用root用户ssh访问hadoop000免密登陆
vim /etc/hosts
# 修改为内网IP，主机名为hadoop000
172.18.39.187  hadoop000

hostnamectl set-hostname hadoop000 && bash

ssh-copy-id -i /root/.ssh/id_rsa.pub hadoop000

# 2.配置文件中修改zookeeper主机IP为外网地址，启动zookeeper（具体见步骤说明）

vim /root/software/zookeeper-3.4.14/conf/zoo.cfg
:set nu
# 32行
# 修改zookeeper主机IP，注意此为外网IP
server.1=172.18.39.187:2888:3888

zkServer.sh start
zkServer.sh status

# 3.格式化HDFS文件系统
hadoop namenode -format

# 4.启动Hadoop集群
start-all.sh
> yes
> yes