CentOS7.5搭建Hadoop-3.3.6集群的详细操作流程-实操版本

news2024/11/23 17:04:39

一、准备工作

1、安装 VMware，已安装的，跳过此步骤即可

官方正版VMware下载（16 pro）：https://www.aliyundrive.com/s/wF66w8kW9ac
安装：选一下安装地址，一直下一步即可。（可能会要求重启电脑，重启即可）
在这里插入图片描述

2、安装CentOS7.5

下载Linux系统镜像（阿里云盘不限速）：https://www.aliyundrive.com/s/UQMBPEovxNg
（系统镜像下载后，把后缀mp4改成iso即可正常使用）
参考VMware虚拟机安装（非常详细）从零基础入门到精通，看完这一篇就够了

3、安装JDK1.8

3.1官网下载安装包，上传至服务器，解压tar包

tar -zxvf jdk-8u221-linux-x64.tar.gz -C /opt/module/

备注：这里的-C不能省略

3.2配置java环境变量、生效

vi /etc/profile

export JAVA_HOME=/opt/module/jdk1.8.0_221
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

把上述环境变量添加到/etc/profile中并生效

source /etc/profile

3.3检测Java版本：

[root@hadoop1 ~]# java -version
java version "1.8.0_221"
Java(TM) SE Runtime Environment (build 1.8.0_221-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.221-b11, mixed mode)

$\color{Salmon}备注：每台机器上都需要jdk环境$

4、Hadoop环境准备

根据自己的网段，规划出4个IP
192.168.80.5 hadoop1
192.168.80.6 hadoop2
192.168.80.7 hadoop3

4.1修改主机名

hostnamectl set-hostname hadoop1  
hostname  #查看一下
ls

4.2 hosts修改域名：(三个节点上都配一遍)

vi /etc/hosts

添加内容为

192.168.80.5 hadoop1
192.168.80.6 hadoop2
192.168.80.7 hadoop3

4.3配置SSH免密码登录

有什么作用？当用一台计算机用户登录另一台计算机时，每次登录都必须输入密码，在hadoop中，需要成千上万次登录，那么如果每次都需要输入密码的话，速度太慢了，而且折磨人

进入.ssh目录：cd /root/.ssh/

生成ssh秘钥：ssh-keygen -t rsa 一直回车，只需要第一台计算机这样生成秘钥即可

[root@hadoop1 ~]# ssh-keygen -t rsa
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa): 
/root/.ssh/id_rsa already exists.
Overwrite (y/n)? y
Enter passphrase (empty for no passphrase): 
Enter same passphrase again: 
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.
The key fingerprint is:
SHA256:Gx/StcC/VVyzkMoT15+ErqQDqZPt3RyfuImkdFh+9HA root@hadoop1
The key's randomart image is:
+---[RSA 2048]----+
|             .+..|
|         . . +.++|
|        . + * ..=|
|       o . O o o.|
|      + S.=o=E.  |
|     + .+B.++o   |
|      ooo+=.=..  |
|      ..+.o+.o   |
|       . . o.    |
+----[SHA256]-----+

到此生成了两个文件：id_rsa和id_rsa.pub

在第一台计算机上执行：cp id_rsa.pub authorized_keys 生成副本

修改文件权限：

chmod 644 authorized_keys

测试一下本机无密码登录

service sshd restart

测试第一台计算机与其他计算机无密码登录

[root@hadoop1 .ssh]# ssh hadoop1
Last login: Wed Nov 29 20:13:24 2023 from 192.168.80.1
[root@hadoop1 ~]# exit
logout
Connection to hadoop1 closed.

以下情况则代表登录成功：

向其他几台计算机发送秘钥：
scp /root/.ssh/authorized_keys 目的机用户名@目的机名称:/root/.ssh

scp /root/.ssh/authorized_keys root@hadoop2:/root/.ssh

测试能否无密码登录其他计算机

[root@hadoop1 ~]# ssh hadoop2
Last failed login: Wed Nov 29 20:18:43 EST 2023 from hadoop1 on ssh:notty
There was 1 failed login attempt since the last successful login.
Last login: Wed Nov 29 20:02:00 2023 from 192.168.80.1

ok，到此成功配置SSH免密码登录

二、安装Hadoop

[root@hadoop1 ~]# cd /opt/software/
[root@hadoop1 software]# ls
hadoop-3.3.6.tar.gz  jdk-8u221-linux-x64.tar.gz
[root@hadoop1 software]# scp /opt/software/hadoop-3.3.6.tar.gz root@hadoop2:/opt/module/
[root@hadoop1 software]# scp /opt/software/hadoop-3.3.6.tar.gz root@hadoop3:/opt/module/
[root@hadoop1 software]# tar -zxvf hadoop-3.3.6.tar.gz -C /opt/module/

vi /etc/profile  #配置hadoop的环境变量

添加配置路径

HADOOP_HOME=/opt/module/hadoop-3.3.6
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

生效查看是否成功

[root@hadoop1 ~]# source /etc/profile #让其配置生效
[root@hadoop1 ~]# hadoop version #查看是否成功
Hadoop 3.3.6
Source code repository https://github.com/apache/hadoop.git -r 1be78238728da9266a4f88195058f08fd012bf9c
Compiled by ubuntu on 2023-06-18T08:22Z
Compiled on platform linux-x86_64
Compiled with protoc 3.7.1
From source with checksum 5652179ad55f76cb287d9c633bb53bbd
This command was run using /opt/module/hadoop-3.3.6/share/hadoop/common/hadoop-common-3.3.6.jar