Linux系统安装Hadoop步骤详解

news2024/10/9 0:40:27

一、安装新的虚拟机。

配置根据电脑内存自由处理，一般来说，虚拟机内存设为电脑内存一半

二、打开虚拟机，设置语言，时区，硬盘分区，密码，用户等

三、修改ip地址，连接xshell

3.1关闭防火墙

system stop firewalld
system disable firewalld

3.2修改网络配置文件

进入目录：cd /etc/sysconfig/network-scripts/
修改ens33文件：vi ifcfg-ens33

只修改下面几行
BOOTPROTO=static
ONBOOT=yes
ONBOOT=yes
IPADDR=192.168.78.143
GATEWAY=192.168.78.2
NETMASK=255.255.255.0
DNS1=8.8.8.8

3.3、重启网络服务

systemctl start network.service
service network restart

然后ping www.baidu.com

3、4连接xshell

3.4.1 安装vim工具：yum install -y vim

3.4.2 免密登陆
[root@localhost ~]# ssh-keygen -t rsa -P ""
[root@localhost .ssh] pwd
/root/.ssh
[root@localhost .ssh]# cat ./id_rsa.pub >> authorized_keys

3.4.3.1开启远程免密登录配置
[root@localhost .ssh]# ssh-copy-id -i ./id_rsa.pub -p22 root@192.168.91.180

3.4.4 .2远程登录，
[root@localhost .ssh]# ssh -p22 root@192.168.78.143

退出exit。

3.5 同步时间
[root@localhost .ssh]# yum install -y ntpdate
定时更新时间
[root@localhost .ssh]# crontab -e
*/5 * * * * /usr/sbin/ntpdate -u time.windows.com
启动定时任务
[root@localhost .ssh]# service crond start/stop/restart/reload/status

四、修改计算机名，上传解压Hadoop和Jdk压缩包

4.1修改计算机名

[root@localhost .ssh]# vim /etc/hostname

或者
[root@localhost .ssh]# hostnamectl set-hostname gree143

Ping服务器
[root@localhost .ssh]# ping 192.168.78.143
[root@localhost .ssh]# ping gree143
配置hosts文件
[root@localhost .ssh]# vim /etc/hosts
192.168.78.143 gree143

4.2 在opt目录下创建install和soft文件

将压缩包上传到install文件

4.3 解压文件到指定目录

[root@localhost install]# tar -zxvf ./jdk-8u321-linux-x64.tar.gz -C ../soft/
[root@localhost install]# tar -zxvf ./hadoop-3.1.3.tar.gz -C ../soft/

4.4修改文件名字

[root@localhost install]# cd /opt/soft
[root@localhost soft]# mv jdk1.8.0_321/ jdk180
[root@localhost soft]# mv hadoop-3.1.3/ hadoop313

五、配置JDK环境变量

[root@localhost soft]# vim /etc/profile

第74-77行添加以下代码：输入set nu 显示行号

74 # JAVA_HOME
75 export JAVA_HOME=/opt/soft/jdk180
76 export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
77 export PATH=$PATH:$JAVA_HOME/bin

如图：