VMware创建Linux虚拟机之(三)Hadoop安装与配置及搭建集群

news2024/12/26 9:01:45

 

Hello,world!

🐒本篇博客使用到的工具有:VMware16 ,Xftp7

若不熟悉操作命令,推荐使用带GUI页面的CentOS7虚拟机

我将使用带GUI页面的虚拟机演示

虚拟机(Virtual Machine)

指通过软件模拟的具有完整硬件系统功能的、运行在一个完全隔离环境中的完整计算机系统。在实体计算机中能够完成的工作在虚拟机中都能够实现。在计算机中创建虚拟机时,需要将实体机的部分硬盘和内存容量作为虚拟机的硬盘和内存容量。每个虚拟机都有独立的CMOS、硬盘和操作系统,可以像使用实体机一样对虚拟机进行操作。

【确保服务器集群安装和配置已经完成!】可参考我的上篇博客:

VMware创建Linux虚拟机之(一)实现免密登录_Vim_飞鱼的博客-CSDN博客

VMware创建Linux虚拟机之(二)下载安装JDK与配置Java环境变量_Vim_飞鱼的博客-CSDN博客

前言


请根据读者的自身情况,进行相应随机应变。

我的三台CentOS7服务器:
主机:master(192.168.149.101)
从机:slave1(192.168.149.102)
从机:slave2(192.168.149.103)

每一个节点的安装与配置是相同的,在实际工作中,通常在master节点上完成安装和配置后,然后将安装目录通过 scp 命令复制到其他节点即可。

注意:所有操作都是root用户权限,需要我们登陆时选择root用户登录。

下载Hadoop安装包


Hadoop官网:Apache Hadoophttp://hadoop.apache.org/
我这里用的Hadoop版本下载地址:Apache Hadoophttps://hadoop.apache.org/release/3.3.4.html

在下一篇博客中,我将下载安装  jdk-8u261-linux-x64.tar   推荐大家使用,目前 jdk17 与 hadoop 3并不兼容,别问我怎么是知道的🙂

解压Hadoop安装包(只在master做)


        首先,需要确保 network 网络已经配置好,使用 Xftp 等类似工具进行上传,把 hadoop-3.3.4.tar.gz 上传到 /opt/hadoop 目录内。
上传完成后,在 master 主机上执行以下代码:

cd /opt/hadoop

        进入/opt/hadoop目录后,执行解压缩命令:

tar -zxvf hadoop-3.3.4.tar.gz

        回车后系统开始进行解压,屏幕会不断滚动解压过程,执行成功后,系统在 hadoop 目录自动创建 hadoop-3.3.4 子目录。

然后修改文件夹名称为“hadoop”,即hadoop安装目录,执行修改文件夹名称命令:

mv hadoop-3.3.4 hadoop

        注意:也可用Xftp查看相应目录是否存在,确保正确完成。

我们进入安装目录,查看一下安装文件,如果显示如图文件列表,说明压缩成功

 b86ce6f52ff643db98bace37dc390396.png 

配置env文件(只在master做)


       请先看如下命令(希望可以记住它们,后续操作会经常使用)
A. 进入编辑状态:insert
B. 删除:delete
C. 退出编辑状态:ctrl+[
D. 进入保存状态:ctrl+]
E. 保存并退出:" :wq " 注意先输入英文状态下冒号
F. 不保存退出:" :q! " 同上

大概执行顺序:A→B→C→D→E

配置bashrc文件


       执行命令输入:

vi /etc/bashrc

      在bashrc文件末尾加入:

#hadoop config
export HADOOP_HOME=/opt/hadoop/hadoop
export CLASSPATH=$CLASSPATH:$($HADOOP_HOME/bin/hadoop classpath)
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib:$HADOOP_COMMON_LIB_NATIVE_DIR"

     输入source命令,进行配置刷新:

source /etc/bashrc

配置jdk文件



        执行命令:

vi /opt/hadoop/hadoop/etc/hadoop/hadoop-env.sh

找到 “ export JAVA_HOME ” 这行,用来配置jdk路径

修改为:export JAVA_HOME=/usr/local/java/jdk1.8.0_162/

如下图所示:(位于54行,gui页面可查看)

 3c077844b25f411698e615f4926c1082.png 

 bf449f4bef214e5d9024e0b595a3072c.png  

配置核心组件文件(只在master做)


      Hadoop 的核心组件文件是 core-site.xml,位于 /opt/hadoop/hadoop/etc/hadoop 子目录下,用vi编辑 core-site.xml 文件,需要将下面的配置代码放在文件的 <configuration>和</configuration> 之间。

执行编辑 core-site.xml 文件的命令:

vi /opt/hadoop/hadoop/etc/hadoop/core-site.xml

需要在<configuration>和</configuration>之间加入的代码:

<property>
	<name>fs.defaultFS</name>
	<value>hdfs://master:9000</value>
</property>
<property>
	<!-- Hadoop 数据存放的路径,namenode,datanode 数据存放路径都依赖本路径,不要使用 file:/ 开头,使用绝对路径即可
            namenode 默认存放路径 :file://${hadoop.tmp.dir}/dfs/name
            datanode 默认存放路径 :file://${hadoop.tmp.dir}/dfs/data
        -->
	<name>hadoop.tmp.dir</name>
	<value>/opt/hadoop/hadoop/hadoopdata</value>
</property>

如下图所示:

e84880ab9de14ebba9548d585924c9c3.png

编辑完成后,保存退出即可!

配置文件系统(只在master做)


       Hadoop 的文件系统配置文件是 hdfs-site.xml ,位于 /opt/hadoop/hadoop/etc/hadoop 子目录下,用vi编辑该文件,需要将以下代码放在文件的<configuration>和</configuration>之间。

执行编辑hdfs-site.xml文件的命令:

vi /opt/hadoop/hadoop/etc/hadoop/hdfs-site.xml

需要在<configuration>和</configuration>之间加入的代码:

<property>
	<name>dfs.namenode.http-address</name>
	<!-- Master为当前机器名或者IP地址 -->
	<value>master:9001</value>
</property>
<property>
	<name>dfs.namenode.name.dir</name>
	<!-- 以下为存放节点命名的路径 -->
	<value>file:/opt/hadoop/hadoop/hadoopdata/dfs/name</value>
</property>
<property>
	<name>dfs.datanode.data.dir</name>
	<!-- 以下为存放数据命名的路径 -->
	<value>file:/opt/hadoop/hadoop/hadoopdata/dfs/data</value>
</property>
<property>
	<name>dfs.replication</name>
	<!-- 备份次数,因为有2台DataNode-->
	<value>2</value>
</property>
<property>
	<name>dfs.webhdfs.enabled</name>
	<!-- Web HDFS-->
	<value>true</value>
</property>
<property>
	<name>dfs.permissions</name>
	<value>false</value>
</property>

<property>
	<name>dfs.namenode.secondary.http-address</name>
	<value>Master:50090</value>
</property>

如下图所示:

bde4359a1b4e43b785951cc89e21d431.png

编辑完成后,保存退出即可!

配置 yarn-site.xml 文件(只在master做)


      yarn 的站点配置文件是 yarn-site.xml ,位于 /opt/hadoop/hadoop/etc/hadoop 子目录下,依然用vi编辑该文件,将以下代码放在文件的<configuration>和</configuration>之间。

执行编辑yarn-site.xml文件的命令:

vi /opt/hadoop/hadoop/etc/hadoop/yarn-site.xml

需要在<configuration>和</configuration>之间加入的代码:

        <property>
            <name>yarn.resourcemanager.hostname</name>
             <!-- Master为当前机器名或者ip号 -->
             <value>master</value>
        </property>
        <property>
              <name>yarn.nodemanager.aux-services</name>
              <!-- Node Manager辅助服务 -->
              <value>mapreduce_shuffle</value>
         </property>
        <property>
              <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
              <!-- Node Manager辅助服务类 -->
              <value>org.apache.hadoop.mapred.ShuffleHandler</value>
        </property>
        <property>
              <name>yarn.nodemanager.resource.cpu-vcores</name>
              <!-- CPU个数,需要根据当前计算机的CPU设置-->
              <value>1</value>
         </property>
        <property>
              <name>yarn.resourcemanager.admin.address</name>
              <!-- Resource Manager管理地址 -->
              <value>master:8033</value>
         </property>
        <property>
              <name>yarn.resourcemanager.webapp.address</name>
              <!-- Resource Manager Web地址 -->
              <value>master:8088</value>
         </property>

如下图所示:

9d4be622d20f4264a27fa6d3ce439aa4.png

编辑完成后,保存退出即可!

配置MapReduce计算框架文件(只在master做)


      在 /opt/hadoop/hadoop/etc/hadoop 子目录下,系统已经有一个 mapred-site.xml.template 文件,我们需要将其复制并改名,位置不变。

执行复制和改名操作命令:

cp /opt/hadoop/hadoop/etc/hadoop/mapred-site.xml.template /opt/hadoop/hadoop/etc/hadoop/mapred-site.xml

可直接创建

      然后用 vi 编辑 mapred-site.xml 文件,需要将下面的代码填充到文件的<configuration>和</configuration>之间。

执行命令:

vi /opt/hadoop/hadoop/etc/hadoop/mapred-site.xml

需要在<configuration>和</configuration>之间加入的代码:

        <property>
            <name>mapreduce.framework.name</name>
             <!-- MapReduce Framework -->
             <value>yarn</value>
        </property>
        <property>
              <name>mapreduce.jobhistory.address</name>
              <!-- MapReduce JobHistory, 当前计算机的IP -->
              <value>master:10020</value>
         </property>
        <property>
              <name>mapreduce.jobhistory.webapp.address</name>
              <!-- MapReduce Web App JobHistory, 当前计算机的IP -->
              <value>master:19888</value>
        </property>
        <property>
              <name>yarn.app.mapreduce.am.env</name>
              <value>HADOOP_MAPRED_HOME=/opt/hadoop/hadoop</value>
        </property>
        <property>
              <name>mapreduce.map.env</name>
              <value>HADOOP_MAPRED_HOME=/opt/hadoop/hadoop</value>
        </property>
	  <property>
              <name>mapreduce.reduce.env</name>
              <value>HADOOP_MAPRED_HOME=/opt/hadoop/hadoop</value>
        </property>

如下图所示:

72ac3b13e6a347609b666c61a7da1c34.jpeg

编辑完毕,保存退出即可!

配置master的slaves文件(只在master做)


     workers 文件给出了Hadoop集群的 slave节点列表,该文件十分的重要,因为启动Hadoop的时候,系统总是根据当前 workers 文件中的 slave 节点名称列表启动集群,不在列表中的 slave 节点便不会被视为计算节点。

执行编辑slaves文件命令:

vi /opt/hadoop/hadoop/etc/hadoop/workers

注意:用vi编辑slaves文件,应该根据读者您自己所搭建集群的实际情况进行编辑。
例如:我这里已经安装了slave1和slave2,并且计划将它们全部投入Hadoop集群运行。

所以应当加入以下代码:

slave1
slave2

如下图所示:

e35fe1ae566540e49b0d37d673c8d46f.png

注意:删除slaves文件中原来localhost那一行!

编辑完成,保存退出即可!

复制master上的Hadoop到slave节点(只在master做)


      通过复制master节点上的hadoop,能够大大提高系统部署效率,假设我们有200台需要配置…笔者岂不白头,话不多说直接 scp

由于我这里有slave1和slave2,所以复制两次。

复制命令:执行命令即可

scp -r /opt/hadoop root@slave1:/opt
scp -r /opt/hadoop root@slave2:/opt

Hadoop集群的启动-配置操作系统环境变量(三个节点都做master+slave1/2)


回到用户目录命令:

cd /opt/hadoop

然后用vi编辑.bash_profile文件,命令:
 

vi /etc/profile

最后把以下代码追加到文件的尾部:

#HADOOP
export HADOOP_HOME=/opt/hadoop/hadoop
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

如下图所示:

4f947b0827a54463837ff52ed5f1dbc6.png

保存退出后,执行命令:

source /etc/profile

source /etc/profile  命令是使上述配置变量生效(刷新)

提示:在slave1和slave2使用上述相同的配置方法,进行三个节点全部配置。

创建Hadoop数据目录(只在master做)


创建数据目录,命令是:

mkdir /opt/hadoop/hadoopdata

通过Xftp可查看该hadoopdata

如下图所示:

8eeb954775f84a1cb08370a6bb540c79.png

格式化文件系统(只在master做)


执行格式化文件系统命令:

hadoop namenode -format

或者执行:(推荐使用)

hdfs namenode -format

启动和关闭Hadoop集群(只在master做)


首先进入安装主目录,命令是:

cd /opt/hadoop/hadoop/sbin

提示:目前文件位置可在Xshell顶部栏观察

然后启动,命令是:

start-all.sh

执行命令后,系统提示 ” Are you sure want to continue connecting(yes/no)”,输入yes,之后系统即可启动。

如下图所示:(未进入sbin目录,也并无大碍)

d68bc88a5a884fc680dc3e3d4970a298.png
注意:可能会有些慢,千万不要以为卡掉了,然后强制关机,这是错误的。

如果要关闭Hadoop集群,可以使用命令: 

stop-all.sh

如下图所示:

 d3c0dfc9a26842bc939fcbd5994fff35.png

下次启动Hadoop时,无须NameNode的初始化,只需要使用 start-dfs.sh 命令即可,然后接着使用 start-yarn.sh 启动yarn。

实际上,Hadoop建议放弃(deprecated)使用start-all.sh和stop-all.sh一类的命令,而改用start-dfs.sh和start-yarn.sh命令。

start-dfs.sh
start-yarn.sh

验证Hadoop集群是否启动成功


      读者您可以在终端执行jps命令查看Hadoop是否启动成功。

master节点(名称节点),执行:

jps

如果显示:SecondaryNameNode、 ResourceManager、 Jps 和NameNode这四个进程,则表明主节点master启动成功

如下图所示:

1443baae5f734432b4d8246c5de8d491.png


然后分别在slave0和slave1节点下执行命令:

jps

如果成功显示:NodeManager、Jps 和 DataNode,这三个进程,则表明从节点即数据节点(slave1和slave2)启动成功

如下图所示:

344db156b2c140e49cb5f5004c0f8d5c.png

显示上述页面即表示我们的hadoop集群,全部且完全搭建成功!💪

注意:


hdfs namenode -format
每次格式化都会重新你创建一个namenodeId,而在默认情况下tmp/dfs/data下包含了上次format下的id,格式化不会清空datanode下的数据,导致启动失败。

因此,避免重复多次修改配置文件,避免Hadoop多次格式化

下次登陆,直接输入 start-dfs.sh  与start-yarn.sh 即可。

写到此处,此篇博客就完全结束了,如果各位大佬发现其中错误,欢迎指出!🙇‍

至此,此篇内容,完美结束!感谢浏览,发现问题,希望指正!💪

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1183495.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

2023年【安全员-A证】最新解析及安全员-A证在线考试

题库来源&#xff1a;安全生产模拟考试一点通公众号小程序 安全员-A证最新解析是安全生产模拟考试一点通生成的&#xff0c;安全员-A证证模拟考试题库是根据安全员-A证最新版教材汇编出安全员-A证仿真模拟考试。2023年【安全员-A证】最新解析及安全员-A证在线考试 1、【多选题…

计算机毕业设计项目选题推荐(免费领源码)java+ssm+Mysq学科竞赛管理系统08604

摘 要 21世纪的今天&#xff0c;随着社会的不断发展与进步&#xff0c;人们对于信息科学化的认识&#xff0c;已由低层次向高层次发展&#xff0c;由原来的感性认识向理性认识提高&#xff0c;管理工作的重要性已逐渐被人们所认识&#xff0c;科学化的管理&#xff0c;使信息存…

学编程始于C语言,但只学C远远不够的!

前言 写了20多年的代码&#xff0c;之前做过阿里的高级架构师&#xff0c;在技术这条路上跌跌撞撞了很多&#xff0c;我今天分享一些我个人的自学方法给各位。为什么我会说&#xff1a;不推荐任何人用C语言作为编程启蒙第一课&#xff1f; 这里有很多同学要站出来说了&#x…

rabbitMQ rascal/amqplib报错 Error: Unexpected close 排查

以下是一些可能导致此 RabbitMQ 客户端或任何其他 RabbitMQ 客户端中的套接字读取或写入失败的常见场景 1.错过&#xff08;客户端&#xff09;心跳 第一个常见原因是RabbitMQ 检测到心跳丢失。发生这种情况时&#xff0c;RabbitMQ 将添加一个有关它的日志条目&#xff0c;然…

centos 7部署Mysql8.0主从

Mysql官网中关于部署主从的网址 环境准备&#xff1a; 搭建虚拟机和安装Mysql之前的文章中已经涉及&#xff0c;在此不再赘述。 主从IPMysql账号密码主192.168.213.4root/Root1234!从192.168.213.5root/Root1234! 1、主数据库设置 配置my.cnf 一般存放于/etc/。 主从配…

AI时代产品经理升级之道:ChatGPT让产品经理插上翅膀

文章目录 一、ChatGPT简介二、ChatGPT在产品经理工作中的应用1. 快速获取用户反馈2. 智能分析竞品3. 智能推荐产品4.分析市场趋势5.优化产品功能 三、总结与展望《AI时代产品经理升级之道&#xff1a;ChatGPT让产品经理插上翅膀》亮点内容简介目录作者简介获取方式 随着人工智能…

viple进阶1:打印星号

&#xff08;1&#xff09;题目&#xff1a;打印星号 请观察下图&#xff0c;使用viple编程实现 &#xff08;2&#xff09;设计与实现 第1种方法&#xff1a;行打印 利用行打印活动打印完数据后会自动换行特性 首先打印第一行&#xff0c;一颗星可以是字符类型&#xff0c…

python 之 字符串的相关知识

文章目录 字符串的创建基本操作字符串方法格式化字符串字符串不可变性编码和解码字符串方法详细介绍字符串方法列表1. len()2. 大小写转换方法3. 删除空白字符的方法4. 查找子字符串的方法5. 替换子字符串的方法6. 分割和连接字符串的方法7. 校验字符串内容的方法 格式化详细介…

C++——搜索二叉树

作者&#xff1a;几冬雪来 时间&#xff1a;2023年11月7日 内容&#xff1a;C的搜索二叉树讲解 目录 前言&#xff1a; 什么是搜索二叉树&#xff1a; 搜索二叉树的增删查改&#xff1a; 搜索二叉树的定义初始化&#xff1a; 搜索二叉树增操作&#xff1a; 搜索二叉树找…

蓝桥杯算法竞赛系列第十章·nSum问题的代码框架

你好&#xff0c;我是安然无虞。 文章目录 一、两数之和变形题 二、三数之和三、四数之和 首先&#xff0c;何为nSum问题呢&#xff1f; nSum问题其实就是给你一个数组nums和一个目标和target&#xff0c;让我们从nums数组中选择n个数&#xff0c;使得这些数字之和等于target。…

Flink集群的搭建

1、Flink独立集群模式 1、首先Flink的独立集群模式是不依赖于Hadoop集群。 2、上传压缩包&#xff0c;配置环境&#xff1a; 1、解压&#xff1a; tar -zxvf flink-1.15.2-bin-scala_2.12.tgz2、配置环境变量&#xff1a;vim /etc/profileexport FLINK_HOME/usr/local/soft/fl…

C++深度优先搜索(DFS)算法的应用:树中可以形成回文的路径数

本文涉及知识点 深度优先搜索(DFS) 状态压缩 题目 给你一棵 树&#xff08;即&#xff0c;一个连通、无向且无环的图&#xff09;&#xff0c;根 节点为 0 &#xff0c;由编号从 0 到 n - 1 的 n 个节点组成。这棵树用一个长度为 n 、下标从 0 开始的数组 parent 表示&#…

3.2-Docker Image概述

常用docker命令&#xff1a; 查看docker image有哪些 docker image ls Image的获取方式

亚马逊云科技产品测评』活动征文|通过使用Amazon Neptune来预测电影类型初体验

文章目录 福利来袭Amazon Neptune什么是图数据库为什么要使用图数据库什么是Amazon NeptuneNeptune 的特点 快速入门环境搭建notebook 图神经网络快速构建加载数据配置端点Gremlin 查询清理 删除环境S3 存储桶删除 授权声明&#xff1a;本篇文章授权活动官方亚马逊云科技文章转…

jstat虚拟机统计信息监控工具

jstat虚拟机统计信息监控工具 1、jstat&#xff08;JVM Statistics Monitorning Tool&#xff09; 用于监控虚拟机各种运行状态信息的命令行工具。 它可以显示本地或远程虚拟机进程中的类装载、内存、垃圾收集、JIT编译等运行数据&#xff0c;它是运行期定位虚拟机 性能问题…

Lenovo联想IdeaPad 15 ALC7(82R4)2022款笔记本原装出厂Windows11预装系统镜像

下载链接&#xff1a;https://pan.baidu.com/s/1Pr2G42Sz1LKzgF8OcEBkPQ?pwd5ms2 提取码&#xff1a;5ms2 系统自带所有驱动、出厂主题壁纸、系统属性专属LOGO标志、Office办公软件、联想电脑管家等预装程序 所需要工具&#xff1a;16G或以上的U盘 文件格式&#xff1a;…

centos7.9 postgresql 16.0 源码安装部署

postgresql 16.0 源码安装部署 环境准备 系统主机名IP地址centos7.9postgres192.168.200.56 软件准备 postgresql-16.0.tar.gz https://ftp.postgresql.org/pub/source/v16.0/postgresql-16.0.tar.gz依赖安装 yum -y install systemd-devel readline readline-devel zlib-devel…

探秘Python闭包与作用域

文章目录 闭包的定义与作用LEGB规则nonlocal与global关键字在Python的世界里,理解闭包(Closure)和作用域(Scope)是提升编程技巧和深度的一大步。这篇文章将带你深入了解闭包的神秘面纱,掌握LEGB规则,并使用nonlocal与global关键字来巧妙控制变量作用域。 闭包的定义与作…

MySQL中的刷脏机制详解

名词解释 脏页&#xff1a;当内存数据页跟磁盘数据页内容不一致的时候&#xff0c;我们称这个内存页为“脏页”。 干净页&#xff1a;内存数据写入到磁盘后&#xff0c;内存和磁盘上的数据页的内容就一致了&#xff0c;称为“干净页”。 LSN&#xff1a;称为日志的逻辑序列号(l…

万物社用户运营工具:无代码开发下的电商平台和CRM集成

简介&#xff1a;万物社与集简云的引领式连接 万物社&#xff0c;隶属于厦门头号云信息科技有限公司&#xff0c;是一家专注于互联网和相关服务的企业。在日常的业务运营中&#xff0c;万物社通过与集简云的无代码集成&#xff0c;实现了业务流程的自动化和智能化&#xff0c;…