Hadoop3.3.4最新版本安装分布式集群部署

news2024/11/20 12:27:17

Index of /dist/hadoop/commonhttps://archive.apache.org/dist/hadoop/common

 集群规划：

注意：

  • NameNode和SecondaryNameNode不要安装在同一台服务器
  • ResourceManager也很消耗内存，不要和NameNode、SecondaryNameNode配置在同一台机器上。
机器ip分配节点
hadoop001192.168.56.201NameNode、DataNode、NodeManager
hadoop002192.168.56.202ResourceManager、DataNode、NodeManager
hadoop003192.168.56.203SecondaryNameNode、DataNode、NodeManager

1、解压到linux，配置环境变量在/etc/profile.d/hadoop_env.sh

#!/bin/bash

export JAVA_HOME=/data/soft/jdk1.8.0_201
export HADOOP_HOME=/data/soft/hadoop-3.3.4

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

2、cd /data/soft/hadoop-3.3.4/etc/hadoop

[root@hadoop001 soft]# cd hadoop-3.3.4
[root@hadoop001 hadoop-3.3.4]# ll
total 100
drwxr-xr-x 2 1024 1024  4096 Jul 29 09:44 bin
drwxr-xr-x 3 1024 1024    20 Jul 29 08:35 etc
drwxr-xr-x 2 1024 1024   106 Jul 29 09:44 include
drwxr-xr-x 3 1024 1024    20 Jul 29 09:44 lib
drwxr-xr-x 4 1024 1024  4096 Jul 29 09:44 libexec
-rw-rw-r-- 1 1024 1024 24707 Jul 28 16:30 LICENSE-binary
drwxr-xr-x 2 1024 1024  4096 Jul 29 09:44 licenses-binary
-rw-rw-r-- 1 1024 1024 15217 Jul 16 14:20 LICENSE.txt
-rw-rw-r-- 1 1024 1024 29473 Jul 16 14:20 NOTICE-binary
-rw-rw-r-- 1 1024 1024  1541 Apr 22  2022 NOTICE.txt
-rw-rw-r-- 1 1024 1024   175 Apr 22  2022 README.txt
drwxr-xr-x 3 1024 1024  4096 Jul 29 08:35 sbin
drwxr-xr-x 4 1024 1024    31 Jul 29 10:21 share

 3、修改其中的一些文件

 （1）hadoop-env.sh，修改JAVA_HOME为具体的路径

export JAVA_HOME=/data/soft/jdk1.8.0_201

 （2）core-site.xml

<!-- 指定HADOOP所使用的文件系统schema（URI），HDFS的老大（NameNode）的地址 -->
<property>
  <name>fs.defaultFS</name>
  <value>hdfs://hadoop001:9000</value>
</property>
 
<!-- 指定hadoop运行时产生文件的存储目录 -->
<property>
  <name>hadoop.tmp.dir</name>
  <value>/data/soft/hadoop-3.3.4/datas</value>
</property>
<!-- 在Web UI访问HDFS使用的用户名。-->
<property>
    <name>hadoop.http.staticuser.user</name>
    <value>root</value>
</property>

（3）hdfs-site.xml

<!-- NN web端访问地址-->
<property>
   <name>dfs.namenode.http-address</name>
   <value>hadoop001:9870</value>
</property>
<!-- 设定SNN运行主机和端口。-->
<property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>hadoop003:9868</value>
</property>
<!-- 指定HDFS副本的数量 -->
<property>
  <name>dfs.replication</name>
  <value>3</value>
</property>

<!--如果为"true"，则在HDFS中启用权限检查;如果为"false"，则关闭权限检查;默认值为"true"。-->
<property>
  <name>dfs.permissions.enabled</name>
  <value>false</value>
</property>

（4）mapred-site.xml

<!-- 指定mapreduce运行在yarn上 -->
<property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
</property>
<property>
  <name>yarn.app.mapreduce.am.env</name>
  <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>
<property>
  <name>mapreduce.map.env</name>
  <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>
<property>
  <name>mapreduce.reduce.env</name>
  <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>

 （5）yarn-site.xml

<!-- Site specific YARN configuration properties -->
<!-- 指定YARN的老大（ResourceManager）的地址 -->
<property>
  <name>yarn.resourcemanager.hostname</name>
  <value>hadoop002</value>
</property>
 
<!-- reducer获取数据的方式 -->
<property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
</property>
 
<!-- 关闭yarn内存检查 -->
<property>
<name>yarn.nodemanager.pmem-check-enabled</name>
    <value>false</value>
</property>
<property>
     <name>yarn.nodemanager.vmem-check-enabled</name>
     <value>false</value>
</property>
 
<property>
    <!--开启日志聚合-->
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>
<property>
    <!--日志聚合hdfs存储路径-->
    <name>yarn.nodemanager.remote-app-log-dir</name>
    <value>/data/soft/hadoop-3.3.4/nodemanager-remote-app-logs</value>
</property>
<property>
    <!--hdfs上的日志保留时间-->
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
</property>
 
<property>
    <!--应用执行时存储路径-->
    <name>yarn.nodemanager.log-dirs</name>
    <value>file:///data/soft/hadoop-3.3.4/nodemanager-logs</value>
</property>
 
<property>
    <!--应用执行完日志保留的时间，默认0，即执行完立刻删除-->
    <name>yarn.nodemanager.delete.debug-delay-sec</name>
    <value>604800</value>
</property>

(6)配置workers

hadoop001
hadoop002
hadoop003

注意：该文件中添加的内容结尾不允许有空格，文件中不允许有空行。

4 、启动集群

（1）如果集群是第一次启动，需要在hadoop102节点格式化NameNode（注意：格式化NameNode，会产生新的集群id，导致NameNode和DataNode的集群id不一致，集群找不到已往数据。如果集群在运行过程中报错，需要重新格式化NameNode的话，一定要先停止namenode和datanode进程，并且要删除所有机器的data和logs目录，然后再进行格式化。）

hdfs namenode -format

（2）启动HDFS

start-dfs.sh

处理：
vim /data/soft/hadoop-3.3.4/sbin/start-dfs.sh，stop-dfs.sh
添加以下几行：  

HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

（3）在配置了ResourceManager的节点（hadoop002）启动YARN

start-yarn.sh

 处理：
vim /data/soft/hadoop-3.3.4/sbin/start-dfs.sh，stop-dfs.sh
添加以下几行：

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

Hadoop集群启动关闭-手动逐个进程启停 

每台机器上每次手动启动关闭一个角色进程
HDFS集群
	hdfs --daemon start namenode|datanode|secondarynamenode
	hdfs --daemon stop  namenode|datanode|secondarynamenode
YARN集群
	yarn --daemon start resourcemanager|nodemanager
	yarn --daemon stop  resourcemanager|nodemanager

启动界面

http://192.168.56.201:9870/

 

 

修改hdfs的web端口和yarn的web端口的配置

hdfs-site.xml配置http：

<property>
  <name>dfs.http.address</name>
  <value>hadoop001:9870</value>
</property>

 yarn-site.yml配置如下：

<property>
      <name>yarn.resourcemanager.webapp.address</name>
      <value>hadoop002:8088</value>
</property>

 

配置历史服务器

为了查看程序的历史运行情况，需要配置一下历史服务器。具体配置步骤如下：

（1）配置mapred-site.xml

增加如下配置：

<!-- 历史服务器端地址 -->
<property>
    <name>mapreduce.jobhistory.address</name>
    <value>hadoop001:10020</value>
</property>

<!-- 历史服务器web端地址 -->
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>hadoop001:19888</value>
</property>

分发配置文件到所有的主机！！！

mapred --daemon start historyserver

 

hadoop jar /data/soft/hadoop-3.3.4/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.4.jar wordcount /words.txt /out

 

 配置日志的聚集

日志聚集功能好处：可以方便的查看到程序运行详情，方便开发调试。

注意：开启日志聚集功能，需要重新启动NodeManager 、ResourceManager和HistoryServer。

开启日志聚集功能具体步骤如下：

（1）配置yarn-site.xml

<property>
    <!--开启日志聚合-->
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>
<!-- 设置日志聚集服务器地址 -->
<property>
    <name>yarn.log.server.url</name>
    <value>http://hadoop001:19888/jobhistory/logs</value>
</property>
<property>
    <!--日志聚合hdfs存储路径-->
    <name>yarn.nodemanager.remote-app-log-dir</name>
    <value>/data/soft/hadoop-3.3.4/nodemanager-remote-app-logs</value>
</property>
<property>
    <!--hdfs上的日志保留时间-->
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
</property>

<property>
    <!--应用执行时存储路径-->
    <name>yarn.nodemanager.log-dirs</name>
    <value>file:///data/soft/hadoop-3.3.4/nodemanager-logs</value>
</property>

<property>
    <!--应用执行完日志保留的时间，默认0，即执行完立刻删除-->
    <name>yarn.nodemanager.delete.debug-delay-sec</name>
    <value>604800</value>
</property>

分发配置文件到所有的主机！！！

先关闭NodeManager 、ResourceManager和HistoryServer

然后重启NodeManager 、ResourceManage和HistoryServer

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/112143.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

PHP 变量

PHP 变量

变量是用于存储信息的"容器"&#xff1a; 实例 <?php $x5; $y6; $z$x$y; echo $z; ?> 运行实例 与代数类似 x5 y6 zxy 在代数中&#xff0c;我们使用字母&#xff08;如 x&#xff09;&#xff0c;并给它赋值&#xff08;如 5&#xff09;。 从上面的…
阅读更多...
echarts的grid——图表的位置配置

echarts的grid——图表的位置配置

首先还是先认识grid&#xff0c;要弄清楚grid是哪一块区域&#xff0c;这就牵扯到对echarts图表元素的基本认识。为此&#xff0c;我做了一个总结&#xff0c;如图所示&#xff1a; 数学里的笛卡尔坐标系分为直角坐标系 和斜坐标系。而grid只适用于直角坐标系&#xff01; 我们…
阅读更多...
分布式理论之分布式互斥

分布式理论之分布式互斥

写在前面 本文一起看下分布式理论中的分布式互斥&#xff08;distributed mutual[ˈmjutʃuəl] exclusion&#xff09;问题&#xff0c;以及解决该问题相关算法。 1&#xff1a;什么是分布式互斥 我们先看下什么是临界资源&#xff08;critical resource&#xff09;&#…
阅读更多...
如何提高苹果商店ASA广告的展示份额

如何提高苹果商店ASA广告的展示份额

众所周知&#xff0c;APP获得曝光后&#xff0c;才会有用户的点击率和下载&#xff0c;接下来柚鸥ASO会告诉大家&#xff0c;如何在保障ROI&#xff08;是指投入成本跟获得的收益的比值&#xff09;的情况下&#xff0c;为ASA获得最大的展示份额。 CPM是指通过商家付费&#x…
阅读更多...
【nowcoder】笔试强训Day2

【nowcoder】笔试强训Day2

目录 一、选择题 二、编程题 2.1排序子序列 2.2倒置字符串 一、选择题 1.A 派生出子类 B &#xff0c; B 派生出子类 C &#xff0c;并且在 java 源代码有如下声明&#xff1a; 1. A a0new A(); 2. A a1new B(); 3. A a2new C(); 问以下哪个说法是正确的&#xff08;&…
阅读更多...
19. 【gRPC系列学习】拦截器Interceptor

19. 【gRPC系列学习】拦截器Interceptor

无论客户端还是服务端在远程调用前后执行一些通用逻辑，例如Gin框架，实现日志、监控、认证、Recover等通用逻辑，gRPC也提供这样的机制。 拦截器分为：一元拦截器、流拦截器，这两种拦截器在客户端、服务端都可以使用。拦截器的执行流程如图：其中InHandlerx与outHandlerx是同…
阅读更多...
1 月 25 日见｜Flutter Forward 活动日程表正式发布！

1 月 25 日见｜Flutter Forward 活动日程表正式发布！

2023 年 1 月 25 日 (正月初四)&#xff0c;我们将在肯尼亚首都内罗毕举办 Flutter Forward 大会&#xff0c;并同时开启线上直播。本次活动将为展示最新的 Flutter 技术更新&#xff0c;包括一个主题演讲以及多个技术演讲和线上问答&#xff0c;全方位展示 Flutter 如何推动 U…
阅读更多...
B+树 [数据结构与算法][Java]

B+树 [数据结构与算法][Java]

B树 B树是B树的一种变形 我们通过一颗四阶B树来理解认识一下B树:(如下:) 我们其实从图上就可以看出B树和B树是有很多不同之处的 比如我们的B树中将叶子结点层的所有结点使用一个链表串联了起来B树中对于非叶子结点都是只是存储的索引(指针), 并没有存储关键字, 所以我们最终查…
阅读更多...
离散数学数理逻辑部分

离散数学数理逻辑部分

前言 本文创作的起因是&#xff0c;经历了离散数学的学习&#xff0c;深感学习离散之艰辛。所以产生了写一些内容帮助大家期末复习。虽然在csdn发表本文&#xff0c;有些不太合适&#xff0c;但是还是相信本文的质量和内容&#xff0c;可以给正在学习离散数学的大学生提供一些…
阅读更多...
vscode使用shift+alt+f格式化html文件时不生效

vscode使用shift+alt+f格式化html文件时不生效

关于vscode配置相关文章&#xff08;方便作者之后复习&#xff09;: VScode如何在敲代码时自动导入包怎么在VScode中写代码模板【以创建express模板为例】如何根据项目的eslint去配置vscode的setting 1-1 下载Beautify插件 该插件已停止维护&#xff0c;输入下载其他插件 1-2 在…
阅读更多...
【Linux】进程概念（上）

【Linux】进程概念（上）

​&#x1f320; 作者&#xff1a;阿亮joy. &#x1f386;专栏&#xff1a;《学会Linux》 &#x1f387; 座右铭&#xff1a;每个优秀的人都有一段沉默的时光&#xff0c;那段时光是付出了很多努力却得不到结果的日子&#xff0c;我们把它叫做扎根 目录&#x1f449;冯诺依曼体…
阅读更多...
1754. 构造字典序最大的合并字符串

1754. 构造字典序最大的合并字符串

摘要 1754. 构造字典序最大的合并字符串 一 贪心算法分析 题目要求合并两个字符串 word1 与 word2&#xff0c;且要求合并后的字符串字典序最大。首先需要观察一下合并的选择规律&#xff0c;假设当前需要从 word1​ 的第 i 个字符和 word2​ 的第 j个字符选择一个字符加入到…
阅读更多...
24. 【gRPC系列学习】gRPC安全认证-TLS认证

24. 【gRPC系列学习】gRPC安全认证-TLS认证

TLS认证是gRPC比较常见的方式，利用PKI体系，生成客户端证书、服务端证书、以及CA证书，在交互期间进行身份验证，经秘钥协商后，以对称秘钥进行加密通信，保证数据隐私。Basic、Jwt都是要自实现，TLS是官方支持，操作简单。 1. TLS原理 双向认证简单来讲：服务端验证客户端证书…
阅读更多...
前端小知识：返回浏览器上一页（back、go、referrer）

前端小知识：返回浏览器上一页（back、go、referrer）

官方文档&#xff08;document.referrer&#xff09;&#xff1a; https://developer.mozilla.org/zh-CN/docs/Web/API/Document/referrer   官方文档&#xff08;history.back&#xff09; https://developer.mozilla.org/zh-CN/docs/Web/API/History/back   官方文档&#…
阅读更多...
DaVinci：曲线之 HSL 曲线

DaVinci：曲线之 HSL 曲线

调色页面&#xff1a;曲线Color&#xff1a;CurvesH 指的是色相 Hue&#xff0c;S 指的是饱和度 Saturation&#xff0c;L 指的是亮度 Luminance。DaVinci Resolve 的曲线调板中&#xff0c;除了自定义曲线&#xff0c;还提供了六种基于色相、饱和度或亮度的调节曲线&#xff0…
阅读更多...
Akka 进阶（二）Mailbox 邮箱

Akka 进阶（二）Mailbox 邮箱

目录一 默认邮箱配置二 内置邮箱三 自定义邮箱四 配置邮箱五 RequiresMessageQueue接口Actor中的邮箱是一个队列结构&#xff0c;所有发送过来的消息都会在该队列进行排队&#xff0c;在默认情况下&#xff0c;它遵循先进先出&#xff08;FIFO&#xff09;的模式&#xff0c;假…
阅读更多...
如何将ppt图片压缩？统一压缩ppt图片的简单方法

如何将ppt图片压缩？统一压缩ppt图片的简单方法

日常生活中经常需要用到ppt&#xff0c;一份PPT少则十几页多则上百页&#xff0c;就很容易造成PPT过大不易传送的情况&#xff0c;其实我们可以先把ppt图片压缩&#xff08;图片压缩到指定大小 图片压缩大小至指定kb以下-压缩图&#xff09;之后再制作成ppt文件&#xff0c;那么…
阅读更多...
【推荐收藏】这份图解算法数据结构的材料太良心

【推荐收藏】这份图解算法数据结构的材料太良心

5年前发生的一件事&#xff0c;成为了我职业生涯的重要转折点。当时的我在交大读研&#xff0c;对互联网求职一无所知&#xff0c;但仍然硬着头皮申请了 Microsoft 实习生。面试官让我在白板上写出“快速排序”代码&#xff0c;我畏畏缩缩地写了一个“冒泡排序”&#xff0c;并…
阅读更多...
Unity 3D Inspector 视图 || Unity 3D Scene View 视图 || Unity 3D Game View 视图

Unity 3D Inspector 视图 || Unity 3D Scene View 视图 || Unity 3D Game View 视图

Unity 3D Inspector 视图 Unity 3D 的 Inspector 视图用于显示当前选定的游戏对象的所有附加组件&#xff08;脚本属于组件&#xff09;及其属性的相关详细信息。 视图布局 以摄像机为例&#xff0c;在 Unity 3D 的 Inspector 视图中显示了当前游戏场景中的 MainCamera 对象所…
阅读更多...
腾讯云轻量应用服务器使用 Cloudreve 应用镜像搭建个人私有云盘！

腾讯云轻量应用服务器使用 Cloudreve 应用镜像搭建个人私有云盘！

Cloudreve 是一款开源的网盘软件&#xff0c;支持服务器本机及腾讯云对象存储 COS 等多种存储方式&#xff0c;提供离线下载、拖拽上传、在线预览等功能&#xff0c;能够帮助您快速搭建个人使用或多人共享的云盘系统。该镜像基于 CentOS 8.2 64位操作系统&#xff0c;已集成宝塔…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023