hadoop 3.3大数据集群搭建系列1-安装hadoop

news2025/2/28 13:03:29

文章目录

  • 一. 软硬件配置
    • 1.1 主机配置及规划
    • 1.2 软件配置
    • 1.3 安装常用的工具
  • 二. 安装前准备
    • 2.1 设置主机名
    • 2.2 设置hosts
    • 2.3 关闭防火墙
    • 2.4 ssh免密登陆
    • 2.5 ntpdate时间同步
  • 三. 安装
    • 3.1 安装hadoop
      • 3.1.1 下载hadoop并解压
      • 3.1.2 配置hadoop_home环境变量
      • 3.1.3 编辑etc/hadoop/hadoop-env.sh
      • 3.1.4 编辑etc/hadoop/core-site.xml
      • 3.1.5 编辑etc/hadoop/hdfs-site.xml
      • 3.1.6 编辑etc/hadoop/mapred-site.xml
      • 3.1.7 编辑etc/hadoop/yarn-site.xml
      • 3.1.8 编辑etc/hadoop/workers
      • 3.1.9 编辑启动脚本
      • 3.1.10 格式化HDFS
      • 3.1.11 启动集群
      • 3.1.12 验证
      • 3.1.13 查看集群信息
      • 3.1.14 命令查看日志
  • 参考:

一. 软硬件配置

1.1 主机配置及规划

hostnamehp5hp6hp7
ip10.31.1.11910.31.1.12010.31.1.121
内存8G8G8G
usernamerootrootroot
IP主机名功能
10.31.1.119hp5NameNode DataNode ResourceManager NodeManager
10.31.1.120hp6DataNode NodeManager
10.31.1.121hp7SecondryNameNode DataNode NodeManager

1.2 软件配置

软件版本
CentOS7.8
JavaJDK 8
Hadoop3.3.2

最开始使用open jdk11，后面安装hive和hudi的时候出了问题，改回JDK8版本后，问题解决。

1.3 安装常用的工具

yum install -y epel-release
yum install -y net-tools 
yum install -y vim

二. 安装前准备

2.1 设置主机名

hostname hadoop01 #设置临时主机名
vi /etc/hostname #设置永久主机名

2.2 设置hosts

10.31.1.119     hp5
10.31.1.120     hp6
10.31.1.121     hp7

2.3 关闭防火墙

systemctl stop firewalld #关闭防火墙
systemctl disable firewalld #禁用防火墙

2.4 ssh免密登陆

#在每个节点上执行(所有节点)
ssh-keygen -t rsa #输入内容直接回车
#将生成的公钥添加到免密登陆keys中(主节点)
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
#将公钥复制到2台从节点上(主节点)
scp ~/.ssh/id_rsa.pub root@hp6:~/
scp ~/.ssh/id_rsa.pub root@hp7:~/
#在从节点上将主节点的公钥添加到免密登陆keys中(非主节点)
cat ~/id_rsa.pub >> ~/.ssh/authorized_keys

2.5 ntpdate时间同步

yum -y install ntpdate
#同步时间
ntpdate -u ntp.sjtu.edu.cn
#定时同步,每小时整点执行一次
vi /etc/crontab
0 */1 * * * root ntpdate -u ntp.sjtu.edu.cn

三. 安装

3.1 安装hadoop

3.1.1 下载hadoop并解压

cd /home/software
#下载
wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.3.2/hadoop-3.3.2.tar.gz --no-check-certificate
#解压
tar -zxvf hadoop-3.3.2.tar.gz -C /home

3.1.2 配置hadoop_home环境变量

vi /etc/profile

export HADOOP_HOME=/home/hadoop-3.3.2

source /etc/profile

3.1.3 编辑etc/hadoop/hadoop-env.sh

cd /home/hadoop-3.3.2/etc/hadoop/
vi hadoop-env.sh
#添加如下内容
export JAVA_HOME=/usr/local/java/jdk1.8.0_211
export HADOOP_HOME=/home/hadoop-3.3.2
export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop
export HADOOP_LOG_DIR=${HADOOP_HOME}/logs
export HADOOP_PID_DIR=${HADOOP_HOME}/pid

3.1.4 编辑etc/hadoop/core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hp5:8020</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop_repo</value>
   </property>
</configuration>

3.1.5 编辑etc/hadoop/hdfs-site.xml

<configuration>
  <property>
          <name>dfs.namenode.secondary.http-address</name>
          <value>hp5:50090</value>
  </property>
  <property>
          <name>dfs.replication</name>
          <value>3</value>
  </property>
  <property>
          <name>dfs.namenode.name.dir</name>
          <value>file:/home/hadoop-3.3.2/tmp/dfs/name</value>
  </property>
  <property>
          <name>dfs.datanode.data.dir</name>
          <value>file:/home/hadoop-3.3.2/tmp/dfs/data</value>
  </property>
</configuration>

3.1.6 编辑etc/hadoop/mapred-site.xml

<!--修改为如下内容：-->
<configuration>
  <property>
          <name>mapreduce.framework.name</name>
          <value>yarn</value>
  </property>
  <property>
          <name>mapreduce.jobhistory.address</name>
          <value>hp5:10020</value>
  </property>
  <property>
          <name>mapreduce.jobhistory.webapp.address</name>
          <value>hp5:19888</value>
  </property>
  <property>
          <name>yarn.app.mapreduce.am.env</name>
          <value>HADOOP_MAPRED_HOME=/home/hadoop-3.3.2</value>
  </property>
  <property>
          <name>mapreduce.map.env</name>
          <value>HADOOP_MAPRED_HOME=/home/hadoop-3.3.2</value>
  </property>
  <property>
          <name>mapreduce.reduce.env</name>
          <value>HADOOP_MAPRED_HOME=/home/hadoop-3.3.2</value>
  </property>
</configuration>

3.1.7 编辑etc/hadoop/yarn-site.xml

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>hp5</value>
	</property>
		<property>
		<name>yarn.log-aggregation-enable</name>
		<value>true</value>
	</property>
	<property>
		<name>yarn.log.server.url</name>
		<value>http://hp5:19888/jobhistory/logs/</value>
	</property>
	<property>
		<name>yarn.nodemanager.resource.memory-mb</name>
		<value>8192</value>
	</property>
	<property>
		<name>yarn.nodemanager.resource.cpu-vcores</name>
		<value>8</value>
	</property>
	#分配给每个Container（容器）的最小执行内存
	<property>
		<name>yarn.scheduler.minimum-allocation-mb</name>
		<value>128</value>
	</property>
</configuration>

3.1.8 编辑etc/hadoop/workers

hp5
hp6
hp7

3.1.9 编辑启动脚本

cd sbin
# 都加在脚本最前面
vi start-dfs.sh
HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

vi stop-dfs.sh
HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

vi start-yarn.sh
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

vi stop-yarn.sh
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

3.1.10 格式化HDFS

#将hadoop拷贝到其它节点
#格式化namenode节点
cd /home/hadoop-3.3.2/bin
bash hdfs namenode -format
#出现如下信息说明格式化成功
common.Storage: Storage directory /home/hadoop_repo/dfs/name has been successfully formatted.

image.png

3.1.11 启动集群

cd /home/hadoop-3.3.2/sbin
./start-all.sh #启动集群
./stop-all.sh #停止集群

cd /home/hadoop-3.3.2/bin/
./mapred --daemon start historyserver#每个节点启动

3.1.12 验证

#主节点jps
NameNode
SecondaryNameNode
ResourceManager
#从节点jps
DataNode
NodeManager

image.png
image.png
image.png

3.1.13 查看集群信息

#资源信息查看
http://10.31.1.119:8088/
#存储节点信息查看
http://10.31.1.119:9870/

3.1.14 命令查看日志

#资源信息查看
cd /home/hadoop-3.3.2/bin/
./yarn logs -applicationId application_1639553331593_0001

参考:

  1. https://blog.csdn.net/xiamu17/article/details/123760030
  2. https://blog.csdn.net/weixin_41083358/article/details/121775005
  3. https://zhuanlan.zhihu.com/p/534729570
  4. https://blog.csdn.net/u011109589/article/details/124852278

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/9498.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

【毕业设计】图像识别垃圾分类系统 - python 深度学习

【毕业设计】图像识别垃圾分类系统 - python 深度学习

文章目录0 前言1 简介2 识别效果3 实现3.1 数据集3.2 实现原理和方法3.3 网络结构4 最后0 前言 &#x1f525; Hi&#xff0c;大家好&#xff0c;这里是丹成学长的毕设系列文章&#xff01; &#x1f525; 对毕设有任何疑问都可以问学长哦! 这两年开始&#xff0c;各个学校对…
阅读更多...
信息熵，交叉熵，KL散度，互信息一网打尽

信息熵，交叉熵，KL散度，互信息一网打尽

talk 一直以来都是自己有时候 想去搞明白就搜搜博客看&#xff0c;模棱两可&#xff0c;记忆也比较模糊&#xff0c;这次直接较为系统的记录一下&#xff0c;之后忘了也能看看~ 1. 信息熵 这个概念是从信息论出现的&#xff0c;是香农定义的&#xff0c;根据事件发生的概率进…
阅读更多...
excel怎么设置密码？加密文件这么做！

excel怎么设置密码？加密文件这么做！

我们都知道&#xff0c;很多时候需要我们在电脑上保存很多excel文件。为了避免在工作中出现意外&#xff0c;我们需要在文件中设置一个安全密码。那么&#xff0c;电子表格excel怎么设置密码呢&#xff1f;如果我们设置了密码&#xff0c;想要取消原本的密码或者重新设置一个密…
阅读更多...
Windows无法启动这个硬件设备（代码19）怎么办？

Windows无法启动这个硬件设备（代码19）怎么办？

在我们使用电脑的过程中&#xff0c;遇到“由于其配置信息(注册表中的)不完整或已损坏&#xff0c;Windows无法启动这个硬件设备&#xff08;代码19&#xff09;”的提示时该如何解决呢&#xff1f; Windows无法启动这个硬件设备&#xff08;代码19&#xff09;&#xff0c;如何…
阅读更多...
干货整理| 深度学习入门知识

干货整理| 深度学习入门知识

一、深度学习的定义 深度学习&#xff08;Deep Learning&#xff09;&#xff0c;简称&#xff1a;DL&#xff0c;是一种实现机器学习的技术。 人工智能&#xff08;AI&#xff09;的概念是在1955 年提出的&#xff1b;机器学习&#xff08;ML&#xff09;概念是在1990 年提出…
阅读更多...
springboot 整合clickhouse

springboot 整合clickhouse

最近需要做一个项目 需要整合clickhouse 本来有现成的项目&#xff0c;复制一下就好了。但是想自己从头开始一个个文件搭建 但是还是遇到了很多坑&#xff0c; 这就是传说中的约定优于配置吗 1 首先第一步application启动的时候 启动完了&#xff0c;就会退出&#xff0c…
阅读更多...
[附源码]计算机毕业设计JAVA房屋租赁管理系统

[附源码]计算机毕业设计JAVA房屋租赁管理系统

[附源码]计算机毕业设计JAVA房屋租赁管理系统 项目运行 环境配置&#xff1a; Jdk1.8 Tomcat7.0 Mysql HBuilderX&#xff08;Webstorm也行&#xff09; Eclispe&#xff08;IntelliJ IDEA,Eclispe,MyEclispe,Sts都支持&#xff09;。 项目技术&#xff1a; SSM mybati…
阅读更多...
C++QT实现压缩文件、文件夹和解压缩操作

C++QT实现压缩文件、文件夹和解压缩操作

一、前言 QZipWriter是用来压缩文件的类&#xff0c;需要在安装Qt是选择Sources源码安装。否则&#xff0c;无法使用QZipWriter。 1. QZipWriter函数说明 1.1 构造方法&#xff1a; QZipWriter(const QString &fileName, QIODevice::OpenMode mode (QIODevice::WriteOnl…
阅读更多...
控制游戏人物移动的细节到底有多少？

控制游戏人物移动的细节到底有多少？

&#x1f468;‍&#x1f4bb;个人主页&#xff1a;元宇宙-秩沅 hallo 欢迎 点赞&#x1f44d; 收藏⭐ 留言&#x1f4dd; 加关注✅! 本文由 秩沅 原创 收录于专栏 unity实战入门 在游戏中我们在做控制游戏物体移动时会碰到以下常见的几种情况&#xff1a; 文章目录在游戏中…
阅读更多...
adb shell AT指令发送短信

adb shell AT指令发送短信

开启两个&#xff0c;命令行窗口。都进入adb shell。 查看 /dev下的smd设备节点&#xff0c;选取一个进行读写操作 一个窗口用来进行读&#xff0c;另一个窗口进行写入指令操作&#xff0c;读取和写入的节点需要一致。 SH4-1:/ # ls /dev/smd* ls /dev/smd* /dev/smd11 /dev/…
阅读更多...
隐式神经表示一：神经网络拟合图像Implicit Neural Representations with Periodic Activation Functions

隐式神经表示一：神经网络拟合图像Implicit Neural Representations with Periodic Activation Functions

文章目录1. Implicit Neural Representations with Periodic Activation Functions0. 什么是隐式神经表示1. 了解SineLayer的初始化&#xff0c;还是没了解。。。2. 均匀分布3. Lemma 1.14. 一个简单实验, 拟合图像4.1 网络模型代码如下&#xff0c;就是全连接网络&#xff0c;…
阅读更多...
【自然语言处理（NLP）】基于BiLSTM+CRF的事件抽取

【自然语言处理（NLP）】基于BiLSTM+CRF的事件抽取

【自然语言处理&#xff08;NLP&#xff09;】基于BiLSTMCRF的事件抽取 作者简介&#xff1a;在校大学生一枚&#xff0c;华为云享专家&#xff0c;阿里云专家博主&#xff0c;腾云先锋&#xff08;TDP&#xff09;成员&#xff0c;云曦智划项目总负责人&#xff0c;全国高等学…
阅读更多...
Centos 7 安装 wget

Centos 7 安装 wget

文章目录1. wget命令详解:2.查看帮助手册3.使用 wget 下载单个文件4.使用 wget -O 下载并以不同的文件名保存5.使用 wget -c 断点续传6.使用 wget -b 后台下载1. wget命令详解: wget是Linux中的一个下载文件的工具&#xff0c;wget是在Linux下开发的开放源代码的软件&#xff…
阅读更多...
tomcat线程池-深度分析tomcat线程池设计与现实

tomcat线程池-深度分析tomcat线程池设计与现实

1.概述 在正式进入Tomcat线程池之前&#xff0c;小伙伴们可以先回顾一下JDK中的线程池相关特性&#xff0c;对于JDK线程池的总结和源码的解析感兴趣的童鞋&#xff0c;也可参考博主的层层剖析线程池源码的这篇文章&#xff0c;文章主要讲述对线程池的生命周期&#xff0c;核心参…
阅读更多...
五、事件系统-原生事件-react中的合成事件-详解事件的冒泡和捕获机制

五、事件系统-原生事件-react中的合成事件-详解事件的冒泡和捕获机制

目标 深入理解和掌握事件的冒泡及捕获机制理解react中的合成事件的本质在react组件中合理的使用原生事件 知识点 在原生的dom模型上触发的事件会进行事件传递。而所谓的事件传递指的是当在A元素上触发某一事件的时候&#xff0c;B元素如果满足了和A元素一定的关系的话&#xf…
阅读更多...
freeswitch如何判断挂机方

freeswitch如何判断挂机方

概述 freeswitch作为VOIP的软交换平台&#xff0c;需要对呼叫的信息做判断和归类。 常见的呼叫信息中&#xff0c;挂机方向的信息对于话单统计有很大的用处。 但是fs的原始话单和日志中并没有挂机方向的信息。 环境 centos&#xff1a;CentOS7 freeswitch&#xff1a;v1.…
阅读更多...
火遍国内外IT技术圈，豆瓣 9.7！这本技术书籍直接封神了

火遍国内外IT技术圈，豆瓣 9.7！这本技术书籍直接封神了

这是一本在国内外都被称为技术书籍巅峰之作的神书&#xff01; 国内的豆瓣评分 9.7&#xff08;满分 10.00&#xff09;&#xff0c;接近 90% 的人为这本书打了五星好评。 国外的 Goodreads&#xff08;类似于豆瓣&#xff09; 评分 4.72&#xff08;满分 5.00&#xff09; &a…
阅读更多...
元宇宙：下一代互联网的“美丽新世界”

元宇宙：下一代互联网的“美丽新世界”

8月6日到8日，美国超人气歌手Ariana Grande在全球不同地区，连续举办了5场演唱会。与众不同的是，演出的举办地点在游戏《堡垒之夜》（Fortnite）中。全球上千万的玩家，使用自己的游戏角色盛装出席。演出中，一系列的小游戏贯穿了主线，最后粉丝在绚丽的场景中和“Ariana”一对…
阅读更多...
42、Spring AMQP DirectExchange

42、Spring AMQP DirectExchange

1、DirectExchange 2、案例 3、通过配置类实现 1、配置类 2、Publisher 3、Consumer 4、测试结果 4、通过注解实现 1、Consumer添加Linstener 2、Publisher 执行测试方法 3、测试结果 4、总结分析 学习了DirectExchange之后&#xff0c;发现与FanoutExchange有些许差异&#…
阅读更多...
腾讯程序员的手码K8S+Jenkins笔记

腾讯程序员的手码K8S+Jenkins笔记

最近在GitHub上认识一个腾讯大佬&#xff0c;从他手上得到一份K8SJenkins笔记&#xff0c;好东西还是要共享的&#xff01;希望这份笔记能让你技术更上一层&#xff01; 从理论到实战深入K8S 学习K8S的学习笔记很少有比较齐全的&#xff0c;而这份K8S学习笔记&#xff0c;尽量…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023