大数据基础平台搭建-（二）Hadoop集群搭建

news2024/11/15 3:24:25

大数据基础平台搭建-（二）Hadoop集群搭建

大数据平台系列文章：
1、大数据基础平台搭建-（一）基础环境准备
2、大数据基础平台搭建-（二）Hadoop集群搭建

大数据平台是基于Apache Hadoop_3.3.4搭建的；

目录

  • 大数据基础平台搭建-（二）Hadoop集群搭建
  • 一、部署架构
  • 二、在hnode1服务器上搭建Name_Node_Master
    • 1、解压Hadoop
    • 2、配置HADOOP_HOME环境变量
    • 3、配置Hadoop集群配置文件
      • 1）. 配置hadoop守护进程
      • 2）. 配置NameNode
      • 3）. 配置YARN的ResourceManager
      • 4）. 配置MapReduce应用
      • 5）. 配置Hadoop环境变量
      • 5）. 配置Yarn环境变量
      • 6）. 配置Hadoop集群工作节点
  • 三、在hnode2服务器上搭建Name_Node_Secondary
    • 1、复制Hadoop
    • 2、配置HADOOP_HOME环境变量
  • 四、在hnode3服务器上搭建DataNode
    • 1、复制Hadoop
    • 2、配置HADOOP_HOME环境变量
  • 五、在hnode4服务器上搭建Name_Node_Secondary
    • 1、复制Hadoop
    • 2、配置HADOOP_HOME环境变量
  • 六、在hnode5服务器上搭建Name_Node_Secondary
    • 1、复制Hadoop
    • 2、配置HADOOP_HOME环境变量
  • 七、启动Hadoop集群(在hnode1服务器上操作)
    • 1. 创建Hadoop启动停止脚本
    • 2. Hadoop集群初始化
    • 3. Hadoop集群启动
  • 八、确认Hadoop集群状态
    • 1. 查看HDFS
    • 2. 查看DataNode
    • 3. 查看HistoryServer

一、部署架构

在这里插入图片描述

二、在hnode1服务器上搭建Name_Node_Master

1、解压Hadoop

[root@hnode1 ~]# cd /opt/hadoop/
[root@hnode1 hadoop]# mkdir data
[root@hnode1 hadoop]# tar -xzvf hadoop-3.3.4.tar.gz

2、配置HADOOP_HOME环境变量

[root@hnode1 hadoop]# vim /etc/profile
#Hadoop
export HADOOP_HOME=/opt/hadoop/hadoop-3.3.4
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

[root@hnode1 hadoop]# source /etc/profile

3、配置Hadoop集群配置文件

配置文件所在的目录/opt/hadoop/hadoop-3.3.4/etc/hadoop/，所要编辑的配置文件如下表所示

序号配置文件说明
1core-site.xml配置Hadoop守护进程
2hdfs-site.xml配置HDFS的NameNode
3yarn-site.xml配置YARN的ResourceManager
4mapred-site.xml配置MapReduce应用
5hadoop-env.sh配置Hadoop环境变量
6yarn-env.sh配置Yarn环境变量
7workers配置Hadoop集群工作节点

1）. 配置hadoop守护进程

[root@hnode1 hadoop]# cd hadoop-3.3.4 
[root@hnode1 hadoop-3.3.4]# vim etc/hadoop/core-site.xml

<configuration>
    <!-- 指定NameNode的地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hnode1:8020</value>
    </property>
    <!-- 在读写SequenceFiles时缓存区大小128k -->
    <property>
        <name>io.file.buffer.size</name>
        <value>131072</value>
    </property>
    <!-- 指定 hadoop 数据的存储目录  -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/hadoop/data</value>
    </property>
    <!-- 配置 HDFS 网页登录使用的静态用户为 root -->
    <property>
        <name>hadoop.http.staticuser.user</name>
        <value>root</value>
    </property>
</configuration>

2）. 配置NameNode

[root@hnode1 hadoop-3.3.4]# vim etc/hadoop/hdfs-site.xml

<configuration>
    <!-- NameNode Master节点 web 端访问地址-->
    <property>
        <name>dfs.namenode.http-address</name>
        <value>hnode1:9870</value>
    </property>

    <!-- NameNode Seconde节点 web 端访问地址-->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hnode2:9868</value>
    </property>
</configuration>

3）. 配置YARN的ResourceManager

[root@hnode1 hadoop-3.3.4]# vim etc/hadoop/yarn-site.xml

<configuration>
<!-- Site specific YARN configuration properties -->
    <!-- 指定 MR 走 shuffle -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

    <!-- 指定 ResourceManager 的地址-->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hnode1</value>
    </property>

    <!-- 环境变量的继承 -->
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
 
    <!-- 开启日志聚集功能 -->
    <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
    </property>

    <!-- 设置日志聚集服务器地址 -->
    <property>
        <name>yarn.log.server.url</name>
        <value>http://hnode2:19888/jobhistory/logs</value>
    </property>

    <!-- 设置日志保留时间为 7 天 -->
    <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>604800</value>
    </property>

</configuration>

4）. 配置MapReduce应用

[root@hnode1 hadoop-3.3.4]# vim etc/hadoop/mapred-site.xml

<configuration>
    <!-- 指定 MapReduce 程序运行在 Yarn 上 -->
    <property>
        <name>mapreduce.framework.name</name>
       <value>yarn</value>
    </property>

    <!-- 历史服务器端地址 -->
    <property>
       <name>mapreduce.jobhistory.address</name>
       <value>hnode2:10020</value>
    </property>

    <!-- 历史服务器 web 端地址 -->
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>hnode2:19888</value>
    </property>

</configuration>

5）. 配置Hadoop环境变量

[root@hnode1 hadoop-3.3.4]# vim etc/hadoop/hadoop-env.sh

export JAVA_HOME=/usr/java/jdk1.8.0_271
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

5）. 配置Yarn环境变量

[root@hnode1 hadoop-3.3.4]# vim etc/hadoop/yarn-env.sh

export JAVA_HOME=/usr/java/jdk1.8.0_271

6）. 配置Hadoop集群工作节点

[root@hnode1 hadoop-3.3.4]# vim etc/hadoop/works

hnode1
hnode2
hnode3
hnode4
hnode5

三、在hnode2服务器上搭建Name_Node_Secondary

1、复制Hadoop

[root@hnode2 ~]#cd /opt/hadoop/
[root@hnode2 hadoop]# mkdir data
[root@hnode2 hadoop]# scp -r hnode1:/opt/hadoop/hadoop-3.3.4/ ./

2、配置HADOOP_HOME环境变量

[root@hnode2 hadoop]# vim /etc/profile 
#Hadoop
export HADOOP_HOME=/opt/hadoop/hadoop-3.3.4
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
[root@hnode2 hadoop]# source /etc/profile

四、在hnode3服务器上搭建DataNode

1、复制Hadoop

[root@hnode3 ~]#cd /opt/hadoop/
[root@hnode3 hadoop]# mkdir data
[root@hnode3 hadoop]# scp -r hnode1:/opt/hadoop/hadoop-3.3.4/ ./

2、配置HADOOP_HOME环境变量

[root@hnode3 hadoop]# vim /etc/profile 
#Hadoop
export HADOOP_HOME=/opt/hadoop/hadoop-3.3.4
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
[root@hnode3 hadoop]# source /etc/profile

五、在hnode4服务器上搭建Name_Node_Secondary

1、复制Hadoop

[root@hnode4 ~]#cd /opt/hadoop/
[root@hnode4 hadoop]# mkdir data
[root@hnode4 hadoop]# scp -r hnode1:/opt/hadoop/hadoop-3.3.4/ ./

2、配置HADOOP_HOME环境变量

[root@hnode4 hadoop]# vim /etc/profile 
#Hadoop
export HADOOP_HOME=/opt/hadoop/hadoop-3.3.4
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
[root@hnode4 hadoop]# source /etc/profile

六、在hnode5服务器上搭建Name_Node_Secondary

1、复制Hadoop

[root@hnode5 ~]#cd /opt/hadoop/
[root@hnode5 hadoop]# mkdir data
[root@hnode5 hadoop]# scp -r hnode1:/opt/hadoop/hadoop-3.3.4/ ./

2、配置HADOOP_HOME环境变量

[root@hnode5 hadoop]# vim /etc/profile 
#Hadoop
export HADOOP_HOME=/opt/hadoop/hadoop-3.3.4
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
[root@hnode5 hadoop]# source /etc/profile

七、启动Hadoop集群(在hnode1服务器上操作)

1. 创建Hadoop启动停止脚本

shell脚本是引用 FlyingCodes的博文大数据平台搭建详细流程（二）Hadoop集群搭建的脚本

[root@hnode1 ~]#cd /opt/hadoop/
[root@hnode1 hadoop]# vim hadoop.sh

#!/bin/bash

if [ $# -lt 1 ]
then
    echo "缺少参数..."
    exit ;
fi

case $1 in
"start")
        echo " ===================| 启动 Hadoop集群 | ==================="
        echo " -------------------| 启动 HDFS      | ---------------"
        ssh hnode1 "/opt/hadoop/hadoop-3.3.4/sbin/start-dfs.sh"
        echo " -------------------| 启动 YARN      | ---------------"
        ssh hnode1 "/opt/hadoop/hadoop-3.3.4/sbin/start-yarn.sh"
        echo " -------------------| 启动 HistoryServer |---------------"
        ssh hnode2 "/opt/hadoop/hadoop-3.3.4/bin/mapred --daemon start historyserver"
;;
"stop")
        echo " ===================| 关闭 Hadoop集群 |==================="
        echo " -------------------| 关闭 HistoryServer |---------------"
        ssh hnode2 "/opt/hadoop/hadoop-3.3.4/bin/mapred --daemon stop historyserver"
        echo " -------------------| 关闭 YARN      | ---------------"
        ssh hnode1 "/opt/hadoop/hadoop-3.3.4/sbin/stop-yarn.sh"
        echo " -------------------| 关闭 HDFS      | ---------------"
        ssh hnode1 "/opt/hadoop/hadoop-3.3.4/sbin/stop-dfs.sh"
;;
*)
    echo "输入的参数错误..."
;;
esac

[root@hnode1 hadoop]# chmod +x ./hadoop.sh

2. Hadoop集群初始化

[root@hnode1 hadoop]# start-dfs.sh
[root@hnode1 hadoop]# start-yarn.sh
[root@hnode1 hadoop]# hdfs namenode -format 
[root@hnode1 hadoop]# ./hadoop.sh stop

3. Hadoop集群启动

[root@hnode1 hadoop]# ./hadoop.sh start

在这里插入图片描述

八、确认Hadoop集群状态

1. 查看HDFS

http://hnode1:8088

在这里插入图片描述

2. 查看DataNode

http://hnode1:9870

在这里插入图片描述
在这里插入图片描述

3. 查看HistoryServer

http://hnode2:19888/jobhistory
在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/108294.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

不同存储资源的应用场景及优缺点介绍

不同存储资源的应用场景及优缺点介绍

容器应用应当根据应用系统的特点&#xff0c;综合考虑容器应用对存储类型、存储性能及数据高可用等方面的要求&#xff0c;选择最适合的存储资源类型。常见的存储资源应用场景包括三类&#xff1a;将存储挂载在外部宿主机上、将存储放置于容器内部和使用外部共享存储。下面对每…
阅读更多...
MySQL面试常问问题（数据库架构+存储引擎） —— 赶快收藏

MySQL面试常问问题（数据库架构+存储引擎） —— 赶快收藏

目录 1.说说 MySQL 的基础架构? 2.一条 SQL 查询语句在 MySQL 中如何执行的&#xff1f; 3.MySQL有哪些常见存储引擎&#xff1f; 4.那存储引擎应该怎么选择&#xff1f; 5.InnoDB和MylSAM主要有什么区别&#xff1f; 1.说说 MySQL 的基础架构? MySQL逻辑架构图主要分三…
阅读更多...
浅谈古建筑电气火灾成因及防控对策

浅谈古建筑电气火灾成因及防控对策

摘要: 我国古建筑多为砖木结构&#xff0c;当发生火灾事故时具有蔓延快、扑救难的特点&#xff0c;而火灾对古建筑的损害性很大&#xff0c;电气火灾事故在我国火灾事故中比重居高不下。本文通过对古建筑电气火灾成因进行分析&#xff0c;有针对性地提出了古建筑电气火灾防控对…
阅读更多...
Java工厂企业工艺管理系统源码 springboot2+vue2前后端分离架构 工艺路线 加工工序管理源码

Java工厂企业工艺管理系统源码 springboot2+vue2前后端分离架构 工艺路线 加工工序管理源码

工艺系统是对车间现场加工工序的管理&#xff0c;根据生产成品或者半成品的工单&#xff0c;以及产品标准工艺路线&#xff0c;系统可以自动生成产品工序加工命令 并且可以根据实际情况再进行工序调整.系统可以根据每道工序&#xff0c;打印工序派工单。工序之间物料转移&#…
阅读更多...
【推荐】华为顶级认证HCIE-RS培训教材全套合集

【推荐】华为顶级认证HCIE-RS培训教材全套合集

HCIE是华为认证系统中的专家级认证。候选人必须通过笔试&#xff0c;LAB考试和面试&#xff0c;才能最终获得HCIE认证。困难还从另一方面解释了证书的含金量。 该认证具有很高的含金量和行业认可度。此外&#xff0c;获得HCIE证书的工程师将优先获得华为和华为合作伙伴的聘用&a…
阅读更多...
Struts2中的数据校验

Struts2中的数据校验

Struts2中的数据校验1、Action控制器2、jsp页面3、struts.xml配置4、测试1、Action控制器 如果要使用校验&#xff0c;则需要继承ActionSupport类&#xff0c;覆写validate()方法&#xff0c;如果是实现Action接口&#xff0c;则无法覆写此方法。直接在之前的控制器基础上进行…
阅读更多...
Spring 中使用Nacos配置管理

Spring 中使用Nacos配置管理

添加依赖 <dependency><groupId>com.alibaba.nacos</groupId><artifactId>nacos-spring-context</artifactId><version>${latest.version}</version> </dependency>本文使用的版本为&#xff1a;1.1.1 注&#xff1a;我们在N…
阅读更多...
【nowcoder】笔试强训Day1

【nowcoder】笔试强训Day1

目录 一、选择题 二、编程题 2.1组队竞赛 2.2删除公共字符串 一、选择题 1.在 Java 中&#xff0c;存放字符串常量的对象属于&#xff08; &#xff09;类对象。 A Character B String C StringBuffer D Vector 字符串分为两大类&#xff0c;一类是字符串常量&#xf…
阅读更多...
ESLint + StyleLint + Prettier + VSCode 打造最优雅的前端开发体验

ESLint + StyleLint + Prettier + VSCode 打造最优雅的前端开发体验

ESLint StyleLint Prettier VSCode 打造最优雅的前端开发体验 引言 对于一个成熟的前端团队&#xff0c;统一的编码规范和提交规范尤其重要。要保证秩序井然、风格统一、整齐有序&#xff0c;光把规范写在文档里是没有太多实际价值的。没有人愿意去一条一条看规则&#xff…
阅读更多...
ovn:中央节点ip变更导致节点失联

ovn:中央节点ip变更导致节点失联

1.当ovn的中央节点ip突然变更&#xff08;从3.197->1.114&#xff09;后&#xff0c;便再无法同节点之间进行信息的同步。 2.已将节点的ovn-remote变更到最新的中央节点ip 3.但是进行ovn-controller 检测时却显示失败 4.通过telnet 测试6642 端口失败 5.最后发现原来是中央…
阅读更多...
【UE4 第一人称射击游戏】05-设置角色动画

【UE4 第一人称射击游戏】05-设置角色动画

素材资料地址&#xff1a; 链接&#xff1a;https://pan.baidu.com/s/1epyD62jpOZg-o4NjWEjiyg 密码&#xff1a;jlhr 步骤&#xff1a; 1.新建一个名为“Character”的文件夹 将Swat.fbx导入Character文件夹中 新建一个名为“Animation”的文件夹 将Animation文件夹内的所…
阅读更多...
大数据基础平台搭建-（一）基础环境准备

大数据基础平台搭建-（一）基础环境准备

大数据基础平台搭建-&#xff08;一&#xff09;基础环境准备 大数据平台系列文章&#xff1a; 1、大数据基础平台搭建-&#xff08;一&#xff09;基础环境准备 2、大数据基础平台搭建-&#xff08;二&#xff09;Hadoop集群搭建 目录大数据基础平台搭建-&#xff08;一&#…
阅读更多...
docker安装minio集群

docker安装minio集群

docker安装minio集群 文章目录docker安装minio集群1、所有节点配置主机名解析2、配置时间同步&#xff0c;关闭防火墙和selinux。3、所有节点安装docker4、部署minio集群&#xff0c;3个节点每个节点挂载2个目录10.20.138.5210.20.138.5310.20.138.545、访问任意节点的9000端口…
阅读更多...
vm vh移动端布局及 bilibili官网移动端首页布局

vm vh移动端布局及 bilibili官网移动端首页布局

vm和vh是啥&#xff1f; 市场上的移动端大多数为flex布局&#xff0c;此时我们用到了rem这个单位&#xff0c;但是rem需要媒体查询&#xff0c;要根据页面是尺寸进行修改&#xff0c;而vm/vh省去各种判断和修改&#xff0c;像B站就通过vue和vm写的。 vm/vh是一个相对单位&…
阅读更多...
【Quarkus技术系列】「云原生架构实战」配置参考指南相关的功能机制配置介绍分析

【Quarkus技术系列】「云原生架构实战」配置参考指南相关的功能机制配置介绍分析

回顾Quarkus介绍 Quarkus的概念定义 Quarkus是一个为Java虚拟机&#xff08;JVM&#xff09;和原生编译而设计的全堆栈 Kubernetes 原生 Java 框架&#xff0c;用于专门针对容器优化 Java&#xff0c;并使其成为无服务器、云和 Kubernetes 环境的高效平台。 Quarkus与框架整…
阅读更多...
Spring Boot整合分布式搜索引擎ElasticSearch 实现相关操作

Spring Boot整合分布式搜索引擎ElasticSearch 实现相关操作

一、ElasticSearch 介绍 Elasticsearch 是一个分布式、高扩展、高实时的搜索与数据分析引擎。它能很方便的使大量数据具有搜索、分析和探索的能力。充分利用Elasticsearch的水平伸缩性&#xff0c;能使数据在生产环境变得更有价值。Elasticsearch 的实现原理主要分为以下几个步…
阅读更多...
VS Code 中的增强 code CLI

VS Code 中的增强 code CLI

Visual Studio Code 的核心是一个代码编辑器&#xff0c;它通过我们的远程开发经验与其他环境集成&#xff0c;变得更加强大和灵活。 你可能不知道的是&#xff0c;VS Code 有一个内置的命令行界面(CLI)&#xff0c;可以让你控制启动和管理编辑器的方式——你可以通过命令行选项…
阅读更多...
【图像处理】基于二维FIR的特定角度边缘检测（Matlab代码实现）

【图像处理】基于二维FIR的特定角度边缘检测（Matlab代码实现）

&#x1f468;‍&#x1f393;个人主页&#xff1a;研学社的博客 &#x1f4a5;&#x1f4a5;&#x1f49e;&#x1f49e;欢迎来到本博客❤️❤️&#x1f4a5;&#x1f4a5; &#x1f3c6;博主优势&#xff1a;&#x1f31e;&#x1f31e;&#x1f31e;博客内容尽量做到思维缜…
阅读更多...
HiveServer2 和 HiveMetastore 梳理

HiveServer2 和 HiveMetastore 梳理

本文重新回顾一下Hive的两个核心服务&#xff1a;HiveServer2 和 HiveMetastore(HMS)。很多人会简单地把HiveServer2当成Hive的JDBC/ODBC服务&#xff0c;不启动HiveServer2服务&#xff0c;就没有10000端口&#xff0c;JDBC/ODBC客户端就连接不上Hive。从使用者的角度理解这就…
阅读更多...
常见的数据通信方式有哪些？

常见的数据通信方式有哪些？

数据通信方式指通信双方在信号发送、传输和接收这3个环节对信号的处理方式&#xff0c;下面将对不同的信号处理方式进行讲解。 单工、半双工与全双工通信 按信道上信号的传输方向与时间的关系&#xff0c;通信方式可分为单工通信、半双工通信与全双工通信。 (1) 单工通信 单…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023