hadoop3.*集群搭建，小白必看

news2025/2/28 21:14:53

hadoop广义上讲是一个大数据生态圈，接受大量处理、处理大量数据的一个全套的框架！

hadoop3.x版本以后，主要有三大模块，HDFS、YARN、mapReduce这三大核心组成！

什么是HDFS?

分布式文件系统，hadoop集群的功能类似于三个臭皮匠抵一个诸葛亮，把很多配置低、廉价的服务器组织到一起，协调好发挥出最大的作用。

分布式文件系统就是把存储文件到可用的服务器上，你不用查看计划应该存储到哪个服务器上，HDFS管家帮你规划实现！！

什么是YARN？

简称资源调度框架，流水线的组长，活多的时候分配多一点的人，活少的时候分配少一点的人，不会浪费人力也不会让活积压干不完。 YARN就是流水线的组长，业务流程数据就是活，电脑内存就是工人！

什么是MapReduce？

计算组件，计算处理数据的封装底层的代码，你写代码的时候，调用可以省事情，但是发展很多年弊端很多，逐渐被弃用！

三个服务器的hostname分别是flinka flinkb flinkc flinka是我们集群的主机

flinka--->flinkb

flinka-->flinkc

flinka-->flinka

都做了免密登录，至于怎么实现，自行百度。很简单！！！

创建目录

在/dev/bigdata下创建三个同级别的文件夹

server 安装位置

data 存储数据位置

export 其他

一、下载hadoop、解压hadoop

1.1、配置hdfs-env.sh文件，这里是配置jdk环境变量以及指定各个进程用户名的地方

目录/dev/bigdata/server/hadoop-3.3.0/etc/hadoop

export JAVA_HOME=你服务器jdk安装的目录位置
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_JOURNALNODE_USER=root
export HDFS_ZKFC_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

输入G，然后就到了文件的末尾，复制以上的代码，然后保存退出

1.2、配置core-site.xml文件

初始是这样的

复制以下的代码

<configuration>
  <!-- 配置分布式文件系统的类型 -->
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://flinka:8020</value>
  </property>
    <!-- 配置hadoop本地保存数据的位置 -->
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/dev/bigdata/data/hadoop</value>
  </property>
    <!-- 设置HDFS WEB UI用户身份 -->
    <property>
    <name>hadoop.http.staticuser.user</name>
    <value>root</value>
    </property>
   <!-- 整合hive用户代理设置 -->
  <property>
    <name>hadoop.proxyuser.root.hosts</name>
    <value>*</value>
  </property>
  
  <property>
    <name>hadoop.proxyuser.root.groups</name>
    <value>*</value>
  </property>
  

  <!-- 删除文件后先放到.Trash目录 -->
  <property>
    <name>fs.trash.interval</name>
    <value>1440</value>
    <description>单位是分钟，1440/60 = 24 小时，保留一天时间</description>
  </property>
</configuration>

1.3、配置hdfs-site.xml文件，这个是配置hdfs的备份服务器的

<property>
      <name>dfs.namenode.secondary.http-address</name>
      <value>flinkb:9868</value>
   </property>

1.4、配置mapred-site.xml

配置计算程序运行的模式，是yarn还是local

  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
  <property>
    <name>mapreduce.jobhistory.address</name>
    <value>flinka:10020</value>
  </property>
  <property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>flinka:19888</value>
  </property>
  <property>
    <name>yarn.app.mapreduce.am.env</name>
    <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
  </property>
  <property>
    <name>mapreduce.map.env</name>
    <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
  </property>
  <property>
    <name>mapreduce.reduce.env</name>
    <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
  </property>

1.5、yarn-site.xml

<property>
      <name>yarn.resourcemanager.hostname</name>
      <value>flinka</value>
   </property>
 
   <!-- Reducer获取数据的方式 -->
   <property>
      <name>yarn.nodemanager.aux-services</name>
      <value>mapreduce_shuffle</value>
   </property>
   
 <property>
      <name>yarn.nodemanager.pmem-check-enabled</name>
      <value>true</value>
   </property>
   
   <property>
      <name>yarn.nodemanager.vmem-check-enabled</name>
      <value>true</value>
   </property>
   
    <property>
      <name>yarn.log.server.url</name>
      <value>http://flinka:19888/jobhistory/logs</value>
  </property>
  
  <!--多长时间聚合删除一次日志 此处-->
<property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>2592000</value><!--30 day-->
</property>

1.6、works