最新版本——Hadoop3.3.6单机版完全部署指南

news2024/12/23 4:51:29

538067752c84509357716d8eb723e6da.png

大家好，我是独孤风，大数据流动的作者。

本文基于最新的 Hadoop 3.3.6 的版本编写，带大家通过单机版充分了解 Apache Hadoop 的使用。本文更强调实践，实践是大数据学习的重要环节，也能在实践中对该技术有更深的理解，所以一些理论知识建议大家多阅读相关的书籍（都在资料包中）。

本文档版权归大数据流动所有，请勿商用，全套大数据、数据治理、人工智能相关学习资料，请关注大数据流动。

（本文所使用资料包位置： 大数据流动 VIP 知识库 》大数据技术 》Apache Hadoop 3.3.6 单机安装包）

一、Hadoop 概述

Apache Hadoop 是一个开源框架，用于存储和处理大规模数据集。它是用 Java 编写的，并支持分布式处理。Hadoop 的关键特点包括：

  1. 分布式存储：通过 Hadoop 分布式文件系统（HDFS），它可以跨多个节点存储大量数据，提供高可靠性和数据冗余。

  2. 分布式计算：Hadoop 使用 MapReduce 编程模型来并行处理大数据，这样可以有效地处理和分析存储在 HDFS 中的大规模数据集。

  3. 可扩展性：Hadoop 能够通过添加更多节点来轻松扩展，处理更大量的数据。

  4. 容错性：Hadoop 设计中考虑到了故障的可能性，能够在节点故障时继续运行，确保数据不丢失。

5. 生态系统：Hadoop 的生态系统包括各种工具和扩展（如 Hive、HBase、Spark 等），用于数据处理、分析和管理。

Hadoop 广泛应用于大数据分析、数据挖掘、日志处理等领域，特别是在需要处理 PB 级别数据的场景中非常有效。

所以我们可以理解为 Hadoop 是一个生态，有了 Hadoop 为基础，后续的 Spark，Flink 等组件才相继出现，让大数据技术持续的发展。

4de56e62c5e4ef7e25fea171b43d20f5.png

而从软件角度，Hadoop 本身自己是一个 Apache 的开源软件。

db6fb49cb3b71b9ca60a5f47b04fa0d8.png

Apache Hadoop 主要由以下几个核心组件组成，每个组件都有其独特的功能：

1. Hadoop Common：这是 Hadoop 的基础库集合，提供了 Hadoop 模块所需要的通用工具和接口。它包括文件系统、操作系统级别的抽象，以及必要的 Java 库文件。

  1. Hadoop MapReduce (MR)：这是一个编程模型，用于处理大规模数据集的分布式计算。MapReduce 将作业分成两个阶段：Map（处理）和 Reduce（汇总）。这种方法使得并行处理大数据变得简单有效。

  2. Hadoop YARN (Yet Another Resource Negotiator)：YARN 是 Hadoop 的资源管理和任务调度器。它将计算资源管理和作业调度功能从 MapReduce 中分离出来，提高了 Hadoop 的灵活性和可扩展性。

  3. Hadoop Distributed File System (HDFS)：HDFS 是一个高度容错的分布式文件系统，设计用来存储大量数据。它可以在廉价的硬件上运行，提供高吞吐量以访问应用程序数据，并适用于具有大数据集的应用程序。

这些组件协同工作，使 Hadoop 成为一个强大的工具，用于存储、处理和分析大规模的数据集。

cea094a1b6ced98f2b99f00e7e19baf1.png

而 Common 是基础库，MapReduce 由于性能问题，分布式计算已经被更高效的 Spark，Flink 等计算引擎替代。

但是HDFS，YARN依然是最核心的两个组件，一定要认真学习，我也会单独发文章来学习这两个组件。

31650bf03cddeb48344d5ea4e144c95d.png

016fb4d32de6e7ba853a12925cff3ad4.png

d0147438f13591c699240e872a4d7442.png

31ba775920ca3a505a7bcab3e9e80d6b.png

二、Hadoop 历史

当然，以下是用 Markdown 格式概述 Apache Hadoop 的历史：

  • 2005 年 - 起源由 Doug Cutting 和 Mike Cafarella 创立，受 Google 的 MapReduce 和 GFS 论文启发。

    （Google 三篇理论中文版资料位置： 大数据流动 VIP 知识库 》大数据技术 》Google 三家马车）

  • 2006 年 - 加入Apache成为 Apache 软件基金会的一部分，最初是 Lucene 项目的一部分，后来在 2008 年成为顶级项目。

  • 2008 年及以后 - 发展与普及快速获得关注，生态系统不断发展，增加了如 HBase、Hive 等工具。

  • 2011 年 - Hadoop 1.0 发布标志着 Hadoop 的成熟，稳定 API 和核心组件，包括 HDFS 和 MapReduce。

  • 2013 年 - Hadoop 2.0 和YARN的推出引入 YARN，将 Hadoop 从以 MapReduce 为中心的平台转变为更加多功能的数据处理平台。

  • 持续演进 - Hadoop 不断更新，扩展其功能和生态系统，包括 Spark、Kafka、Flink 等工具。

  • 云集成 - 近年来，与云服务集成，提供更灵活、可扩展的数据处理解决方案。

Hadoop 也不光只有 Apache Hadoop，很多公司都有自己的发行版本，不同的发行版针对不同的用途和场景进行了优化，用户可以根据自己的需求选择最适合的版本。随着时间的推移，这些发行版可能会有所变化，包括新的版本推出或旧版本停止维护。

除了 Apache Hadoop，还有 Cloudera 的 CDH（Cloudera Distribution Including Apache Hadoop）、Hortonworks Data Platform (HDP)，也就是 CDH 和 Ambari，我也会在其他文章演示，本文我们带来 Apache Hadoop 的单机版本演示，Apache Hadoop 也是被使用最多的版本。

三、Hadoop 3.3.6 单机安装

下面我们进行 Hadoop3.3.6 的单机版安装。

1、版本情况与安装包准备

Apache Hadoop 的官网地址是 https://hadoop.apache.org/

我们在这里可以看到，最新的版本是 3.3.6，这也是 2023 年新发布的版本，各方面都做了很大的优化，本文也基于此版本进行演示。

d587df13ff4f5246cc5b8340450af460.png

我们使用的 Hadoop 版本是 3.3.6，可以在官方网站进行下载：

https://archive.apache.org/dist/hadoop/common/hadoop-3.3.6/

696MB 这个。

8fce21427c41b27d681c8259c074bbc7.png

2、服务器环境准备

不管是服务器和虚拟机环境的准备，大家都可以参考我之前的文章，在本地搭一个虚拟机，也可以去买一个现成的，这里不做赘述。

我们使用的 CentOS 版本是 7.8，可以通过下面的命令来查看版本。

cat /etc/redhat-release

6a67753d3607f9d3d1996847e6029d4f.png

CentOS7 的安装步骤基本一致，都可以参考本文档。

服务器需要做一下免密登陆设置，不然后面会有问题

ssh-keygen -t rsa -P ""

回车即可，随后复制密钥

cat ~/.ssh/id_rsa.pub > ~/.ssh/authorized_keys

可以验证一下

ssh bigdataflowing

正常会直接登录过去。

3、JDK 安装

先卸载系统自带的 java

rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps

上传安装包到服务器，安装包可在 Oracle 官网下载：https://www.oracle.com/java/technologies/downloads/

也可以用我的资料包里的。

jdk-8u221-linux-x64.tar.gz

建立文件夹。

mkdir /opt/jdk/

进入该文件夹，上传文件。

cd /opt/jdk/

a3e81d8f05193eec39ced43b03c2d547.png

解压安装包 tar -zxvf jdk-8u221-linux-x64.tar.gz

没有报错证明解压成功。

cf3597c616e98e8e051164301ee10987.png

随后我们把 JDK 配置到环境变量里就可以了。

vi /etc/profile

在最下面加入这两句，其实就是我们刚刚解压 jdk 的位置。

export JAVA_HOME=/opt/jdk/jdk1.8.0_221

export PATH=$PATH:$JAVA_HOME/bin

最后让环境变量生效

source /etc/profile

查看 java 版本验证一下，java -version 成功！

f4e94ff001197709e8707618870d11a5.png

这样我们这台机器就有 java 环境可用了。

4、Hadoop3.3.6 安装

有了 java 环境，hadoop 的依赖问题就解决了，可以直接进行安装。

将之前准备好的 hadoop 安装包，上传到 /opt/hadoop3.3.6 目录下

解压，tar -zxvf hadoop-3.3.6.tar.gz 没报错就是成功。

dec05f8ea4f5838e6b1135165292bf30.png

还是增加环境变量

vi /etc/profile

在最下面加入这三句，hadoop 的位置

export HADOOP_HOME=/opt/hadoop3.3.6/hadoop-3.3. 6

export PATH=$PATH:$HADOOP_HOME/bin

export PATH=$PATH:$HADOOP_HOME/sbin

最后让环境变量生效

source /etc/profile

查看 java 版本验证一下，hadoop-version 成功！

abb7c185596c6ab649be3dee0260246c.png

使用 hadoop version 命令验证安装成功

926e11733ee6637a85794f5e8711eac8.png

5、配置

虽然安装成功，但是我们要使用的是单机伪集群，还需要进行一些配置。

hadoop 的目录有如下的文件夹

0946e7abb833a34b3380f4e64862b8b6.png

bin 目录：Hadoop 主服务脚本

etc 目录：Hadoop 的配置文件目录

lib 目录：存放 Hadoop 的本地库

sbin 目录：存放启动或停止 Hadoop 相关服务的脚本

首先进入 etc 配置文件夹 cd ``etc/hadoop 有如下配置，我们只修改核心的就可以。

cdc81f8fed357d2e629cf96988f3f472.png

首先修改 hadoop-env.sh 将 java 和 hadoop 的根路径加入

export JAVA_HOME=/opt/jdk/jdk1.8.0_221

export HADOOP_HOME=/opt/hadoop3.3.6/hadoop-3.3.6

同时加入 root 权限

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

修改 core-site.xml

在 configuration 标签中，添加如下内容：

<property>
        <name>fs.defaultFS</name>
        <value>hdfs://bigdataflowing:9090</value>
    </property>

    <!-- 指定 hadoop 数据的存储目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/hadoop3.3.6/hdfs/tmp</value>
    </property>

    <property>
        <name>hadoop.proxyuser.root.hosts</name>
        <value>*</value>
    </property>

    <property>
        <name>hadoop.proxyuser.root.groups</name>
        <value>*</value>
    </property>

8ef30eb53797e8609bb50aa82f4a0d5f.png

修改 hdfs-site.xml，在 configuration 标签中，添加如下内容：

<property>
        <name>dfs.replication</name>      
        <value>1</value>
    </property>  

    <property>
        <name>dfs.namenode.name.dir</name>  
        <value>/opt/hadoop3.3.6/hdfs/name</value>  
        <final>true</final>
    </property>  

    <property>
        <name>dfs.datanode.data.dir</name>  
        <value>/opt/hadoop3.3.6/hdfs/data</value>  
        <final>true</final>
    </property>  

    <property>
        <name>dfs.http.address</name>
        <value>0.0.0.0:50070</value>
    </property>

    <property>
        <name>dfs.permissions</name>  
        <value>false</value>
    </property>

c89f668d36fefe12c20e9b3d7d416fbc.png

修改 mapre-site.xml，在 configuration 标签中，添加如下内容：

<property>
     <name>mapreduce.framework.name</name>
     <value>yarn</value>
 </property>

0e29b212d30a90bc6179e09014fad4cb.png

修改 yarn-site.xml，在 configuration 标签中，添加如下内容：

<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>

03179acfbcc0c186c79b8dbd0cb5bf18.png

6、启动

首先格式化 HDFS，也就是对 hdfs 做最基本的配置：

hdfs namenode -format

10a3d9766e961460e40b2bc2c7ac64c6.png

格式化完成。

随后我们进入 sbin 目录

cd /opt/hadoop3.3.6/hadoop-3.3.6/sbin/

b4103baf258a696ecd8da9e1cbcc37c7.png

这里脚本较多，我们可以选择启动全部

./start-all.sh

正常不会有报错，同时使用 jps 命令查看，会有 Datanode，ResourceManager，SecondaryNameNode，NameNode，NodeManager 五个进程。

ed57eb7410515effb169f227ae8436d7.png

另一个验证启动成功的方法，是访问 Hadoop 管理页面

http://IP:50070/

f37c85f9fa6b425c9b2297d76bf1545f.png

http://IP:8088/

ed8602726e68d6679d60374b90494573.png

这些页面的使用，我们会在后续 Hdfs，Yarn 等章节再详细讲解。

7、报错汇总

启动报错，未设置 root 用户

ERROR: but there is no HDFS_NAMENODE_USER defined. Aborting operation.
Starting datanodes
ERROR: Attempting to operate on hdfs datanode as root
ERROR: but there is no HDFS_DATANODE_USER defined. Aborting operation.
Starting secondary namenodes [bigdataflowing]
ERROR: Attempting to operate on hdfs secondarynamenode as root
ERROR: but there is no HDFS_SECONDARYNAMENODE_USER defined. Aborting operation.
Starting resourcemanager
ERROR: Attempting to operate on yarn resourcemanager as root
ERROR: but there is no YARN_RESOURCEMANAGER_USER defined. Aborting operation.
Starting nodemanagers
ERROR: Attempting to operate on yarn nodemanager as root
ERROR: but there is no YARN_NODEMANAGER_USER defined. Aborting operation。

启动报错，为进行免密登陆设置

localhost: Permission denied (publickey,password

更多【大数据、数据治理、人工智能知识分享】【开源项目推荐】【学习社群加入】，请关注大数据流动。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1293234.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

Excel 表列序号

Excel 表列序号

题目链接 Excel 表列序号 题目描述 注意点 columnTitle 仅由大写英文组成1 < columnTitle.length < 7 解答思路 对于"CAB"&#xff0c;计算其序列号的思路&#xff1a;字母B的贡献值为2&#xff0c;字母A的贡献值为1 * 26&#xff0c;字母C的贡献值为3 * …
阅读更多...
销售如何用企微SCRM加速潜客孵化，提升转化率？

销售如何用企微SCRM加速潜客孵化，提升转化率？

营销推广与销售转化相互协同是势不可挡的趋势 直播带货、抖音房云店等玩法的兴起&#xff0c;是当前社交网络将营销与销售场景合二为一的缩影。因此企业在业务上&#xff0c;也要让营销推广与销售转化相互协同。以客户成交为中心&#xff0c;不局限于单项目获客、服务、转化的…
阅读更多...
浅谈基于泛在电力物联网的综合能源管控平台设计及硬件选型

浅谈基于泛在电力物联网的综合能源管控平台设计及硬件选型

贾丽丽 安科瑞电气股份有限公司 上海嘉定 201801 摘要&#xff1a;城区内一般都具有错综复杂的能源系统&#xff0c;且大部分能耗都集中于城区的各企、事业单位中。基于泛在电力物联网的综合能源管控平台将城区内从能源产生到能源消耗的整体流动情况采用大屏清晰展示&#xff…
阅读更多...
Linux-进程之间的通信

Linux-进程之间的通信

目录 ​编辑 一.什么是进程之间的通信 二.进程之间的通信所访问的数据 三.进程之间的通信是如何做到的 四.基于内存文件级别的通信方式——管道 1.什么是管道 2.管道的建立过程——匿名管道 a.什么是匿名管道 b.匿名管道特点&#xff1a; c.使用匿名管道的…
阅读更多...
IDEA中配置Git

IDEA中配置Git

Git 在IDEA中使用Git1 在IDEA中配置Git2 在IDEA中使用Git2.1在IDEA中创建工程并将工程添加至Git2.2 将文件添加到暂存区2.3 提交文件2.4 将代码推送到远程仓库2.5 从远程仓库克隆工程到本地2.6 从远程拉取代码2.7 版本对比2.8 创建分支2.9 切换分支2.10 分支合并 3 使用IDEA进行…
阅读更多...
【开源】基于Vue.js的二手车交易系统

【开源】基于Vue.js的二手车交易系统

文末获取源码&#xff0c;项目编号&#xff1a; S 084 。 \color{red}{文末获取源码&#xff0c;项目编号&#xff1a;S084。} 文末获取源码&#xff0c;项目编号&#xff1a;S084。 目录 一、摘要1.1 项目介绍1.2 项目录屏 二、功能模块2.1 数据中心模块2.2 二手车档案管理模块…
阅读更多...
教程篇(7.2) 01. 介绍和初始访问 ❀ FortiAnalyzer分析师 ❀ Fortinet 网络安全专家 NSE5

教程篇(7.2) 01. 介绍和初始访问 ❀ FortiAnalyzer分析师 ❀ Fortinet 网络安全专家 NSE5

在本课中&#xff0c;你将了解FortiAnalyzer的关键功能和概念&#xff0c;以及如何最初访问FortiAnalyzer。 FortiAnalyzer将日志记录、分析和报告集成到一个系统中&#xff0c;因此你可以快速识别和响应。 在本课中&#xff0c;你将探索上图显示的主题。 通过展示FortiAnalyze…
阅读更多...
算能 MilkV Duo开发板实战——opencv-mobile (迷你版opencv库)的移植和应用

算能 MilkV Duo开发板实战——opencv-mobile (迷你版opencv库)的移植和应用

前言 OpenCV是一种开源的计算机视觉和机器学习软件库&#xff0c;旨在提供一组通用的计算机视觉工具。它用于图像处理、目标识别、人脸识别、机器学习等领域&#xff0c;广泛应用于计算机视觉任务。 OpenCV-Mobile是OpenCV库的轻量版本&#xff0c;专为移动平台&#xff08;A…
阅读更多...
基于ssm少儿编程管理系统源码和论文

基于ssm少儿编程管理系统源码和论文

idea 数据库mysql5.7 数据库链接工具&#xff1a;navcat,小海豚等 环境&#xff1a; jdk8 tomcat8.5 开发技术 ssm 基于ssm少儿编程管理系统源码和论文744 摘要 网络的广泛应用给生活带来了十分的便利。所以把少儿编程管理系统与现在网络相结合&#xff0c;利用java技术建设…
阅读更多...
Kafka Connect ：构建强大分布式数据集成方案

Kafka Connect ：构建强大分布式数据集成方案

Kafka Connect 是 Apache Kafka 生态系统中的关键组件&#xff0c;专为构建可靠、高效的分布式数据集成解决方案而设计。本文将深入探讨 Kafka Connect 的核心架构、使用方法以及如何通过丰富的示例代码解决实际的数据集成挑战。 Kafka Connect 的核心架构 Kafka Connect 的核…
阅读更多...
flex布局的flex为1到底是什么

flex布局的flex为1到底是什么

参考博客&#xff1a;flex:1什么意思_公孙元二的博客-CSDN博客 flex&#xff1a;1即为flex-grow&#xff1a;1&#xff0c;经常用作自适应布局&#xff0c;将父容器的display&#xff1a;flex&#xff0c;侧边栏大小固定后&#xff0c;将内容区flex&#xff1a;1&#xff0c;内…
阅读更多...
【Spring 源码】 贯穿 Bean 生命周期的核心类之 AbstractAutowireCapableBeanFactory

【Spring 源码】 贯穿 Bean 生命周期的核心类之 AbstractAutowireCapableBeanFactory

&#x1f680; 作者主页&#xff1a; 有来技术 &#x1f525; 开源项目&#xff1a; youlai-mall &#x1f343; vue3-element-admin &#x1f343; youlai-boot &#x1f33a; 仓库主页&#xff1a; Gitee &#x1f4ab; Github &#x1f4ab; GitCode &#x1f496; 欢迎点赞…
阅读更多...
Liunx Centos 防火墙操作

Liunx Centos 防火墙操作

liunx centos 防火墙 查看防火墙状态 systemctl status firewalld查看已经开放的端口 firewall-cmd --list-ports添加端口3306 firewall-cmd --zonepublic --add-port3306/tcp --permanent重启防火墙 firewall-cmd --reload数据库开放账号可以外网登陆 mysql -u root -p …
阅读更多...
Matlab 用矩阵画图

Matlab 用矩阵画图

文章目录 Part.I IntroductionChap.I 预备知识Chap.II 概要Chap.III 杂记 Part.II 用矩阵画图Chap.I 摸索过程Chap.II 绘制专业图Chap.III 矩阵转tiff Part.I Introduction 本文汇总了 Matlab 用矩阵画图的几种方式。 Chap.I 预备知识 关于 *.mat 文件 *.mat文件是 matlab 的…
阅读更多...
Ribbon组件的负载均衡原理

Ribbon组件的负载均衡原理

原因背景 spring cloud的底层负载均衡是采用Ribbon组件&#xff0c;我们将user-service服务注册到eureka-server中&#xff0c;那么当我们在另一个服务的代码层面请求远程调用API接口http://user-service/users/5时&#xff0c;程序代码如何解析远程调用的user-service服务名转…
阅读更多...
数据结构和算法-栈

数据结构和算法-栈

数据结构和算法-栈 1. 栈的介绍 栈的介绍&#xff1a; 栈的英文为(stack)栈是一个先入后出的有序列表栈是限制线性表中元素的插入和删除只能在线性表的同一端进行的一种特殊线性表。允许插入和删除的一端&#xff0c;为变化的一端&#xff0c;称为栈顶&#xff0c;另一端为固…
阅读更多...
从零开发短视频电商 在AWS SageMaker已创建的模型列表中进行部署

从零开发短视频电商 在AWS SageMaker已创建的模型列表中进行部署

1.导航到 SageMaker 控制台。 2.在 SageMaker 控制台的左侧导航栏中&#xff0c;选择 “模型” 选项。 3.在模型列表中&#xff0c;找到您要部署的模型。选择该模型。 4.点击 “创建端点” 选项或者点击 “创建端点配置” 选项都可以进行部署。 选择创建端点进去后还是会进行…
阅读更多...
【sgAutocomplete】自定义组件：基于elementUIel-autocomplete组件开发的自动补全下拉框组件（带输入建议的自动补全输入框）

【sgAutocomplete】自定义组件：基于elementUIel-autocomplete组件开发的自动补全下拉框组件（带输入建议的自动补全输入框）

特性&#xff1a; 1、支持本地保存选中过的记录 2、支持动态接口获取匹配下拉框内容 3、可以指定对应的显示label和字段组件key 4、自动生成速记符字段&#xff08;包含声母和全拼两种类型&#xff09;&#xff0c;增强搜索匹配效率 sgAutocomplete源码 <template><!…
阅读更多...
机器学习模型评估指标

机器学习模型评估指标

1.回归模型评估指标 (1).绝对误差 预测和实际之间误差的绝对值之和。 (2).均方误差 预测和实际之间距离之差平方和的均值 2.分类的评估准则 分类的评估标准很多&#xff0c;不同的评估标准侧重点不一样&#xff0c;我们不可能做到万事俱备&#xff0c;甚至有的指标是相互…
阅读更多...
有效解决wordpress的502 Bad Gateway错误提示

有效解决wordpress的502 Bad Gateway错误提示

摘要&#xff1a;最近有客户反映使用阿里云虚拟云主机&#xff0c;wordpress常提示502 Bad Gateway错误&#xff0c;网关错误是网站上遇到的常... wordpress的502 Bad Gateway错误如何修复&#xff1f; 第1步&#xff1a;偶发错误可尝试重新加载网站 偶尔出现流量突发爆增或是服…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023