Linux部署HDFS集群

news2025/1/27 12:38:52

（一）VMware虚拟机中部署

ps、其中node1、node2、node3替换为自己相应节点的IP地址，或者host文件中配置过的主机名，或者看前置准备
或者查看前置准备：Linux部署HDFS集群前置准备

1.下载压缩包

https://www.apache.org/

2.部署配置

image-20231129112438762

3.安装Hadoop

以下操作均在node1节点以root身份执行

  • 上传Hadoop安装包到node1节点

  • 解压压缩包到/export/server/中

tar -zxvf hadoop-3.3.4.tar.gz -C /export/server
  • 构建软连接
cd /export/server
ln -s /export/server/hadoop-3.3.4 hadoop
  • 进入hadoop安装包内
cd hadoop
ls -l

image-20231129113412205

4.修改配置文件

image-20231129113504621

  • 配置workers文件（告诉我们集群里面从节点有哪些）

    cd etc/hadoop/
vim workers

    填入如下内容

    node1
node3
node2

  • 配置hadoop-env.sh文件

    vim hadoop-env.sh

    填入如下内容

    export JAVA_HOME=/export/server/jdk
export HADOOP_HOME=/export/server/hadoop
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_LOG_DIR=$HADOOP_HOME/logs
    • JAVA_HOME，指明JDK环境的位置在哪
    • HADOOP_HOME，指明Hadoop安装位置
    • HADOOP_CONF_DIR，指明Hadoop配置文件目录位置
    • HADOOP_LOG_DIR，指明Hadoop运行日志目录位置
    • 通过记录这些环境变量，来指明上述运行时的重要信息

  • 配置core-site.xml文件

    vim core-site.xml

    填入如下内容

    <configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://node1:8020</value>
    </property>
    <property>
        <name>io.file.buffer.size</name>
        <value>131072</value>
    </property>
</configuration>
    • key： fs.defaultFS
    • 含义：HDFS文件系统的网络通讯路径
    • 值：hdfs://node1:8020
      • 议为hdfs://
      • namenode为node1
      • namenode通讯端口为8020
    • key：io.file.buffer.size
    • 含义：操作文件缓冲区大小
    • 值：31072bit
    • hdfs://node1:8020为整个HDFS内部的通讯地址，应用协议为hdfs://（Hadoop内置协议）
    • 表明DataNode将和node1的8020端口通讯，node1是NameNode所在机器
    • 此配置固定了nodel必须启动NameNode进程

  • 配置hdfs-site.xml

    填入以下内容

    <configuration>
    <property>
        <name>dfs.datanode.data.dir.perm</name> 
        <value>700</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/data/nn</value>
    </property>
    <property>
        <name>dfs.namenode.hosts</name>
        <value>node1,node2,node3</value>
    </property>
    <property>
        <name>dfs.blocksize</name>
        <value>268435456</value>
    </property>
    <property>
        <name>dfs.namenode.handler.count</name>
        <value>100</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/data/dn</value>
    </property>
</configuration>

    image-20231129144629842

    ​ image-20231129144744231

5.准备数据目录

  • 在node1节点

    mkdir -p /data/nn
mkdir /data/dn

  • 在node2和node3节点

    mkdir -p /data/dn

image-20231129145130800

6.分发Hadoop文件夹

目前，已经基本完成Hadoop的配置操作，可以从node1将hadoop安装文件夹远程复制到node2、node3

  • 分发

    # 在node1执行如下命令
cd /export/server
scp -r hadoop-3.3.4 node2:`pwd`/
scp -r hadoop-3.3.4 node3:`pwd`/

  • 在node2执行，为hadoop配置软链接

    ln -s /export/server/hadoop-3.3.4 /export/server/hadoop

  • 在node3执行，为hadoop配置软链接

    ln -s /export/server/hadoop-3.3.4 /export/server/hadoop

7.配置环境变量

为了方便我们操作Hadoop，可以将Hadoop的一些脚本、程序配置到PATH中，方便后续使用。
image-20231129161000221
在Hadoop文件夹中的bin、sbin两个文件夹内有许多的脚本和程序，现在来配置一下环境变量

  • 编辑环境变量

    vim /etc/profile

    追加如下内容

    export HADOOP_HOME=/export/server/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

  • 刷新环境变量

    source /etc/profile

  • 在node2和node3配置同样的环境变量

8.授权为hadoop用户

hadoop部署的准备工作基本完成
为了确保安全，hadoop系统不以root用户启动，我们以普通用户hadoop来启动整个Hadoop服务
所以，现在需要对文件权限进行授权。

ps：请确保已经提前创建好了hadoop用户（前置准备章节中有讲述），并配置好了hadoop用户之间的免密登录

  • 以root身份，在node1、node2、node3三台服务器上均执行如下命令

    # 以root身份，在三台服务器上均执行
chown -R hadoop:hadoop /data
chown -R hadoop:hadoop /export

9.格式化整个文件系统

前期准备全部完成，现在对整个文件系统执行初始化

  • 格式化namenode（node1上执行）

    # 确保以hadoop用户执行
su - hadoop
# 格式化namenode
hadoop namenode -format

  • 启动

    # 一键启动hdfs集群
start-dfs.sh
# 一键关闭hdfs集群
stop-dfs.sh

# 如果遇到命令未找到的错误，表明环境变量未配置好，可以以绝对路径执行
/export/server/hadoop/sbin/start-dfs.sh
/export/server/hadoop/sbin/stop-dfs.sh

10.查看HDFS WEBUI

启动完成后，可以在浏览器打开：
http://node1:9870，即可查看到hdfs文件系统的管理网页。

image-20231129164133893

11.补充：集群部署常见问题解决

（1）省流自检查

为发挥大家的主观能动性，先将一些常见的出错原因列出来。
这些原因可能导致不同的错误细节，大家可以自行检查是否符合，后面在详细讲解每一种错误的细节。

  • 是否遗漏了前置准备章节的相关操作？
  • 是否遗漏的将文件夹（Hadoop安装文件夹、/data数据文件夹）chown授权到hadoop用户这一操作
  • 是否遗忘了格式化hadoop这一步（hadoop namenode -format）
  • 是否是以root用户格式化的hadoop
  • 是否以root启动过hadoop，后续以hadoop用户启动出错
  • 是否确认workers文件内，配置了node1、node2、node3三个节点
  • 是否在/etc/profile内配置了HADOOP_HOME环境变量，并将 H A D O O P H O M E / b i n 和 HADOOP_HOME/bin和 HADOOPH​OME/bin和HADOOP_HOME/sbin加入PATH变量
  • 是否遗忘了软链接，但环境变量的配置的HADOOP_HOME确是：/export/server/hadoop
  • 是否确认配置文件内容的准确（一个字符都不错），并确保三台机器的配置文件均OK
    …
（2）详细细节版
①Permission denied

image-20231129165805676

②command not found

image-20231129165838515

③workers文件

image-20231129165910055

④NameNode is not formatted

image-20231129170041645

⑤WstxEOFException、Unexpected EOF

image-20231129170124705

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1279158.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

Leetcode—1094.拼车【中等】

Leetcode—1094.拼车【中等】

2023每日刷题&#xff08;四十七&#xff09; Leetcode—1094.拼车 模拟实现代码 bool carPooling(int** trips, int tripsSize, int* tripsColSize, int capacity) {int arr[1003] {0};int numPassenger 0, fromidx 0, toidx 0;for(int i 0; i < tripsSize; i) {num…
阅读更多...
力扣66. 加一

力扣66. 加一

文章目录 力扣66. 加一示例代码实现总结收获 力扣66. 加一 示例 代码实现 class Solution {public int[] plusOne(int[] digits) {int ndigits.length;for(int in-1;i>0;i--){if(digits[i]!9){digits[i];for(int ji1;j<n;j){digits[j]0;}return digits;}}int[] resnew i…
阅读更多...
爬虫学习（一）

爬虫学习（一）

文章目录 文件目录结构打开文件操作 爬取网页的理解尝试 文件目录结构 打开文件操作 爬取网页的理解尝试 这个放回值为请求正常
阅读更多...
人工智能中的模型评估

人工智能中的模型评估

1 概述 1.1 定义 人工智能&#xff08;AI&#xff09;模型评估是一个关键的过程&#xff0c;用于确定模型在特定任务上的性能和有效性。这个过程涉及使用各种技术和指标来衡量模型的准确度、可靠性、泛化能力以及其他重要特性。在不同的应用场景中&#xff0c;模型评估的具体…
阅读更多...
OpenSSH 漏洞修复升级最新版本

OpenSSH 漏洞修复升级最新版本

Centos7系统ssh默认版本一般是OpenSSH7.4左右&#xff0c;低版本是有漏洞的而且是高危漏洞&#xff0c;在软件交付和安全扫描上是过不了关的&#xff0c;一般情况需要升级OpenSSH的最新版本 今天详细说下升级最新版本的处理过程&#xff08;认真看会发现操作很简单&#xff0c…
阅读更多...
设计模式-结构型模式之外观设计模式

设计模式-结构型模式之外观设计模式

文章目录 七、外观模式 七、外观模式 外观模式&#xff08;Facade Pattern&#xff09;隐藏系统的复杂性&#xff0c;并向客户端提供了一个客户端可以访问系统的接口。它向现有的系统添加一个接口&#xff0c;来隐藏系统的复杂性。 这种模式涉及到一个单一的类&#xff0c;该类…
阅读更多...
【vue-router】useRoute 和 useRouter 的区别

【vue-router】useRoute 和 useRouter 的区别

&#x1f680; 作者主页&#xff1a; 有来技术 &#x1f525; 开源项目&#xff1a; youlai-mall &#x1f343; vue3-element-admin &#x1f343; youlai-boot &#x1f33a; 仓库主页&#xff1a; Gitee &#x1f4ab; Github &#x1f4ab; GitCode &#x1f496; 欢迎点赞…
阅读更多...
pandas美化表格并导出到Excel

pandas美化表格并导出到Excel

美化Excel表格用两种方式，一种是用Pandas自带的Dataframe.style类并通过CSS来改变样式，另外一种是通过Excel引擎来直接修改Excel样式。 Dataframe.style Dataframe.style可以美化Pandas样式。导出样式到Excel的功能只有openpyxl渲染引擎支持。 大于平均数的单元格背景变色…
阅读更多...
【重点】【双指针】11. 盛最多水的容器

【重点】【双指针】11. 盛最多水的容器

题目 注意&#xff1a;二维接雨水&#xff0c;有墙的&#xff0c;有线的&#xff0c;着这个属于线的。 class Solution {public int maxArea(int[] height) {if (height.length < 2) {return 0;}int left 0, right height.length - 1, res 0;while (left < right) {…
阅读更多...
【Java 基础】16 泛型

【Java 基础】16 泛型

文章目录 什么是泛型&#xff1f;泛型的声明泛型的使用泛型方法通配符和泛型上下界1&#xff09;通配符2&#xff09;泛型上下界 泛型的好处注意事项 泛型提供了一种在编写代码时更好地 支持类型安全的机制。通过泛型&#xff0c;我们可以编写更加 通用、 灵活、 可读性高的…
阅读更多...
C#，数值计算——插值和外推，三次样条插值（Spline_interp）的计算方法与源程序

C#，数值计算——插值和外推，三次样条插值（Spline_interp）的计算方法与源程序

1 文本格式 using System; namespace Legalsoft.Truffer { /// <summary> /// 三次样条插值 /// Cubic Spline Interpolation /// Cubic spline interpolation object. Construct with x and y vectors, and /// (optionally) values of the first…
阅读更多...
Vue基础知识点梳理

Vue基础知识点梳理

在Vue中&#xff0c;被用来响应地更新HTML属性的指令是v-model页面挂载成功之后会触发哪一个钩子函数mounted挂载之后会进行页面的渲染v-on是动作元素不属于条件渲染指令 在Vue中&#xff0c;下列关于Vue实例对象说法不正确的是&#xff08;&#xff09;。A.Vue实例对象是通过n…
阅读更多...
Vulhub-信息泄露

Vulhub-信息泄露

1.Jetty WEB-INF 敏感信息泄露漏洞&#xff08;CVE-2021-28164&#xff09; docker-compose up -d 启动环境&#xff0c;显示8080端口被占用 修改 docker-compose.yml 中的映射端口 curl 访问 http://192.168.48.129:8090/WEB-INF/web.xml 显示404&#xff1a; 通过 %2e 绕过…
阅读更多...
C++的类和对象（一）

C++的类和对象（一）

目录 1、面向过程和面向对象初认识 2、为什么要有类 3、类的定义 类的两种定义方式 4、类的访问限定符 5、类的作用域 5.1 为什么要有作用域&#xff1f; 5.2类作用域 6、类的实例化 6.1类的实例化的定义 6.2类的实例化的实现 6.3经典面试题 7、类对象 7.1类对…
阅读更多...
HarmonyOS——解决本地模拟器无法选择设备的问题

HarmonyOS——解决本地模拟器无法选择设备的问题

在使用deveco studio进行鸿蒙开发的时候&#xff0c;可能会遇到本地模拟器已经启动了&#xff0c;但是仍然无法选择本地模拟器中的设备&#xff0c;尤其在MAC环境中尤为常见。 解决办法&#xff1a; 先打开IDE启动本地模拟器&#xff0c;等模拟器启动后&#xff0c;退出IDE重新…
阅读更多...
【每日OJ —— 572. 另一棵树的子树】

【每日OJ —— 572. 另一棵树的子树】

每日OJ —— 572. 另一棵树的子树 1.题目&#xff1a;572. 另一棵树的子树2.解法2.1.算法讲解2.2.代码实现2.3.提交通过展示 1.题目&#xff1a;572. 另一棵树的子树 2.解法 2.1.算法讲解 通过深度优先遍历&#xff0c;来判断二叉树root的每个节点的值是否和subRoot的每个节点…
阅读更多...
排序算法总结（Python、Java）

排序算法总结（Python、Java）

Title of Content 1 冒泡排序 Bubble sort&#xff1a;两两交换&#xff0c;大的冒到最后概念排序可视化代码实现Python - 基础实现Python - 优化实现Java - 优化实现C - 优化实现C - 优化实现 2 选择排序 Selection sort&#xff1a;第i轮遍历时&#xff0c;将未排序序列中最小…
阅读更多...
nodejs微信小程序＋python＋PHP贵州旅游系统的设计与实现-计算机毕业设计推荐MySQL

nodejs微信小程序＋python＋PHP贵州旅游系统的设计与实现-计算机毕业设计推荐MySQL

目 录 摘 要 I ABSTRACT II 目 录 II 第1章 绪论 1 1.1背景及意义 1 1.2 国内外研究概况 1 1.3 研究的内容 1 第2章 相关技术 3 2.1 nodejs简介 4 2.2 express框架介绍 6 2.4 MySQL数据库 4 第3章 系统分析 5 3.1 需求分析 5 3.2 系统可行性分析 5 3.2.1技术可行性&#xff1a;…
阅读更多...
2022年8月2日 Go生态洞察：Go 1.19版本发布深度解析

2022年8月2日 Go生态洞察：Go 1.19版本发布深度解析

&#x1f337;&#x1f341; 博主猫头虎&#xff08;&#x1f405;&#x1f43e;&#xff09;带您 Go to New World✨&#x1f341; &#x1f984; 博客首页——&#x1f405;&#x1f43e;猫头虎的博客&#x1f390; &#x1f433; 《面试题大全专栏》 &#x1f995; 文章图文…
阅读更多...
buuctf [极客大挑战 2019]Havefun1

buuctf [极客大挑战 2019]Havefun1

解题思路&#xff1a; 小习惯 本题先看看源码或者检查一下&#xff0c;可能这是俺的一个小习惯。 源码里面都看到了php的代码 php代码解析&#xff1a; $cat$_GET[cat]; echo $cat; if($catdog){ echo Syc{cat_cat_cat_cat}; } 1.$ca…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023