Hadoop3教程（二十九）：（生产调优篇）集群扩容及缩容（白名单与黑名单）

news2024/11/18 9:48:39

文章目录

  • （150）添加白名单
  • （151）服役新服务器
  • （152）服务器间数据均衡
  • （153）黑名单退役服务器
  • 参考文献

这一章还算是比较重要的。

（150）添加白名单

白名单：在白名单里的主机IP地址，就可以用来存储数据以及互相之间的通信等。一般企业都会配置集群白名单，防止黑客攻击。

相应的，集群里也有黑名单，下几节会讲。

在这里插入图片描述

配置白名单步骤如下，仅做了解，所以直接复制的教程内容：

1）在NameNode节点的/opt/module/hadoop-3.1.3/etc/hadoop目录下分别创建whitelist和blacklist文件

（1）创建白名单

[atguigu@hadoop102 hadoop]$ vim whitelist

在whitelist中添加如下主机名称，假如集群正常工作的节点为102 103 :

hadoop102
hadoop103

（2）创建黑名单

[atguigu@hadoop102 hadoop]$ touch blacklist

​ 暂时保持空的就可以

2）在hdfs-site.xml配置文件中增加dfs.hosts配置参数

<!-- 白名单 -->

<property>
   <name>dfs.hosts</name>
   <value>/opt/module/hadoop-3.1.3/etc/hadoop/whitelist</value>
</property>


<!-- 黑名单 -->

<property>
   <name>dfs.hosts.exclude</name>
   <value>/opt/module/hadoop-3.1.3/etc/hadoop/blacklist</value>
</property>

3）分发配置文件whitelist，hdfs-site.xml

[atguigu@hadoop104 hadoop]$ xsync hdfs-site.xml whitelist

4）第一次添加白名单必须重启集群，如果不是第一次，只需要刷新NameNode节点即可

[atguigu@hadoop102 hadoop-3.1.3]$ myhadoop.sh stop
[atguigu@hadoop102 hadoop-3.1.3]$ myhadoop.sh start

5）在web浏览器上查看DN，http://hadoop102:9870/dfshealth.html#tab-datanode\

在这里插入图片描述

6）在hadoop104上执行上传数据，失败

[atguigu@hadoop104 hadoop-3.1.3]$ hadoop fs -put NOTICE.txt /

7）二次修改白名单，增加hadoop104

[atguigu@hadoop102 hadoop]$ vim whitelist

修改为如下内容:

hadoop102
hadoop103
hadoop104

8）刷新NameNode

[atguigu@hadoop102 hadoop-3.1.3]$ hdfs dfsadmin -refreshNodes
Refresh nodes successful

9）在web浏览器上查看DN，http://hadoop102:9870/dfshealth.html#tab-datanode\

在这里插入图片描述

（151）服役新服务器

这个场景还是很重要的，因为随着公司业务的增长，数据量越来越大，对计算资源的需求也越来越大，所以原有的节点可能已经不能满足现有的需求，因此往往需要在原有集群基础上，动态添加新的数据节点。可以参照淘宝双11。

下面内容也仅做了解。

首先需要准备一台新的节点：

  • 在hadoop100主机上再克隆一台hadoop105主机；
  • 修改IP地址和主机名称
[root@hadoop105 ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33
[root@hadoop105 ~]# vim /etc/hostname
  • 拷贝hadoop102的/opt/module目录和/etc/profile.d/my_env.sh到hadoop105
[atguigu@hadoop102 opt]$ scp -r module/* atguigu@hadoop105:/opt/module/

[atguigu@hadoop102 opt]$ sudo scp /etc/profile.d/my_env.sh root@hadoop105:/etc/profile.d/my_env.sh

[atguigu@hadoop105 hadoop-3.1.3]$ source /etc/profile
  • 删除hadoop105上Hadoop的历史数据，data和log数据
[atguigu@hadoop105 hadoop-3.1.3]$ rm -rf data/ logs/
  • 配置hadoop102和hadoop103到hadoop105的ssh无密登录
[atguigu@hadoop102 .ssh]$ ssh-copy-id hadoop105

[atguigu@hadoop103 .ssh]$ ssh-copy-id hadoop105

接下来就是把这台新节点动态加入当前集群：

直接启动DataNode，即可关联到集群（所谓的动态，要的就是不需要重启集群）：

[atguigu@hadoop105 hadoop-3.1.3]$ hdfs --daemon start datanode
[atguigu@hadoop105 hadoop-3.1.3]$ yarn --daemon start nodemanager

在这里插入图片描述

如果集群没有配置白名单的话，到上一步就结束了，如图可以看到节点已经加进去了。

但是如果配置了白名单，则还需要在白名单中增加新的节点：

（1）在白名单whitelist中增加hadoop104、hadoop105，并重启集群

[atguigu@hadoop102 hadoop]$ vim whitelist

修改为如下内容:

hadoop102
hadoop103
hadoop104
hadoop105

（2）分发

[atguigu@hadoop102 hadoop]$ xsync whitelist

（3）刷新NameNode

[atguigu@hadoop102 hadoop-3.1.3]$ hdfs dfsadmin -refreshNodes
Refresh nodes successful

最后可以测试下，往105节点上上传文件：

[atguigu@hadoop105 hadoop-3.1.3]$ hadoop fs -put /opt/module/hadoop-3.1.3/LICENSE.txt /

在这里插入图片描述

可以看到，成功，且共有3个副本。

（152）服务器间数据均衡

基于数据本地性原则，如果在102上提交数据的话，102上一般会保留该数据一个副本，然后其他副本会分散在其他节点上。既然如此，那我如果经常在102上提交数据，那102上存储的数据势必会比其他节点更多，这种情况下就需要进行服务器间的数据均衡。

还有一种情况，就是新服役的节点，存储的数据量自然会比老节点要少，这时候也需要做服务器间的数据均衡。

在这里插入图片描述

开启数据均衡的命令：

[atguigu@hadoop105 hadoop-3.1.3]$ sbin/start-balancer.sh -threshold 10

对于参数10，代表的是集群中各个节点的磁盘空间利用率相差不超过10%，可根据实际情况进行调整。

停用数据均衡命令：

[atguigu@hadoop105 hadoop-3.1.3]$ sbin/stop-balancer.sh

需要注意，由于HDFS需要启动单独的Rebalance Server来执行Rebalance操作，所以尽量不要在NameNode所在节点执行start-balancer.sh，去找一台集群内比较空闲的机器，以免影响集群正常使用。

（153）黑名单退役服务器

什么是黑名单呢？

黑名单里的主机IP地址是不可以存储数据的。

相比白名单，黑名单的力度要弱一些，企业中一般是通过配置黑名单，用来动态退役服务器的（不需要重启集群）。

下面仅做了解，直接复制教程：

黑名单配置步骤如下：

1）编辑/opt/module/hadoop-3.1.3/etc/hadoop目录下的blacklist文件

[atguigu@hadoop102 hadoop] vim blacklist

添加如下主机名称（要退役的节点）

hadoop105

注意：如果白名单中没有配置，需要在hdfs-site.xml配置文件中增加dfs.hosts配置参数

<!-- 黑名单 -->

<property>

   <name>dfs.hosts.exclude</name>

   <value>/opt/module/hadoop-3.1.3/etc/hadoop/blacklist</value>

</property>

2）分发配置文件blacklist，hdfs-site.xml

[atguigu@hadoop104 hadoop]$ xsync hdfs-site.xml blacklist

3）第一次添加黑名单必须重启集群，不是第一次，只需要刷新NameNode节点即可

[atguigu@hadoop102 hadoop-3.1.3]$ hdfs dfsadmin -refreshNodes

Refresh nodes successful

4）检查Web浏览器，退役节点的状态为decommission in progress（退役中），说明数据节点正在复制块到其他节点

在这里插入图片描述

在这里插入图片描述

5）等待退役节点状态为decommissioned（所有块已经复制完成），停止该节点及节点资源管理器。注意： 如果副本数是3，服役的节点小于等于3，是不能退役成功的，需要修改副本数后才能退役

在这里插入图片描述

[atguigu@hadoop105 hadoop-3.1.3]$ hdfs --daemon stop datanode
stopping datanode

[atguigu@hadoop105 hadoop-3.1.3]$ yarn --daemon stop nodemanager
stopping nodemanager

6）如果数据不均衡，可以用命令实现集群的再平衡

[atguigu@hadoop102 hadoop-3.1.3]$ sbin/start-balancer.sh -threshold 10

参考文献

  1. 【尚硅谷大数据Hadoop教程，hadoop3.x搭建到集群调优，百万播放】

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1117534.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

Kotlin(七) 接口

Kotlin(七) 接口

接口是用于实现多态编程的重要组成部分。我们都知道&#xff0c;Java是单继承结构的语言&#xff0c;任何一个类最多只能继承一个父类&#xff0c;但是却可以实现任意多个接口&#xff0c;Kotlin也是如此。 首先创建一个Study接口&#xff0c;在创建文件窗口选择“Interface…
阅读更多...
1688店铺所有商品数据接口及店铺商品数据分析

1688店铺所有商品数据接口及店铺商品数据分析

获取1688店铺所有商品数据的接口是1688开放平台提供的接口&#xff0c;通过该接口可以获取店铺所有商品数据。 通过1688开放平台接口获取店铺所有商品数据的方法如下&#xff1a; 在开放平台注册成为开发者并创建一个应用&#xff0c;获取到所需的 App Key 和 App Secret 等信…
阅读更多...
【公益案例展】联想集团青梅计划

【公益案例展】联想集团青梅计划

‍ 联想集团公益案例 本项目案例由联想集团投递并参与数据猿与上海大数据联盟联合推出的 #榜样的力量# 《2023中国数据智能产业最具社会责任感企业》榜单/奖项”评选。 ‍数据智能产业创新服务媒体 ——聚焦数智 改变商业 在全面实现社会主义现代化国家的目标下&#xff0c;中…
阅读更多...
重要文件怎么加密？文件加密软件哪个好用？

重要文件怎么加密？文件加密软件哪个好用？

当我们在使用电脑的过程中&#xff0c;我们需要使用到很多重要文件&#xff0c;为了保护文件的安全&#xff0c;我们需要进行加密保护。那么&#xff0c;重要文件该怎么加密呢&#xff1f;下面我们就一起来了解一下。 文件夹加密超级大师 文件夹加密超级大师是一款专业的电脑数…
阅读更多...
一文了解线上展厅如何制作，线上展厅制作需要注意什么

一文了解线上展厅如何制作，线上展厅制作需要注意什么

引言&#xff1a; 随着数字化时代的来临&#xff0c;线上展厅已成为宣传营销的重要工具&#xff0c;让您能够展示产品、服务和品牌的独特之处。如何制作线上展厅&#xff0c;包括必须注意的因素成了很多人关注的重点。 一&#xff0e;制作线上展厅的步骤 1.确定展厅目标和内容…
阅读更多...
Nacos 401 Client not connected

Nacos 401 Client not connected

jar包在本地运行没有问题&#xff0c;但是把包放到linux上就运行不起来&#xff0c;报错如下&#xff08;远程debug截的图&#xff09; 后来看到文章-猜测可能和连接时间有关系 就是本地连接快&#xff0c;linux建立连接慢&#xff0c;采用上面文章的人工强制sleep建议&#…
阅读更多...
基础gdb操作【Linux】

基础gdb操作【Linux】

基础gdb操作【Linux】 一.gdb1.1 什么是gdb1.2 安装gdb1.3 如何进入gdb模式1.3.1 release/debug1.3.2 进入debug1.3.3 进入gdb调试模式 二.基础操作2.0 list 行号和 r2.0.1 list 行号2.0.1 r/run 2.1 断点操作2.1.0 打断点2.1.1 查看断点信息2.1.2 删除断点2.1.2 断点开关闭 2.…
阅读更多...
Kibana开发工具安装

Kibana开发工具安装

版本说明 名称版本备注kibana kibana-7.7.1-linux-x86_64.tar.gz 安装配置 tar -zxvf kibana-7.7.1-linux-x86_64.tar.gz -C /usr/local/ cd /usr/local/ mv kibana-7.7.1-linux-x86_64/ kibana-7.7.1/ #编辑配置文件&#xff0c;在末尾添加 vim /usr/local/kibana-7.7.1/con…
阅读更多...
深入理解环境变量

深入理解环境变量

前言 指令就是可执行程序&#xff0c;当我们运行自己的可执行程序时&#xff0c;需要用./来指定路径&#xff0c;可是为什么运行指令时不用指定路径呢&#xff1f;这就是环境变量的作用。 一.常见环境变量 环境变量是在程序运行期间需要用到的具有特定功能的一组变量&#x…
阅读更多...
来看看如何使用CLOUDFARE_实现网络聚合_利用安全的网络协议实现网络通讯---工具箱工作笔记002

来看看如何使用CLOUDFARE_实现网络聚合_利用安全的网络协议实现网络通讯---工具箱工作笔记002

下面这个操作是需要进行安全网络下操作的 首先需要去访问https://1.1.1.1这样一个网站然后去下载对应的软件，安装上 首先进入这个网址 www.cloudflare.com 去点击注册 注册以后 然后登录，登录以后，然后左侧有个zero trust 然后再去写一个名字，团队的名字 然后选择也是免…
阅读更多...
win11快速打开蓝牙设置的方法

win11快速打开蓝牙设置的方法

win11快速打开蓝牙设置的方法 Windows 11 中快速连接蓝牙设备的 3 种方法&#xff01;_哔哩哔哩_bilibili 如何为Windows设置快捷键&#xff1f;_百度知道 (baidu.com) Win11怎么隐藏文件夹?Win11通过命令隐藏文件夹的方法_windows11_Windows系列_操作系统_脚本之家 (jb51.net…
阅读更多...
2020年江西省职业院校技能大赛软件测试技能竞赛方案（高职组）

2020年江西省职业院校技能大赛软件测试技能竞赛方案（高职组）

2020年江西省职业院校技能大赛 软件测试技能竞赛方案&#xff08;高职组&#xff09; 各高等职业院校&#xff1a; 根据江西省教育厅《关于举办2020年江西省职业院校技能大赛的通知》&#xff08;赣教职成字〔2020〕19号&#xff09;文件精神&#xff0c;现举办2020年江西省职业…
阅读更多...
【软考】11.1 生命周期/CMM/开发模型

【软考】11.1 生命周期/CMM/开发模型

《信息系统生命周期》 软件工程的基本要素&#xff1a;方法、工具、过程 五阶段生命周期的定义和输出 规划 ——> 分析 ——> 设计 ——> 实施 ——> 运行和维护系统分析阶段&#xff1a;逻辑设计 ——> 逻辑模型系统设计阶段&#xff1a;物理设计 ——> 物…
阅读更多...
常用的设计模式以及操作Redis、MySQL数据库、各种MQ、数据类型转换的方法

常用的设计模式以及操作Redis、MySQL数据库、各种MQ、数据类型转换的方法

文章目录 &#x1f31f; 如何优雅地写出高质量的Java代码&#x1f34a; 设计模式&#x1f389; 单例模式&#x1f389; 工厂模式&#x1f389; 观察者模式 &#x1f34a; 操作Redis&#x1f389; 连接Redis&#x1f389; 存储数据&#x1f389; 获取数据&#x1f389; 删除数据…
阅读更多...
SpringBoot环境搭建与初创程序

SpringBoot环境搭建与初创程序

一&#xff1a;IDEA环境准备 IDEA社区版版本: 2021.1-2022.1.4 IDEA专业版版本: 无要求 &#x1f31f;如果个人电脑安装的IEDA不在这个范围&#xff0c;需要卸载重新安装&#xff1b;且⼀定要删除注册表 参考文章➜IDEA卸载和删除注册表 二&#xff1a; Maven (1)Maven的概念…
阅读更多...
Java练习题-输出斐波那契(Fibonacci)数列

Java练习题-输出斐波那契(Fibonacci)数列

✅作者简介&#xff1a;CSDN内容合伙人、阿里云专家博主、51CTO专家博主、新星计划第三季python赛道Top1&#x1f3c6; &#x1f4c3;个人主页&#xff1a;hacker707的csdn博客 &#x1f525;系列专栏&#xff1a;Java练习题 &#x1f4ac;个人格言&#xff1a;不断的翻越一座又…
阅读更多...
CSS3属性详解（一）文本 盒模型中的 box-ssize 属性 处理兼容性问题：私有前缀 边框 背景属性 渐变 前端开发入门笔记（七）

CSS3属性详解（一）文本 盒模型中的 box-ssize 属性 处理兼容性问题：私有前缀 边框 背景属性 渐变 前端开发入门笔记（七）

CSS3是用于为HTML文档添加样式和布局的最新版本的层叠样式表&#xff08;Cascading Style Sheets&#xff09;。下面是一些常用的CSS3属性及其详细解释&#xff1a; border-radius&#xff1a;设置元素的边框圆角的半径。可以使用四个值设置四个不同的圆角半径&#xff0c;也可…
阅读更多...
自动化测试08

自动化测试08

Junit 为什么学了Selenium还需学习Junit Selenium自动化测试框架&#xff1b;Junit单元测试框架。 拿着一个技术写自动化测试用例&#xff08;Selenium3&#xff09; 拿着一个技术管理已经编写好的测试用例&#xff08;Junit5&#xff09; Junit相关的技术 Junit是针对Java的一…
阅读更多...
Cesium Vue（五）— 绘制多边形

Cesium Vue（五）— 绘制多边形

1. 使用entity创建矩形 var rectangle viewer.entities.add({rectangle: {coordinates: Cesium.Rectangle.fromDegrees(// 西边的经度90,// 南边维度20,// 东边经度110,// 北边维度30),material: Cesium.Color.GREEN.withAlpha(0.8),},2. 使用primivite创建矩形 // primivite创…
阅读更多...
【公众号开发】Access Token的获取 · 请求公众号服务器创建自定义菜单 · 处理自定义菜单按钮事件

【公众号开发】Access Token的获取 · 请求公众号服务器创建自定义菜单 · 处理自定义菜单按钮事件

【公众号开发】&#xff08;3&#xff09; 文章目录 【公众号开发】&#xff08;3&#xff09;1. 获取Access token1.1 确定参数1.2 补全URL&#xff08;添加query string&#xff09;1.3 测试 2. 封装AccessToken以便保存与后期使用2.1 TokenUtils做出一些调整2.2 单例模式的A…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023