【大数据之Hadoop】二十五、生产调优-HDFS核心参数

news2024/10/7 14:22:26

1 NameNode内存生产配置

Hadoop3.x系列的NameNode内存是动态分配的,可以用jmap -heap 进程号 查看分配的内存。
在hadoop102中NameNode和DataNode的内存都是自动分配的,且相等。

根据经验:
NameNode最小值为1G,每增加1百万个物理块则增加1G内存。
DataNode最小值为4G,物理块的数量或者副本的数量增加都要增大DataNode的值,一个DataNode上的副本总数低于4百万则调为4G,超过4百万时每增加1百万的副本则增加1G内存。

配置文件:hadoop-env.sh

exportHDFS_NAMENODE_OPTS="-Dhadoop.security.logger=INFO,RFAS -Xmx1024m"
exportHDFS_DATANODE_OPTS="-Dhadoop.security.logger=ERROR,RFAS -Xmx1024m"

2 NameNode心跳并发配置

集群中有NameNode,DataNode需要向NameNode汇报注册相关信息,同时客户端也会向NameNode进行请求执行任务,所以NameNode需要准备多少个线程连接DataNode的汇报。
在这里插入图片描述
根据经验:dfs.namenode.handler.count=20xln(集群规模,即DataNode台数),比如此时台数为3,则应该设置20xln3=21。
配置文件:hdfs-site.xml

<--The number of Namenode RPC serverthreads that listen to requests from clients. Ifdfs.namenode.servicerpc-address is not configured then Namenode RPC server threadslisten to requests from all nodes.
NameNode有一个工作线程池,用来处理不同DataNode的并发心跳以及客户端并发的元数据操作。
对于大集群或者有大量客户端的集群来说,通常需要增大该参数。默认值是10。
-->
<property>
   <name>dfs.namenode.handler.count</name>
   <value>21</value>
</property>

3 开启回收站配置

开启回收站功能,可以将删除的文件在不超时的情况下,恢复原数据,起到防止误删除、备份等作用。

注意:从HDFS文件系统的网页上直接删除的文件和通过程序删除的文件不会回收到回收站。
在这里插入图片描述
参数说明:

(1)文件存活时间fs.trash.interval ,默认为0即禁用回收站,数值单位为分钟。

(2)检查回收站的间隔时间fs.trash.checkpoint.interval,默认为0即该值与文件存活时间fs.trash.interval 相等。

(3)要求:检查回收站的时间间隔要<=文件存活时间,即fs.trash.checkpoint.interval <= fs.trash.interval。

通过程序删除文件需要调用moveToTrash()才会回收到回收站。

Trash trash = New Trash(conf);
trash.moveToTrash(path);

通过命令行hadoop fs -rm 删除的文件会回收到回收站。
在这里插入图片描述
恢复回收站的数据:把回收站里的文件移出来。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/495985.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【JavaEE初阶】多线程带来的风险~线程安全

目录 &#x1f31f;观察线程不安全的现象 &#x1f31f;线程不安全的原因 &#x1f308;1、多个线程修改了同一个共享变量 &#x1f308;2、线程是抢占式执行的&#xff0c;CPU的调度是随机的 &#x1f308;3、指令执行时没有保证原子性 &#x1f308;4、多线程环境中内…

当无触控板和鼠标的情况下,如何开启触控板

背景&#xff1a;一次出行匆忙&#xff0c;忘记带鼠标&#xff0c;周围也无可用工具&#xff0c;主要是触控板当时也被我关闭了&#xff0c;下面讲述一下我是如何解决在没有鼠标的情况下开启触控板的。 首先我们开启电脑后&#xff0c; 存在两种思路去开启触控板 第一种方案…

加拿大访问学者签证材料清单

加拿大在教育、政府透明度、社会自由度以及生活品质等方面在国际上排名名列前茅&#xff0c;出于环境、社会氛围等因素&#xff0c;不少学者将目光聚焦于这个北美的发达国家。加拿大的访问学者签证属于工作签证&#xff0c;过去只要有邀请函就可以办理&#xff0c;但是自去年2月…

Python:Python底层原理:Python的整数是如何实现的

Python整数在底层存储方式 1. Python整数在底层对应的结构体 PyLongObject2.整数是怎么存储的2.1 整数0存储2.2 整数12.3 整数-12.4. 2**30 -12.5 . 2**302.6 . ob_digit[a, b, c] 对应整数计算 计算整数所占内存大小总结 Python的底层是C/C &#xff0c;但是 C/C 能表示的整数…

Linux挂载新磁盘到根目录

添加磁盘到需要挂载的机器上 lsblk查看硬盘挂载情况&#xff0c;sdb,sdc为我新挂载的磁盘 fdisk -l查看挂载之前的分区情况 为新硬盘创建分区 fdisk /dev/sdb 终端会提示&#xff1a; Command &#xff08;m for help&#xff09;&#xff1a;输入&#xff1a;n 依次输入p…

【HTTPS】

HTTP明文传输问题 窃听风险&#xff0c;比如通信链路上可以获取通信内容&#xff0c;用户号容易没。篡改风险&#xff0c;比如强制植入垃圾广告&#xff0c;视觉污染&#xff0c;用户眼容易瞎。冒充风险&#xff0c;比如冒充淘宝网站&#xff0c;用户钱容易没。 TLS协议解决H…

【雅可比左乘右乘】

常见雅可比左乘&#xff08;以自变量R为例子&#xff0c;围绕旋转点p的旋转点的左扰动雅可比&#xff09;&#xff1a; 旋转点的右扰动雅可比&#xff08;右乘&#xff09;&#xff1a; 左雅可比和右雅可比之间的区别在于它们各自描述了不同的变换方向。左雅可比将输入空…

硬件-6-基站和移动通信系统的演进

1G、2G、3G、4G、5G 移动通信技术发展简史 1 移动通信系统简介 移动通信系统从第一代移动通信系统(1G)开始逐渐发展&#xff0c;目前已经发展到第四代移动通信系统(4G)&#xff0c;第五代移动通信系统(5G)也已经开始标准化&#xff0c;预计2020年商用&#xff0c;6G预计2030年…

Linux网络架构: XDP, iptables/netfilter和iproute2/tc/ip/Qdiscs

本文目录 1、架构框图2、网络架构分成三大块3、网络架构-----对应的配置工具-----对应的原理与概念 说到Linux的网络架构&#xff0c;就离不开谈。。。这些东西。这几个概念很容易混淆起来&#xff0c;但如果仔细去看&#xff0c;就会发现这个Linux的网络架构的设计其实是非常简…

10:00面试,10:04就出来了 ,问的实在是太...

从外包出来&#xff0c;没想到竟然死在了另一家厂子 自从加入这家公司&#xff0c;每天都在加班&#xff0c;钱倒是给的不少&#xff0c;所以我也就忍了。没想到12月一纸通知&#xff0c;所有人都不许加班&#xff0c;薪资直降30%&#xff0c;顿时有吃不起饭的赶脚。 好在有个…

建筑专业可以转行学云计算吗?

当然可行。 在过去的几年中&#xff0c;我们已经帮助很多建筑土木工程专业的同学转行学习云计算技术&#xff0c;尤其是在建筑信息化编程方向。近年来&#xff0c;云计算行业持续发展&#xff0c;涉及到众多领域&#xff0c;如云数据中心、云安全、云存储、云计算机服务等。云…

管好【SD-WEBUI】中大量的模型:名称+预览图+备注

文章目录 &#xff08;零&#xff09;前言&#xff08;一&#xff09;模型&#xff08;1.1&#xff09;模型名称&#xff08;文件名&#xff09;&#xff08;1.2&#xff09;模型缩略图&#xff08;1.3&#xff09;模型备注文字&#xff08;1.4&#xff09;模型详细信息 &#…

国民技术N32G430开发笔记(18)- I2C1 从机收发数据

I2C1 从机收发数据 1、将PB6 PB7设置为i2c从机&#xff0c;跟android板卡通讯。 2、Android发送 写命令&#xff1a; 0x05 0x02 0x00 0x00 checksum n32将收到的命令打印出来 读版本命令&#xff1a; 0x01 0x02 0x00 0x00 checksum n32将app_version返回电视端 3、i2c从机配置…

MTK6765安卓智能模组5G核心板联发科MTK方案主板开发板

联发科MTK6765这是一款12纳米八核A53处理器&#xff0c;最高运行速度可达2.3GHz。它使用Android 9.0操作系统&#xff0c;配备2G16G内存&#xff0c;也支持其他选项1G/3G/4G8G/32G/64G。 此外&#xff0c;它支持全球主流频段&#xff0c;包括默认的国内频段以及2G GSM、2G/3G E…

【Android取证篇】ADB端口驱动更新详细步骤

【Android取证篇】ADB端口驱动更新详细步骤 更新ADB端口驱动&#xff0c;解决无法连接设备问题—【蘇小沐】 1、【记录VID】路径&#xff1a;设备管理器->便携设备->属性->&#xff08;记录&#xff09;VID 查看设备的VID 2、添加设备ID&#xff08;VID&#xff09…

Sass 总结

文章目录 Sass 总结概述编译.scss 和 .sass变量数据类型属性值变量属性名变量 嵌套规则基本嵌套& 父选择器标识符嵌套属性 import 导入导入Sass文件私有化导入原生CSS文件 mixin 混合器无参数带参数命名参数关键字参数可变参数content 混入内容 extend 继承media 媒体查询控…

hbase查询报错unable to find region for

某天由于集群资源不足。hbase大面积 region server 负载爆炸卡死&#xff0c;隔天发现部分查询报错 集群中一张表某些查询找不到region 尝试了重启集群和滚动重启集群&#xff0c;考虑滚动重启的过程会把regionserver上的region迁出和迁入。试试能不能修复&#xff0c;果断的…

自定义项目Jar上传到maven中央仓库(一步到位)

中央仓库 Open Source Software Repository Hosting 简称 OSSRH 实现目标&#xff1a;将自定义项目上传至maven中央仓库&#xff0c;其他人只需引入maven坐标即可直接使用 上传步骤&#xff1a;亲测有效 注册账号&#xff08;去它平台&#xff09;提交工单&#xff08;叫它做事…

USB HS-PHY眼图调试

1 USB2 PHY AFE 1.1 USB 2.0 FS PHY github ultraembedded / core_usb_fs_phy NOP USB transceiver for all USB transceiver which are either built-in into USB IP or which are mostly autonomous. 1.2 电阻参数 USB host端&#xff1a;D和D-各接一个15kΩ的下拉电阻&#…

数据结构学习记录——堆的建立(最大堆的建立、思路图解、代码实现、代码解释)

目录 最大堆的建立 方法1 方法2 思路图解 代码实现 代码解释 PercDown BuildHeap 最大堆的建立 建立最大堆&#xff1a;将已经存在的N个元素按最大堆的要求存放在一个一维数组中。 方法1 通过插入操作&#xff0c;将N个元素一个一个地插入到一个初始为空的堆中去。…