Hdfs小文件治理策略以及治理经验

news2024/10/6 10:32:34

小文件是 Hadoop 集群运维中的常见挑战，尤其对于大规模运行的集群来说可谓至关重要。如果处理不好，可能会导致许多并发症。Hadoop集群本质是为了TB,PB规模的数据存储和计算因运而生的。为啥大数据开发都说小文件的治理重要，说HDFS 存储小文件效率低下，比如增加namenode负载等，降低访问效率等？究竟本质上为什么重要？以及如何从本质上剖析小文件，治理小文件呢？今天就带你走进小文件的世界。

 1. 什么是小文件？

日常生产中HDFS上小文件产生是一个很正常的事情，有些甚至是不可避免，比如jar，xml配置文件，tmp临时文件，流式任务等都是小文件的组成部分。当然更多的是因为集群设置不合理，造成一些意料之外的小文件产生。实际公司生产中对于小文件的大小没有一个统一的定义。一般公司集群的blocksize的大小在128/256两者居多。首先小文件大小肯定是要远小于blocksize的文件。一般公司小文件的大小定义如1Mb，8Mb,甚至16Mb，32Mb更大。根据公司实际集群状态定义，因为有些情况合并小文件需要消耗额外的资源。

既然剖析小文件，那么不可避免的要先剖析hdfs的存储原理。众多周知了，HDFS上文件的数据存储分为namenode元数据管理和实际数据文件。hdfs上的数据文件被拆分成块block，这些块block在整个集群中的datanode的本地文件系统上存储和复制，每个块也维护者自己的blockmeta信息。namenode主要维护这些文件的元数据信息，具体namenode的解析参考我的其他博客。

如下一个某个文件的某个block在data上存储的情况。

2.小文件的危害

2.1 小文件对namenod的影响

如下图1，一个文件192Mb，默认blocksize=128Mb，副本个数为3,存储为2个block。

如下图2,同样一个文件192Mb，默认blocksize=128Mb，副本个数为3,存储为192个block

 namenode的namespace中主要占存储对象是文件的目录个数，文件（文件名长度）以及文件block数。根据namenode实际使用经验来看，一个存储对象大概占用150字节的空间。HDFS上存储文件占用的namenode内存计算公式如下：

Memory=150bytes*(1个文件inode+(文件的块数*副本个数))

如上图1 ， 一个文件192Mb，默认blocksize=128Mb，副本个数为3,存储为2个block,需要namenode内存=150*（1+2*3）=1050  Bytes

同理图2， 一个文件192Mb，默认blocksize=128Mb，副本个数为3,存储为192个block，需要namenode内存=150 x (192 + (192 x 3)) = 115200 Bytes


总结

  1. 从上面可以看出，同样的一个文件，大小不同形态的存储占用namenode的内存之比相差了109倍之多。所以如果对于单namenode的集群来说，大量的小文件的会占用大量的namenode堆内存空间，给集群的存储造成瓶颈。有些人可能会说我们联邦，多组namenode不就没有这个问题了，其实不然，且往下看

  2. 当 NameNode 重新启动时(虽然生产上这种情况很少)，它必须将文件系统元数据fsimage从本地磁盘加载到内存中。这意味着如果 namenode 元数据很大，重启会更慢（以我们公司3亿block，5万多个文件对象来说，重启一次1.5小时，期间应用不可用）其次，datanode 还通过网络向 NameNode 报告块更改；更多的块意味着要通过网络报告更多的变化，等待时间更长。

  3. 更多的文件，更多的block,意味着更多的读取请求需要由 NameNode 提供服务,这将增加 RPC 队列和处理延迟，进而导致namenode性能和响应能力下降。官方介绍说接近 40K~50K RPCs/s 人为是极高的负载。实际使用来看比这低时对于namenode来说性能都会打很大的折扣。

2.2 小文件对datanode影响

文件的block存储是存储在datanode本地系统上，底层的磁盘上，甚至不同的挂载目录，不同的磁盘上。大量的小文件，意味着数据着寻址需要花费很多时间，尤其对于高负载的集群来说，磁盘使用率50%以上的集群，花费在寻址的时间比文件读取写入的时间更多。这种就违背了blocksize大小设计的初衷（实践显示最佳效果是：寻址时间仅占传输时间的1%）。这样会造成磁盘的读写会很慢，拥有大量小文件会导致更多的磁盘搜索。如下磁盘延迟：


2.3 小文件对计算的影响

基于HDFS文件系统的计算，blokc块是最小粒度的数据处理单元。块的多少往往影响应用程序的吞吐量。更多的文件，意味着更多的块，以及更多的节点分布。

比如以MapReduce任务为例（hive等），在 MapReduce 中，会为每个读取的块生成一个单独的 Map 任务，如果大量小文件，大量的块，意味着着更多任务调度，任务创建开销，以及更多的任务管理开销（MapReduce 作业的 application master 是一个 Java 应用，它的主类是 MRAppMaster。它通过创建一定数量的bookkeeping object跟踪作业进度来初始化作业，该对象接受任务报告的进度和完成情况）。虽然可以开启map前文件合并，但是这也需要不停地从不同节点建立连接，数据读取，网络传输，然后进行合并，同样会增加消耗资源和增加计算时间，成本也很高。

同样，如果是spark计算引擎，executor的一次读取和处理一个分区，默认情况下，每个分区是一个 HDFS 块，如果大量的小文件，每个文件都在不同的分区中读取，这将导致大量的任务调度开销，同时每个 CPU 内核的吞吐量降低。



3. 小文件的产生

  1. 流式数据，如flume,kafak,sparkstreaming,storm,flink等，流式增量文件，小窗口文件，如几分钟一次等。

  2. MapReduce引擎任务：如果纯map任务，大量的map；如果mapreduce任务，大量的reduce；两者都会造成大量的文件。出现这种情况的原因很多，果分布表的过度分区，输入大量的小文件，参数设置的不合理等，输出没有文件合并等。

  3. spark任务过度并行化，Spark 分区越多，写入的文件就越多。

  4. 文件的压缩与存储格式不合理；一般生产公司很少使用textfile这种低效的文件格式了。

使用压缩，降低文件的大小，同时也会降低文件的总块数。注意文件存储格式和压缩不合理只是加剧小文件问题，不是产生小文件的本质。

4. HDFS小文件监控

HDFS的fsimage是HDFS文件系统的一个重要组成部分，记录了HDFS文件系统的元数据信息，包括文件、目录、权限、块等信息。通过监控HDFS的fsimage，可以了解HDFS文件系统的整体情况，包括文件数量、文件大小、文件类型等信息，进而实现对HDFS小文件的监控和治理。

具体来说，可以通过以下步骤对HDFS小文件进行监控：

  1. 获取HDFS的fsimage：使用Hadoop自带的命令hdfs oiv -p XML -i fsimage命令获取HDFS的fsimage文件。该命令会将HDFS的fsimage文件以XML格式输出，包括HDFS中所有文件和目录的元数据信息；

  2. 解析fsimage文件：使用Python等脚本语言解析获取到的fsimage文件，提取其中的文件、目录、块等信息。可以使用Python的ElementTree模块等工具对XML文件进行解析，提取需要的信息；

  3. 统计文件数量和文件大小：根据解析后的文件信息，统计HDFS中小文件的数量和大小。通常可以根据文件大小和文件数量的阈值来定义小文件，例如文件大小小于128MB或文件数量小于1000个等；

  4. 可视化展示：使用可视化工具，如Grafana、Kibana等将统计结果进行可视化展示，以便于对HDFS小文件的监控和管理。

解析fsimage文件为txt文件

hdfs oiv -i  fsimage_0000000192578352133 -o /data2/data/fsimage/$day/fsimage.txt -p Delimited -t /data2/data/fsimage/$day/tmp1.

fsimage文件重要的字段释义

INODE_ID：文件或目录的唯一标识符；
NAME：文件或目录的名称；
PARENT_ID：父目录的INODE_ID；
MODIFICATION_TIME：最后修改时间；
ACCESS_TIME：最后访问时间；
BLOCK_IDS：文件的数据块ID列表；
BLOCK_SIZE：数据块大小；
NUM_BLOCKS：数据块数量；
PERMISSIONS：文件或目录的权限信息；
USER_NAME：文件或目录所属用户；
GROUP_NAME：文件或目录所属用户组；
SYMLINK：如果是符号链接，则包含符号链接的目标路径；
UNDER_CONSTRUCTION：如果文件正在写入中，则为true；
UNDER_RECOVERY：如果文件正在恢复中，则为true；
FILE_LENGTH：文件长度；
NS_QUOTA：命名空间配额；
DS_QUOTA：磁盘配额；
STORAGE_POLICY：存储策略。

通过编写脚本采集相关指标，并存入相关数据库，能够进行绘制可观测图，便于监控小文件的状态，便于后续进行小文件治理

5. HDFS小文件的治理方法

针对HDFS小文件的问题，有以下几种治理方法：

  1. 合并小文件：将多个小文件合并为一个大文件，减少文件数量。这种方法需要注意文件的内容和格式，以免合并后的文件无法使用或者存在数据丢失等问题；

  2. 压缩文件：将多个小文件压缩为一个压缩包，减少存储空间。这种方法可以使用Hadoop自带的压缩工具，如gzip、bzip2等；

  3. 删除无用文件：删除不再需要的小文件，释放存储空间；

  4. 设置文件过期时间：对于不再需要的文件，可以设置其过期时间，自动删除过期文件；

  5. 使用SequenceFile：使用Hadoop自带的SequenceFile格式存储小文件，将多个小文件合并到一个SequenceFile中，以减少文件数量，提高处理效率。

通常可以通过应用层，进行合并小文件、删除过期无用文件、转移小文件到其他存储媒介等方式，减少和治理hdfs中的小文件，以提升hdfs集群的稳定性。

针对如上办法进行治理方法如下

  1. 合并小文件：对于日志文件等大量的小文件，可以使用Hadoop自带的合并工具将多个小文件合并为一个大文件。下面是通过hive的重写方式合并小文件，核心参数如下；

set hive.input.format = org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;
set hive.merge.mapfiles = true;
set hive.merge.mapredfiles = true;
set hive.merge.smallfiles.avgsize=256000000;
set hive.merge.size.per.task=12800000;
set mapred.max.split.size=256000000;
set mapred.min.split.size=64000000;
set mapred.min.split.size.per.node=64000000;
set mapred.min.split.size.per.rack=64000000;1.2.3.4.5.6.7.8.9.

  1. 压缩文件：对于大量的小文件，可以使用压缩工具将多个小文件压缩为一个压缩包，以减少存储空间。例如，使用gzip或bzip2压缩工具压缩文件，在HDFS上存储压缩文件，以减少存储空间和文件数量；

  2. 删除无用文件：对于不再需要的小文件，可以使用Hadoop自带的命令hadoop fs -rm命令删除文件，或者使用定时任务脚本定期删除过期文件； 

  3. 设置文件过期时间：使用hadoop fs -touchz命令设置文件的过期时间，当文件过期后，自动删除文件。例如，使用hadoop fs -touchz命令设置文件的过期时间为30天，当文件超过30天未被访问时，自动删除文件；

  4. 使用SequenceFile：对于大量的小文件，可以使用SequenceFile格式存储文件，将多个小文件合并成一个SequenceFile文件。例如，使用Hadoop自带的SequenceFile.Writer类将多个小文件写入SequenceFile文件中，以减少存储空间和文件数量。

6. 疑问和思考

暂无

7. 参考文档

暂无

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1640764.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

LeetCode 139 —— 单词拆分

LeetCode 139 —— 单词拆分

阅读目录 1. 题目2. 解题思路3. 代码实现 1. 题目 2. 解题思路 定义 d p [ i ] dp[i] dp[i] 表示 s [ 0 , i ] s[0, i] s[0,i] 是否可以被字典中出现的单词拼接，那么状态转移方程为： d p [ i ] t r u e ，如果存在任意 j ∈ [ 0 , i − 1…
阅读更多...
无人机+飞行汽车：低空经济新引擎，有望爆发式增长

无人机+飞行汽车：低空经济新引擎，有望爆发式增长

无人机和飞行汽车作为低空经济的新引擎，正在引领一场全新的交通革命。随着技术的不断进步和政策的支持，低空经济有望成为未来经济发展的重要领域，实现爆发式增长。 首先，无人机和飞行汽车具有独特的优势和应用场景。无人机可以在…
阅读更多...
数据结构与算法-单向环形链表与约瑟夫问题

数据结构与算法-单向环形链表与约瑟夫问题

1.简介 单向环形链表&#xff0c;闭合的形成一个环。 单向环形链表的一个应用场景是约瑟夫问题。 约瑟夫问题为&#xff1a;设编号为1&#xff0c;2&#xff0c;…&#xff0c;n的n个人围坐一圈&#xff0c;约定编号为k(1<k<n)的人从1开始报数&#xff0c;数到m的那个人…
阅读更多...
可完成两个变量数值的交换的两种方式【swap函数定义及调用的两种方式】

可完成两个变量数值的交换的两种方式【swap函数定义及调用的两种方式】

既然传值调用无法完成两个变量数值的交换&#xff0c;那么可完成该任务的正确方式有以下两种&#xff1a; 方式一&#xff1a;传址调用 //方式一&#xff1a;传址调用 #include <stdio.h>void swap(int* p1, int* p2);int main() {int a 5;int b 9;int* pointer_1 &…
阅读更多...
【iOS】pthread、NSThread

【iOS】pthread、NSThread

文章目录 前言一、pthread 使用方法pthread 其他相关方法 二、 NSThread创建、启动线程线程相关用法线程状态控制方法NSThread 线程安全和线程同步场景 线程的状态转换 前言 五一这两天准备将GCD相关的知识完&#xff0c;同时NSOperation与NSThread、pthread也是相关知识&…
阅读更多...
240503-关于Unity的二三事

240503-关于Unity的二三事

240503-关于Unity的二三事 1 常用快捷键 快捷键描述CtrlP播放/停止Ctrl1打开Scene窗口Ctrl2打开Game窗口Ctrl3打开Inspect窗口Ctrl4打开Hierarchy窗口Ctrl5打开Project窗口Ctrl6打开Animation窗口 2 关联VisualStudio2022 3 节约时间&#xff1a;将最新声明的参数移动到最上…
阅读更多...
MySQL-集群1

MySQL-集群1

一、为什么要用mysql集群&#xff1f;&#xff1a; mysql单体架构在企业中很少用&#xff0c;原因&#xff1a;①会形成单点故障&#xff0c;没有高可用的效果&#xff1b;②mysql本身是一个I/O能力比较差&#xff0c;并发能力比较差的应用服务&#xff0c;在较高规模的网络I/…
阅读更多...
C#知识|将选中的账号信息展示到控制台（小示例）

C#知识|将选中的账号信息展示到控制台（小示例）

哈喽，你好啊，我是雷工！ 上篇学习了控件事件的统一关联， 本篇通过实例练习继续学习事件统一处理中Tag数据获取、对象的封装及泛型集合List的综合运用。 01 实现功能 在上篇的基础上实现，点击选中喜欢的账号，选中按钮底色变为蓝色，当选择完毕，点击保存选择时，将选中的…
阅读更多...
Java InputStream实战指南：轻松读取、操作文件流

Java InputStream实战指南：轻松读取、操作文件流

哈喽&#xff0c;各位小伙伴们&#xff0c;你们好呀&#xff0c;我是喵手。运营社区&#xff1a;C站/掘金/腾讯云&#xff1b;欢迎大家常来逛逛 今天我要给大家分享一些自己日常学习到的一些知识点&#xff0c;并以文字的形式跟大家一起交流&#xff0c;互相学习&#xff0c;一…
阅读更多...
Themis新篇章：老牌衍生品协议登陆Blast L2，探索全新经济模型

Themis新篇章：老牌衍生品协议登陆Blast L2，探索全新经济模型

本文将深入分析 Themis 的最新经济模型&#xff0c;探讨其核心概念和机制、优势与创新之处、风险与挑战。 一、引言 随着区块链技术的不断发展&#xff0c;DeFi 衍生品项目逐渐成为市场的焦点。而用户体验的革新&#xff0c;进一步的金融创新&#xff0c;去中心化治理方案的优…
阅读更多...
Sharding Capital: 为什么投资全链流动性基础设施 Entangle ？

Sharding Capital: 为什么投资全链流动性基础设施 Entangle ？

写在前面&#xff1a;Entangle 项目的名称取自于量子纠缠(Quantum entanglement)&#xff0c;体现了项目对于构建连接、关联和互通的愿景。就像量子纠缠将不同的粒子联系在一起&#xff0c;Entangle 旨在通过其跨链流动性和合成衍生品的解决方案将不同的区块链网络连接在一起&a…
阅读更多...
Redis高并发可用-主从复制，集群

Redis高并发可用-主从复制，集群

Redis高并发可用 1 复制 默认情况下&#xff0c;Redis都是主节点。每个从节点只能有一个主节点&#xff0c;而主节点可以同时具有多个从节点。复制的数据流是单向的&#xff0c;只能由主节点复制到从节点。 1.1 复制的拓扑结构 一主一从&#xff1a; 主一从结构是最简单的…
阅读更多...
Go 语言（三）【面向对象编程】

Go 语言（三）【面向对象编程】

1、OOP 首先&#xff0c;Go 语言并不是面向对象的语言&#xff0c;只是可以通过一些方法来模拟面向对象。 1.1、封装 Go 语言是通过结构体&#xff08;struct&#xff09;来实现封装的。 1.2、继承 继承主要由下面这三种方式实现&#xff1a; 1.2.1、嵌套匿名字段 //Add…
阅读更多...
ue引擎游戏开发笔记（28）——实现第三人称越肩视角

ue引擎游戏开发笔记（28）——实现第三人称越肩视角

1.需求分析 实现一个第三人称越肩视角 2.操作实现 1.思路&#xff1a;建立一个弹簧臂和摄像机&#xff0c;调整两者位置达到越肩效果。 2.直接在蓝图操作&#xff1a;添加摄像机和弹簧臂&#xff1a; 3.对弹簧臂勾选使用pawn控制旋转&#xff0c;并适当调整摄像机和弹簧臂位置…
阅读更多...
QT：输入类控件的使用

QT：输入类控件的使用

LineEdit 录入个人信息 #include "widget.h" #include "ui_widget.h" #include <QDebug> #include <QString>Widget::Widget(QWidget *parent): QWidget(parent), ui(new Ui::Widget) {ui->setupUi(this);// 初始化输入框ui->lineEdit…
阅读更多...
电脑崩溃了，之前备份的GHO文件怎么恢复到新硬盘？

电脑崩溃了，之前备份的GHO文件怎么恢复到新硬盘？

前言 之前咱们说到用WinPE系统给电脑做一个GHO镜像备份&#xff0c;这个备份可以用于硬盘完全崩溃换盘的情况下使用。 那么这个GHO镜像文件怎么用呢&#xff1f; 咱们今天详细来讲讲&#xff01; 如果你的电脑系统硬盘崩溃了或者是坏掉了&#xff0c;那么就需要使用之前备份…
阅读更多...
Git的基本操作和使用

Git的基本操作和使用

git分支指令 列出所有本地分支 git branchmaster是绿的 前面有个 表示当前分支是master* 列出所有远程分支 git branch -r列出所有本地分支和远程分支 git branch -a新建一个分支&#xff0c;但依然停留在当前分支 git branch [branch-name]新建一个分支&#xff0c;并切…
阅读更多...
Redis__三大日志

Redis__三大日志

文章目录 &#x1f60a; 作者&#xff1a;Lion J &#x1f496; 主页&#xff1a; https://blog.csdn.net/weixin_69252724 &#x1f389; 主题&#xff1a;Redis__三大日志 ⏱️ 创作时间&#xff1a;2024年04月30日 ———————————————— 对于MySQL来说, 有…
阅读更多...
政安晨：【Keras机器学习示例演绎】（三十）—— 使用变换器进行视频分类

政安晨：【Keras机器学习示例演绎】（三十）—— 使用变换器进行视频分类

目录 数据收集 设置 定义超参数 数据准备 构建基于变换器的模型 培训的效用函数 模型训练和推理 政安晨的个人主页&#xff1a;政安晨 欢迎 &#x1f44d;点赞✍评论⭐收藏 收录专栏: TensorFlow与Keras机器学习实战 希望政安晨的博客能够对您有所裨益&#xff0c;如有不…
阅读更多...
C语言/数据结构——每日一题（环形链表的约瑟夫问题）

C语言/数据结构——每日一题（环形链表的约瑟夫问题）

一.前言 今天在牛客网上面看到了一道环形链表题&#xff0c;想着和大家们分享一下。可能我有点笨&#xff0c;那道题的链接我没搞好&#xff0c;所以很抱歉&#xff0c;只能麻烦大家们看一下截屏的题目信息了。废话不多数&#xff0c;让我们开始今天的题目分享吧。 二.正文 …
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023