分布式文件系统HDFS(林子雨慕课课程)

news2024/11/26 23:25:50

文章目录

    • 3. 分布式文件系统HDFS
      • 3.1 分布式文件系统HDFS简介
      • 3.2 HDFS相关概念
      • 3.3 HDFS的体系结构
      • 3.4 HDFS的存储原理
      • 3.5 HDFS数据读写
        • 3.5.1 HDFS的读数据过程
        • 3.5.2 HDFS的写数据过程
      • 3.6 HDFS编程实战

3. 分布式文件系统HDFS

3.1 分布式文件系统HDFS简介

  • HDFS就是解决海量数据的分布式存储问题
    ​ image-20231007184204043

  • 为什么会出现分布式文件系统？

    image-20231007184422101

  • 计算机集群基本架构

    • 每个机架由若干个节点构成

    image-20231007185008914

  • 机架的内部之间是通过光纤交换机进行连接，机架与机架通过带宽更高的光纤交换机进行连接

    image-20231007185237064

  • 分布式文件系统的存储结构

    • 主节点存储相关的元数据服务：目录存储服务，从节点需要完成相关的数据存储任务

      image-20231007185455319

  • HDFS是非常流行的一个分布式存储系统

    image-20231007185555670

  • HDFS实现的目标

    • 兼容廉价的硬件设备
    • 实现流数据读写
    • 支持大数据集
    • 支持简单的文件模型
    • 强大的跨平台兼容性：基于JAVA语言开发，JAVA语言有着良好的跨平台特性

  • HDFS局限性

    • 不适合低延迟数据访问：不能满足实时的处理需求
    • 无法高效存储大量小文件：因为HDFS是通过元数据指引到客户端的哪个节点找文件，这些namenode会被保存到内存中去，到内存中检索索引数据结构，如果小文件太多，这个索引结构会过于庞大，在索引结构中搜索的效率会越来越低
    • 不支持多用户写入以及任意修改文件

3.2 HDFS相关概念

  • 块的概念

    • 块的大小比普通文件系统大很多，普通文件系统可能几字节，它可以达到64M或者128M

    image-20231007190438988

    • HDFS采用这种抽象的块的概念设计好处？为什么要这样设计块？
      • 为了支持面向大规模的数据存储：对大文件进行切割，可以分别存储在不同的数据节点，可以突破单机存储的上线
      • 简化系统设计：通过块设计方便元数据管理，块大小固定，可以很容易知道一个文件需要几个块进行存储
      • 适合数据备份：一个块可以冗余的存储到多个不同的节点上
      • 同时降低分布式节点的寻址开销：访问HDFS数据需要经过三级寻址：元数据目录–>数据节点–>取数据
    • 块是否是设置的越大越好？
      • 不是，如果块过大会导致MapReduce就一两个任务时，在执行完全牺牲了MapReduce的并行度，发挥不了分布式并行处理的效果

  • HDFS的两大组件

    • 名称节点（NameNode）:整个HDFS集群的管家，假如客户端访问一个特别大的文件，通过NameNode可以知道这个大文件的每一个块被放置在哪个机器节点之上

    • 数据节点（DateNode）:负责存储实际数据，将数据保存到本地的Linux文件系统中去

      image-20231007191635266

  • 元数据的作用？

    image-20231007191714382

  • 名称节点包含的两大结构：FsImage和EditLog

    image-20231007191912022

    • FsImage包含内容

      注意FsImage不保存块具体在数据节点的位置，这个在单独的内存区域维护的

      数据节点中加入新数据–>向名称节点汇报数据节点中包含哪些块–>名称节点构建清单：包含各个块的位置分布

      image-20231007192051935

  • HDFS要如何利用NameNode的数据结构

    • shell命令启动NameNode–>将FsImage从后台加载到内存中去，和EditLog中的内容进行合并（对数据结构的修改记录存储在EditLog中）–>得到最新元数据–>将新版FsImage保留，创建空的EditLog
    • EditLog永远保存的是更新操作（增量操作），然后再将EditLog合并到FsImage中去

image-20231007193050764

  • 但是若是不断的修改操作，会使得EditLog不断增加，影响整体使用的性能？怎么办？

  • 引入第二名称节点（SecondNameNode）:

    • 作为名称节点的冷备份
    • 对EditLog的处理

    image-20231007193341520

    • 在第一名称节点的EditLog较大时，第二名称节点会告诉第一名称节点停止使用EditLog文件，并将EditLog写入自己机器

    image-20231007193415994

    • 1.此时NameNode会马上停止，此时生成edits.new,将新到达的更新写到edits.new中，将原来旧的editlog内容由secondNameNode取走

      image-20231007194717745

    • 2.SecondNameNode会通过http的get方式，将NameNode的FsImage和EditLog都下载到本地，然后在SecondNameNode做合并操作，得到新的FsImage,然后发送给NameNode

      image-20231007194939029

    • 3.NameNode再将Edits.new更改为EditLog:即实现了不断增加的Editlog和FsImage合并，又实现了冷备份效果

      image-20231007195126055

  • 数据节点：存储数据，数据节点拿到存储数据的文件目录，又将数据保留到各自的linux文件系统中去

    image-20231007195324803

3.3 HDFS的体系结构

  • 主节点：管家作用；从节点：数据存储作用

    image-20231007195605954

  • HDFS的命名空间

    • HDFS的目录访问和普通目录相同，都是通过/进行访问

      image-20231007195715117

    • 所有的HDFS基于TCP/IP的通信协议，不同组件之间的通信协议有差异：例如客户端向名称节点发起TCP连接，使用客户端协议和名称节点进行交互；客户端和数据节点进行交互是通过远程调用：RPC来进行实现的

      image-20231007200100150

  • HDFS体系结构的局限性：

    image-20231007200154491

    注意secondNamenode并不能保证集群的可用性：

    因为secondNameNode是冷备份，就是在故障发生时，必须停止一段时间，慢慢恢复，这个恢复的过程会导致整个集群的不可用

image-20231007200402623

  • 如何解决？HDFS2.0

    ​ image-20231007200501421

3.4 HDFS的存储原理

  • 冗余数据保存问题

    • HDFS建立在廉价机器上，其缺点是会不停出故障，因此以块为单位，会将数据进行冗余保存，一般情况下一份数据会被保存为3份

      image-20231007200755388

    • 有何好处？

      • 加快数据传输速度：因为假设3个客户端ABC，需要访问同一个数据块，在冗余数据存储可以使三个客户端并行进行访问

        image-20231007200937628

      • 很容易检查数据错误：可以通过三个副本之间对照来检查数据是否有误

      • 保证数据可靠性：即使有机器down了，仍然能保有其他机器是可用的

  • 数据保存策略问题

    image-20231007201203030

    • 假设此时有一个块存入

      • 首先创建三个副本，假设块是由数据节点1发起的，这个副本称为第一副本，其则直接将其放在数据节点1上，不需要通过网络复制到其他节点上

      • 若是集群外部的某个节点发起了写数据请求，HDFS会随机挑选一个磁盘不太满，cpu不太忙的节点作为第一副本。

      • 第二副本会放置在和第一个副本不同的机架上

      • 第三副本放置在第一个副本相同机架的其他节点上

      • 若还有其他副本，则通过随机算法，放置在任意节点上

        image-20231007201828997

    • 数据读取问题：

      image-20231007202044890

  • 数据恢复的问题

    • 名称节点出错？

      • HDFS1.0:会将整个HDFS暂停一段时间，即从secondNameNode中进行冷备份恢复一段时间，再进行对外服务

      • HDFS2.0：不需要暂停，直接热备份

        image-20231007202350004

    • 数据节点出错？

      • 数据节点会隔一段时间向名称节点发送心跳信息，说明其还活着，若是名称节点收不到该数据节点的心跳信息，说明该数据节点发生故障

      • 名称节点会在该数据节点列表上将其标记为宕机，即不可用，把存储在这个节点上的数据重新分发到其他的机器上去

      • 当负载不均衡的时候，某个节点的负载过重，也会将这个节点的数据迁移到其他节点

        image-20231007202840257

    • 数据本身出错？

      • 客户端读取数据会对它进行校验码校验，如果发现校验码不正确，说明数据出错

      • 这个校验码是在客户端写入数据时，为数据块生成校验码，保存在同一个文件目录中去，下次读数据块时，会对读到的数据进行校验码计算，

        将计算的校验码和原来得到的校验码进行对比，不一致说明发生错误

        image-20231007203203892

3.5 HDFS数据读写

3.5.1 HDFS的读数据过程

  • HDFS的FileSystem的基类，会有很有子类继承它而实现不同的功能

  • FileSystem基本方法：open read close 。open创建输入流封装了DFSInputStream, 是专门针对 HDFS的实现；create方法创建了FSoutputstream,同样封装了DFSoutputstream

    image-20231007204448453

  • FileSystem.get(conf):获得工程目录下的两个配置文件 hdfs-site.xml 和core-site.xml

    image-20231007204701148

  • HDFS读数据的整个流程

    • 1.打开文件：用FileSystem声明文件对象，生成DistributedFileSystem的实例对象；创建输入流：FSDataInputStream,获取数据块信息，与名称节点通过远程过程调用进行沟通

      image-20231007205057155

    • 2.获取数据块信息：获取读取的数据块被保存在的数据节点位置信息，名称节点会把包含这个文件开始部分（文件可能包含很多块）的数据块位置信息返回

      image-20231007205234434

    • 3.客户端获得输入流，可以调用read函数读取数据，会根据数据节点距离客户端的远近进行排序，客户端拿到排序后的数据节点位置列表，选择距离客户端最近的数据节点建立连接，读数据

      image-20231007205643646

      1. 将数据从数据节点读取到客户端

      image-20231007205809929

    • 5.因为文件可能分为多个块，需要读取这个文件其他块的信息，通过ClientProtocal.getBlockLocations()查找下一数据块的位置

      image-20231007205935512

    • 6.然后又读取该块节点的数据，又关闭输入流；一直循环直到完成这个文件所有块的读取

      image-20231007210021115

    • 7.最后关闭文件

      image-20231007210205703

3.5.2 HDFS的写数据过程

  • 1.创建文件请求，实例化Distributed FileSystem；创建FSDataOutputStream,其内部封装DFSOutputStream,与名称节点打交道

    image-20231007210435519

    1. 输出流通过远程过程调用rpc,让名称节点在文件系统命名空间中新建一个文件，名称节点会检查文件是否存在，以及客户端是否有权限创建这个文件，若是通过，则该名称节点会创建这个文件

      image-20231007211004578

  • 3.写入数据

    将整个数据分包：并将其放入DFSOutputStream的内部队列中去，DFSOutputStream向名称节点申请保存这个数据包的数据节点

image-20231007211518227

    1. 写入数据包

      流水线复制：将数据包复制到第一个节点，再由第一个节点复制到第二个节点，形成流水线复制

      image-20231007211633020

  • 5.接受确认包

    • 确认包由最后一个数据节点传到前一个数据节点，一直往前传，客户端收到确认信息，说明全都写完

    image-20231007211957114

  • 6.最后关闭文件

    image-20231007211943223

3.6 HDFS编程实战

见：HDFS编程实践（Hadoop3.3.5）_厦大数据库实验室博客 (xmu.edu.cn)

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1070532.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

4.方法操作实例变量 对象的行为

4.方法操作实例变量 对象的行为

4.1 操作对象状态的方法 同一类型的每个对象能够有不同的方法行为，任一类的每个实例都带有相同的方法，但是方法可以根据实例变量的值来表现不同的行为。 play()会播放title值表示的歌曲，调用某个实例的play()可能会播放“Politik”而另一个会…
阅读更多...
第三章 Android 开发从入门到实战--简单控件

第三章 Android 开发从入门到实战--简单控件

文章目录 1.文本显示1.1设置文本的内容1.2设置文本字体大小1.3设置文本的颜色 2.视图基础2.1设置视图的宽高2.2设置视图的间距2.3设置视图的对齐方式 3.常用布局3.1线性布局LinearLayout3.2相对布局RelativeLayout3.3网格布局GridLayout3.4滚动视图ScrollView 4.按钮触控4.1But…
阅读更多...
集线器、交换机、路由器是如何转发包的

集线器、交换机、路由器是如何转发包的

集线器、交换机、路由器是如何转发包的 集线器交换机MAC地址表的维护 路由器路由表中的信息路由器的包接收操作查询路由表确定输出端口找不到匹配路由时选择默认路由包的有效期通过分片功能拆分大网络包路由器发送操作中的一些特点 参考文档 集线器 集线器是一层（物…
阅读更多...
异常：找不到匹配的key exchange算法

异常：找不到匹配的key exchange算法

目录 问题描述原因分析解决方案 问题描述 PC 操作系统：Windows 10 企业版 LTSC PC 异常软件：XshellPortable 4(Build 0127) PC 正常软件：PuTTY Release 0.74、MobaXterm_Personal_23.1 服务器操作系统：OpenEuler 22.03 (LTS-SP2)…
阅读更多...
【数据结构-二叉树 九】【树的子结构】：树的子结构

【数据结构-二叉树 九】【树的子结构】：树的子结构

废话不多说，喊一句号子鼓励自己：程序员永不失业，程序员走向架构！本篇Blog的主题是【子结构】，使用【二叉树】这个基本的数据结构来实现，这个高频题的站点是：CodeTop，筛选条件为&…
阅读更多...
Qt单一应用实例判断

Qt单一应用实例判断

原本项目中使用QSharedMemory的方法来判断当前是否已存在运行的实例，但在MacOS上，当程序异常崩溃后，QSharedMemory没有被正常销毁，导致应用程序无法再次被打开。 对此，Qt assistant中有相关说明： 摘抄 qt-s…
阅读更多...
Linux防火墙之firewalld

Linux防火墙之firewalld

iptables与firewalld的联系 netfilter 位于Linux内核中的包过滤功能体系 称为Linux防火墙的“内核态” Firewalld/iptables CentOS7默认的管理防火墙规则的工具（Firewalld） 称为Linux防火墙的“用户态” iptables与firewalld的区别 iptables主要是基…
阅读更多...
Spring的beanName生成器AnnotationBeanNameGenerator

Spring的beanName生成器AnnotationBeanNameGenerator

博主介绍：✌全网粉丝4W，全栈开发工程师，从事多年软件开发，在大厂呆过。持有软件中级、六级等证书。可提供微服务项目搭建与毕业项目实战，博主也曾写过优秀论文，查重率极低，在这方面有丰富的经验…
阅读更多...
软件设计原则 1小时系列 （C++版）

软件设计原则 1小时系列 （C++版）

文章目录 前言基本概念 Design Principles⭐单一职责原则(SRP) Single Responsibility PrincipleCode ⭐里氏替换原则(LSP) Liskov Substitution PrincipleCode ⭐开闭原则(OCP) Open Closed PrincipleCode ⭐依赖倒置原则(DIP) Dependency Inversion PrincipleCode ⭐接口隔离…
阅读更多...
tailscale自建headscale和derp中继

tailscale自建headscale和derp中继

tailscale自建headscale和derp中继 Tailscale 官方的 DERP 中继服务器全部在境外，在国内的网络环境中不一定能稳定连接，所以有必要建立自己的 DERP 服务器的。 准备工作： 需要有自己的云服务器，本示例为阿里云轻量服务器需要有…
阅读更多...
Tasmota系统之外设配置

Tasmota系统之外设配置

Tasmota系统之外设配置 🎈相关篇《ESP32/ESP8266在线刷写Sonoff Tasmota固件以及配置简要》🔖这里以ESP32配置DS18B20温度传感器和dht11温湿度传感器为例。 ✨如果想接特定型号的显示屏幕，需要下载指定的固件，目前官方所提供的固件…
阅读更多...
剑指offer——JZ36 二叉搜索树与双向链表 解题思路与具体代码【C++】

剑指offer——JZ36 二叉搜索树与双向链表 解题思路与具体代码【C++】

一、题目描述与要求 二叉搜索树与双向链表_牛客题霸_牛客网 (nowcoder.com) 题目描述 输入一棵二叉搜索树，将该二叉搜索树转换成一个排序的双向链表。如下图所示 数据范围：输入二叉树的节点数 0≤n≤1000，二叉树中每个节点的值 0≤val≤10…
阅读更多...
“首站告捷 完美收官” | 风丘-EVM ASIA 2023精彩锦集

“首站告捷 完美收官” | 风丘-EVM ASIA 2023精彩锦集

2023年9月19-21日，风丘携手德国IPETRONIK首次亮相马来西亚-EVM ASIA 2023——该地区第一大电动汽车、移动、制造和汽车零部件展览会，为大家呈现了在汽车测试、车辆诊断领域里专业的研发测试工具及创新解决方案，吸引了众多客户驻足洽谈。 无法…
阅读更多...
SpringBoot-黑马程序员-学习笔记（一）

SpringBoot-黑马程序员-学习笔记（一）

8.pom文件中的parent 我们使用普通maven项目导入依赖时，通常需要在导入依赖的时候指定版本号，而springboot项目不需要指定版本号，会根据当前springboot的版本来下载对应的最稳定的依赖版本。 点开pom文件会看到这个： 继承了一个…
阅读更多...
WebGoat 靶场 JWT tokens 四 五 七关通关教程

WebGoat 靶场 JWT tokens 四 五 七关通关教程

文章目录 webGoat靶场第 四 关 修改投票数第五关第七关 你购买书，让Tom用户付钱 webGoat靶场 越权漏洞 将webgoat-server-8.1.0.jar复制到kali虚拟机中 sudo java -jar webgoat-server-8.1.0.jar --server.port8888解释： java：这是用于执行…
阅读更多...
WebKit Inside: CSS 样式表的解析

WebKit Inside: CSS 样式表的解析

CSS 全称为层叠样式表(Cascading Style Sheet)，用来定义 HTML 文件最终显示的外观。 为了理解 CSS 的加载与解析，需要对 CSS 样式表的组成，尤其是 CSS Selector 有所了解，相关部分可以参看这里。 HTML 文件里面引入 CSS 样式表有 …
阅读更多...
开启AI大模型时代｜「Transformer论文精读」

开启AI大模型时代｜「Transformer论文精读」

论文地址: https://arxiv.org/pdf/1706.03762v5.pdf 代码地址: https://github.com/tensorflow/tensor2tensor.git 首发：微信公众号「魔方AI空间」，欢迎关注～ 大家好，我是魔方君~~ 近年来，人工智能技术发展迅猛&#…
阅读更多...
解锁C语言结构体的力量（进阶）

解锁C语言结构体的力量（进阶）

引言：结构体是C语言中的重要部分，也是通向数据结构的一把“钥匙”，之前我们在这篇文章：http://t.csdnimg.cn/fBkBI已经简单的介绍了结构体的基础知识，本篇我们来更进一步的学习结构体。 目录 结构体的内存对齐 结构体…
阅读更多...
二维码是啥？

二维码是啥？

大家好，我是tony4geek。 今天说下二维码。二维码我们每天都在使用。本文将深入探讨二维码的识别原理，了解其背后的技术和算法，以及它是如何将编码的信息解析成可读的文本或链接的。 一、二维码的基本结构 在探讨二维码的识别原理之前&…
阅读更多...
这个国庆婚礼是一场接一场的到来，好幸福

这个国庆婚礼是一场接一场的到来，好幸福

爸妈参加了姐姐的游轮婚礼，爸爸诗兴大发作诗一首，虽然没能亲临，但我妈一直有小视频实时转播，新婚的幸福也已经感受到了！
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023