Apache Hadoop、HDFS介绍

news2024/11/15 11:15:07

目录

      • Hadoop介绍
      • Hadoop集群
      • HDFS分布式文件系统基础
        • 文件系统与分布式文件系统
        • HDFS简介
        • HDFS shell命令行
      • HDFS工作流程与机制
        • HDFS集群角色与职责
        • HDFS写数据流程（上传文件）
        • HDFS读数据流程（下载文件）

Hadoop介绍

用Java语言实现开源
允许用户使用简单的编程模型实现对海量数据发分布式计算处理
Hadoop核心组件：

  1. HDFS ：存储
  2. YARN：资源调度
  3. MapReduce：计算

广义Hadoop是指大数据生态圈

HAdoop特点：扩容能力、成本低、效率高、可靠性（多份复制）

Hadoop集群

Hadoop包括两个集群：HDFS集群、YARN集群

在这里插入图片描述

在这里插入图片描述

  • 逻辑上分离：两集群相互之间没有依赖关系，互不影响
  • 物理上在一起：往往部署在同一台物理服务器上
  • ＭapReduce是计算框架、代码层面的组件，没有集群之说

启停操作：

  • 手动逐个进程启停：
  • shell脚本一键启停
    HDFS集群：start-dfs.sh stop-dfs.sh
    YARN集群：start-yarn.sh stop-yarn.sh
    hadoop集群： start-all.sh stop-all.sh

启动完毕后可以使用jps命令查看进程是否启动成功
Hadoop启动日志路径 /expert/server/hadoop-3.3.0/logs/

  • HDFS本质是一个文件系统
  • 有目录树结构，和Linux类似

HDFS分布式文件系统基础

文件系统与分布式文件系统

文件系统是一种存储组织数据的方法，实现了数据的存储、分级组织，访问获取等，使得用户对文件访问和查找变得容易

传统文件系统多指单机文件系统，比如Windows文件系统、Linux文件系统、FTP文件系统等，特点是：

  • 带有抽象的目录树结构，树都是从/根目录开始调度
  • 树中节点分为：目录和文件
  • 从根目录开始，节点路径具有唯一性

数据：底层是存储在磁盘上的，用户只需基于目录树进行增删改查即可，实际针对数据的操作由文件系统完成
元数据：记录数据的数据
文件系统元数据，一般指文件大小、最后修改时间、底层存储位置、属性，所属用户、权限等信息

大数据时代下，单机遇到问题：成本大，计算效率低、性能低

分布式存储系统核心属性：分布式存储、元数据记录、分块存储、副本机制
1，分布式存储
问题：存储遇到瓶颈
单机纵向扩展：磁盘不够家磁盘，有上限瓶颈限制
多机横向扩展：机器不够加机器，理论上无限扩展 —多机分布式
2，元数据记录
文件分布在不同机器上不利于查找 — 元数据记录，快速定位文件位置
3，文件分块存储
问题：文件过大导致单机存不下，上传下载效率低
解决：将文件分块，存储在不同机器上，针对块并行操作提高效率
4，副本机制
问题：硬件故障，数据容易丢失
解决：不同机器设置备份，冗余存储、保证数据安全

总结：分布式存储系统核心属性：

  1. 分布式存储：无限支持海量数据存储
  2. 元数据记录：快速定位文件位置便于查找
  3. 文件分块存储：块并行操作提高效率
  4. 设置副本备份：冗余存储，保证数据安全

HDFS简介

HDFS：HAdoop分布式文件系统

作为大数据生态圈最底层，主要用于解决大数据存储问题，HDFS使用多台计算机存储文件，并且提供统一的访问接口

HDFS的核心架构目标：故障检测和自动快速恢复
HDFS对文件要求write-one-read-many。一个文件一旦创建、写入、关闭之后就不需要修改了
HDFS适合场景：大文件、一次写入多次访问，低成本部署、高容错数据流式访问
HDFS不适合场景：小文件、数据交互式访问、频繁任意修改、低延迟处理

在这里插入图片描述
图中rack指机架
特点：

  1. 主从架构：1个Namenode 5个Datenodes
    Namenode是HDFS主节点，Datanode是HDFS从节点，两种角色各司其职，共同协调完成分布式的文件存储服务

  2. 数据都是小方块–分块存储
    HDFS中的文件在物理上是分块存储（block）的，默认大小是128M（134217728），不足128M则本身就是一块，即只有文件超过1278时才会被分块

  3. 块与块之间replication–副本备份
    副本数由参数dfs.replication控制，默认值是3，也就是会额外再复制2份，连同本身总共3份副本。

  4. Namenode中记录Metadata元数据
    在HDFS中，Namenode管理的元数据具有两种类型：
    1.文件自身属性信息
    文件名称、权限，修改时间，文件大小，复制因子，数据块大小。
    2.文件块位置映射信息
    记录文件块和DataNode之间的映射信息，即哪个块位于哪个节点上。

  5. 抽象统一的目录树结构
    HDFS会给客户端提供一个统一的抽象目录树，客户端通过路径来访问文件

HDFS shell命令行

命令行CLI：指用户通过键盘输入指令，计算机接收到指令后予以执行的一种人机交互方式
Hadoop中shell命令行：hadoop fs [generic options]

在node1中输入:

hadoop fs -ls file:/// 
#查看的本地文件系统

hadoop fs -ls hdfs://node1:8020/
#查看hdfs根目录下

hdoop fs -ls /
#输出的是hdfS的目录，是因为设置的默认是hdfs

cat /export/server/hadoop-3.3.0/etc/hadoop/core-size.html
#查看，可以看到默认的是hdfs

hdfs中shell命令和Linux很相似

hadoop fs -mkdir [-p] … 创建文件夹，-p是如果父目录不存在主动创建
hadoop fs -ls [-h] [-R] [ …] 查看指定目录下内容
hadoop fs -put [-f] [-p] … 上传文件到指定目录
-f 覆盖目标文件（已存在下）
-p 保留访问和修改时间，所有权和权限。
localsrc 本地文件系统（客户端所在机器）
dst 目标文件系统（HDFS） 

hadoop fs -put file:///root/2.txt hdfs://node1:8020/ithei
#将本地root目录下2.txt文件上传到hefs上node1端口号8020的ithei文件下
#上面的省略写法：
hadoop fs -put 2.txt /

hadoop fs -cat … 查看hdfs文件内容

hadoop fs -cat /ithei/2.txt

hadoop fs -get [-f] [-p] … 下载hdfs上文件到本地

hadoop fs -get /ithei/2.txt ./666.txt
#将hdfs上ithei文件夹下2.txt文件下载到本地/根目录下，并改名为了666.txt

hadoop fs -cp [-f] … 拷贝hdfs文件

Hadoop fs -put 1.txt  #1.txt上传到hads
hadoop fs -cat /1.txt

hadoop fs -appendToFile … 将所有给定本地文件的内容追加到给定dst文件.追加合并

echo 1 > 1.txt  #将内容1写入1.txt
echo 2 > 2.txt
echo 3 > 3.txt

hadoop fs -put 1.txt /  #先将1.txt上传
hadoop fs -cat /1.txt  #查看hdfs上/目录下1.txt内容，输出1
hadoop fs -appendToFile 2.txt 3.txt /1.txt   #将2.txt与3.txt追加到1.txt中
hadoop fs -cat /1.txt  #再次查看，输出1，2，3

官方指导文档

HDFS工作流程与机制

HDFS集群角色与职责

在这里插入图片描述
主角色：namenode

  • NameNode是Hadoop分布式文件系统的核心，架构中的主角色。
  • NameNode维护和管理文件系统元数据，包括名称空间目录树结构、文件和块的位置信息、访问权限等信息。
  • 基于此，NameNode成为了访问HDFS的唯一入口。
  • NameNode内部通过内存和磁盘文件两种方式管理元数据。（内存速度快，但是断电数据丢失，所以也放在磁盘文件上）
  • namenode仅存储HDFS的元数据，并不存储数据块
  • namenode知道任何给定文件的块列表和位置。用户想要查找某文件都必须通过namenode
  • namenode并不持久存储每个文件中各个块所在的datenode信息，关机后只记录有哪些文件，文件中有哪些块并不知道，这些信息在系统启动中由小弟汇报过来
  • namenode需要大内存，因为元数据存储需要大内存
  • namenode是Hadoop集群中的单点故障（单点故障：某一个局部出问题会导致整体出问题。上课老师与同学中，老师便是一个单点故障）

从角色：datanode

  • DataNode是Hadoop HDFS中的从角色，负责具体的数据块存储
  • 并和NameNode配合维护着数据块，要删就删，要增就增
  • datenode负责最终块block的存储，也称为slave，从角色
  • 启动时，会将自己注册到nameode并汇报自己所有的块列表
  • 当某个datenode关闭时，不会影响数据，因为是默认3副本，冗余存储
  • datenode在部署时需要大量硬盘空间，即大磁盘，因为实际数据在datenode中

主角色辅助角色： secondarynamenode

  • 充当NameNode的辅助节点，但不能替代NameNode
  • 主要是帮助主角色进行元数据文件的合并动作。可以理解为主角色的“秘书”

HDFS写数据流程（上传文件）

在这里插入图片描述
Pipeline管道
这是HDFS在上传文件写数据过程中采用的一种数据传输方式

  • 客户端将数据块写入第一个数据节点，第一个数据节点保存数据之后再将块复制到第二个数据节点，后者保存后将其复制到第三个数据节点。
  • 为什么datanode之间采用pipeline线性传输，而不是一次给三个datanode拓扑式传输呢？
    因为数据以管道的方式，顺序的沿着一个方向传输，这样能够充分利用每个机器的带宽，避免网络瓶颈和高延迟时的连接，最小化推送所有数据的延时。
    在这里插入图片描述
    ACK应答响应
  • ACK (Acknowledge character）即是确认字符，在数据通信中，接收方发给发送方的一种传输类控制字符。表示发来的数据已确认接收无误。
  • 在HDFS pipeline管道传输数据的过程中，传输的反方向会进行ACK校验，确保数据传输安全

在这里插入图片描述
默认3副本存储策略

  1. 第一块副本：优先客户端本地，否则就近随机
  2. 第二块副本：不同于第一块副本的不同机架。机架类似机柜
  3. 第三块副本：第二块副本相同机架不同机器。
    在这里插入图片描述

上传文件流程：

  1. HDFS客户端创建对象实例DistributedFileSystem， 该对象中封装了与HDFS文件系统操作的相关方法。
  2. 调用DistributedFileSystem对象的create()方法，通过RPC请求NameNode创建文件。
    NameNode执行各种检查判断：目标文件是否存在、父目录是否存在、客户端是否具有创建该文件的权限。
    检查通过， NameNode就会为本次请求记下一条记录，返回FSDataOutputStream输出流对象给客户端用于写数据。
  3. 客户端通过FSDataOutputStream输出流开始写入数据。
  4. 客户端写入数据时，将数据分成一个个数据包（packet 默认64k）, 内部组件DataStreamer请求NameNode挑选出适合存储数据副本的一组DataNode地址，默认是3副本存储
  5. 传输的反方向上，会通过ACK机制校验数据包传输是否成功；
  6. 客户端完成数据写入后，最后在FSDataOutputStream输出流上调用close()方法关闭。
  7. DistributedFileSystem联系NameNode告知其文件写入完成，等待NameNode确认。
    因为namenode已经知道文件由哪些块组成（DataStream请求分配数据块），因此仅需等待最小复制块即可成功返回。
    最小复制是由参数dfs.namenode.replication.min指定，默认是1.只要有一个副本成功就认为是上传成功。

在这里插入图片描述

HDFS读数据流程（下载文件）

在这里插入图片描述
读数据流程：

  1. HDFS客户端创建对象实例DistributedFileSystem， 调用该对象的open()方法来打开希望读取的文件。

  2. DistributedFileSystem使用RPC调用namenode来确定文件中前几个块的块位置（分批次读取）信息。

  3. DistributedFileSystem将FSDataInputStream输入流返回到客户端以供其读取数据。

  4. 客户端在FSDataInputStream输入流上调用read()方法。然后，已存储DataNode地址的InputStream连接到文件中第一个块的最近的DataNode。数据从DataNode流回客户端，结果客户端可以在流上重复调用read（）。

  5. 当该块结束时，FSDataInputStream将关闭与DataNode的连接，然后寻找下一个block块的最佳datanode位置。这些操作对用户来说是透明的。所以用户感觉起来它一直在读取一个连续的流
    客户端从流中读取数据时，也会根据需要询问NameNode来检索下一批数据块的DataNode位置信息。

  6. 一旦客户端完成读取，就对FSDataInputStream调用close()方法。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/372626.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

SpringBoot：SpringBoot简介与快速入门（1）

SpringBoot：SpringBoot简介与快速入门（1）

SpringBoot快速入门1. SpringBoot简介2. SpringBoot快速入门2.1 创建SpringBoot项目（必须联网，要不然创建失败，在模块3会讲到原因）2.2 编写对应的Controller类2.3 启动测试3. Spring官网构建工程4. SpringBoot工程快速启动4.1 为什…
阅读更多...
自学大数据的第一天

自学大数据的第一天

默认跳过基础部分,直接搞集群的部分,期间用到的linux基础默认大伙都会了(不会的话可以现用现查) Hadoop集群搭建 集群特点: 1,逻辑上分离~集群之间没有依赖,互不影响 2,某些进程往往部署在一台服务器上,但是属于不同的集群 3,MapReduce 是计算框架,代码层面的处理逻辑 集群的…
阅读更多...
mindspore的MLP模型（多层感知机）

mindspore的MLP模型（多层感知机）

导入模块 import hashlib import os import tarfile import zipfile import requests import numpy as np import pandas as pd import mindspore import mindspore.dataset as ds from mindspore import nn import mindspore.ops as ops import mindspore.numpy as mnp from …
阅读更多...
Python 内置函数eval()

Python 内置函数eval()

Python 内置函数eval() eval(expression, globalsNone, localsNone) 函数用来执行一个字符串表达式，并返回表达式的值。 expression: 字符串表达式。global: 可选，globals必须是一个字典。locals: 可选，locals可以是任何映射对象。 示例 &…
阅读更多...
微信小程序开发【壹】

微信小程序开发【壹】

随手拍拍💁‍♂️📷 日期: 2023.02.24 地点: 杭州 介绍: 2023.02.24上午十点，路过学院的教学楼时🏢，突然看见了一团粉红色。走进一看是一排梅花🌸，赶在它们凋零前，将它们定格在我的相…
阅读更多...
QML 第一个应用程序Window

QML 第一个应用程序Window

1.创建QML工程 新建文件或者项目-->选择Qt Quick Application 然后生成了一个默认的Window 2.main.cpp中如何加载的qml文件 QQmlApplicationEngine提供了从单个QML文件加载应用程序的便捷方式。 此类结合了QQmlEngine和QQmlComponent，以提供一种方便的方式加载…
阅读更多...
用 Python 画如此漂亮的插图 ，So easy

用 Python 画如此漂亮的插图 ，So easy

人生苦短，快学Python！ 今天我们进行一次实战案例分享，以全球预期寿命与人均 GPD数据为例，写一篇 Python 中漂亮散点图的快速指南。除了正常的数据清洗/处理、还会进行简单的统计分析，实现数据处理-统计分析-可视化一条…
阅读更多...
【Servlet篇】如何解决Request请求中文乱码的问题？

【Servlet篇】如何解决Request请求中文乱码的问题？

前言 前面一篇文章我们探讨了 Servlet 中的 Request 对象，Request 请求对象中封装了请求数据，使用相应的 API 就可以获取请求参数。 【Servlet篇】一文带你读懂 Request 对象 也许有小伙伴已经发现了前面的方式获取请求参数时，会出现中文乱…
阅读更多...
【Spark分布式内存计算框架——Spark Streaming】4.入门案例（下）Streaming 工作原理

【Spark分布式内存计算框架——Spark Streaming】4.入门案例（下）Streaming 工作原理

2.3 Streaming 工作原理 SparkStreaming处理流式数据时，按照时间间隔划分数据为微批次（Micro-Batch），每批次数据当做RDD，再进行处理分析。 以上述词频统计WordCount程序为例，讲解Streaming工作原理。 创…
阅读更多...
[数据结构]：06-队列（链表）（C语言实现）

[数据结构]：06-队列（链表）（C语言实现）

目录 前言 已完成内容 队列实现 01-开发环境 02-文件布局 03-代码 01-主函数 02-头文件 03-QueueCommon.cpp 04-QueueFunction.cpp 结语 前言 此专栏包含408考研数据结构全部内容，除其中使用到C引用外，全为C语言代码。使用C引用主要是为了简化…
阅读更多...
Spring Cache的使用--快速上手篇

Spring Cache的使用--快速上手篇

系列文章目录 分页查询–Java项目实战篇 全局异常处理–Java实战项目篇 完善登录功能–过滤器的使用 更多该系列文章请查看我的主页哦 文章目录系列文章目录前言一、Spring Cache介绍二、Spring Cache的使用1. 导入依赖2. 配置信息3. 在启动类上添加注解4. 添加注解4.1 CacheP…
阅读更多...
duboo+zookeeper分布式架构入门

duboo+zookeeper分布式架构入门

分布式 dubbo Zookeeper 分布式系统就是若干独立计算机的集合（并且这些计算机之间相互有关联，就像是一台计算机中的C盘F盘等），这些计算对于用户来说就是一个独立的系统。 zookeeper安装 下载地址：Index of /dist/z…
阅读更多...
MyBatis——增删改查操作的实现

MyBatis——增删改查操作的实现

开启mybatis sql日志打印 可以在日志中看到sql中执行的语句 在配置文件中加上下面这几条语句 mybatis.configuration.log-implorg.apache.ibatis.logging.stdout.StdOutImpl logging.level.com.example.demodebug查询操作 根据用户id查询用户 UserMapper： User…
阅读更多...
RTD2169芯片停产|完美替代RTD2169芯片|CS5260低BOM成本替代RTD2169方案设计

RTD2169芯片停产|完美替代RTD2169芯片|CS5260低BOM成本替代RTD2169方案设计

RTD2169芯片停产|完美替代RTD2169芯片|CS5260低BOM成本替代RTD2169方案设计 瑞昱的RTD2169芯片目前已经停产了， 那么之前用RTD2169来设计TYPEC转VGA方案的产品，该如何生产这类产品？且RTD2169芯片价格较贵，芯片封装尺寸是QFN40&…
阅读更多...
JS函数的4种调用方式

JS函数的4种调用方式

函数可以声明定义，也可以是一个表达式，函数使用关键字function定义函数被定义时，函数内部的代码不会执行函数被调用时，函数内部的代码才会执行函数有四种调用方式，每种方式的不同在于this的初始化。（this是…
阅读更多...
HTML#1快速入门

HTML#1快速入门

一. 简介HTML是一门语言, 所有的网页都是用HTML编写的HTML(Hyper Text Markup Language): 超文本(超越了文本限制,除了文字信息还可以定义图片,音频,视频等)标记语言(有标签构成的语言)W3C标准: 网页主要由三部分组成(1) 结构: HTML(2) 表现: CSS(3) 行为: JavaScript二. 快速入…
阅读更多...
optional说明

optional说明

1.说明 public final class Optional<T> extends Object 可能包含或不包含非空值的容器对象。 如果一个值存在&#xff0c; isPresent()将返回true和get()将返回值。 提供依赖于存在或不存在包含值的其他方法&#xff0c;例如orElse() &#xff08;如果值不存在则返回…
阅读更多...
印度这事真的干的挺棒的！ |

印度这事真的干的挺棒的！ |

来源&#xff1a;statista最近逛外网看到一张图&#xff0c;是关于印度家庭自来水供应的对比图。Crore是印度的单位千万(卢比)&#xff0c;所以他们从2019年供应3.23千万家庭&#xff0c;增长到了2022年的9.57万家庭&#xff0c;印度这事真的干的挺棒的&#xff01;一直以来印度…
阅读更多...
【USB】windows热插拔通知接口分析

【USB】windows热插拔通知接口分析

文章目录接口介绍概述过滤器介绍举例接收通知创建窗口参考文档接口介绍 概述 window提供了RegisterDeviceNotificationW方法&#xff0c;可以用来监听设备的热插拔事件。 HDEVNOTIFY RegisterDeviceNotificationW([in] HANDLE hRecipient,[in] LPVOID NotificationFilter,[in]…
阅读更多...
Android 多种支付方式的优雅实现

Android 多种支付方式的优雅实现

场景App 的支付流程&#xff0c;添加多种支付方式&#xff0c;不同的支付方式&#xff0c;对应的操作不一样&#xff0c;有的会跳转到一个新的webview&#xff0c;有的会调用系统浏览器&#xff0c;有的会进去一个新的表单页面&#xff0c;等等。并且可以添加的支付方式也是不确…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023