大数据中的HDFS读写流程(namenode,datanode)

news2024/11/21 0:39:31

HDFS读写流程
读取流程
1、客户端请求上传文件
2、namenode检查是否存在,可以上传,
3、客户端请求第一个block块上传到datanode
4、namenode返回3个datanode节点,d1,d2,d3
5、客户端请求dn1调用数据,d1收到请求会继续调用d2,d2调用d3,将通信管道建立完成
6、随即d1,d2,d3逐级应答
7、客户端开始往d1上传第一个block
(先从磁盘读取数据放到一个本地内存缓存)
以packet单位 (128MB)
d1收到第一个packet传到d2,d2再传到d3上
d1每传一个packet会放入一个应答队列等待应答
8、当一个block传输完成之后,
客户端再次请求namenode上传到第二个
写入流程
1、客户端向namenode发送请求写入数据,
2、namenode通过secondarynamenode存储的元数据,去定位datanode
3、挑选一台datanode(就近原则,然后随机)服务器,请求读取数据。
4、数据读取完,发送给客户端,以packet(128MB)的形式存储
5、以本地缓存的方式,再写入目标文件

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1656944.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

使用海外云手机为亚马逊店铺引流

在全球经济一体化的背景下,出海企业与B2B外贸企业愈发重视海外市场的深耕,以扩大市场份额。本文旨在探讨海外云手机在助力亚马逊店铺提升引流效果方面的独特作用与优势。 海外云手机,一种基于云端技术的虚拟手机,能够在单一硬件上…

经典分类网络LeNet5和VGG16项目:实现CIFAR10分类

CIFAR10分类 v1:LeNet5:2cnn3fc 可视化结果 精确率 损失 最佳 v2:LeNet5:3cnn2fc 可视化结果 精确率 损失 最佳 v3:LeNet5:2cnnbnres3fc 可视化结果 精确率 损失 最佳 v4:VG…

web API设计笔记

Hello , 我是小恒。今晚就讲讲我在开发维护API后的经验分享,当然我知识有限,暂时也不会写实际操作。GitHub项目仓库有一堆还在前期开发,我的时间很多时间投在了开源上。 推荐书籍 我认为一个好的 API 设计是面向用户的,充分隐藏底…

2024华为数通HCIP-datacom最新题库(变题版)

请注意,华为HCIP-Datacom考试831已变题 请注意,华为HCIP-Datacom考试831已变题 请注意,华为HCIP-Datacom考试831已变题 近期打算考HCIP的朋友注意了,如果你准备去考试,还是用的之前的题库,切记暂缓。 H1…

IDEA切换分支

1、选择要切换分支的module 2、右键,选择git 3、再点击branches 4、可以看到当前module的本地分支(local Branches)及远程分支(Remote Branches)列表。点击你要切换到的分支,Checkout即可。

01WPS部分编写实现QT

1、新建项目 -创建wps类 -继承QMainWindow 2、菜单栏设置 3、开始实现操作 设置程序图标: pro文件中添加 RC_ICONS images/wps.ico //后面这个是文件地址哈1、字体选择大小设置 void MainWindow::initMainWindow() {// 初始化字号列表项QFontDatabase fontdb;…

Sarcasm detection论文解析 |# 利用情感语义增强型多层次记忆网络进行讽刺检测

论文地址 论文地址:https://www.sciencedirect.com/science/article/abs/pii/S0925231220304689?via%3Dihub#/ 论文首页 笔记框架 利用情感语义增强型多层次记忆网络进行讽刺检测 📅出版年份:2020 📖出版期刊:Neurocomputing 📈影…

预测市场?预测股票?如何让预测有更高的准确率?

我们发现在足球赛中,只要知道一个简单的讯息(主队过去的获胜机率超过一半),预测力就会明显好过随便乱猜。如果再加上第二个简单的讯息(胜负纪录较佳的队伍会略占优势),可以再进一步提升预测力。…

TinySeg:模型优化框架

TinySeg:模型优化框架 摘要Background & MotivationThe TinySeg Model OptimizerThe TinySeg RuntimeEvaluation TinySeg: Model Optimizing Framework for 摘要 图像分割是计算机视觉任务中的主要组成部分,适用于各种领域,如无人机的自主导航。然而…

合并果子

借助这一道题目来严谨证明一下Huffman树的构造方法的正确性 对任意一颗\(k\)叉huffman树,他都可以等价于一个类似于合并果子的过程,即每次取出最多\(k\)个点进行合并,然后\(k\)个点的权值和就是新的点的权值,然后把这个新的点加入…

5.9号模拟前端面试10问

5.9号模拟前端面试10问 1.html语义化的理解 HTML语义化是指使用具有明确含义的HTML标签来描述内容&#xff0c;而不仅仅是使用<div>和<span>等通用容器标签。语义化的HTML代码更易于阅读和维护&#xff0c;同时也有助于搜索引擎优化&#xff08;SEO&#xff09;。…

【微机原理及接口技术】存储器

【微机原理及接口技术】存储器 文章目录 【微机原理及接口技术】存储器前言一、半导体存储器技术1.半导体存储器概述2.半导体存储器的分类3.半导体存储器芯片的结构 二、半导体存储器芯片1.RAM芯片2.ROM芯片 三、半导体存储器与CPU的连接1.存储芯片数据线的连接2.存储芯片地址线…

Vue、React实现excel导出功能(三种实现方式保姆级讲解)

第一种&#xff1a;后端返回文件流&#xff0c;前端转换并导出&#xff08;常用&#xff0c;通常公司都是用这种方式&#xff09; 第二种&#xff1a;纯后端导出&#xff08;需要了解&#xff09; 第三种&#xff1a;纯前端导出&#xff08;不建议使用&#xff0c;数据处理放…

【2024华为HCIP831 | 高级网络工程师】刷题日记(16)

个人名片&#xff1a;&#x1faaa; &#x1f43c;作者简介&#xff1a;一名大三在校生&#xff0c;喜欢AI编程&#x1f38b; &#x1f43b;‍❄️个人主页&#x1f947;&#xff1a;落798. &#x1f43c;个人WeChat&#xff1a;hmmwx53 &#x1f413;每日一句&#xff1a;&…

软件接口测试规范流程

1、需求分析 1.1 确认测试目的和测试对象&#xff1a; 了解需求并明确测试目的&#xff0c;如测试一个本地 API 还是跨网站的远程 API。 1.2 确认测试的基本条件: 确定测试所需的测试数据&#xff0c;测试环境以及测试团队中的角色和职责。 1.3. 对接口文档进行验证&#xf…

「网络流 24 题」方格取数 【最大独立集、最小割】

「网络流 24 题」方格取数 思路 首先我们将每一个相邻关系抽象成边&#xff0c;问题就转化为&#xff1a;选择若干个点&#xff0c;并且满足所选点集内部没有边&#xff0c;那么这就是一个最大点权独立集的问题 如果点权全为一我们就可以利用二分图的匈牙利算法来解决&#x…

WEB基础--单元测试与三层架构

单元测试 为什么要进行单元测试 减少创建类&#xff0c;我们希望在一个类中&#xff0c;并且测试时不需要改代码&#xff0c;那么我们就要用到junit单元测试 常见测试分类 黑盒测试 黑盒测试也叫功能测试&#xff0c;主要关注软件每个功能是否实现&#xff0c;并不关注软件代…

【源码+文档+调试教程】基于微信小程序的电子购物系统的设计与实现

摘 要 由于APP软件在开发以及运营上面所需成本较高&#xff0c;而用户手机需要安装各种APP软件&#xff0c;因此占用用户过多的手机存储空间&#xff0c;导致用户手机运行缓慢&#xff0c;体验度比较差&#xff0c;进而导致用户会卸载非必要的APP&#xff0c;倒逼管理者必须改…

H5228 DCDC 6.5-75V LED升降压恒流芯片IC,支持12V24V36V48V60V PWM、模拟和数转模调光

PWM&#xff08;脉冲宽度调制&#xff09;、模拟和数转模调光DCDC电源管理芯片的工作原理涉及多个方面。 首先&#xff0c;对于PWM调光&#xff0c;其基本原理是通过控制脉冲的宽度来调节LED的亮度。具体来说&#xff0c;当PWM信号为高电平时&#xff0c;LED亮起&#xff1b;当…

数据结构的堆(c语言版)

一.堆的概念 1.堆的基本概念 在计算机科学中&#xff0c;堆是一种特殊的数据结构&#xff0c;通常用于实现优先队列和动态分配内存。 2.堆的特征 堆是一个完全二叉树&#xff0c;它具有以下两个主要特性&#xff1a; 堆序性&#xff1a;对于最大堆&#xff0c;在堆中的任意节…