Hadoop2.0探讨

news2024/9/28 11:20:00

文章目录

      • 8. Hadoop 再探讨
        • 8.1 Hadoop的优化与发展
        • 8.2 HDFS 的FA和Federation(Hadoop2.0新特性)
          • 8.2.1 HDFS HA
          • 8.2.2 HDFS Federation
        • 8.3 YARN
          • 8.3.1 MapReduce1.0的缺陷
          • 8.3.2 Yarn设计思路
          • 8.3.3 Yarn体系结构
          • 8.3.4 Yarn工作流程
          • 8.3.5 Yarn框架和MapReduce1.0框架对比分析
          • 8.3.6 Yarn框架的发展目标
        • 8.4 Hadoop生态系统中具有代表性的组件
          • 8.4.1 Pig
          • 8.4.2 Tez
          • 8.4.3 Spark和Kafka

8. Hadoop 再探讨

8.1 Hadoop的优化与发展

  • Hadoop1.0的局限和不足

    • 抽象层次低，需人工编码：编写一个非常简单的代码都需要人工编写MapReduce代码，进行编译打包运行
    • 表达能力有限：现实中的一些问题不是使用Map和Reduce就能完成的
    • 开发者需要自己管理作业（Job）之间的依赖关系：多个MapReduce任务之间的前后关系需要人工管理
    • 难以看到程序整体逻辑
    • 执行迭代操作效率低：每次迭代都需要将结果先写入到HDFS中，下一个MapReduce任务再从HDFS中读取数据
    • 资源浪费：整个任务执行过程中Map任务结束之后才能进行Reduce任务，导致Reduce一直处于空闲状态

  • Hadoop2.0的优化与发展

    • Hadoop自身两大核心组件，MapReduce和HDFS的架构设计改进
    • Hadoop生态系统其他组件的不断丰富，包括Pig、Tez、Spark和Kafka等

  • Hadoop1.0到Hadoop2.0对比

    image-20231010171751385

  • 不断完善的Hadoop生态系统

    image-20231010171906733

8.2 HDFS 的FA和Federation(Hadoop2.0新特性)
8.2.1 HDFS HA

  • 整体结构

    • 名称节点发生故障，则立即切换到待命节点
    • 共享存储系统保证（活跃）名称节点和（待命）名称节点的中保存信息的同步
    • 共享存储系统将活跃节点的Editlog不断的同步到待命节点

    image-20231010172530715

8.2.2 HDFS Federation

  • HDFS1.0中存在的问题

    • 单点故障问题：通过HA解决
    • 不可以水平扩展 ：纵向扩展如加内存可能导致启动时间过长
    • 系统整体性能受限于单个名称节点的吞吐量：一秒钟可以接入多少外部节点还是由外部节点决定的
    • 单个名称节点难以提供不同程序之间的隔离性：一个程序消耗的资源非常大，可能导致另外的程序无法运行
    • HDFS HA是热备份，提供高可用性、但是无法解决可扩展性、系统性能和隔离性

  • HDFS Federation架构

    • 提供多个名称节点，由用户设置，名称节点之间彼此独立

    • Federation提供了向后的兼容性：单名称节点的应用程序可以无缝迁移到多名称节点

    • 所有的名称节点共享底层的数据节点

      image-20231010173845797

    • 通过用户挂载不同的命名空间，使用不同的名称节点，用户可以看到一个全局命名空间挂载表，用户可以看到每个子命名空间

      image-20231010174336426

  • HDFS Federation设计可解决单名称节点存在的问题

    • 集群扩展性问题：多个名称节点，每个名称节点可以独立的管理一个目录，让一个集群可以扩展到更多空间去
    • 性能更高效：多个名称节点各自管理数据，而且可以同时提供对外服务
    • 良好的隔离性：不同数据分给不同的名称节点去管理，有效的对应用程序进行隔离
8.3 YARN
8.3.1 MapReduce1.0的缺陷

  • 缺陷

    • 存在单点故障：只有一个JobTracker负责整个作业的管理调度

      image-20231010175118821

    • JobTracker"大包大揽"导致任务过重：资源管理调度分析、任务管理分配、任务监控以及失败的恢复

    • 容易出现内存溢出：只考虑MapReduce的任务数量，不考虑单个MapReduce任务消耗的资源，多个耗内存的任务一起执行，可能会导致内存溢出

    • 资源划分不合理：将资源等分为slot，Map的slot和Reduce的slot隔离，Map在运行时，Reduce的slot资源浪费

8.3.2 Yarn设计思路

  • 将JobTracker三大功能拆分

    image-20231010175713803

  • MapReduce1.0和Hadoop2.0

    • MapReduce1.0既是一个计算框架，也是一个资源调度框架
    • Hadoop2.0将MapReduce1.0中的资源管理调度功能单独分离出来，形成了YARN,使得Yarn成为了纯粹的资源管理调度框架
    • 而被剥离了资源管理调度功能的MapReduce框架就变成了MapReduce2.0，它是运行在Yarn上的纯粹计算框架，不再负责资源调度管理任务，而是由Yarn提供资源管理调度服务
8.3.3 Yarn体系结构

  • Yarn体系结构

    image-20231010192632194

  • Yarn各个组成部分作用

    • ResourceManager
      • 处理客户端请求
      • 启动/监控 ApplicaionMaster
      • 监控NodeManager
      • 资源分配与调度
    • ApplicationMaster
      • 为应用程序申请资源，并分配给内部任务
      • 任务调度、监控与容错（失败恢复）
      • 运行MapReduce所需要的资源(cpu)等由applicationMaster向ResourceManager申请
    • NodeManager
      • 是单个节点上的资源管理
      • 处理来自ResourceManager的命令
      • 处理来自ApplicationMaster的命令

  • ResourceManager作用、

    • ResourceManager包括了Scheduler（调度器）和Applications Manager(应用程序管理器)

      image-20231010193608662

    • 将内存资源以容器的形式分配，而不是以slot的形式分配

      image-20231010193904297

  • ApplicationMaster

    image-20231010194140334

    • ApplicationMaster的主要功能

      • 当用户作业提交时，ApplicationMater与ResourceManager协商获取资源，ResourceManager会以容器的形式给ApplicationMaster分配资源
      • 把获得的资源进一步分配给内部的各个任务（Map任务和Reduce任务），实现资源的“二次分配”
      • 与NodeManager保持交互通信进行应用程序的启动、运行、监控和停止，监控申请到的资源的使用情况，对所有任务的执行进度和状态进行监控，并在任务发生失败时执行失败恢复（即重新申请资源重启任务）
      • 定时向ResourceManager发送“心跳”信息，报告资源的使用情况和应用的进度信息
      • 当作业完成时，ApplicationMaster向ResourceMnager注销容器，执行周期完成

    • NodeManager:驻留在一个Yarn集群中的每一个节点的代理

      • 容器生命周期管理：容器具体运行Map任务或者Reduce任务，还可以支持其他的计算框架
      • 监控每个容器资源（CPU、内存等）使用情况
      • 跟踪节点健康状态
      • 以“心跳”的方式与ResourceManager保持通信
      • 向ResourceManager汇报作业的资源使用情况和每个容器的运行状态
      • 接受ApplicationMaster的启动/停止容器的各种请求

    • NodeManager的主要说明

      image-20231010195605400

  • YARN和Hadoop平台其他组件的统一部署

    image-20231010195755992

8.3.4 Yarn工作流程

  • Yarn提交作业之后的全流程执行过程

    • 用户编写客户端应用程序，向Yarn提交应用程序，提交内容包括：Applications Master程序、启动Applications Master命令、以及用户程序

      image-20231010200030626

    • ResourceManager负责接受和处理来自客户端请求

      image-20231010200221109

    • ApplicationMaster被创建会首先向ResourceManager注册：为了ResourceManager能够实时监控ApplicationMaster

      image-20231010200411906

    • ApplicationMaster向ResourceManager申请资源

      image-20231010200535296

    • ResourceManager以“容器”的形式向ApplicaionMaster分配资源

      image-20231010200655616

    • 资源二次分配，在容器中将资源分配给Map任务和Reduce任务

      image-20231010200830634

    • 各个任务向ApplicationMaster汇报自己的状态和进度

      image-20231010201042955

  • 应用承租运行完成，注销关闭ApplicationMaster

    image-20231010201141438

8.3.5 Yarn框架和MapReduce1.0框架对比分析

  • 大部分API以及接口是兼容的

    image-20231010201238686

  • Yarn相对于MapReduce1.0的优势

    • 大大减少了承担中心服务功能ResourceManager的资源消耗
    • ApplicationMaster来完成需要大量资源消耗的任务调度和监控
    • 多个作业对应多个ApplicationMaster，实现了监控分布化
    • MapReduce1.0既是一个计算框架，又是一个资源管理调度框架，但是，只能支持MapReduce编程模型
    • Yarn是一个纯粹的资源调度管理框架，在它上面可以运行包括MapReduce在内的不同类型的计算框架，只要编程实现相应的ApplicationMaster.
    • Yarn中的资源管理比MapReduce1.0更高效，以容器为单位，而不是以slot为单位
8.3.6 Yarn框架的发展目标

  • 目标：在一个Yarn上运行多个计算框架

    image-20231010202132949

  • 为什么要实现“一个集群多个框架”？

    image-20231010202251106

    • 为了避免不同类型的应用之间互相干扰，企业需要把内部的服务器拆分成多个集群，分别安装运行不同的计算框架，“即一个框架一个集群”

      • 但是这样导致集群资源利用率低
      • 数据无法共享
      • 维护代价高

    • Yarn的实现优势

      image-20231010202736590

    • Yarn上部署各种计算框架

      image-20231010202840148

8.4 Hadoop生态系统中具有代表性的组件
8.4.1 Pig

  • Pig简要介绍

    image-20231010203117223

    image-20231010203149723

  • Pig提供的相关操作

    • 过滤，分组，连接，排序等

  • Pig的优势

    image-20231010203307471

  • Pig能做什么？

    • 加载数据，表达转换数据，存储最终结果

      image-20231010203419592

    • 企业将数据收集通过Pig进行数据加工：对收集过来的数据进行抽取、转换、加载，之后再放入数据仓库（Hive）

      image-20231010203607711

    • Pig Latin的应用程序实例

    image-20231010203830006

    • 将执行代码转换为流程图，使用MapReduce解决

      image-20231010203913989

  • Pig的应用场景

    image-20231010204557530

  • Pig的主要用户

    image-20231010204629960

8.4.2 Tez

  • Tez框架简要介绍

    image-20231010204721729

  • Tez将Map和Reduce拆分成更细粒度的字任务

    image-20231010204854402

    • 分解后的元操作可以任意灵活组合，产生新的操作
    • 经过一些控制程序组装后，可以形成一个大的DAG作业
    • 通过DAG作业的方式运行MapReduce作业，提供程序运行的整体处理逻辑
    • Hortonworks把Tez应用到数据仓库Hive的优化中，使得性能提升了约100倍

  • HiveQL在MapReduce和Tez中的执行情况对比

    • 在MapReduce中三次写入HDFS的行为降低性能

    image-20231010205334881

    • Tez的优化主要体现在
      • 去除连续两个作业之间的“写入HDFS”
      • 去除每个工作流中多余的Map阶段

  • Tez可应用于多个框架

    image-20231010205739565

  • Tez在Hadoop生态系统中的作用

    image-20231010205809967

  • Tez+Hive与Impala、Dremel、Drill区别

    image-20231010205959262

8.4.3 Spark和Kafka

  • Hadoop缺陷

    image-20231010210054034

  • Spark的优势

    image-20231010210147242

  • Kafka

    • 一种高吞吐量的分布式发布订阅消息系统，用户通过Kafka系统可以发布大量的消息，同时也能实时订阅消费消息
    • 可以同时男足在线实时处理和批量离线处理

  • Kafka作用

    image-20231010210349285

image-20231010210529435

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1078205.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

C# Onnx GFPGAN GPEN-BFR 人像修复

C# Onnx GFPGAN GPEN-BFR 人像修复

效果 项目 代码 using Microsoft.ML.OnnxRuntime; using Microsoft.ML.OnnxRuntime.Tensors; using OpenCvSharp; using System; using System.Collections.Generic; using System.Drawing; using System.Windows.Forms;namespace 图像修复 {public partial class Form1 : For…
阅读更多...
MAX17058_MAX17059 STM32 iic 驱动设计

MAX17058_MAX17059 STM32 iic 驱动设计

本文采用资源下载链接，含完整工程代码 MAX17058-MAX17059STM32iic驱动设计内含有代码、详细设计过程文档，实际项目中使用代码，稳定可靠资源-CSDN文库 简介 MAX17058/MAX17059 IC是微小的锂离子(Li )在手持和便携式设备的电池电量计。MAX170…
阅读更多...
MTK8183/MT8183安卓4G核心板_联发科安卓手机开发板主板方案定制

MTK8183/MT8183安卓4G核心板_联发科安卓手机开发板主板方案定制

MediaTek MT8183 整合先进功能和 AI 的主流 Chromebook 平台 MTK8183又称为MediaTek Kompanio 500，是一款支持强大功能的Chromebook平台，结合多种高功能硬件于单一高效能芯片。支持连接选项包括 Wi-Fi、蓝芽和 GNSS，外围设备可选择连接 USB …
阅读更多...
Flutter 直接调用so动态库，或调用C/C++源文件内函数

Flutter 直接调用so动态库，或调用C/C++源文件内函数

开发环境 MacBook Pro Apple M2 Pro | macOS Sonoma 14.0 Android Studio Giraffe | 2022.3.1 Patch 1 XCode Version 15.0 Flutter 3.13.2 • channel stable Tools • Dart 3.1.0 • DevTools 2.25.0 先说下历程，因为我已经使用了Flutter3的版本，起初…
阅读更多...
【考研408真题】2022年408数据结构41题---判断当前顺序存储结构树是否是二叉搜索树

【考研408真题】2022年408数据结构41题---判断当前顺序存储结构树是否是二叉搜索树

文章目录 思路408考研各数据结构C/C代码（Continually updating） 思路 很明显，这是一个顺序存储结构的树的构成方法。其中树的根节点位置从索引0开始，对于该结构，存在有：如果当前根节点的下标为n&#xff0c…
阅读更多...
波奇学C++：哈希

波奇学C++：哈希

哈希本质是的值和位置建立关联起来，这种关联关系就是哈希函数 示例:除留余数：对输入的数字取模。 哈希冲突：多个不同的值指向同一个位置 解决方法： 闭散列：开发地址法。 把24放在下一个位置 哈希桶 闭散列法 闭散列…
阅读更多...
NNDL:作业3

NNDL:作业3

在Softmax回归的风险函数(公式(3.39))中如果加上正则化项会有什么影响? (1) 在 Softmax 回归的风险函数中加入正则化项会对模型的训练产生影响。正则化项的作用是对模型的复杂度进行惩罚，防止过拟合的发生。 (2) 原书公式为： 在加入正则化后损失函数…
阅读更多...
STM32单片机入门学习（六）-光敏传感器控制LED

STM32单片机入门学习（六）-光敏传感器控制LED

光敏传感器模块和LED接线 LED负极接B12,正极接VCC 光敏传感模块一DO端接B13,GND接GND，VCC接VCC,AO不接。 如图： 主程序代码：main.c #include "stm32f10x.h" #include "Delay.h" //delay函数所在头文件 #include …
阅读更多...
Python中套接字实现服务端和客户端3-3

Python中套接字实现服务端和客户端3-3

3 创建客户端的步骤 创建客户端的步骤如图5所示。 图5 创建客户端的步骤 从图5可以看出，对于客户端来说，首先创建套接字，之后通过创建的套接字去连接服务端，如果连接成功，则继续通过该套接字向服务端发送数据&#x…
阅读更多...
扩展windows 10 文件夹文件路径位数

扩展windows 10 文件夹文件路径位数

Enable Long Paths in Windows 10, Version 1607, and Later PowerShell Copy New-ItemProperty -Path "HKLM:\SYSTEM\CurrentControlSet\Control\FileSystem" -Name "LongPathsEnabled" -Value 1 -PropertyType DWORD -Force 管理员权限运行 PowerShell…
阅读更多...
【开源电商网站】（2），使用docker-compose和dockerfile进行配置，设置自定义的镜像，安装插件，增加汉化包，支持中文界面汉化。

【开源电商网站】（2），使用docker-compose和dockerfile进行配置，设置自定义的镜像，安装插件，增加汉化包，支持中文界面汉化。

项目相关代代码地址 相关内容： https://blog.csdn.net/freewebsys/category_12461196.html 原文地址： https://blog.csdn.net/freewebsys/article/details/133666433 包括以下运行的详细代码： https://gitee.com/study-demo-all/oscommerc…
阅读更多...
将cpu版本的pytorch换成gpu版本

将cpu版本的pytorch换成gpu版本

1.首先激活虚拟环境 winRcmd 打开dos命令窗口 查看虚拟环境列表 conda env list 激活虚拟环境 2.将原来的pytorch_cpu版本换成gpu版本 注意：安装gpu版本的pytorch时并不需要先卸载原来的cpu版本pytorch,安装时会自己替换的 打开pytorch官网查看以前版本 Previo…
阅读更多...
vant组件安装之后导入所有组件报错

vant组件安装之后导入所有组件报错

问题：引入vant报错(Module build failed (from ./node_modules/postcss-loader/src/index.js): 解决办法：在node_modules里面找到 vant目录下面的lib里面的 index.css； 在url前面加上空格即可
阅读更多...
MongoDB 笔记

MongoDB 笔记

1 insert 、create、save区别 insert: 主键不存在则正常插入；主键已存在，抛出DuplicateKeyException 异常 save: 主键不存在则正常插入；主键已存在则更新 insertMany：批量插入，等同于批量执行 insert create&#x…
阅读更多...
地下城堡3最强英雄搭配，地下城堡3公认最强阵容

地下城堡3最强英雄搭配，地下城堡3公认最强阵容

在地下城堡3中，组建一支最强的阵容是玩家们追求的目标之一。通过合理的角色搭配和战术配合，你可以打造一个无敌的团队，在战斗中几乎无往而不胜。下面是地下城堡3公认最强阵容搭配攻略，让你在游戏中轻松征战各个副本和挑战。 关注【…
阅读更多...
基于 LSTM 进行多类文本分类(附源码）

基于 LSTM 进行多类文本分类(附源码）

NLP 的许多创新是如何将上下文添加到词向量中。一种常见的方法是使用循环神经网络。以下是循环神经网络的概念： 他们利用顺序信息。 他们可以捕捉到到目前为止已经计算过的内容，即：我最后说的内容会影响我接下来要说的内容。 RNNs 是文本和…
阅读更多...
一次性读懂Mendix的库间“数据同步”功能

一次性读懂Mendix的库间“数据同步”功能

Data sync，对于那些深谙其道的技术高手而言，意义不言自明。然鹅对整天在村工厂里打螺丝的我来说，却经历了一段难捱的时期。时至今日，我仍然时不时地选择性地遗忘某些概念和技术点。因此，本文章记录我之前一点实操的心得…
阅读更多...
【测试】robotframework安装

【测试】robotframework安装

目录 python安装 pip一系列安装 运行效果 参考文档 python安装 注意管理员权限安装，不然2503的错误 。 pip一系列安装 pip install robotframework pip install wxPython pip install robotframework-ride 运行python ride.py pip install setuptools 解决…
阅读更多...
125KHz低频接收唤醒芯片：Si3933(TSSOP16)

125KHz低频接收唤醒芯片：Si3933(TSSOP16)

Si3933 具有内部时钟产生器，可使用晶体振荡器或者RC振荡器，也可以使用外部时钟。 Si3933 是一款三通道的D功耗ASK接 收机，可用于检测15KHz-150KHz低频载波频率的数字信号，并产生唤醒信号。内部集成的校验器用于检测 16 位或 32 位…
阅读更多...
双态IT乌镇大会 | 首批《数据中心业务连续性等级评价准则》试点单位将诞生

双态IT乌镇大会 | 首批《数据中心业务连续性等级评价准则》试点单位将诞生

2023年10月13日-15日，由ITSS分会、证券基金行业信息技术应用创新联盟指导，ITSS数据中心运营管理组（DCMG）、双态IT论坛、智能运维国标工作组主办，ITSS媒体组、AI范儿协办的“2023第六届双态IT乌镇用户大会”将于浙江乌镇…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023