hadoop Yarn资源调度器

news2024/11/13 15:40:29

概述

Yarn是一个资源调度平台，负责为运算程序提供服务器资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序相当于操作系统之上的应用程序

Yarn基本架构

在这里插入图片描述

YARN 主要由ResourceManager、NodeManager、ApplicationMaster、Container

ResourceManager(RM) 主要作用如下

处理客户端请求
监控NodeManager
启动或监视 ApplicationMaster
资源的分配与调度

NodeManager(NM) 主要作用如下

管理单个节点上的资源
处理来自ResourceManager的命令
处理来自ApplicationMaster的命令

ApplicationMaster(AM) 作用如下

为应用程序申请资源并分配给内部的任务
任务的监控与容错

Container

Container 是 YARM 中的资源抽象，它封装了某个节点上的多维度资源。如内存、CPU、磁盘、网络

作业提交全过程

HDFS、YARN、MapReduce三者关系

在这里插入图片描述

作业提交过程之YARN

在这里插入图片描述

作业提交过程之HDFS & MapReduce

在这里插入图片描述

作业提交全过程详解

作业提交

第1步: Client 调用 job.waitForCompletion 方法，向整个集群提交MapReduce作业
第2步: Client 向 RM 申请一个作业ID
第3步: RM 给 Client 返回该job 的资源路径和作业ID
第4步: Client 提交jar 包、切片信息和配置文件到指定的资源提交路径
第5步: Client 提交完资源后，向RM申请运行 MrAppMaster

作业初始化

第6步: 当RM 收到Client的请求后，将该job添加到容量调度器中
第7步: 某一个空调的NM领取到该job
第8步: 该NM创建Container，并产生 MrAppMaster
第9步: 下载Client 提交的资源到本地

任务分配

第10步: MrAppMaster 向RM申请运行多个MapTask任务资源
第11步: RM 将运行 MapTask 任务分配给另外两个NodeManger, 另两个NodeManger分别领取任务并创建容器

任务运行

第12步: MR 向两个接收到的任务的 NodeManger 发送程序启动脚本，这两个NodeManger 分别启动MapTask, MapTask对数据分区排序
第13步: MrAppMaster等待所有MapTask运行完毕后，向RM申请容器，运行ReduceTask
第14步: ReduceTask 向 MapTask获取相应分区的数据
第15步: 程序运行完毕后，MR会向RM申请注销自己

进度和状态更新

YARM 中的任务将其进度和状态(包括 counter) 返回给应用管理器，客户端(通过 mapreduce.client.progressmonitor.pollinterval 设置) 向应用管理器请求进度更新，展示给用户

作业完成

除了向应用管理器请求作业进度外, 客户端每 5 秒都会通过调用 waitForCompletion()来检查作业是否完成。时间间隔可以通过 mapreduce.client.completion.pollinterval 来设置

作业完成之后, 应用管理器和 Container 会清理工作状态

作业的信息会被作业历史服务器存储以备之后用户核查

资源调度器

默认调度器

目前，Hadoop 作业调度器主要有三种：FIFO、容量（Capacity Scheduler）和公平（Fair Scheduler）

Apache Hadoop3.1.3 默认的资源调度器是 Capacity Scheduler。 CDH 框架默认调度器是 Fair Scheduler

具体设置详见：yarn-default.xml 文件

<property>
 <description>The class to use as the resource scheduler.</description>
 <name>yarn.resourcemanager.scheduler.class</name>
<value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value>
</property>