YARN实战学习笔记

news2024/11/27 21:35:59

文章目录

  • YARN的由来
  • YARN架构分析
  • YARN资源管理模型
  • YARN中的调度器
  • 案例：YARN多资源队列配置和使用

YARN的由来

从Hadoop2开始，官方把资源管理单独剥离出来，主要是为了考虑后期作为一个公共的资源管理平台，任何满足规则的计算引擎都可以在它上面执行。所以YARN可以实现HADOOP集群的资源共享，不仅仅可以跑MapRedcue，还可以跑Spark、Flink。

YARN架构分析

YARN主要负责集群资源的管理和调度 ，支持主从架构，主节点最多可以有2个，从节点可以有多个
其中：ResourceManager：是主节点，主要负责集群资源的分配和管理
NodeManager：是从节点，主要负责当前机器资源管理

YARN资源管理模型

YARN主要管理内存和CPU这两种资源类型
当NodeManager节点启动的时候自动向ResourceManager注册，将当前节点上的可用CPU信息和内存信息注册上去。
这样所有的nodemanager注册完成以后，resourcemanager就知道目前集群的资源总量了。那我们现在来看一下我这个一主两从的集群资源是什么样子的，打开yarn的8088界面

image.png

注意，这里面显示的资源是集群中所有从节点的资源总和，不包括主节点的资源，

  • yarn.nodemanager.resource.memory-mb：单节点可分配的物理内存总量，默认是8MB*1024，即8G
  • yarn.nodemanager.resource.cpu-vcores：单节点可分配的虚拟CPU个数，默认是8

这都是默认单节点的内存和CPU信息，就算你这个机器没有这么多资源，但是在yarn-default.xml中有这些默认资源的配置，这样当nodemanager去上报资源的时候就会读取这两个参数的值，这也就是为什么我们在前面看到了单节点都是8G内存和8个cpu，其实我们的linux机器是没有这么大资源的，那你这就是虚标啊，肯定不能这样干，你实际有多少就是多少，所以我们可以修改这些参数的值，修改的话就在yarn-site.xml中进行配置即可，改完之后就可以看到真实的信息了

YARN中的调度器

YARN中的调度器，这个是非常实用的东西，面试的时候也会经常问到。
大家可以想象一个场景，我们集群的资源是有限的，在实际工作中会有很多人向集群中提交任务，那这时候资源如何分配呢？
如果你提交了一个很占资源的任务，这一个任务就把集群中90%的资源都占用了，后面别人再提交任务，剩下的资源就不够用了，这个时候怎么办？
让他们等你的任务执行完了再执行？还是说你把你的资源匀出来一些分给他，你少占用一些，让他也能慢

具体如何去做这个是由YARN中的调度器负责的
YARN中支持三种调度器
1：FIFO Scheduler：先进先出(first in, first out)调度策略
2：Capacity Scheduler：FIFO Scheduler的多队列版本
3：FairScheduler：多队列，多用户共享资源

image.png

  • FIFO Scheduler：是先进先出的，大家都是排队的，如果你的任务申请不到足够的资源，那你就等着，等前面的任务执行结束释放了资源之后你再执行。这种在有些时候是不合理的，因为我们有一些任务的优先级比较高，我们希望任务提交上去立刻就开始执行，这个就实现不了了。
  • CapacityScheduler：它是FifoScheduler的多队列版本，就是我们先把集群中的整块资源划分成多份，我们可以人为的给这些资源定义使用场景，例如图里面的queue A里面运行普通的任务，queueB中运行优先级比较高的任务。这两个队列的资源是相互对立的。但是注意一点，队列内部还是按照先进先出的规则。
  • FairScheduler：支持多个队列，每个队列可以配置一定的资源，每个队列中的任务共享其所在队列的所有资源，不需要排队等待资源具体是这样的，假设我们向一个队列中提交了一个任务，这个任务刚开始会占用整个队列的资源，当你再提交第二个任务的时候，第一个任务会把他的资源释放出来一部分给第二个任务使用

在实际工作中我们一般都是使用第二种， CapacityScheduler ，从hadoop2开始，CapacitySchedule r也是集群中的默认调度器了。那下面我们到集群上看一下，点击左侧的Scheduler查看

image.png

Capacity，这个是集群的调度器类型，
下面的root是根的意思，他下面目前只有一个队列，叫default，我们之前提交的任务都会进入到这个队列中。

案例：YARN多资源队列配置和使用

我们的需求是这样的，希望增加2个队列，一个是online队列，一个是offline队列，然后向offline队列中提交一个mapreduce任务。

  • online队列里面运行实时任务
  • offline队列里面运行离线任务，我们现在学习的mapreduce就属于离线任务

实时任务我们后面会学习，等讲到了再具体分析。
这两个队列其实也是我们公司中最开始分配的队列，不过随着后期集群规模的扩大和业务需求的增加，后期又增加了多个队列。在这里我们先增加这2个队列，后期再增加多个也是一样的。
具体步骤如下：
修改集群中 etc/hadoop 目录下的 capacity-scheduler.xml 配置文件
修改和增加以下参数，针对已有的参数，修改value中的值，针对没有的参数，则直接增加
这里的 default 是需要保留的，增加 online,offline ，这三个队列的资源比例为 7:1:2
具体的比例需要根据实际的业务需求来，看你们那些类型的任务比较多，对应的队列中资源比例就调高一些，我们现在暂时还没有online任务，所以我就把online队列的资源占比设置的小一些。
先修改bigdata01上的配置

[root@bigdata01 hadoop]# vi capacity-scheduler.xml
<property>
	<name>yarn.scheduler.capacity.root.queues</name>
	<value>default,online,offline</value>
	<description>队列列表,多个队列之间使用逗号分割</description>
</property>
<property>
	<name>yarn.scheduler.capacity.root.default.capacity</name>
	<value>70</value>
	<description>default队列70%</description>
</property>
<property>
	<name>yarn.scheduler.capacity.root.online.capacity</name>
	<value>10</value>
	<description>online队列10%</description>
</property>
<property>
	<name>yarn.scheduler.capacity.root.offline.capacity</name>
	<value>20</value>
	<description>offline队列20%</description>
</property>
<property>
	<name>yarn.scheduler.capacity.root.default.maximum-capacity</name>
	<value>70</value>
	<description>Default队列可使用的资源上限.</description>
</property>
<property>
	<name>yarn.scheduler.capacity.root.online.maximum-capacity</name>
	<value>10</value>
	<description>online队列可使用的资源上限.</description>
</property>
<property>
	<name>yarn.scheduler.capacity.root.offline.maximum-capacity</name>
	<value>20</value>
	<description>offline队列可使用的资源上限.</description>
</property>

修改好以后再同步到另外两个节点上

[root@bigdata01 hadoop]# scp -rq capacity-scheduler.xml bigdata02:/data/soft/
[root@bigdata01 hadoop]# scp -rq capacity-scheduler.xml bigdata03:/data/soft/

然后重启集群才能生效

[root@bigdata01 hadoop-3.2.0]# sbin/stop-all.sh
[root@bigdata01 hadoop-3.2.0]# sbin/start-all.sh

进入yarn的web界面，查看最新的调度器队列信息

image.png

注意了，现在默认提交的任务还是会进入default的队列，如果希望向offline队列提交任务的话，需要指定队列名称，不指定就进默认的队列。在这里我们还需要同步微调一下代码，否则我们指定的队列信息 代码是无法识别的。拷贝WordCountJob类，新的类名为 WordCountJobQueue
主要在job配置中增加一行代码

package com.imooc.mr;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import java.io.IOException;
/**
* 指定队列名称
*/
public class WordCountJobQueue {
/**
* Map阶段
*/
Logger logger = LoggerFactory.getLogger(MyMapper.class);
/**
* 需要实现map函数
* 这个map函数就是可以接收<k1,v1>，产生<k2，v2>
* @param k1
* @param v1
* @param context
* @throws IOException
* @throws InterruptedException
*/
@Override
protected void map(LongWritable k1, Text v1, Context context)
throws IOException, InterruptedException {
//输出k1,v1的值
//System.out.println("<k1,v1>=<"+k1.get()+","+v1.toString()+">");
//logger.info("<k1,v1>=<"+k1.get()+","+v1.toString()+">");
//k1 代表的是每一行数据的行首偏移量，v1代表的是每一行内容
	//对获取到的每一行数据进行切割，把单词切割出来
	String[] words = v1.toString().split(" ");
	//迭代切割出来的单词数据
	for (String word : words) {
		//把迭代出来的单词封装成<k2,v2>的形式
		Text k2 = new Text(word);
		LongWritable v2 = new LongWritable(1L);
		//把<k2,v2>写出去
		context.write(k2,v2);
		}
	}
}
/**
* Reduce阶段
*/
public static class MyReducer extends Reducer<Text,LongWritable,Text,LongW
Logger logger = LoggerFactory.getLogger(MyReducer.class);
/**
* 针对<k2,{v2...}>的数据进行累加求和，并且最终把数据转化为k3,v3写出去
* @param k2
* @param v2s
* @param context
* @throws IOException
* @throws InterruptedException
*/
@Override
protected void reduce(Text k2, Iterable<LongWritable> v2s, Context co
throws IOException, InterruptedException {
	//创建一个sum变量，保存v2s的和
	long sum = 0L;
	//对v2s中的数据进行累加求和
	for(LongWritable v2: v2s){
	//输出k2,v2的值
	//System.out.println("<k2,v2>=<"+k2.toString()+","+v2.get()+"
	//logger.info("<k2,v2>=<"+k2.toString()+","+v2.get()+">");
	sum += v2.get();
}
	//组装k3,v3
	Text k3 = k2;
	LongWritable v3 = new LongWritable(sum);
	//输出k3,v3的值
	//System.out.println("<k3,v3>=<"+k3.toString()+","+v3.get()+">");
	//logger.info("<k3,v3>=<"+k3.toString()+","+v3.get()+">");
	}
}
/**
* 组装Job=Map+Reduce
*/
public static void main(String[] args) {
	try{
	//指定Job需要的配置参数
	Configuration conf = new Configuration();
	//解析命令行中-D后面传递过来的参数，添加到conf中
	String[] remainingArgs = new GenericOptionsParser(conf, args).get
	//创建一个Job
	Job job = Job.getInstance(conf);
	//注意了：这一行必须设置，否则在集群中执行的时候是找不到WordCountJob这个
	job.setJarByClass(WordCountJobQueue.class);
	//指定输入路径（可以是文件，也可以是目录）
	FileInputFormat.setInputPaths(job,new Path(remainingArgs[0]));
	//指定输出路径(只能指定一个不存在的目录)
	FileOutputFormat.setOutputPath(job,new Path(remainingArgs[1]));
	//指定map相关的代码
	job.setMapperClass(MyMapper.class);
	//指定k2的类型
	job.setMapOutputKeyClass(Text.class);
	//指定v2的类型
	job.setMapOutputValueClass(LongWritable.class);
	//指定reduce相关的代码
	job.setReducerClass(MyReducer.class);
	//指定k3的类型
	job.setOutputKeyClass(Text.class);
	//指定v3的类型
	job.setOutputValueClass(LongWritable.class);
	//提交job
	job.waitForCompletion(true);
	}catch(Exception e){
		e.printStackTrace();
		}
	}
}

重新编译打包，上传到服务器上面
执行任务

[root@bigdata01 hadoop-3.2.0]# hadoop jar db_hadoop-1.0-SNAPSHOT-jar-with-dep

image.png

如果我们去掉指定队列名称的配置，此时还会使用default队列

[root@bigdata01 hadoop-3.2.0]# hdfs dfs -rm -r /outqueue
[root@bigdata01 hadoop-3.2.0]# hadoop jar db_hadoop-1.0-SNAPSHOT-jar-with-dep

到yarn中查看任务的信息，显示是在default队列中执行

image.png

这就是YARN中调度器多资源队列的配置，在工作中我们只要掌握如何使用这些队列就可以了，具体如何配置是我们向运维同学提需求，他们去配置。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1177240.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

阿里健康进博会发起《数字化药品信息生态建设倡议》 呼吁医药产业链绿色升级

阿里健康进博会发起《数字化药品信息生态建设倡议》 呼吁医药产业链绿色升级

11月6日&#xff0c;第六届中国国际进口博览会上&#xff0c; “可持续市场倡议”中国理事会健康系统工作组宣布成立&#xff0c;工作组首批成员单位共涵盖16家国内外领先的医药医疗、能源和供应链企业&#xff0c;并由华润医药商业集团有限公司与阿斯利康投资&#xff08;中国…
阅读更多...
vue开发环境搭建部署（mac版）

vue开发环境搭建部署（mac版）

前言 目前后端工作越来越少了&#xff0c;年底了&#xff0c;为了先过验收。项目负责人、产品、需求制定的方案就是先做假页面&#xff0c;所以前端的活多点。 其实现在不喜欢搞前端&#xff0c;原因很多&#xff0c;但是感觉现在似乎流行的码林绝学又是九九归一的瓶颈期…
阅读更多...
NVIDIA-SMI has failed because it couldn“t communicate with the NVIDIA driver .

NVIDIA-SMI has failed because it couldn“t communicate with the NVIDIA driver .

文章目录 报错原因分析解决办法防患于未然 报错 执行nvidia-smi报错 NVIDIA-SMI has failed because it couldn"t communicate with the NVIDIA driver . Make sure that the atest NVIDIA driver is installed and running.运行使用gpu的docker容器时 NVIDIA Docker …
阅读更多...
第七章认识Express框架

第七章认识Express框架

目录 认识Express框架 环境搭建 ​编辑 基本概述 案例小项目 认识Express中间价 基本概述 常见案例 基本定义 app.get()定义中间件 app.post()定义中间件 app.use()定义中间件 基本作用 利用中间件处理静态资源 利用中间件处理错误 利用中间件捕获异步函数错误…
阅读更多...
Windows 系统服务器部署jar包时，推荐使用winsw，将jar包注册成服务，并设置开机启动。

Windows 系统服务器部署jar包时，推荐使用winsw，将jar包注册成服务，并设置开机启动。

一、其他方式不推荐的原因 1、Spring Boot生成的jar包&#xff0c;可以直接用java -jar运行&#xff0c;但是前提是需要登录用户&#xff0c;而且注销用户后会退出程序&#xff0c;所以不可用。 2、使用计划任务&#xff0c;写一个bat处理文件&#xff0c;里面写java -jar运行…
阅读更多...
视频集中存储/云存储EasyCVR启动后查询端口是否被占用出错，该如何解决？

视频集中存储/云存储EasyCVR启动后查询端口是否被占用出错，该如何解决？

安防视频监控/视频集中存储/云存储/磁盘阵列EasyCVR平台可拓展性强、视频能力灵活、部署轻快&#xff0c;可支持的主流标准协议有国标GB28181、RTSP/Onvif、RTMP等&#xff0c;以及支持厂家私有协议与SDK接入&#xff0c;包括海康Ehome、海大宇等设备的SDK等。平台既具备传统安…
阅读更多...
Python工具箱系列(四十五)

Python工具箱系列(四十五)

内存映射文件 mmap是python内置标准库&#xff0c;提供将文件映射到内存的机制。通过mmap将文件映射到内存之后&#xff0c;我们可以高效并优雅地对文件的内容进行随机访问。通常打开文件后要通过组合各种seek()、read()和write()调用来访问&#xff0c;使用mmap后可以简单将文…
阅读更多...
VirtualBox 虚拟机

VirtualBox 虚拟机

VirtualBox虚拟机安装 Virtualbox下载地址&#xff1a;https://www.virtualbox.org/wiki/Downloads&#xff0c;请选择适合自己操作系统的版本。 https://blog.csdn.net/rongtaoup/article/details/131622940
阅读更多...
20231106-前端学习加载和视频球特效

20231106-前端学习加载和视频球特效

加载效果 代码 <!DOCTYPE html> <html lang"en"><head><meta charset"UTF-8"><meta name"viewport" content"widthdevice-width, initial-scale1.0"><title>加载效果</title><!-- 最新…
阅读更多...
mysql的备份和

mysql的备份和

备份&#xff1a;完全备份 增量备份 完全备份&#xff1a;将整个数据库完整的进行备份 增量备份&#xff1a;在完全备份的基础之上&#xff0c;对后续新增的内容进行备份 备份的需求 1、在生产环境中&#xff0c;数据的安全至关重要&#xff0c;任何数据的都可能产生非常严重…
阅读更多...
网络溯源-PSEXEC-简单

网络溯源-PSEXEC-简单

题干&#xff1a; 我们的入侵检测系统&#xff08;IDS&#xff09;已发出警报&#xff0c;指示涉及使用PsExec的可疑横向移动活动。为了有效响应此事件&#xff0c;您作为 SOC 分析师的角色是分析存储在 PCAP 文件中的捕获网络流量。 攻击者首次攻击成功的计算机源网络IP地址…
阅读更多...
『亚马逊云科技产品测评』活动征文｜如何搭建低成本亚马逊aws云服务器

『亚马逊云科技产品测评』活动征文｜如何搭建低成本亚马逊aws云服务器

授权声明&#xff1a;本篇文章授权活动官方亚马逊云科技文章转发、改写权&#xff0c;包括不限于在 Developer Centre, 知乎&#xff0c;自媒体平台&#xff0c;第三方开发者媒体等亚马逊云科技官方渠道 0. 环境 win10 火狐浏览器 1. 登录 https://aws.amazon.com/cn/ ->…
阅读更多...
SAP ABAP BDC录屏 保姆级教程

SAP ABAP BDC录屏 保姆级教程

ME47修改报价请求中项目的信息记录更新这个字段. 1.输入TCODE: SHDB 2.点击创建记录 3.输入记录(也就是一个名称)和事务码(就是你想录的那个tcode的事务码),最后点击开始,之后就会跳到该事务码的初始屏幕上去了,然后就按照正常去操作,尽量一步到位不要有多余的操作!! 4.我…
阅读更多...
PackageManagerService 深入理解Android 卷2 学习笔记

PackageManagerService 深入理解Android 卷2 学习笔记

PackageManagerService是Android核心服务之一&#xff0c;负责系统中Package的管理&#xff0c;应用程序的安装、卸载、信息查询等。 1、初识PMS PMS由SystemServer创建&#xff1a; SystemServer的run函数调用startBootstrapServices&#xff0c;startBootstrapServices调用…
阅读更多...
开发抖音群控软件的费用在什么范围内?

开发抖音群控软件的费用在什么范围内?

随着抖音等社交媒体的普及&#xff0c;越来越多的企业和个人开始注重在社交媒体平台上的营销和推广&#xff0c;而开发一款抖音群控软件&#xff0c;可以帮助用户更好地管理和运营其在抖音平台上的账号&#xff0c;提高账号的曝光率和关注度&#xff0c;那么&#xff0c;开发一…
阅读更多...
速卖通发布公告，屏蔽对欧洲资质和标签不合规商品——站斧浏览器

速卖通发布公告，屏蔽对欧洲资质和标签不合规商品——站斧浏览器

近日全球速卖通发布关于公告&#xff0c;根据欧盟法规要求&#xff0c;商品卖向欧盟和英国市场需要满足欧盟商品资质合规的要求。对于资质和标签不满足合规要求的商品&#xff0c;平台已经陆续开始执行屏蔽管控&#xff0c;卖家为了保障欧盟市场的正常售卖&#xff0c;需要尽快…
阅读更多...
【计算机网络】数据链路层-MAC和ARP协议

【计算机网络】数据链路层-MAC和ARP协议

文章目录 1. 认识以太网2. MAC协议MAC帧的格式MAC地址和IP地址的区别MTU 3. 局域网通信原理碰撞检测和避免 4. ARP协议ARP数据报的格式ARP缓存 1. 认识以太网 网络层解决的是跨网络点到点传输的问题&#xff0c;数据链路层解决的是同一网络中的通信。 数据链路层负责在同一局域…
阅读更多...
Power Apps-1.1通过函数修改组件属性

Power Apps-1.1通过函数修改组件属性

修改字体颜色 1.点击想要根据条件变化的文本组件&#xff0c;出现右侧边栏后&#xff0c;点击下方的“颜色”标题 2.修改函数设置 If(判断条件,判断结果为true时执行的颜色,判断结果为false时执行的颜色) 颜色代码可参考&#xff1a; Power Apps 中的颜色和边框属性 - Power…
阅读更多...
单点登录与OAuth2.0 的区别

单点登录与OAuth2.0 的区别

前言&#xff1a;SSO是Single Sign On(单点登录)的缩写&#xff0c;OAuth是Open Authority&#xff08;开放授权&#xff09;&#xff0c;这两者都是使用令牌的方式来代替用户密码访问应用。流程上来说他们非常相似&#xff0c;但概念上又十分不同。很多人会将其混为一谈&#…
阅读更多...
操作系统·操作系统引论

操作系统·操作系统引论

1.1 操作系统的目标和作用 1.目前常见操作系统&#xff1a; 微软&#xff1a;Windows系列&#xff08;以前MS-DOS&#xff09; UNIX&#xff1a;Solaris, AIX, HP UX, SVR4, BSD, ULTRIX 自由软件&#xff1a;Linux, freeBSD, Minix IBM: AIX, zOS(OS/390), OS/2, OS/400, PC…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023