Yarn【多队列实例、任务优先级设置】

news2024/11/24 5:36:57

前言

我们知道,Hadoop常见的三种调度器:FIFO调度器(几乎不用,因为它是先来先服务)、容量调度器(Apache Hadoop 默认的调度器)、公平调度器(CDH默认调度器)。

其中,容量调度器和公平调度器都是支持多任务队列的,但是我们如果不去指定,它默认把任务都放到一个默认的队列(‘default’队列)当中去,如果提交的任务比较多,那么并发度肯定很低,毕竟每个队列都是一个FIFO队列。这就需要我们创建多个队列。

怎么创建队列

  1. 默认:调度器默认就 1 default 队列,不能满足生产要求(所有任务都在一个队列中,相当于在一个FIFO队列,并发度极低)。
  2. 按照框架:mr / hive /spark/ flink 每个框架的任务放入指定的队列(但是企业用的不是特别多,毕竟假如大公司,一次上万个任务,除以4之后每个队列的压力仍然很大
  3. 按照业务模块:登录注册、购物车、下单、业务部门 1、业务部门 2 ...(主流创建队列的方式)

创建多队列的好处 

  1. 不用担心因为一个队列的原因,导致实习生直接一手递归死循环把整个集群资源耗尽干瘫痪。
  2. 降级使用,特殊时期保证重要的任务队列资源充足(双11、618)。

实际案例

需求

        default 队列占总内存的 40% ,最大资源容量占总资源 60%(也就是说当自己资源不足的时候,可以去抢占别人的资源,但是不能超过60%) hive 队列占总内存的 60% ,最大资源容量占总资源 80%

配置capacity-scheduler.xml

我们可以看到,目前default队列的总容量占总资源的100%,最大容量同样占100%。

 我们需要配置的是 hadoop3.1.3etc/hadoop/capacity-scheduler.xml 

替换修改后的调度器配置文件

分发脚本

 刷新队列

语法:  yarn rmadmin -refreshQueues

 指定执行队列案例测试

        使用wordcount案例进行测试,要求指定使用 hive 队列来提交任务。(不指定的话默认使用的是default队列)

命令:

 hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.0.jar wordcount -D mapreduce.job.queuename=hive /wcinput /wcoutput2

此外,如果是我们自己编写的MapReduce程序,我们可以在Driver类中来指定提交任务的队列: 

public static void main(String[] args) throws IOException, 
ClassNotFoundException, InterruptedException {
 Configuration conf = new Configuration();
 conf.set("mapreduce.job.queuename","hive");
 //1. 获取一个 Job 实例
 Job job = Job.getInstance(conf);
 
//....

 //6. 提交 Job
 boolean b = job.waitForCompletion(true);
 System.exit(b ? 0 : 1);
 }

容量调度器下的任务优先级

        容量调度器,支持任务优先级的配置,在资源紧张时,优先级高的任务将优先获取资源。
默认情况, Yarn 将所有任务的优先级限制为 0(也就是说,默认每个队列都是一个FIFO队列,按照先来先服务的原则) ,若想使用任务的优先级功能,须开放该限制。

1、修改yarn-site.xml

设置5个优先级等级

<property>
 <name>yarn.cluster.max-application-priority</name>
 <value>5</value>
</property>

2、分发配置、重启Yarn

更新了yarn-site.xml需要重启yarn才能生效

 

3、提交任务时指定任务优先级

hadoop jar /opt/module/hadoop-3.3.0/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.0.jar pi -D mapreduce.job.priority=5 5 2000000

4、提交任务后指定任务优先级

yarn application -appID application_1611133087930_0009 -updatePriority 5

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/624902.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

PyTorch实战7:咖啡豆识别--手动搭建VGG16

&#x1f368; 本文为&#x1f517;365天深度学习训练营 中的学习记录博客&#x1f366; 参考文章&#xff1a;365天深度学习训练营-第P7周&#xff1a;咖啡豆识别&#x1f356; 原作者&#xff1a;K同学啊|接辅导、项目定制 目录 一、 前期准备1. 设置GPU2. 导入数据3. 划分数…

Zookeeper节点操作

ZooKeeper的节点操作 ZooKeeper的节点类型 ZooKeeper其实也是一个分布式集群&#xff0c;其中维护了一个目录树结构&#xff0c;在这个目录树中&#xff0c;组成的部分是一个个的节点。ZooKeeper的节点可以大致分为两种类型: 短暂类型 和 持久类型 短暂类型ephemeral: 客户端…

Creating Add-in Hooks (C#)

本文介绍如何使一个文件在添加、检入、检出到库时&#xff0c;让add-in 程序在SOLIDWORKS PDM Professional 中通知到你。 注意&#xff1a; 因为 SOLIDWORKS PDM Professional 无法强制重新加载Add-in程序 &#xff0c;必须重新启动所有客户端计算机&#xff0c;以确保使用最…

电力综合自动化系统在煤矿领域的设计与应用

安科瑞虞佳豪 持续的高温&#xff0c;给能源保供带来严峻的考验。针对南方部分地区电力供应紧张的局面&#xff0c;煤炭资源大省山西&#xff0c;在确保安全生产的基础上&#xff0c;积极协调增产保供。 这几天&#xff0c;南方多地持续高温&#xff0c;用电量达到高峰。在山西…

深入理解深度学习——注意力机制(Attention Mechanism):Bahdanau注意力

分类目录&#xff1a;《深入理解深度学习》总目录 之前我们探讨了机器翻译问题&#xff1a; 通过设计一个基于两个循环神经网络的编码器—解码器架构&#xff0c; 用于序列到序列学习。 具体来说&#xff0c;循环神经网络编码器将长度可变的序列转换为固定形状的上下文变量&…

抖音seo矩阵系统源码搭建步骤分享

目录 账号矩阵系统源码搭建包括以下步骤&#xff1a; 二、代码实现 三、 代码展示 四、 服务交付 故障级别定义 服务响应时间 账号矩阵系统源码搭建包括以下步骤&#xff1a; 1. 准备服务器和域名 准备一台服务器&#xff0c;例如阿里云、腾讯云等。并在网站上购买一个域…

C++:类型转换

目录 一. C语言的类型转换 二. C类型转换 2.1 static_cast 2.2 reinterpret_cast 2.3 const_cast 2.4 dynamic_cast 三. 运行时类型识别 -- RTTI 四. 总结 一. C语言的类型转换 C语言的类型转换分为隐式类型转换和强制类型转换&#xff0c;隐式类型转换发生在相近的类…

WEB测试环境搭建和测试方法大全

一、WEB测试环境搭建 WEB测试时搭建测试环境所需的软硬件包括&#xff1a;电脑一台、JDK1.6、Tomcat7.0、mysql、IE浏览器、Firefox浏览器、Chrome浏览器、SVN客户端 通过SVN客户端导出最新的Web工程部署到Tomcat7.0下的webapps中&#xff0c;另外重要的一点就是修改数据库连…

31、js - Promise

一、Promise要点 -> js中&#xff0c;只有Promise对象才可以使用.then().catch()方法。 -> axios可以使用.then().catch()&#xff0c;完全是因为调用axios()&#xff0c;返回的是一个Promise对象。 -> new Promise() 里面的代码是同步代码&#xff0c;一旦调用promis…

这个API Hub太厉害了,太适合接口测试了,收录了钉钉企业微信等开放Api的利器

目录 前言&#xff1a; 01API Hub的项目 02API Hub 03调试 04 API 调试 05 API mock 06 针对开放项目功提供者 08 下载 前言&#xff1a; API Hub 的优势在于它提供了完整的 API 管理解决方案&#xff0c;包括API的设计、接口调试、测试和文档管理等。通过集中管理API…

火热报名中 | KCD 北京精彩抢“鲜”看

​ 仲夏已至&#xff0c;风云再起&#xff0c;Kubernetes Community Days 北京站英雄帖一经发出&#xff0c;云原生的各路英雄豪杰纷纷响应。经典招式的升级亮相&#xff0c;最新技巧的惊喜面世&#xff0c;且看各路门派京城聚首&#xff0c;掀起一场云原生的武林论道。各大议…

深入解析Cloudflare五秒盾与爬虫绕过技巧

最近一个朋友发现一个比较有趣的网站&#xff0c;他说正常构造一个HTTP请求居然拿不到网站页面的信息&#xff0c;网站页面如下&#xff1a; 别看它只是一个普普通通的小说网站。随后我在本地环境验证了一下&#xff0c;果不其然得到了以下信息&#xff1a; 从上面反馈的信息…

Yakit: 集成化单兵安全能力平台使用教程·进阶篇

Yakit: 集成化单兵安全能力平台使用教程进阶篇 1.数据处理数据对比Codec2.插件仓库1.数据处理 数据对比 该功能主要提供一个可视化的差异比对工具,用于分析两次数据之间的区别。使用场景可能包括:枚举用户名时比较登录成功和失败时服务器端反馈结果的差异、使用 Web Fuzzer…

【css3实现华为充电】那些你没想到的CSS效果之华为充电效果(附源码下载)

【写在前面】今天是高考的第二天&#xff0c;在这里我也祝各位学子能够旗开得胜&#xff0c;进入自己理想的大学&#xff0c;借着今天这个吉日我就和大家介绍一下如何用css实现华为充电效果。 涉及知识点&#xff1a;CSS3特效&#xff0c;华为充电特效实现&#xff0c;CSS属性f…

部署DR模式 LVS负载均衡群集

部署DR模式 LVS负载均衡群集 一、LVS-DR数据包流向分析二、DR模型的特点三、DR模式 LVS负载均衡群集部署 一、LVS-DR数据包流向分析 &#xff08;1&#xff09;客户端发送请求到 Director Server&#xff08;负载均衡器&#xff09;&#xff0c;请求的数据报文&#xff08;源 …

SYSU程设c++(第十五周)

vector容器 1.要开vector库 2.vector<T> 是动态的连续数组&#xff0c;可以列表初始化 vector<int> ivec(10, 2); //创建10个值为2的元素 3.可以靠[ ]、at(int)、front、back、迭代器访问其中元素&#xff0c;其中at会自动检查下标越界&#xff0c;抛出异常 4.迭…

【资料分享】ESD防护设计-常见ESD保护电路图

ESD防护设计 ESD防护设计的目的是&#xff0c;当集成电路任意两个输入/输出引脚之间发生ESD事件时&#xff0c;集成电路内部的ESD防护系统能及时开启来泄放掉大量的瞬时电流/电压,使内部电路免遭破坏。此外&#xff0c;在集成电路正常工作时&#xff0c;即未发生ESD事件时&…

Jmeter Suite安装中influx一直处于pending状态

目录 【前言】 【背景说明】 【问题表现】 【排查思路】 简单重试 深入分析 直面本质 【小结】 【写在最后】 完整版文档下载方式&#xff1a; 【前言】 今天要和大家聊聊一个关于Jmeter Suite安装的问题——“influx一直处于pending状态”。 作为一名老测试&#…

文心一言 VS 讯飞星火 VS chatgpt (35)-- 算法导论5.3 5题

五、证明:在过程 PERMUTE-BY-SORTING的数组 P中&#xff0c;所有元素都唯一的概率至少是1-1/n。 文心一言&#xff1a; 证明&#xff1a; 在过程PERMUTE-BY-SORTING中&#xff0c;对于输入数组P中的每个元素&#xff0c;其出现次数为1&#xff0c;因此对于每个元素&#xff…

配置Linux服务器时间同步

这里说一下为什么要配置时间同步这个问题&#xff0c;为了避免各虚拟机的时间出现不一致的情况而引发集群故障。这里还要了解一下什么是系统时间&#xff0c;什么是硬件时间。   这里配置时间同步我选择的是Chrony。Chrony是网络时间协议&#xff08;NTP&#xff09;的通用实…