【大数据】YARN节点标签Node Label特性

news2024/11/28 19:03:30

简介

YARN 的 Node-label 特性能够将不同的机器类型进行分组调度,也可以根据不同的资源要求进行分区调度。运维人员可以根据节点的特性将其分为不同的分区来满足业务多维度的使用需求。YARN的Node-label功能将很好的试用于异构集群中,可以更好地管理和调度混合类型的应用程序。

开启Node-label

默认情况下系统时没有开启node label标签功能的,可以在yarn-site.xml中修改下列配置来开启label特性。

  <!-- Yarn Node Labels -->
  <property>
    <name>yarn.node-labels.enabled</name>
    <value>true</value>
  </property>
  <property>
    <name>yarn.node-labels.manager-class</name>
    <value>org.apache.hadoop.yarn.server.resourcemanager.nodelabels.RMNodeLabelsManager</value>
  </property>
  <property>
    <name>yarn.node-labels.fs-store.root-dir</name>
    <value>hdfs://cdp-cluster/yarn/node-labels</value>
    <description>标签数据在HDFS上的存储位置</description>
  </property>

设置这个HDFS的Node-labels存储目录,是因为label信息默认是保存在内存中的,如果将label信息存于hdfs上,重启resourcemanager之后label信息不会因此丢失。

配置步骤:
先按上述要求修改yarn-site.xml并同步到集群各节点中,然后重启resourcemanager节点

添加集群便签

yarn rmadmin -addToClusterNodeLabels label_1,label_2

删除集群标签

bin/yarn rmadmin -removeFromClusterNodeLabels "label_1,label_2"

添加节点标签

yarn rmadmin -replaceLabelsOnNode spark-31:45454,label_1
yarn rmadmin -replaceLabelsOnNode spark-32:45454,label_2
yarn rmadmin -replaceLabelsOnNode spark-33:45454,label_2

# 或者下面这种方式
# yarn rmadmin -replaceLabelsOnNode "spark-31=label_1 spark-32=label_2 spark-33=label_2"

需一个一个添加,节点较多时建议写成脚本执行

删除标签

yarn rmadmin -replaceLabelsOnNode "spark-33"

查看标签

yarn node -status spark-31:45454

也可以通过Yarn管理页面查看Node Label
node-label webUI 访问地址为 :http://RM-Address:port/cluster/nodelabels

将节点标签与队列关联

将节点标签与队列关联

(1)假设集群有8个节点:前3个节点(n1-n3)具有节点标签: x,后3个节点(n4-n6)具有节点标签= y,最后2个节点(n7,n8)没有任何节点标签;每个节点可以运行10个容器。

(2)现在分配资源如下:队列a可以访问节点标签x和y,队列b只能访问节点标签y;

(3)假设按这个需求去分配:队列a占用x 100%,占用y 50%,占用没有标签的40%;队列b占用y 50%,占用x 0%,占用没有标签的60%。

即:a(无)40% + b(无)60% = 1 n7,n8

a(x)100% + b(x)0 = 1 n1,n2,n3

a(y)50% + b(y)50% = 1 n4,n5,n6

(4)在(3)的基础上,a队列有子队列a1,a2;b队列只有b1子队列。

那么假设a1占用a(无)40%,a(x)30%,a(y)50%;a2占用a(无)60%,a(x)70,a(y)50%;

b1 占用b(无)100%,占用b(y)100%。

则具体的资源划分为:

a1:

无标签的节点(n7,n8)可用资源为:20(2个节点的总的容器) * a(无)40% * a1(无)40% = 3.2 个(container)
x标签节点(n1,n2,n3)可用资源为:30 * a(x)100% * a1(x)30% = 9 个(container)
y标签节点(n4,n5,n6)可用资源为:30 * a(y)50% * a1(y)50% = 7.5 个(container)
a2:

无标签的节点(n7,n8)可用资源为:20(2个节点的总的容器) * a(无)40% * a2(无)60% = 4.8 个(container)
x标签节点(n1,n2,n3)可用资源为:30 * a(x)100% * a1(x)70% = 21 个(container)
y标签节点(n4,n5,n6)可用资源为:30 * a(y)50% * a1(y)50% = 7.5 个(container)
b1:

无标签的节点(n7,n8)可用资源为:20(2个节点的总的容器) * b(无)60% * b1(无)100% = 12 个(container)
x标签节点(n1,n2,n3)可用资源为:30 * b(x)0 = 0 个(container)
y标签节点(n4,n5,n6)可用资源为:30 * b(y)50% * b1(y)50% * b1(y)100% = 15 个(container)
无:3.2+4.8+12=20;

x:9+21=30;

y:15 + 15=30;

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/345029.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

使用 RGB 值设置颜色

使用 RGB 值设置颜色 另一种可以在 CSS 中表示颜色的方法是使用 RGB 值。 RGB 即红色、绿色、蓝色&#xff08;英语&#xff1a;Red, Green, Blue&#xff09;。 ● 红色&#xff08;R&#xff09;0 到 255 间的整数&#xff0c;代表颜色中的红色成分。。 ● 绿色&#xff08;G…

【数据结构】基础:图的最小生成树(附C++源代码)

【数据结构】基础&#xff1a;图的最小生成树&#xff08;附C源代码&#xff09; 摘要&#xff1a;将会在数据结构专题中开展关于图论的内容介绍&#xff0c;其中包括四部分&#xff0c;分别为图的概念与实现、图的遍历、图的最小生成树以及图的最短路径问题。本文主要介绍Krus…

机器学习经典算法总结

一&#xff0c;KNN 算法 K 近邻算法&#xff08;KNN&#xff09;是一种基本分类和回归方法。KNN 算法的核心思想是如果一个样本在特征空间中的 k 个最相邻的样本中的大多数属于一个类别&#xff0c;那该样本也属于这个类别&#xff0c;并具有这个类别上样本的特性。该方法在确…

知识图谱表示

知识图谱表示 用某种语言对知识图谱进行建模&#xff0c;从而方便知识运算。 符号知识表示 &#xff1a;以符号逻辑为基础的知识表示方法。 特点&#xff1a;易于刻画显示、离散的知识。具有内生的可解释性。 不足&#xff1a;部分隐性知识不易符号化表示&#xff0c;故知识表…

Pr LOGO片头动画

哈喽&#xff0c;各位小伙伴&#xff01;今天我们来学习一下如何制作简约文字LOGO片头动画&#xff1f; 新建序列 新建一个1920*1080的序列&#xff0c;在字幕上打上我们的文字&#xff08;例&#xff1a;Ultraman&#xff09; 调出基本面板&#xff0c;调整文字的位置&…

全栈项目【尚医通】预约挂号系统项目介绍

&#x1f43c;个人主页&#xff1a;爪哇斗罗 &#x1f43c;博主介绍&#xff1a;一名打工人 &#x1f43c;签名&#xff1a;圣人之道&#xff0c;为而不争。 &#x1f43c;一起交流&#xff0c;一起进步&#xff0c;一起互动。 ​ 目录 一.项目介绍 二.技术架构 2.1 架构选…

SpringBoot集成Swagger3(powernode document)(内含源代码)

SpringBoot集成Swagger3&#xff08;powernode document&#xff09;&#xff08;内含源代码&#xff09; 源代码下载链接地址&#xff1a;https://download.csdn.net/download/weixin_46411355/87449720 目录SpringBoot集成Swagger3&#xff08;powernode document&#xff0…

数据库锁的12连问,你顶得了嘛?

前言 金三银四很快就要来啦&#xff0c;准备了数据库锁的12连问&#xff0c;相信大家看完肯定会有帮助的。 1. 为什么需要加锁 在日常生活中&#xff0c;如果你心情不好想静静&#xff0c;不想被比别人打扰&#xff0c;你就可以把自己关进房间里&#xff0c;并且反锁。这就是…

Simulink自动代码生成:如何标准化的建模?以MAB,MISRA C 2012建模规范为例

目录 为什么要规范建模 MAB&#xff0c;MISRA C2012建模规范步骤 常用的规范总结 生成代码配置 总结 为什么要规范建模 MathWorks 咨询委员会 (MAB) 规范规定了在 Simulink 和 Stateflow 中建模的重要基本规则。这些建模规范的总体目的是让控制系统模型的建模者和使用方能…

自定义ESLint规则和修复功能

这是接上一篇自定义ESLint规则开发与使用的后续扩展&#xff0c;之前文章中详细讲述了怎么创建一个自定义的规则&#xff0c;这篇文章讲述怎么实现ESLint在检测出有问题的代码时&#xff0c;怎么自动fix问题。 比如我们要检测项目中所有http的协议&#xff0c;将其替换为https协…

Power BI 存储模式介绍(导入、DirectQuery、双)

本系列的文章&#xff1a; 《Power BI windows下载安装流程&#xff09;》《Power BI 11个必学官方示例数据案例&#xff08;附下载链接&#xff09;》《Power BI 数据导入&#xff08;SQL Server、MySQL、网页数据&#xff09;》 一、背景原因 一般情况下&#xff0c;我们是…

测试开发面试基础题

1.对测试开发的理解 测试开发首先离不开测试&#xff0c;而软件测试是指&#xff0c;在规定的条件下对程序进行操作&#xff0c;以发现程序错误&#xff0c;衡量软件质量&#xff0c;并对其是否能满足设计要求进行评估的过程。 而且&#xff0c;现在不仅仅是通过手工测试来发…

安装less-loader5出现webpack版本不兼容

今天遇到一个问题&#xff1a; 安装less-loader5之后其它包提示peerDependencies WARNING&#xff0c;意思是包版本不兼容。 【难题】 虽然NPM已经很自动化了&#xff0c;但依赖问题真的是一个难题&#xff0c;无法自动解决&#xff0c;需要人工干预调整。 【解决办法】 去查…

用户选择好用的投票小程序最有用的投票小程序微信推送里投票制作教程

“夏日非遗传承活动”网络评选投票_用户选择好用的投票小程序_最有用的投票小程序用户在使用微信投票的时候&#xff0c;需要功能齐全&#xff0c;又快捷方便的投票小程序。而“活动星投票”这款软件使用非常的方便&#xff0c;用户可以随时使用手机微信小程序获得线上投票服务…

医学生考研考博太卷,一篇文章轻松助力上岸——生物信息学及R语言基础知识之向量的生成(一)

考研考博太卷了,卷不过,想没想过本科发一篇文章呢? 330分考研人淘汰390分考研人这个故事,大家应该都知道吧。 本专栏带你六个月内,搞定一篇文章,本科生发文章也很容易。 在卷考研的同时,再卷一篇SCI,你就是新一任卷王。 本专栏教你不用花钱发一篇生信文章,从三个方…

带你了解软件测试是做什么的

软件测试是互联网技术中一门重要的学科&#xff0c;它是软件生命周期中不可或缺的一个环节&#xff0c;担负着把控、监督软件的质量的重任。 人才稀缺&#xff0c;对于求职者来说就意味着机会。但是很多想学习软件测试的人对这个学科并不了解&#xff0c;也不知道该如何学习&a…

Vue3的新特性

文章目录1 生命周期的变化2 使用proxy代替defineProperty2.1 Object.defineProperty()语法2.2 Proxy的语法3 Diff算法的提升3.1 以往的渲染策略3.2 Vue3的突破4 TypeScript的支持5 优化打包体积6 新的响应性 API6.1 reactive()6.2 <script setup>6.3 nextTick()6.4 react…

【半监督医学图像分割 2022 MICCAI】CLLE 论文翻译

文章目录【半监督医学图像分割 2022 MICCAI】CLLE 论文翻译摘要1. 简介2. 方法2.1 半监督框架概述2.2 监督局部对比学习2.3 下采样和块划分3. 实验4. 结论【半监督医学图像分割 2022 MICCAI】CLLE 论文翻译 论文题目&#xff1a;Semi-supervised Contrastive Learning for Labe…

Kafka 消息队列

目录主流的消息队列消息队列的应用场景缓存/肖锋解耦异步处理KafkaKafka的定义Kafka的底层基础架构Kafka分区如何保证Leader选举Kafka分区如何保证Leader和Follower数据的一致性Kafka 中消费者的消费方式Kafka 高效读写数据的原因&#xff08;高性能吞吐的原因&#xff09;&…

chatGPT爆火让我们反思——人工智能是新的加密货币吗?

核冬天技术末日到来了&#xff0c;只有人工智能幸免于难。峰值 AI 指标无处不在。它能保持加密失去的信念吗&#xff1f;作者&#xff1a;John Luttig 翻译: Chainwise核冬天技术末日到来了&#xff1a;软件、SPAC、金融科技和加密货币都进入了深度冻结状态。AI 可能是唯一穿着…