Hadoop3:Yarn工作机制

news2024/11/18 9:39:27

一、流程图

在这里插入图片描述
注意:步骤0中,如果是本地运行,则创建的是LocalRunner

二、流程说明

1、首先,我们把自己编写好的MR程序,上传到集群中客户端所在的节点。
2、使用shell客户端命令,执行jar程序,执行到job.waitForCompletion(true);时,会创建一个YarnRunner对象。
3、YarnRunner会向ResourceManager(RM)申请一个Application
4、RM将该应用程序的资源路径返回给YarnRunner
5、于是,程序将运行所需的三样(Job.split、Job.xml、xxx.jar)资源,提交到HDFS上对应路径下。
而这三样资源,在Driver运行到job.submit();时,被创建。
在这里插入图片描述
6、程序资源提交完毕后,向RM申请运行mrAppMaster
7、RM将用户的请求初始化成一个Task。并将该Task放入任务队列中,等待处理。
8、空闲的NodeManager(NM)会来领取Task任务。并创建容器Container,并生成一个MRAppmaster
然后,将job提交的3个资源下载到本地。在根据Job.split切片信息,申请MapTask容器。
比如,此处是两个切片,则申请2个MapTask容器来运行。
9、于是,RM将运行MapTask任务分配给另外两个NodeManager,另两个NodeManager分别领取任务并创建容器
注意:这两个容器,可能在同一个NodeManager上,图中只是一种可能的情况)
10、MR向两个接收到任务的NodeManager发送程序启动脚本,这两个NodeManager分别启动MapTaskMapTask对数据分区排序。
11、MrAppMaster等待所有MapTask运行完毕后,再次向RM申请容器,运行ReduceTaskReduceTaskMapTask获取相应分区的数据。
12、ReduceTask全部执行完毕后,MrAppMaster反馈给RMRM进行资源释放。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1864161.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【线上绘图网站分享】

好用的线上绘图网站分享 使用场景特点使用例子 Excalidraw 使用场景 流程图绘制、组会分享工具等; 特点 最重要的就是:免费!! 简单,快捷:有时候临时要画一个流程图之类的用来示意、分享知识点&#xff…

一码搞定三种预测!!多变量回归预测+区间预测+核密度估计,LSSVM-ABKDE的多变量回归预测程序,小白上手,不会程序也能用

适用平台:Matlab2022版及以上 区间预测+概率密度估计传统的回归预测无法有效地捕捉新能源等波动的不确定性,很难取得审稿专家的肯定。区间预测能够提供更丰富的不确定信息,也极大地增加了光伏和风能预测在实际应用中的价值&#x…

2024山东大学软件学院创新项目实训(10)项目总结

项目名称:基于InternLM2的题库系统——考研政治助手 一、项目亮点 二、项目分工 三、成果展示 可以看到微调后最直观的首先是答案更加正确,第二点就是,微调完后,给出的回答格式比较鲜明。上来会告诉你选择某个选项,…

时延降低 50%,小红书图数据库如何实现多跳查询性能大幅提升

多跳查询为企业提供了深入的数据洞察和分析能力,它在小红书众多在线业务中扮演重要的角色。然而,这类查询往往很难满足稳定的 P99 时延要求。小红书基础架构存储团队针对这一挑战,基于大规模并行处理(MPP)的理念&#…

自然语言处理课程论文:《Attention is all you need》复现与解读

目录 1.背景介绍 1.1 文献介绍 1.2 研究背景 1.3 知识概述 1.3.1 机器翻译 1.3.2 attention机制与self-attention机制 2.数据来源与处理 2.1 数据集描述 2.2 数据处理 3. 模型架构 ​​​​​​​3.1 Positional Embedding ​​​​​​​3.2 Multi-Head Attention ​​​​​…

摄影师危!AI绘画即将降维打击摄影行业

你还以为AI绘画影响的只是插画师行业吗?错了,摄影行业也即将面临技术洗牌 话不多说,先看一下这几张图 你能一眼看出这是AI画的迪丽热巴吗? 你是不是还以为AI绘画只能画点动漫艺术风格?那你就低估了AI的发展速度&…

ICE构建坚不可摧的交易环境

金融技术迅速发展的今天,Intercontinental Exchange, Inc.再次站在了行业前沿,首席技术官Mark Wassersug表示:“我们的目标是通过ICE.AI,为全球交易者提供市场领先的技术解决方案。平台的推出标志着我们在利用人工智能技术优化金融市场交易方面迈出了重要一步。我们保证这将大幅…

开发RpcProvider的发布服务(NotifyService)

1.发布服务过程 目前完成了mprpc框架项目中的以上的功能。 作为rpcprovider的使用者,也就是rpc方法的发布方 main函数如下: 首先我们init调用框架的init,然后启动一个provider,然后向provider上注册服务对象方法,即us…

人工智能在医学图像分割中的最新研究进展|顶刊速递·24-06-26

小罗碎碎念 今日推文主题——人工智能在医学图像分割领域中的最新研究进展。 今天的推文都来自同一个期刊——《Med Image Anal 》,最新的IF是10.7。 小罗观点 今天的六篇文献都是直接面向实际应用场景的,可以针对你自己的研究课题选择合适的文章进行阅读…

uniapp标题水平对齐微信小程序胶囊按钮及适配

uniapp标题水平对齐微信小程序胶囊按钮及适配 状态栏高度胶囊按钮的信息计算顶部边距模板样式 标签加样式加动态计算实现效果 状态栏高度 获取系统信息里的状态栏高度 const statusBarHeight uni.getSystemInfoSync().statusBarHeight;//系统信息里的状态栏高度胶囊按钮的…

已解决java.security.GeneralSecurityException: 安全性相关的通用异常的正确解决方法,亲测有效!!!

已解决java.security.GeneralSecurityException: 安全性相关的通用异常的正确解决方法,亲测有效!!! 目录 问题分析 报错原因 解决思路 解决方法 确定具体异常类型 检查输入参数 验证算法支持性 调整安全策略 确保资源可…

学习TS看这一篇就够了!

目录 TS的优点和缺点基础类型数字类型布尔类型字符串类型void 类型null 类型和 undefined 类型bigint类型Symbol类型 其他类型数组元组枚举Enum对象和函数any void never unknown 的区别是什么泛型 Generic交叉类型联合类型 特殊符号 ? ?. ?? ! _修饰符 TS的优点和缺点 优…

优思学院|做工厂的意义是什么?如何管理好一个工厂?

工厂的意义是什么?工厂是让物品增加附加价值的地方。既然使用地球上有限的资源进行生产,工厂就不能浪费这些有限的资源。 什么是附加价值?有人说做菜像变魔术。确实,原本不能食用的食材,经过厨师巧手烹调就能变成美味…

SaaS 出海:Databend Cloud 的定位与实践

提到 “SaaS 出海”这个词大家肯定并不陌生,SaaS 企业将业务拓展到海外市场已经成为许多 SaaS 公司的重要战略方向。随着企业对于灵活性、可扩展性以及成本效益需求的不断增长, SaaS 模式提供了理想的解决方案。对于寻求出海机会的 SaaS 企业来说&#x…

探索Uptime命令:Linux系统管理员的必备工具

欢迎来到我的博客,代码的世界里,每一行都是一个故事 🎏:你只管努力,剩下的交给时间 🏠 :小破站 探索Uptime命令:Linux系统管理员的必备工具 前言基本用法语法输出示例输出字段解释系…

【Web服务与Web应用开发】【C#】创建第一个简单的WCF服务应用程序 WCF Service Application(图文详情)

目录 0.简介 1.环境 2.知识点 3.详细过程 1)打开 Visual Studio 2019 ,下载所需插件 2)创建WCF服务应用项目 3)打开 【IService1.cs 】在此处定义服务函数 4)打开 【Service1.svc.cs】实现服务函数 5&#x…

前端-echarts tooltip展示多项自定义数据

效果如图,鼠标滑动到某一个柱子的时候,出现这一项数据的多个自定义数据,外加自己的模板样式渲染。 希望能展示每一列中的多个自定义数据 代码部分 主要是在data中,value就是实际展示的主数据,其他字段名为自定义的数…

【小白学Python】AI生成图片(四)

【小白学Python】自定义图片的生成(一) 【小白学Python】自定义图片的生成(二) 【小白学Python】爬取数据(三) 目录 ai文生图接口的获取python中调用ai接口图片拼接先将图片缩放拼接图片 文字背景图代码效…

怎么压缩pdf文件大小,如何压缩pdf文件大小

pdf文件怎么压缩?在当下这个信息爆炸的时代,无论是在工作场所还是校园中,我们经常会面临需要处理大文件的情况,而PDF格式作为一种保留文档结构和布局完整性的理想选择,有时候pdf文件太大,因此,对…

汽车汽配图纸管理、产品研发管理解决方案

汽车汽配图纸管理、产品研发管理解决方案 随着全球汽车市场的快速发展,中国汽车汽配行业迎来了前所未有的发展机遇。然而,在这一过程中,企业也面临着诸多挑战,如研发能力的提升、技术资料管理的复杂性、以及跨部门协作的困难等。为…