【Spark精讲】Spark任务运行流程

news2024/10/6 0:27:52

Spark任务执行流程

        部署模式是根据Drvier和Executor的运行位置的不同划分的。client模式提交任务与Driver进程在同一个节点上，而cluster模式提交任务与Driver进程不在同一个节点。       

Client模式

Clinet模式是在spark-submit提交任务的节点上运行Driver进程。

执行流程：

  1. spark-submit脚本提交任务直接启动Driver进程运行main函数
  2. 构造SparkConext
  3. 向Master注册Application
  4. 由Master通知启动Executor
  5. Executor再注册到Driver

在 Spark 项目开发阶段，可以使用 client 模式对程序进行测试，此时，可以在本地看到比较全的日志信息。

Cluster模式

Cluster模式是在Worker节点上运行Driver进程。

执行流程：

  1. 由spark-submit脚本启动临时进程
  2. 通知Master在某个Worker上启动Driver进程运行main函数
  3. 初始化SparkConext
  4. 向Master注册Application
  5. 由Master通知启动Executor
  6. Executor再注册到Driver

Yarn任务运行流程

Yarn的组件主要包括:

  1. ResourceManager : 资源管理
  2. Application Master : 任务调度
  3. NodeManager : 节点管理,负责执行任务 

当向YARN提交一个应用程序之后，YARN将分两个阶段运行程序：一是启动ApplicationMaster；二是由ApplicationMaster创建应用程序，然后为他申请资源，监控程序的运行，直至结束。

具体步骤：

  1. 用户向YARN中提交应用程序。

  2. ResourceManager为该应用程序分配第一个Container，要求它在这个Container中启动应用程序的ApplicationMaster。

  3. ApplicationMaster首先向ResourceManager注册，目的是让用户可以直接通过ResourceManager查看应用程序的运行状态，然后它将为各个任务申请资源，并监控它的运行状态，直到运行结束。

  4. ApplicationMaster向ResourceManager 的 scheduler申请和领取资源(通过RPC协议)。

  5. ApplicationMaster申请到资源后，便与对应的NodeManager通信，要求它启动任务(java进程)。

  6. NodeManager启动任务。

  7. 各个任务向ApplicationMaster汇报自己的状态和进度(通过RPC协议)，以便让ApplicationMaster随时掌握各个任务的运行状态，从而可以在任务失败时重新启动任务。

  8. 应用程序运行完成后，ApplicationMaster向ResourceManager注销并关闭自己。

YARN-CLIENT模式

        Driver是一个JVM进程，Driver就是我们写的Spark程序，我们写的Spark程序打包成jar包后通过spark-submit脚本提交，jar中的main方法通过jvm命令启动起来，Driver进程启动会执行我们的main函数。

        Driver接收到属于自己Executor进程注册之后，就会去执行Spark作业代码。Driver会一样一行的去执行Spark代码，执行到某个action操作的时候，就会触发一个job，然后DAGScheduler会把job划分成一个一个的stage，为每个stage都创建指定数量的task；TaskScheduler将每个Stage的task分配到各个Executor上去执行，随后task就会执行算子函数。

        Application Maser是YARN中的核心概念。Application Maser(ExecutorLauncher)负责Executor的申请，Driver负责Job和Stage的划分以及Task的创建、分配和调度。

YARN-CLUSTER模式

YARN-client和YARN-cluster的不同之处：

  1. YARN-client模式，Driver运行在本地机器上； YARN-cluster模式，Driver运行在YARN集群上某个NodeManager节点上；
  2. YARN-client模式会导致本地机器负责Spark任务的调度，所以网卡流量会激增；YARN-cluster模式没有流量激增的问题；
  3. YARN-client的Driver运行在本地，通常来说本地机器和YARN集群不在同一个机房，所以说性能不会很好；YARN-cluster模式下，Driver和YARN集群运行在同一个机房内，性能上来说会好一点。

故障排查

YARN-CLIENT 模式导致的网卡流量激增问 题

在 YARN-client 模式下，Driver 启动在本地机器上，而 Driver 负责所有的任务调度，需要与 YARN 集群上的多个 Executor 进行频繁的通信。

假设有 100 个 Executor， 1000 个 task，那么每个 Executor 分配到 10 个 task，之后， Driver 要频繁地跟 Executor 上运行的 1000 个 task 进行通信，通信数据非常多，并且通信频率特别高。这就导致有可能在 Spark 任务运行过程中，由于频繁大量的网络通讯，本地机器的网卡流量会激增。

注意，YARN-client 模式只会在测试环境中使用，而之所以使用 YARN-client 模式，是由于可以看到详细全面的 log 信息，通过查看 log，可以锁定程序中存在的问题，避免在生产环境下发生故障。

在生产环境下，使用的一定是 YARN-cluster 模式。在 YARN-cluster 模式下，就不会造成本地机器网卡流量激增问题，如果 YARN-cluster 模式下存在网络通信的问题，需要运维团队进行解决。

YARN-CLUSTER 模式的 JVM 栈内存溢出无法执行问题

当 Spark 作业中包含 SparkSQL 的内容时，可能会碰到 YARN-client 模式下可以运行，但是 YARN-cluster 模式下无法提交运行(报出 OOM 错误)的情况。

YARN-client 模式下，Driver 是运行在本地机器上的，Spark 使用的 JVM 的 PermGen 的配置，是本地机器上的 spark-class 文件，JVM 永久代的大小是 128MB，这个是没有问题的， 但是在 YARN-cluster 模式下，Driver 运行在 YARN 集群的某个节点上，使用的是没有经过配置的默认设置，PermGen 永久代大小为 82MB。

SparkSQL 的内部要进行很复杂的 SQL 的语义解析、语法树转换等等，非常复杂，如果 sql 语句本身就非常复杂，那么很有可能会导致性能的损耗和内存的占用，特别是对 PermGen 的占用会比较大。

所以，此时如果 PermGen 的占用好过了 82MB，但是又小于 128MB，就会出现 YARN- client 模式下可以运行，YARN-cluster 模式下无法运行的情况。

解决上述问题的方法时增加 PermGen 的容量，需要在 spark-submit 脚本中对相关参数进行设置，设置方法如代码清单所示。

--conf spark.driver.extraJavaOptions="-XX:PermSize=128M -XX:MaxPermSize=256M"

通过上述方法就设置了 Driver 永久代的大小，默认为 128MB，最大 256MB，这样就可以避免上面所说的问题。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1306272.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

Dockerfile部署Java项目挂载使用外部配置文件

Dockerfile部署Java项目挂载使用外部配置文件

Dockerfile部署Java项目挂载使用外部配置文件 技术博客 http://idea.coderyj.com/ 需求是由于java项目使用的是nacos 而且每次部署nacos服务器ip不一样导致要重新打包,想引入外部配置文件进行打包 1.需求是由于java项目使用的是nacos 而且每次部署nacos服务器ip不一样导致要重新…
阅读更多...
16ASM 汇编基础与Debug使用

16ASM 汇编基础与Debug使用

目录 硬件运行机制 微机系统硬件组成 计算机系统组成 8086CPU组织结构 DoxBox安装 Debug使用 R命令 D命令 E命令 U命令 T命令 A命令 标志寄存器 常用机器指令 硬件运行机制 下面是一个电子器件二极管，正向加电则通，反向加电则不通 利用二…
阅读更多...
Android : 序列化 Serializable 简单应用

Android : 序列化 Serializable 简单应用

1.Serializable 介绍: Serializable 是 Java 中的一个接口，它用于标记一个类或对象可以被序列化（即可以转换为字节流以便在网络上传输或在磁盘上持久化）。 当一个类实现 Serializable 接口时，它的对象可以被序列化，这…
阅读更多...
AI创新之美：AIGC探讨2024年春晚吉祥物龙辰辰的AI绘画之独特观点

AI创新之美：AIGC探讨2024年春晚吉祥物龙辰辰的AI绘画之独特观点

🎬 鸽芷咕：个人主页 🔥 个人专栏:《粉丝福利》 《linux深造日志》 ⛺️生活的理想，就是为了理想的生活! 文章目录 引言一、龙辰辰事件概述二、为什么龙辰辰会被质疑AI创作？1.1 AI 作画的特点2.2 关于建行的合作宣传图…
阅读更多...
命令执行RCE及其绕过详细总结（17000＋字数！）

命令执行RCE及其绕过详细总结（17000＋字数！）

目录 操作系统连接符&#xff1a; 常见函数&#xff1a; 绕过过滤&#xff1a; 空格过滤绕过&#xff1a; 1、大括号{}&#xff1a; 2、$IFS代替空格&#xff1a; 3、重定向字符<&#xff0c;<> 4、%09绕过&#xff08;相当于Tab键&#xff09; 文件名过滤绕过…
阅读更多...
FPGA使用乘法的方式

FPGA使用乘法的方式

FPGA使用乘法的方式 方法一：直接使用乘法符“＊” 源代码 module multiply(input [7:0] a,input [7:0] b,output wire [15:0] result);(*use_dsp48 = "yes"*) wire [15:0] result;assign result = a*b; endmodule仿真代码 module multiply_tb();reg [7:0] a; re…
阅读更多...
讲座 | 颠覆传统摄像方式乃至计算机视觉的“脉冲视觉”

讲座 | 颠覆传统摄像方式乃至计算机视觉的“脉冲视觉”

传统相机拍摄视频时其实是以一定帧率进行采样&#xff0c;视频其实还是一串图片的集合&#xff0c;因此低帧率时会觉得视频卡&#xff0c;拍摄高速运动物体时会有运动模糊等等问题。然而你能想象这一切都可以被“脉冲视觉”这一前沿技术改变吗&#xff1f; 今天下午听了北京大学…
阅读更多...
Vue3-03-reactive() 响应式基本使用

Vue3-03-reactive() 响应式基本使用

reactive() 的简介 reactive() 是vue3 中进行响应式状态声明的另一种方式&#xff1b; 但是&#xff0c;它只能声明 【对象类型】的响应式变量&#xff0c;【不支持声明基本数据类型】。reactive() 与 ref() 一样&#xff0c;都是深度响应式的&#xff0c;即对象嵌套属性发生了…
阅读更多...
C++ 教程 - 02 复合数据类型

C++ 教程 - 02 复合数据类型

文章目录 数组vector字符串输入输出结构体枚举指针引用综合案例 数组 相同类型的数据的集合{ }&#xff0c;通过索引访问元素&#xff1b;在内存中连续存储&#xff0c;属于顺序表&#xff1b;插入、删除时间复杂度 O ( n ) O(n) O(n)&#xff0c;访问复杂度 O ( 1 ) O(1) O(1…
阅读更多...
python：五种算法（SSA、WOA、GWO、PSO、GA）求解23个测试函数（python代码）

python：五种算法（SSA、WOA、GWO、PSO、GA）求解23个测试函数（python代码）

一、五种算法简介 1、麻雀搜索算法SSA 2、鲸鱼优化算法WOA 3、灰狼优化算法GWO 4、粒子群优化算法PSO 5、遗传算法GA 二、5种算法求解23个函数 &#xff08;1&#xff09;23个函数简介 参考文献&#xff1a; [1] Yao X, Liu Y, Lin G M. Evolutionary programming made…
阅读更多...
机器学习-KL散度的直观理解+代码

机器学习-KL散度的直观理解+代码

KL散度 直观理解&#xff1a;KL散度是一种衡量两个分布之间匹配程度的方法。通常在概率和统计中&#xff0c;我们会用更简单的近似分布来代替观察到的数据或复杂的分布&#xff0c;KL散度帮我们衡量在选择近似值时损失了多少信息。 在信息论或概率论中&#xff0c;KL散度&#…
阅读更多...
鸿蒙(HarmonyOS)应用开发——简易版轮播图

鸿蒙(HarmonyOS)应用开发——简易版轮播图

简述 轮播图在应用中&#xff0c;已经很常见的展现方式。像uniapp、iview&#xff0c;viewUI等前端组件框架&#xff0c;都提供了轮播图组件。那么在harmonyOS中&#xff0c;如果要实现轮播&#xff0c;我们是使用swiper 组件 swiper组件 swiper 组件是一种容器组件。它提供…
阅读更多...
汽车销售技巧培训应该学习哪些内容

汽车销售技巧培训应该学习哪些内容

汽车销售技巧培训应该学习哪些内容 随着汽车市场的竞争日益激烈&#xff0c;汽车销售技巧培训对于提高销售人员的销售能力和服务水平至关重要。本文将介绍汽车销售技巧培训应该学习哪些内容&#xff0c;并结合案例进行分析。 一、产品知识 作为销售人员&#xff0c;了解所销售…
阅读更多...
汽车IVI中控开发入门及进阶（十一）：ALSA音频

汽车IVI中控开发入门及进阶（十一）：ALSA音频

前言 汽车中控也被称为车机、车载多媒体、车载娱乐等，其中音频视频是非常重要的部分，音频比如播放各种格式的音乐文件、播放蓝牙接口的音乐、播放U盘或TF卡中的音频文件，如果有视频文件也可以放出音频，看起来很简单，在windows下音乐播放器很多，直接打开文件就能播放各…
阅读更多...
python冒泡排序

python冒泡排序

冒泡排序思想 大家可以把我们所有的需要排列的数字想象成一个水中的气泡&#xff0c;大的数字想象成大气泡&#xff0c;小的数字想象成小气泡。 其实冒泡排序就是比较相邻的两个数字的大小&#xff0c;然后大的数字排在小的数字的后面&#xff0c;我们依次比较&#xff0c;第一…
阅读更多...
2. 如何通过公网IP端口映射访问到设备的vmware虚拟机的ubuntu服务器

2. 如何通过公网IP端口映射访问到设备的vmware虚拟机的ubuntu服务器

文章目录 1. 主机设备是Windows 11系统2. 安装vmware虚拟机3. 创建ubuntu虚拟机&#xff08;据说CentOS 7 明年就不维护了&#xff0c;就不用这个版本的linux了&#xff09;4. 安装nginx服务:默认端口805. 安装ssh服务:默认端口226. 设置主机 -> ubuntu的端口映射7. 设置路由…
阅读更多...
ARM开发基础知识

ARM开发基础知识

1、ARM寄存器 概念&#xff1a;寄存器是处理器内部的存储器&#xff0c;没有地址 作用&#xff1a;一般用于暂时存储参与运算的数据和运算结果 分类&#xff1a;通用寄存器、专用寄存器、状态寄存器 注意&#xff1a;有标签&#xff08;带三角光标&#xff09;的是独有的寄存器…
阅读更多...
【Jeecg Boot 3 - 第二天】1.2、jar 包和 lib 依赖分离，部署包缩小100倍

【Jeecg Boot 3 - 第二天】1.2、jar 包和 lib 依赖分离，部署包缩小100倍

一、场景 二、思路 三、实战 ▶ 2.1、项目 jar 包解压获取 lib config Stage 1&#xff1a;正常打包获取 jeecg-system-start-3.6.0.jar Stage 2&#xff1a;解压 获取如下文件 Stage 3&#xff1a;获取 lib config ▶ 2.2、获取简化版项目jar包 Stage 1&#xff1…
阅读更多...
在 Debian 12 上安装 Docker

在 Debian 12 上安装 Docker

解如何在 Debian 12 上正确安装 Docker。还要学习在没有 sudo 的情况下运行 Docker&#xff0c;并在不需要时将其删除。 想在 Debian 12 上使用 Docker&#xff1f;让我来帮助你。 Docker 可以从 Debian 存储库安装。您所要做的就是运行此命令&#xff1a; sudo apt install…
阅读更多...
Elasticsearch：使用 Elasticsearch 向量搜索及 RAG 来实现 Chatbot

Elasticsearch：使用 Elasticsearch 向量搜索及 RAG 来实现 Chatbot

Elasticsearch 的向量搜索为我们的语义搜索提供了可能。而在人工智能的动态格局中&#xff0c;检索增强生成&#xff08;Retrieval Augmented Generation - RAG&#xff09;已经成为游戏规则的改变者&#xff0c;彻底改变了我们生成文本和与文本交互的方式。 RAG 使用大型语言模…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023