Spark on YARN：Spark集群模式之Yarn模式的原理、搭建与实践

news2024/11/7 12:11:09

Spark 的介绍与搭建：从理论到实践-CSDN博客

Spark 的Standalone集群环境安装与测试-CSDN博客

PySpark 本地开发环境搭建与实践-CSDN博客

Spark 程序开发与提交：本地与集群模式全解析-CSDN博客

目录

一、Spark on YARN 的优势

（一）统一化资源管理

（二）YARN 调度机制的优势

二、Spark YARN 集群搭建步骤

（一）关闭旧的 StandAlone 集群

（二）配置第一台服务器（以 bigdata01 为例）

解压与移动 Spark 安装包

修改 spark - env.sh 配置文件

修改 spark - defaults.conf 文件

修改 log4j.properties 文件

上传 Spark JAR 包到 HDFS

修改 yarn - site.xml 文件

（三）分发配置到其他服务器

（四）启动相关服务

三、Spark on YARN 不同 deploy mode 的区别

（一）AppMaster 和 Driver 的功能概述

（二）client 模式

四、测试案例

（一）计算 PI 值测试

（二）wordcount 案例测试

五、常见问题及解决方法

六、总结

        在大数据处理领域，Spark 是一款非常流行的分布式计算框架。而在 Spark 的运行模式中，YARN 模式具有独特的优势。本文将深入探讨为什么要将 Spark 程序运行在 YARN 上而不是 Spark 自带的 Standalone 集群上，详细介绍 Spark 的 YARN 集群搭建过程，以及在 YARN 模式下不同 deploy mode 的区别，并结合实际测试案例，帮助读者全面理解 Spark on YARN 这一重要的大数据技术应用。

一、Spark on YARN 的优势

（一）统一化资源管理

  1. Standalone 集群的局限性
    Standalone 是 Spark 专用的资源管理集群，其设计初衷是为了专门运行 Spark 程序。这意味着如果企业或组织中存在多种分布式计算需求，使用 Standalone 集群就需要额外为其他类型的分布式程序（如 MR、Tez、Flink 等）搭建不同的资源管理平台。从硬件资源利用和管理成本的角度来看，这种方式效率较低。
  2. YARN 的通用性
    YARN 是一个功能强大的分布式资源管理平台，它具有高度的通用性。可以在同一个 YARN 集群上运行各种不同类型的分布式程序。在实际工作场景中，硬件集群通常只有一套，选择 YARN 作为统一的资源管理平台，可以更好地整合资源，实现多种分布式计算任务的协同运行，从整个技术架构层面来说，YARN 是更为合适的选择。

（二）YARN 调度机制的优势

  1. 动态资源分配
    YARN 支持动态资源分配，这对于运行 Spark 程序非常有帮助。在 Spark 作业运行过程中，计算资源的需求可能会随着数据处理阶段的不同而发生变化。例如，在数据读取和预处理阶段可能需要较少的资源，而在复杂的计算和聚合阶段可能需要更多的资源。YARN 的动态资源分配机制可以根据 Spark 作业的实际需求，动态地为其分配或回收资源，提高资源的利用率。
  2. 多种调度机制
    YARN 提供了多种调度机制，如容量调度和公平调度。容量调度可以为不同的用户或业务部门分配固定的资源容量，保证每个用户或部门都能获得稳定的计算资源，适用于多用户共享集群的场景。公平调度则确保每个作业都能公平地获取资源，避免某些作业长时间占用大量资源而导致其他作业饥饿的情况，提高了集群资源分配的公平性和整体作业执行效率。

二、Spark YARN 集群搭建步骤

（一）关闭旧的 StandAlone 集群

在开始搭建 Spark 的 YARN 集群之前，需要先关闭之前的 StandAlone 老集群。通过以下命令在指定目录下操作：

cd /opt/installs/spark
sbin/stop - master.sh
sbin/stop - workers.sh
sbin/stop - history - server.sh

这一步骤确保在搭建新的 YARN 集群时，不会受到旧集群的干扰。

（二）配置第一台服务器（以 bigdata01 为例）

解压与移动 Spark 安装包

cd /opt/modules/
tar - zxf spark - 3.1.2 - bin - hadoop3.2.tgz - C /opt/installs
cd /opt/installs
mv spark - 3.1.2 - bin - hadoop3.2 spark - yarn
rm - rf /opt/installs/spark
ln - s /opt/installs/spark - yarn /opt/installs/spark

这一系列操作完成了 Spark 安装包的解压、重命名和创建符号链接，方便后续配置和使用。

修改 spark - env.sh 配置文件

cd /opt/installs/spark/conf
mv spark - env.sh.template spark - env.sh
vim /opt/installs/spark/conf/spark - env.sh

在这个配置文件中，大约 22 行左右需要设置 JAVA 安装目录、HADOOP 和 YARN 配置文件目录：

export JAVA_HOME=/opt/installs/jdk
export HADOOP_CONF_DIR=/opt/installs/hadoop/etc/hadoop
export YARN_CONF_DIR=/opt/installs/hadoop/etc/hadoop

同时，还需要配置历史日志服务器相关参数：

export SPARK_DAEMON_MEMORY=1g
export SPARK_HISTORY_OPTS="-Dspark.history.fs.logDirectory=hdfs://bigdata01:9820/spark/eventLogs/ -Dspark.history.fs.cleaner.enabled=true"

修改 spark - defaults.conf 文件

cd /opt/installs/spark/conf
mv spark - defaults.conf.template spark - defaults.conf
vim spark - defaults.conf

添加以下内容：

spark.eventLog.enabled           true
spark.eventLog.dir           hdfs://bigdata01:9820/spark/eventLogs
spark.eventLog.compress           true
spark.yarn.historyServer.address bigdata01:18080
spark.yarn.jars           hdfs://bigdata01:9820/spark/jars/*

这些配置用于启用事件日志记录、指定日志存储位置和压缩方式，以及设置 YARN 历史服务器地址和 Spark 相关的 JAR 包路径。


修改 log4j.properties 文件

将log4j.properties.template重命名为log4j.properties，并修改日志级别为 WARN，减少打印的日志数量，提高系统性能。

# 19行：修改日志级别为WARN
log4j.rootCategory=WARN, console
上传 Spark JAR 包到 HDFS

因为 YARN 中运行 Spark 需要用到 Spark 的一些类和方法，如果不上传到 HDFS，每次运行 YARN 都要重新上传一次，速度较慢。通过以下命令手动上传：

hdfs dfs - mkdir - p /spark/jars/
hdfs dfs - put /opt/installs/spark/jars/* /spark/jars/

修改 yarn - site.xml 文件

cd /opt/installs/hadoop/etc/hadoop

检查并配置以下内容：

<property>
  <name>yarn.log - aggregation - enable</name>
  <value>true</value>
</property>
<!-- 历史日志在HDFS保存的时间，单位是秒 -->
<!-- 默认的是-1，表示永久保存 -->
<property>
  <name>yarn.log - aggregation.retain - seconds</name>
  <value>604800</value>
</property>
<property>
  <name>yarn.log.server.url</name>
  <value>http://bigdata01:19888/jobhistory/logs</value>
</property>
<!-- 关闭yarn内存检查 -->
<property>
  <name>yarn.nodemanager.pmem - check - enabled</name>
  <value>false</value>
</property>
<property>
  <name>yarn.nodemanager.vmem - check - enabled</name>
  <value>false</value>
</property>

配置完成后，使用xsync.sh脚本分发yarn - site.xml文件。

大数据集群中实用的三个脚本文件解析与应用-CSDN博客

xsync.sh yarn-site.xml

（三）分发配置到其他服务器

  1. 分发 Spark - yarn 目录
    使用xsync.sh脚本将第一台机器的spark - yarn目录分发到第二台和第三台服务器，保证集群中各节点的 Spark 安装和配置一致。 
    xsync.sh /opt/installs/spark-yarn

  2. 分发超链接：

    同时，也需要将/opt/installs/spark这个超链接分发到其他服务器，确保整个集群的环境统一。 
    xsync.sh /opt/installs/spark

（四）启动相关服务

  1. 启动 YARN
    使用start - yarn.sh命令启动 YARN 集群，这是运行 Spark on YARN 的基础。 
    start-yarn.sh

  2. 启动 MR 的 JobHistoryServer 和 Spark 的 HistoryServer
    分别使用以下命令启动相关的历史服务器： 
    mapred -- daemon start historyserver

/opt/installs/spark/sbin/start - history - server.sh

这些历史服务器对于查看作业执行历史和日志非常重要。

三、Spark on YARN 不同 deploy mode 的区别

（一）AppMaster 和 Driver 的功能概述

  1. AppMaster 功能
    AppMaster 在 YARN 中承担着重要的功能，包括申请资源、调度、监控 Task 和反馈结果等。它一定运行在 NodeManager 上，是 YARN 中负责管理 Spark 作业执行的关键组件。
  2. Driver 功能
    Driver 同样具有申请资源、解析 Task、调度 Task、监控 Task 和反馈结果等功能。不过，Driver 的运行位置由 deploy mode 决定。

  3. deploy mode 有两种，一个是client ,一个是cluster

    假如是client : 客户端提交任务，谁提交Driver程序就在谁的电脑上运行，Driver就在客户端中运行了。客户端是不能关闭的。

（二）client 模式

  1. 运行位置
    在 client 模式下，客户端提交任务时，Driver 程序就在提交任务的客户端电脑上运行。这意味着客户端在任务执行期间不能关闭，因为 Driver 在其中运行。
  2. 与 AppMaster 的关系
    在这种模式下，Driver 和 AppMaster 是共存关系。它们同时存在，共同协调 Spark 作业在 YARN 集群中的执行。

四、测试案例

（一）计算 PI 值测试

通过以下命令测试官方给出的 PI 值计算案例：

/opt/installs/spark/bin/spark - submit -- master yarn /opt/installs/spark/examples/src/main/python/pi.py 10

如果遇到资源有限的情况，可以稍作等待，观察作业执行情况。

（二）wordcount 案例测试

使用以下命令测试自己编写的 wordcount 案例：

/opt/installs/spark/bin/spark - submit \
-- master yarn \
-- deploy - mode client \
-- driver - memory 512M \
-- driver - cores 1 \
-- supervise \
-- executor - memory 1G \
-- executor - cores 1 \
-- total - executor - cores 2 \
 /home/pyspark_core_word_args.py \
/spark/wordcount/input \
/spark/wordcount/output001

同时，也可以测试 cluster 模式下是否支持，经过测试，在 YARN 集群下，cluster 模式是支持的，而在 standalone 模式下不支持 cluster 模式。

五、常见问题及解决方法

在运行任务或者启动 YARN 时，如果遇到/bin/java没有这个文件的报错，本质原因是缺少 java。可以通过以下命令创建符号链接解决：

ln - s /opt/installs/jdk/bin/java /bin/java

六、总结

        本文详细介绍了 Spark on YARN 的相关内容，包括其相对于 Standalone 集群的优势、YARN 集群搭建步骤、不同 deploy mode 的区别以及测试案例和常见问题解决方法。通过将 Spark 程序运行在 YARN 上，可以实现统一的资源管理和利用 YARN 更完善的调度机制，提高大数据处理的效率和灵活性。在实际应用中，读者可以根据自己的业务需求和硬件环境，合理选择 Spark 的运行模式，并通过本文介绍的方法进行搭建和配置，以充分发挥 Spark 在大数据处理中的强大功能。同时，对于在使用过程中可能遇到的问题，也可以参考本文提供的解决方法进行处理，确保 Spark on YARN 的稳定运行。希望本文能为广大大数据开发者和运维人员在 Spark on YARN 的实践中提供有益的参考。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/2234995.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

基于IM场景下的Wasm初探：提升Web应用性能｜得物技术

基于IM场景下的Wasm初探：提升Web应用性能｜得物技术

一、何为Wasm &#xff1f; Wasm&#xff0c;全称 WebAssembly&#xff0c;官网描述是一种用于基于堆栈的虚拟机的二进制指令格式。Wasm被设计为一个可移植的目标&#xff0c;用于编译C/C/Rust等高级语言&#xff0c;支持在Web上部署客户端和服务器应用程序。 Wasm 的开发者参…
阅读更多...
【JAVA毕业设计】基于Vue和SpringBoot的墙绘产品展示交易平台

【JAVA毕业设计】基于Vue和SpringBoot的墙绘产品展示交易平台

本文项目编号 T 049 &#xff0c;文末自助获取源码 \color{red}{T049&#xff0c;文末自助获取源码} T049&#xff0c;文末自助获取源码 目录 一、系统介绍二、演示录屏三、启动教程四、功能截图五、文案资料5.1 选题背景5.2 国内外研究现状5.3 可行性分析 六、核心代码6.1 查…
阅读更多...
在全域数据整合过程中，如何确保数据的一致性和准确性

在全域数据整合过程中，如何确保数据的一致性和准确性

在全域数据整合过程中&#xff0c;确保数据的一致性和准确性是至关重要的&#xff0c;这不仅关系到数据分析结果的可靠性&#xff0c;还直接影响到企业决策的科学性和有效性。Aloudata AIR 逻辑数据编织平台通过数据虚拟化技术&#xff0c;为这一过程提供了强有力的支持。以下是…
阅读更多...
w024基于SpringBoot的企业客户管理系统的设计与实现

w024基于SpringBoot的企业客户管理系统的设计与实现

&#x1f64a;作者简介&#xff1a;拥有多年开发工作经验&#xff0c;分享技术代码帮助学生学习&#xff0c;独立完成自己的项目或者毕业设计。 代码可以查看文章末尾⬇️联系方式获取&#xff0c;记得注明来意哦~&#x1f339;赠送计算机毕业设计600个选题excel文件&#xff0…
阅读更多...
element-plus快速实现table组件表头吸顶和滚动条吸底

element-plus快速实现table组件表头吸顶和滚动条吸底

使用devecoui 组件快速实现 element-plus table 组件&#xff0c;表头吸顶和滚动条吸底&#xff0c;且完美实现固定表头的吸顶效果&#xff0c;同时devecoui组件还可以实现&#xff0c;查询列表的快速开发&#xff0c;里面集成了更多的功能。详细功能请前往&#xff1a;添加链接…
阅读更多...
C++STL容器详解——list

C++STL容器详解——list

目录 一.list 1.list的介绍 2.为什么会有list? 二.list的常见接口 1.list的构造函数 2.list的遍历 3.迭代器类型 4.list的头插头删和尾插尾删 5.list任意位置的插入和删除 6.list的sort()及reverse() 7.迭代器失效 三.整体代码 一.list 1.list的介绍 list的文档说…
阅读更多...
服务器数据恢复—EVA存储故障导致上层应用不可用的数据恢复案例

服务器数据恢复—EVA存储故障导致上层应用不可用的数据恢复案例

服务器存储数据恢复环境&#xff1a; 一台EVA某型号控制器EVA扩展柜FC磁盘。 服务器存储故障&检测&#xff1a; 磁盘故障导致该EVA存储中LUN不可用&#xff0c;导致上层应用无法正常使用。 服务器存储数据恢复过程&#xff1a; 1、将所有磁盘做好标记后从扩展柜中取出。硬…
阅读更多...
hf_transformers

hf_transformers

强者自定义&#xff0c;弱者用默认&#xff0c;傻逼不看说明书 1. 2.在 model.generate()里填参数&#xff0c;默认为20个新token generated_ids model.generate(**model_inputs, max_new_tokens50) 3. 默认情况下&#xff0c;除非在GenerationConfig文件中指定&#xff0…
阅读更多...
Sigrity Power SI 3D-EM Inductance Extraction模式如何进行电感的提取操作指导(一)

Sigrity Power SI 3D-EM Inductance Extraction模式如何进行电感的提取操作指导(一)

Sigrity Power SI 3D-EM Inductance Extraction模式如何进行电感的提取操作指导(一) Sigrity Power SI使用3D-EM Inductance Extraction模式可以进行电感的提取，以下图为例 2D 视图 <
阅读更多...
学习记录：js算法（八十七）：单词搜索

学习记录：js算法（八十七）：单词搜索

文章目录 单词搜索思路一思路二 单词搜索 给定一个 m x n 二维字符网格 board 和一个字符串单词 word 。如果 word 存在于网格中&#xff0c;返回 true &#xff1b;否则&#xff0c;返回 false 。 单词必须按照字母顺序&#xff0c;通过相邻的单元格内的字母构成&#xff0c;其…
阅读更多...
应急救援无人车:用科技守护安全！

应急救援无人车:用科技守护安全！

一、核心功能 快速进入危险区域&#xff1a; 救援无人车能够迅速进入地震、火灾、洪水等自然灾害或重大事故的现场&#xff0c;这些区域往往对人类救援人员构成极大威胁。 通过自主导航和环境感知技术&#xff0c;无人车能够避开危险区域&#xff0c;确保自身安全的同时&…
阅读更多...
辩论赛——动态IP与静态IP的巅峰对决

辩论赛——动态IP与静态IP的巅峰对决

尊敬的各位观众&#xff1a; 大家好&#xff01;欢迎来到今天的演说舞台&#xff0c;我是主持人小蝌蚪。今天&#xff0c;我们将见证一场精彩绝伦的辩论&#xff0c;辩论的双方是动态IP和静态IP。他们将围绕各自的优缺点展开激烈的辩论&#xff0c;为我们揭示代理IP世界中的奥…
阅读更多...
红米k70怎么设置「短信通知」在锁屏时隐藏内容，不锁屏时不隐藏内容

红米k70怎么设置「短信通知」在锁屏时隐藏内容，不锁屏时不隐藏内容

红米 K70 设置短信通知在锁屏时隐藏内容、不锁屏时不隐藏内容&#xff0c;可以按照以下步骤进行操作&#xff1a; 打开手机设置&#xff1a;在主屏幕上找到并点击 “设置” 图标&#xff0c;进入手机设置页面。进入通知与控制中心&#xff1a;在设置页面中&#xff0c;找到并点…
阅读更多...
【计算机网络】零碎知识点（易忘 / 易错）总结回顾

【计算机网络】零碎知识点（易忘 / 易错）总结回顾

一、计算机网络的发展背景 1、网络的定义 网络是指将多个计算机或设备通过通信线路、传输协议和网络设备连接起来&#xff0c;形成一个相互通信和共享资源的系统。 2、局域网 LAN 相对于广域网 WAN 而言&#xff0c;局域网 LAN 主要是指在相对较小的范围内的计算机互联网络 …
阅读更多...
Python 在PDF中绘制形状（线条、矩形、椭圆形等）

Python 在PDF中绘制形状（线条、矩形、椭圆形等）

在PDF中绘制图形可以增强文档的视觉效果。通过添加不同类型的形状&#xff0c;如实线、虚线、矩形、圆形等&#xff0c;可以使文档更加生动有趣&#xff0c;提高读者的阅读兴趣。这对于制作报告、演示文稿或是教材特别有用。本文将通过以下几个示例介绍如何使用Python 在PDF中绘…
阅读更多...
三菱MR-J4伺服绝对位置检测系统

三菱MR-J4伺服绝对位置检测系统

发生[AL.25 绝对位置丢失]或[AL.E3 绝对位置计数器警告]时&#xff0c;必须再次进行原点设定。否则可能会因此发生预料之外的动作。 概要 常规运行时&#xff0c;编码器由检测1转内位置的编码器和检测转数的旋转累计计数器构成。 绝对位置检测系统与伺服系统控制器电源…
阅读更多...
程序员行业会因此受到什么冲击？

程序员行业会因此受到什么冲击？

床铺再次当选&#xff0c;会对两家关系产生深远影响。在此篇博客中&#xff0c;我们将探讨床铺的政策对我们外贸、就业、留学以及特别是互联网产业和我们程序员职业的潜在影响。 关系趋紧&#xff1a;摩擦可能会更多 床铺在其任期期间对我们施加了诸多贸易税&#xff0c;采取…
阅读更多...
Edge浏览器打开PDF无法显示电子签章

Edge浏览器打开PDF无法显示电子签章

Edge浏览器打开PDF无法显示电子签章 直接说处理方式 直接说处理方式 浏览器地址栏&#xff0c;输入 edge://flags/搜索&#xff1a;pdf禁用&#xff1a;New PDF Viewer效果如下
阅读更多...
02- 模块化编程-006 ADC0808数码显示对比

02- 模块化编程-006 ADC0808数码显示对比

1、ADC0808 芯片介绍 ADC0808是一款集成的CMOS设备&#xff0c;包含8位模拟至数字转换器、8通道多路复用器和与微处理器兼容的控制逻辑。8位A/D转换器采用逐次逼近作为转换技术。转换器特点包括高阻抗斩波稳定比较器、256R电压分压器、模拟开关树和逐次逼近寄存器。8通道多路复…
阅读更多...
计算机体系结构之多级缓存、缓存miss及缓存hit（二）

计算机体系结构之多级缓存、缓存miss及缓存hit（二）

前面章节《计算机体系结构之缓存机制原理及其应用&#xff08;一&#xff09;》讲了关于缓存机制的原理及其应用&#xff0c;其中提出了多级缓存、缓存miss以及缓存hit的疑问。故&#xff0c;本章将进行展开讲解&#xff0c; 多级缓存、缓存miss以及缓存hit存在的意义是为了保持…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023