Apache Spark分布式计算框架架构介绍

news2024/9/20 11:38:42

目录

一、概述

二、Apache Spark架构组件栈

2.1 概述

2.2 架构图

2.3 架构分层组件说明

2.3.1 支持数据源

2.3.2 调度运行模式

2.3.3 Spark Core核心

2.3.3.1 基础设施

2.3.3.2 存储系统

2.3.3.3 调度系统

2.3.3.4 计算引擎

2.3.4 生态组件

2.3.4.1 Spark SQL

2.3.4.2 Spark Streaming

2.3.4.3 GraphX

2.3.4.4 Spark MLlib

2.3.4.5 Spark R

三、Apache Spark 的运行时架构

3.1 概述

3.2 架构图

3.3 组件角色说明

3.3.1 Cluster Manager

3.3.2 Worker

3.3.3 Executor

3.3.4 Driver

3.3.5 Application

3.4 Spark 运行流程

3.4.1 概述

3.4.2 运行流程图

3.4.3 运行流程步骤说明

四、Spark 的特点

4.1 计算速度快

4.2 易于使用

4.3 通用大数据框架

4.4 支持多种资源管理器

4.5 生态圈丰富

一、概述

Apache Spark 是通用的分布式大数据计算引擎 Spark UC Berkeley AMPLab（美国加州大学伯克 利分校的 AMP 实验室）开源的通用并行框架。 Spark 拥有 Hadoop MapReduce 所具有的优点，但不同于 Hadoop MapReduce 的是， Hadoop 每次经过 Job行的中间结果都存储到 HDFS 磁盘上，而 Spark Job 中间输出结果可以保存在内存中，而不再需要读写 HDFS 。因为内存的读写速度与磁盘的读写速度不在一个数量级上，所以Spark 利用内存中的数据能更快速地完成数据的处理。

Spark 启用了弹性分布式数据集( Resilient Distributed Dataset , RDD) ，除了能够提高交互式查询效率，还可以优化迭代器的工作负载。由于弹性分布式数据集的存在，使得数据挖掘与机器学习等需要迭代的 MapReduce 的算法更容易实现。

官网地址：spark.apache.org

二、Apache Spark架构组件栈

2.1 概述

Spark 基于 Spark Core 建立了 Spark SQL、Spark Streaming、MLlib、GraphX、SparkR 核心组件，基于不同组件可以实现不同的计算任务，这些计算任务的运行模式有：本地模式、独立模式（Standalone）、Mesos 模式、 YARN 模式。Spark 任务的计算可以从 HDFS、S3、Hypertable、HBase或Cassandra等多种数据源中存取数据。

2.2 架构图

2.3 架构分层组件说明

2.3.1 支持数据源

Spark 任务的计算可以从 HDFS、S3、Hypertable、HBase或Cassandra等多种数据源中存取数据。

2.3.2 调度运行模式

Spark 的运行模式主要包括 Local模式、 Standalone 模式、 On YARN、 On Mesos 和运行在 AWS 等公有云平台上。

2.3.3 Spark Core核心

Spark 的核心功能实现包括基础设施、存储系统、调度系统和计算引擎。

2.3.3.1 基础设施

Spark 中有很多基础设施，这些基础设施被 Spark 中的各种组件广泛使用，包括 SparkConf (配置信息) 、SparkContext ( Spark 上下文) 、Spark RPC (远程过程调用）、ListenerBu (事件总线) 、MetricsSystem (度量系统) 、SparkEnv (环境变量)等。

2.3.3.2 存储系统

Spark 存储系统用于管理 Spark 运行过程中依赖的数据的存储方式和存储位置。Spark 存储系统首先考虑在各节点的内存中存储数据，当内存不足时会将数据存储到磁盘上，这种内存优先的存储策略使得 Spark 的计算性能无论在实时流计算还是在批量'计算的场景下都表现很好。 Spark 的内存存储空间和执行存储空间之间的边界可以
灵活控制。

2.3.3.3 调度系统

Spark 调度系统主要由 DAGScheduler 、TaskScheduler组成。DAGScheduler 负责创建 Job 、将 DAG 中的RDD 划分到不同 Stage 、为 Stage 创建对应的Task 、批量提交 Task 等。 TaskScheduler 负责按照 FIFO (First Input First Output. 先进先出 ) 或 FAIR (公平调度)等调度算法对 Task 进行批量调度。

2.3.3.4 计算引擎

计算引擎由内存管理器、任务管理器、 Task Shuffle 管理器等组成。

2.3.4 生态组件

2.3.4.1 Spark SQL

Spark SQL 提供基于 SQL 的数据处理方式，使得分布式数据的处理变得更加简单。此外，Spark 提供了对 Hive SQL 的支持。

2.3.4.2 Spark Streaming

Spark Streaming 提供流计算能力，支持 Kafka 、flume、 Kinesis 、TCP 多种流式数据源。此外，Spark Streaming 提供了基于时间窗口的批量流操作，用于对一定时间周期内的流数据执行批量处理。

2.3.4.3 GraphX

GraphX 用于分布式图计算。通过 Pregel 提供的 API 可以快速解决图计算中的常见问题。

2.3.4.4 Spark MLlib

Spark MLlib 为 Spark机器学习库 。Spark MLlib 提供了统计、分类、回归等多种机器学习算法的实现，其简单易用的 API 接口降低 了机器学习的门槛。

2.3.4.5 Spark R

Spark R是一个R语言包， 提供了轻量级R语言使用Spark的方式。Spark R实现了分布式的数据框，支持类似查询、过滤及聚合的操作(类似R语言中的数据框包dplyr )，使得基于R语言能够更方便处理大规模的数据集。同时Spark R 支持基于Spark MLlib 进行机器学习。

三、Apache Spark 的运行时架构

3.1 概述

Spark 的集群架构主要由 Cluster Manager (管理器)、 Worker (工作节点)、 Executor(执行器)、 Driver (驱动器)、 Application (应用程序) 五部分组成。

3.2 架构图

3.3 组件角色说明

3.3.1 Cluster Manager

Spark 集群管理器，主要用于整个集群资源的管理和分配。根据部署模式的不同，可以分为 Local、 Standalone、 YARN、Mesos、AWS。

3.3.2 Worker

Spark 的工作节点，用于执行提交的任务。 Worker 的工作职责如下：

  • 通过注册机制向Cluster Manager 汇报自身的CPU和内存等资源使用信息。
  • 在Master 的指示下创建并启动 Executor，Executor 是真正的计算单元。
  • 将资源和任务进一步分配给Executor 并运行。
  • 同步资源信息和Executor 状态信息给Cluster Manager。

3.3.3 Executor

真正执行计算任务的组件，是某个Application 运行在 Worker 上的一
个进程。该进程负责 Task 的运行并且将运行的结果数据保存到内存或磁盘上。

Task 是运行在 Executor 上的任务单元，Spark 应用程序最终被划分为经过优化的多个 Task 的集合。

3.3.4 Driver

Application 的驱动程序，可以理解为驱动程序运行中的 main()函数,Driver 在运行过程中会创建SparkContext。Application 通过 Driver 与 Cluster Manager 和Executor 进行通信。Driver 可以运行在 Application 上，也可以由 Application 提交给Cluster Manager，再由 Cluster Manager 安排 Worker 运行。Driver 的主要职责如下：

  • 运行应用程序的main()函数。
  • 创建SparkContext。
  • 划分RDD并生成 DAG。
  • 构建Job 并将每个 Job 都拆分为多个 Task，这些 Task 的集合被称为Stage。各个Stage 相互独立，由于 Stage 由多个 Task 构成，因此也被称为 Task Set。Job 是由多个Task构建的并行计算任务，具体为 Spark 中的 Action操作(例如collect、save 等)。
  • 与Spark中的其他组件进行资源协调。
  • 生成并发送Task到Executor。

3.3.5 Application

基于Spark API编写的应用程序，其中包括实现 Driver 功能的代码和在集群中多个节点上运行的 Executor 代码。Application 通过 Spark API创建RDD、对RDD进行转换、创建DAG、通过Driver将Application 注册到 Cluster Manager。

3.4 Spark 运行流程

3.4.1 概述

Spark 的数据计算主要通过 RDD的选代完成，RDD是弹性分布式数据集，可以看作是对各种数据计算模型的统一抽象。在 RDD 的迭代计算过程中，其数据被分为多个分区并行计算，分区数量取决于应用程序设定的 Partition 数量，每个分区的数据都只会在一个Task上计算。所有分区可以在多个机器节点的 Executor 上并行执行。

3.4.2 运行流程图

3.4.3 运行流程步骤说明

  • 创建RDD对象，计算 RDD 之间的依赖关系，并将RDD生成一个DAG。
  • DAGScheduler 将 DAG划分为多个 Stage，并将 Stage 对应的 Task Set 提交到集群管理中心。划分 Stage 的一个主要依据是当前计算因子的输人是否确定。如果确定，则将其分到同一个 Stage 中，避免多个 Stage 之间传递消息产生的系统资源开销。
  • TaskScheduler 通过集群管理中心为每个 Task 都申请系统资源，并将 Task 提交到Worker
  • Worker的Executor 执行具体的 Task。

四、Spark 的特点

4.1 计算速度快

Spark将每个任务都构造成一个DAG(Directed Acyclic Graph，有向无环图)来执行，其内部计算过程基于弹性分布式数据集在内存中对数据进行迭代计算，因此其运行效率很高。官方数据表明，如果计算的数据从磁盘上读取，则 Spark 的速度是 Hadoop MapReduce的10倍以上；如果计算的数据从内存中读取，则 Spark 的计算速度是Hadoop MapReduce的100倍以上。

4.2 易于使用

Spark 提供了 80多个高级运算操作，支持丰富的算子，开发人员只需要按照其封装好的API实现即可，不需要关心 Spark 的底层架构。同时，Spark 支持多种语言开发，包括Java、Scala、Python。

4.3 通用大数据框架

Spark 提供了多种类型的开发库，包括 Spark Core、Spark SQL(即时查询)、Spark Streaming(实时流处理)、Spark MLlib、GraphX(图计算)，使得开发人员可以在同一个应用程序中无缝组合使用这些库，而不用像传统的大数据方案那样将离线任务放在Hadoop MapReduce 上运行，将实时流计算任务放在 Storm 上运行，并维护多个平台。Spark 提供了从实时流计算、MapReduce 离线计算、SOL计算、机器学习到图计算的一站式整体解决方案。

4.4 支持多种资源管理器

Spark 支持单机、Standalone、Hadoop YARN、Apache Mesos 等多种资源管理器，用户可以根据现有的大数据平台灵活地选择运行模式。

4.5 生态圈丰富

Spark生态圈以Spark Core 为核心，支持从HDFS、S3、HBase 等多种持久化层读取数据。同时，Spark 支持以 Hadoop YARN、Apache Mesos 和 Standalone 为资源管理器调度Job，完成Spark应用程序的计算。Spark 应用程序可以基于不同的组件实现，如SparkShell、Spark Submit 、Spark Streaming 、SparkSOL、BlinkDB(权衡查询)、MLlib/MLbase(机器学习)、GraphX 和SparkR(数学计算)等。Spark 生态圈已经从大数据计算和数据挖掘扩展到机器学习、自然语言处理和语音识别等领域。

今天Spark相关内容的介绍就分享到这里，可以关注Spark专栏《Spark》，后续不定期分享相关技术文章。如果帮助到大家，欢迎大家点赞+关注+收藏，有疑问也欢迎大家评论留言！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1908540.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

三菱PLC 实现PID控制温度 手搓PID指令！！！

三菱PLC 实现PID控制温度 手搓PID指令！！！

目录 1.前言 2.PID公式的讲解 3.程序 4.硬件介绍 5.EPLAN图纸 6.成果展示 7.结语 1.前言 新手想要学习PLC的PID控制 首先会被大串的PID 公式吓到 PID公式有很多种：基本PID 位置式 增量式 模拟式 理想型 等等 但是 不要急 别看这么多公式 其实 将公式拆…
阅读更多...
如何通过ip地址判断网络类别

如何通过ip地址判断网络类别

在计算机网络中，IP地址不仅是设备在网络中的唯一标识，同时也隐含了网络类别的信息。了解如何根据IP地址判断网络类别，对于网络管理员、系统工程师以及网络爱好者来说都是一项基本技能。本文将详细介绍如何通过IP地址判断网络类别。 一、IP地址…
阅读更多...
普中51单片机：矩阵按键扫描与应用详解（五）

普中51单片机：矩阵按键扫描与应用详解（五）

文章目录 引言电路图开发板IO连接矩阵键盘的工作原理行列扫描逐行/逐列扫描 LCD1602代码库代码演示——暴力扫描代码演示——数码管(行列式)代码演示——线翻转法代码演示——LCD1602密码锁 引言 矩阵按键是一种通过行列交叉连接的按键阵列，可以有效地减少单片机I/…
阅读更多...
LibreOffice的国内镜像安装地址和node.js国内快速下载网站

LibreOffice的国内镜像安装地址和node.js国内快速下载网站

文章目录 1、LibreOffice1.1、LibreOffice在application-conf.yml中的配置2、node.js 1、LibreOffice 国内镜像包网址：https://mirrors.cloud.tencent.com/libreoffice/libreoffice/ 1.1、LibreOffice在application-conf.yml中的配置 jodconverter:local:enable…
阅读更多...
代谢组数据分析一：代谢组数据准备

代谢组数据分析一：代谢组数据准备

介绍 该数据集是来自于Zeybel 2022年发布的文章_Multiomics Analysis Reveals the Impact of Microbiota on Host Metabolism in Hepatic Steatosis_ [@zeybel2022multiomics]，它包含了多种组学数据，如: 微生物组（粪便和口腔） 宿主人体学指标 宿主临床学指标 宿主血浆代谢…
阅读更多...
C语言之数据在内存中的存储（1），整形与大小端字节序

C语言之数据在内存中的存储（1），整形与大小端字节序

目录 前言 一、整形数据在内存中的存储 二、大小端字节序 三、大小端字节序的判断 四、字符型数据在内存中的存储 总结 前言 本文主要讲述整型包括字符型是如何在内存中存储的，涉及到大小端字节序这一概念，还有如何判断大小端，希望对大…
阅读更多...
大语言模型的直接偏好优化（DPO）对齐在PAI-QuickStart实践

大语言模型的直接偏好优化（DPO）对齐在PAI-QuickStart实践

直接偏好优化（Direct Preference Optimization，DPO)算法是大语言模型对齐的经典算法之一，它巧妙地将奖励模型（Reward Model）训练和强化学习（RL）两个步骤合并成了一个，使得训练更加快…
阅读更多...
Python 基础知识：为什么使用 __init__.py ？

Python 基础知识：为什么使用 __init__.py ？

大家好！今天，我们将深入了解 Python 中的 __init__.py 文件，这个小文件却能干大事。让我们抛开任何专业术语，直接进入正题。 什么是 __init__.py ？ 假设你有一个 Python 目录，里面有一堆 Python 文件&…
阅读更多...
vue3【实战】语义化首页布局

vue3【实战】语义化首页布局

技术要点&#xff0c;详见注释 <script setup></script><template><div class"page"><header>页头</header><nav>导航</nav><!-- 主体内容 --><main class"row"><aside>左侧边栏<s…
阅读更多...
JavaDS —— 顺序表ArrayList

JavaDS —— 顺序表ArrayList

顺序表 顺序表是用一段物理地址连续的存储单元依次存储数据元素的线性结构&#xff0c;一般情况下采用数组存储。在数组上完成数据的增删查改。在物理和逻辑上都是连续的。 模拟实现 下面是我们要自己模拟实现的方法&#xff1a; 首先我们要创建一个顺序表&#xff0c;顺序表…
阅读更多...
C++初探究

C++初探究

概述 C可以追溯到1979年&#xff0c;C之父Bjarne Stroustrup在在使用C语言研发工作时发现C语言的不足&#xff0c;并想要将其改进&#xff0c;到1983年&#xff0c;Bjarne Stroustrup在C语言的基础上添加了面向对象编程的特性&#xff0c;设计出了C的雏形。 网址推荐 C官方文…
阅读更多...
C++继承（一文说懂）

C++继承（一文说懂）

目录 一&#xff1a; &#x1f525;继承的概念及定义1.1 继承的概念1.2 继承定义1.2.1 定义格式1.2.2 继承关系和访问限定符1.2.3 继承基类成员访问方式的变化 二&#xff1a;&#x1f525;基类和派生类对象赋值转换三&#xff1a;&#x1f525;继承中的作用域四&#xff1a;&a…
阅读更多...
太多项会毁了回归

太多项会毁了回归

「AI秘籍」系列课程&#xff1a; 人工智能应用数学基础 人工智能Python基础 人工智能基础核心知识 人工智能BI核心知识 人工智能CV核心知识 多项式回归的过度拟合及其避免方法 通过添加现有特征的幂&#xff0c;多项式回归可以帮助你充分利用数据集。它允许我们甚至使用简…
阅读更多...
Java学习高级二

Java学习高级二

Java是单继承的 Object类 方法重写 Java子类访问 – 就近原则 子类构造器的特点 多态 Java–final
阅读更多...
【豆包AI】北京春田知韵

【豆包AI】北京春田知韵

看到有国内AI上线了&#xff0c;网络信息那么多&#xff0c;我该怎么找它的官网呢&#xff1f; 找官方网站3步 1百度 关于抖音豆包的网站是哪个?【www.doubao.com】 豆包属于哪个公司&#xff1f;【北京春田知韵科技有限公司】 www.doubao.com 2查询备案号 PC版本的安装…
阅读更多...
理解算法复杂度：时间复杂度详解

理解算法复杂度：时间复杂度详解

引言 在计算机科学中&#xff0c;算法复杂度是衡量算法效率的重要指标。时间复杂度和空间复杂度是算法复杂度的两个主要方面。在这篇博客中&#xff0c;我们将深入探讨时间复杂度&#xff0c;了解其定义、常见类型以及如何进行分析。 什么是时间复杂度&#xff1f; 时间复杂度…
阅读更多...
论文《Generalizable Adversarial Attacks Using Generative Models》笔记

论文《Generalizable Adversarial Attacks Using Generative Models》笔记

【DAGAER】传统的攻击方法依赖于约束优化范式&#xff0c;具有局限性&#xff0c;例如经典的Nettack攻击方法。本文提出了一个统一的白盒对抗攻击生成框架&#xff0c;该方法学习了目标域的深度生成模型&#xff0c;不是在原始输入空间中生成对抗性例子&#xff0c;而是学习在一…
阅读更多...
elk在宝塔中的简单部署和使用

elk在宝塔中的简单部署和使用

ELK是什么&#xff1f;了解elk “ELK” 是 Elasticsearch、Logstash 和 Kibana 三个开源软件的首字母缩写。这三个软件一起常被称为 “ELK Stack” 或 “Elastic Stack”。它们主要用于日志管理和分析&#xff0c;提供了强大的数据搜索、分析和可视化功能。 Elasticsearch&am…
阅读更多...
C++初阶学习第一弹——入门学习C++

C++初阶学习第一弹——入门学习C++

目录 1.什么是C 2.C关键字 3.命名空间 3.1命名空间的定义 3.2命名空间的使用 1、加命名空间名称及作用域限定符 2、使用 using 将命名空间中某个成员引入 3.使用using namespace 命名空间名称 引入 4.C输入&输出 5.缺省参数 5.1 缺省参数概念 5.2缺省参数分类 6. …
阅读更多...
Dungeonborne卡顿延迟怎么办？这样降低Dungeonborne延迟

Dungeonborne卡顿延迟怎么办？这样降低Dungeonborne延迟

Dungeonborne将第一人称的动作的即时性和经典的西幻RPG职业设计深度结合&#xff0c;带来无与伦比的游戏体验。玩家在游戏中扮演一位从神秘地牢中醒来的勇士&#xff0c;他必须面对各种未知的敌人和挑战&#xff0c;逐渐揭开自己的身世之谜。在这个充满魔法和奇迹的世界里&…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023