系列文章目录

ubuntu虚拟机下搭建zookeeper集群，安装jdk压缩包，搭建Hadoop集群与spark集群的搭建【上篇】_ubuntu搭建zookeeper集群

ubuntu虚拟机下搭建zookeeper集群，安装jdk压缩包，搭建Hadoop集群与spark集群的搭建【下篇】

spark里面配置jdk后的编程与Hadoop配置

文章目录

系列文章目录

一、spark概述

1、性能强大的分布式计算框架

2、apache spark是一个快速、通用的引擎，适用于大规模的数据处理

二、Spark 核心模块

1. Spark Core

2. Spark SQL

3. Spark Streaming

4. MLlib

5.Spark GraphX

三、spark生态BDAS

总结

前言

本文主要介绍spark的理论部分，后期安装与配置将会在后续文章当中介绍

一、spark概述

Spark是由Apache软件基金会开发的一个大数据处理框架。它提供了高效的数据处理引擎和丰富的API，支持分布式数据处理和分布式计算，可以处理大规模数据集，具有高容错性和高性能。Spark支持多种数据处理模式，包括批处理、流处理、机器学习和图处理等。同时，Spark还提供了丰富的生态系统，包括Spark SQL、Spark Streaming、Spark MLlib、Spark GraphX等组件，方便用户进行数据处理和分析。

1、性能强大的分布式计算框架

apache spark提供了一个更高级的DAG（有向无环图）的执行引擎，这个执行引擎支持数据流处理和内存的数据计算。
他可以结合SQL、streaming和一些其他复杂的分析操作，放在一起进行操作。spark上可以有spark sql、spark streaming、MLlib(machine learning)、GraphX(graph)
spark提供一个栈，包括SQL、DataFrames、MLlib的包，还有Graphx，可以在一个应用程序里面将这些包无缝对接，一站式解决不同场景的业务！
spark能够运行在hadoop之上还能运行在mesos、standalone之上。它可以访问各种数据源，包括hdfs、hbanse、Cassandra、S3这些都可以进行访问。其实这一点对于公司的技术选型是非常重要的。

2、apache spark是一个快速、通用的引擎，适用于大规模的数据处理

mapreduce 中都是以进程的级别进行的（map -> reduce），启动和销毁都需要一定开销的，而spark是基于线程的，是有线程池的，用的时候在线程池里面拿线程，用完以后再把线程丢回线程池，以供后面的作业继续使用，所以这种基于线程模型的对于任务的开销肯定是小很多的，肯定要比mapreduce和hadoop基于进程的要小不少的！
可以快速的用java、Scala、python、R开发我们的应用程序。spark提供超过80个高级别的api，在mapreduce中，我们只有map和reduce两种算子，但在spark中会有很多，可以让我们更加容易的构建我们的应用程序，而且还能启动一些命令行的交互语言。
如果数据在内存上面，速度比mapreduce快100个数量级，数据在磁盘上要比mapreduce快10个数量级。

二、Spark 核心模块

1. Spark Core

Spark 核心是 Spark 的基础模块，提供了 Spark 的基本功能，包括任务调度、内存管理、错误恢复、分布式存储等。它提供了一个抽象的分布式数据集合（RDD），是 Spark 中最基本的抽象。

Spark Core 是 Spark 的核心组件，它提供了分布式任务调度、内存管理、错误恢复、存储管理等基础功能，是其他 Spark 组件的基础，如 Spark SQL、Spark Streaming、Spark MLlib 等都是基于 Spark Core 构建的。Spark Core 是一个分布式计算框架，可以在大规模数据集上进行高效的数据处理和分析。它具有以下特点：

1. 快速：Spark Core 使用内存计算技术，可以比 Hadoop MapReduce 快 10 倍以上。
2. 易用：Spark Core 提供了简单易用的 API，开发人员可以使用 Java、Scala、Python、R 等编程语言进行开发。
3. 可扩展性：Spark Core 可以在数百台服务器上运行，支持扩展到 PB 级别的数据。
4. 容错性：Spark Core 具有高度的容错性，能够自动进行任务恢复，同时支持数据的持久化和容错机制。

在实际应用中，可以使用 Spark Core 进行数据的处理、分析和计算，统计数据集的各种指标，进行数据挖掘和机器学习等。

2. Spark SQL

Spark SQL 是 Spark 中用于处理结构化数据的模块，它提供了一种基于 SQL 的编程接口，可以用 SQL 或 DataFrame API 来查询结构化数据。Spark SQL 是 Apache Spark 生态系统中的一个组件，它提供了将结构化数据与 Spark 进行集成的接口。Spark SQL 可以使用 SQL 查询语言来查询数据，同时也可以与 Spark 的 DataFrame API 集成。Spark SQL 支持多种数据源，包括 Hive、JSON、Parquet、JDBC 数据库等。Spark SQL 支持查询优化器，可以将 SQL 查询转换为 Spark 作业，以便在分布式计算集群上进行处理。Spark SQL 的应用场景包括数据分析、数据挖掘、机器学习等。

3. Spark Streaming

Spark Streaming 是 Spark 中用于实时数据处理的模块，它可以从多个数据源（如 Kafka、Flume、Twitter 等）接收数据流，并对数据进行实时处理。

Spark Streaming 是一个 Spark 的组件，它提供了实时数据处理的能力，可以在秒级别的延迟下对实时数据进行处理和分析。Spark Streaming 支持多种输入源，包括 Kafka、Flume、Twitter、HDFS 等，同时也支持多种数据处理方式，包括窗口计算、滑动窗口计算等。

Spark Streaming 基于 Spark 的 RDD 模型进行实现，它将实时数据流划分为一系列的小批量数据，并将每个小批量数据作为一个 RDD 进行处理。Spark Streaming 还提供了高级别的流处理 API，可以方便地进行流处理应用程序的开发。

Spark Streaming 的一个重要特点是其与 Spark 的无缝集成。Spark Streaming 可以与 Spark SQL、Spark MLlib 等组件无缝集成，从而可以方便地进行实时数据处理和机器学习等任务。

Spark Streaming 可以应用于许多实时数据处理场景，包括实时日志处理、实时推荐系统、实时数据分析等。

4. MLlib

MLlib 是 Spark 中用于机器学习的模块，它提供了一系列常见的机器学习算法和数据处理工具，包括分类、回归、聚类、协同过滤等。Spark MLlib 是 Spark 的机器学习库，它提供了许多常见的机器学习算法和工具，包括分类、回归、聚类、协同过滤、降维等。它基于 Spark 的数据处理引擎，可以处理大规模的数据集，并支持分布式计算，使得机器学习模型的训练速度更快、更高效。Spark MLlib 还提供了一些工具，如模型评估、参数调优、特征提取等，可以帮助用户更好地进行机器学习任务。需要注意的是，Spark MLlib 目前已经停止维护，推荐使用 Spark ML 代替。

5.Spark GraphX

Spark GraphX是Spark 的一个图处理框架，它提供了一个分布式的图计算引擎和图处理算法库。GraphX 使用了 RDD 来表示图中的节点和边，同时支持类似 Pregel 的顶点中心的迭代计算模型，以及基于图的数据分析和机器学习算法。

GraphX 有以下特点：

1. 支持大规模图数据处理，可以在分布式环境下进行高效的图计算。
2. 支持顶点中心的迭代计算模型，可以方便地实现很多图算法。
3. 支持类似 SQL 的查询语言，可以方便地进行图数据的查询和分析。
4. 支持类似 GraphLab 的异步更新机制，可以显著提高图处理的效率。

GraphX 可以用于许多应用场景，包括社交网络分析、推荐系统、生物信息学、物理模拟等。

这几个模块都是 Spark 中非常重要的组成部分，它们共同构成了一个强大的、灵活的数据处理平台，可以用来处理各种规模的数据，并支持多种不同的数据处理应用场景。

三、spark生态BDAS

Spark是Apache BDAS（Berkeley Data Analytics Stack）生态系统中的一部分。BDAS是一个开源的大数据分析栈，由加州大学伯克利分校AMPLab开发，并由Apache软件基金会维护。BDAS包括多个组件，其中包括Spark、Mesos、Tachyon、Shark、GraphX等。这些组件可以协同工作，提供可扩展的大数据处理和分析解决方案。Spark是BDAS中最重要的组件之一，它提供了高效的数据处理能力和丰富的API，支持多种数据处理模式，是BDAS中的核心技术之一。