Spark VS Flink，大数据该学什么

news2024/11/18 7:44:08

Spark VS Flink：功能比较

Spark和Flink中的功能集在很多方面都不同，如下表所示：

Flink特点

支持高吞吐、低延迟、高性能的流处理
有状态计算的Exactly-once语义，对于一条message,receiver确保只收到一次
支持带有事件时间（event time）的流处理和窗口处理。事件时间的语义使流计算的结果更加精确，尤其在事件到达无序或者延迟的情况下。
支持高度灵活的窗口（window）操作。支持基于time、count、session，以及data-driven的窗口操作，能很好的对现实环境中的创建的数据进行建模。
轻量的容错处理（ fault tolerance）。它使得系统既能保持高的吞吐率又能保证exactly-once的一致性。通过轻量的state snapshots实现
支持机器学习（FlinkML）、图分析（Gelly）、关系数据处理（Table）、复杂事件处理（CEP）
支持savepoints 机制（一般手动触发）。即可以将应用的运行状态保存下来；在升级应用或者处理历史数据是能够做到无状态丢失和最小停机时间。
支持大规模的集群模式，支持yarn、Mesos。可运行在成千上万的节点上
Flink在JVM内部实现了自己的内存管理
支持迭代计算
支持程序自动优化：避免特定情况下Shuffle、排序等昂贵操作，中间结果进行缓存
API支持，对Streaming数据类应用，提供DataStream API，对批处理类应用，提供DataSet API（支持Java/Scala）
支持Flink on YARN、HDFS、Kafka、HBase、Hadoop、ElasticSearch、Storm、S3等整合

Spark特点

轻量级快速处理：Spark允许传统Hadoop集群中的应用程序在内存中以100倍的速度运行，即使在磁盘上运行也能快10倍。Spark通过减少磁盘IO来达到性能的提升，提供 Cache 机制来支持需要反复迭代计算或者多次数据共享,减少数据读取的 IO 开销;
易于使用：Spark支持多语言。Spark允许Java、Scala、Python及R
支持复杂查询：除了简单的map及reduce操作之外，Spark还支持filter、foreach、reduceByKey、aggregate以及SQL查询、流式查询等复杂查询
实时的流处理：对比MapReduce只能处理离线数据，Spark还能支持实时流计算。SparkStreaming主要用来对数据进行实时处理，当然在YARN之后Hadoop也可以借助其他的工具进行流式计算
通用解决方案：Spark提供了统一的解决方案。Spark可以用于批处理、交互式查询（Spark SQL）、实时流处理（Spark Streaming）、机器学习（Spark MLlib）和图计算（GraphX）
与其他开源产品集成：Spark可以使用Hadoop的YARN、Apache Mesos（已经启用）、Kubernetes作为它的资源管理和调度器，并且可以处理所有Hadoop支持的数据，包括HDFS、HBase和Cassandra等

虽然 Spark和 Flink有相似之处和优势，但 Spark 更成熟，使用范围更广。此外，Spark 具有托管支持，并且很容易找到许多现有用例以及其他用户共享的最佳实践。

虽然 Flink并不成熟，但它对于复杂的事件处理或原生流用例很有用，因为它提供了更好的性能、延迟和可扩展性。此外，它对窗口和状态管理有更好的支持。Flink能够使用原始操作完成许多需要在 Spark 中开发自定义逻辑的操作。

‍只能说各有千秋，目前大数据框架还离不开Spark和Flink，因此两者缺一不可。

学习大数据开发，也必须要同时掌握这两个框架。

python大数据方向

2022最新大数据Hadoop入门视频教程，最适合零基础自学的大数据Hadoop教程
2022年大数据spark3.2入门Spark全套视频教程，4天spark3.2快速入门到精通，全网首套基于Python语言的spark教程
2022年MySQL基础入门2022最新MySQL知识精讲+mysql实战案例_零基础mysql数据库入门到高级全套教程

Python+大数据开发
MySQL数据库：2022最新MySQL知识精讲+mysql实战案例_零基础mysql数据库入门到高级全套教程
Hadoop入门：2022最新大数据Hadoop入门视频教程，最适合零基础自学的大数据Hadoop教程
Hive数仓项目：大数据项目实战教程_大数据企业级离线数据仓库，在线教育项目实战（Hive数仓项目完整流程）

PB内存计算
Python入门：全套Python教程_Python基础入门视频教程，零基础小白自学Python必备教程
Python编程进阶：Python高级语法进阶教程_python多任务及网络编程，从零搭建网站全套教程
spark3.2从基础到精通：Spark全套视频教程，4天spark3.2快速入门到精通，全网首套基于Python语言的spark教程
Hive+Spark离线数仓工业项目实战：全网首次披露大数据Spark离线数仓工业项目实战，Hive+Spark构建企业级大数据平台