目录
一、Flink
1.1 基本概念
1.1.1 flink简介
1.2 flink编程模版
1.3 常用概念
1.2.1 datastream
1.2.2 算子、Task
1.2.3 多流操作
1.2.6 时间语义
二、Flink编程实战(Java)
2.1 wordcount
一、Flink
1.1 基本概念
1.1.1 flink简介
1.图片介绍
性能：
- 低延迟
- 高吞吐
- 内存计算
运维：
- 弹性实施部署机制
- 高可用配置
- 保存点恢复机制
准确性保证：
- exactly-once 状态一致性
- 事件时间处理
- 专业的迟到数据处理
2.对比mapreduce
相似性
数据处理框架：都是大数据处理框架，都提供了一套编程模型和API，使得开发人员能处理大规模数据集。
分布式处理：都支持分布式处理，即数据可以在多个节点上并行处理。在MapReduce中，作业被拆分成多个map任务和reduce任务，这些任务在集群的多个节点上并行执行。在Flink中，数据流也被分割成多个部分，并在不同的任务（Task）中并行处理。
数据分区和聚合：在MapReduce中，map阶段的数据通常会被分区（sharding），并在reduce阶段进行聚合（如求和、计数等）。在Flink中，也有类似的机制，比如使用
keyBy算子对数据进行分区，然后使用聚合函数（如sum、max等）对分区内的数据进行处理。容错机制：都提供了容错机制，以确保在节点故障或数据丢失时能够恢复作业的执行。MapReduce通过检查点（checkpointing）和重试机制来实现容错，而Flink则提供了包括基于状态的容错和精确一次（exactly-once）语义的保证。
区别:
处理模式：MapReduce是批处理框架，处理的是静态数据集（即数据在作业开始之前就已经存在）。而Flink是流处理框架，它处理的是实时数据流（即数据是持续不断地产生的）。
实时性：Flink支持低延迟的实时数据处理，能够处理毫秒级甚至微秒级的数据。而MapReduce则更适合于离线批处理场景，其处理延迟通常较高。
状态管理：Flink提供了更强大的状态管理能力，它能够在任务之间或故障恢复后保持状态的一致性，且API更丰富。
1.2 flink编程模版
1.万卷不离其宗！！！运行模型通常包括三个部分：Source（数据源）、Transformation（转换操作）、Sink（输出）。
- 获取一个编程之行入口环境env
- 通过数据源组建，加载，创建datastream
- 对datastream调用各种处理算子表达计算逻辑
- 通过sink算子指定计算结果指定计算结果的输出方式
- 在env上触发程序提交执行
2.添加依赖
对于Maven项目，在pom.xml文件中添加<dependency>元素，代码举例：
<dependencies>
<!-- Flink核心库 -->
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-core</artifactId>
<version>你的Flink版本号</version>
<!-- 通常这个依赖的作用域设置为provided，但根据你的项目需求可以调整 -->
<!-- <scope>provided</scope> -->
</dependency>
<!-- Flink流处理库（Java API） -->
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-streaming-java_你的Scala版本</artifactId>
<version>你的Flink版本号</version>
<!-- 如果在IDE中运行，可能需要将作用域设置为compile或runtime -->
<!-- <scope>compile</scope> -->
</dependency>
<!-- 如果你还需要使用Table API或SQL，则可以添加以下依赖 -->
<!-- Flink Table API和SQL的Java桥接库 -->
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-table-api-java-bridge_你的Scala版本</artifactId>
<version>你的Flink版本号</version>
<!-- 通常这个依赖的作用域也设置为provided -->
<!-- <scope>provided</scope> -->
</dependency>
<!-- 注意：上述示例中的“你的Flink版本号”和“你的Scala版本”需要替换为实际的版本号 -->
<!-- Flink的版本号可以从Apache Flink的官方网站或Maven中央仓库获取 -->
<!-- Scala的版本号取决于你使用的Flink版本和Scala兼容性 -->
</dependencies>1.3 常用概念
1.2.1 datastream
- DataStream代表一个数据流，它可以是无界的，也可以是有界的；
- DataStream类似于spark的rdd，它是不可变的（immutable）；
- 无法对一个datastream进行自由的添加或删除或修改元素；
- 只能通过算子对datastream中的数据进行转换，将一个datastream转成另一个datastream；
- datastream可以通过source算子加载、映射外部数据而来；或者从已存在的datastream转换而来
1.2.2 算子、Task
1.算子（Operator）可以被通俗地理解为一种可以调用的函数或操作，它们对数据进行处理或转换。不过，与传统的函数相比，Flink的算子是在分布式环境中执行的，它们能够处理无限的数据流或有限的数据集。
举例：
Window算子：Window算子就像是一个定时闹钟和一堆小盘子。你设置了时间间隔（比如每分钟、每小时），当时间到了，闹钟就会响，然后你把这段时间内收集到的所有食材（数据）放到一个小盘子里进行统一处理。这样可以让你看到数据随时间变化的趋势。
- Filter算子：Filter算子就像是一个筛子。你把食材（数据）倒进筛子里，只有满足特定条件（比如大小、颜色等）的食材才能通过筛子继续向下流动。这个过程中，不满足条件的食材就被淘汰了。
- Sink算子（Sink Operator）：是数据流处理管道中的一个重要组成部分，它负责将处理后的数据输出到外部系统或存储中。Sink是数据流处理的终点，它接收来自上游算子的数据，并将其发送到目的地，如文件系统、数据库、消息队列等。
2.task,subtask
- flink程序中，每一个算子都可以成为一个独立任务（task）；
- flink程序中，视上下游算子间数据分发规则、并行度、共享槽位设置，可组成算子链成为一个task
- 每个任务在运行时都可拥有多个并行的运行实例（subTask）；
- 且每个算子任务的并行度都可以在代码中显式设置；
3. Task和算子的联系
- 共同作用于数据流处理：Task和算子都是处理数据流的关键组成部分。Task是执行单元，而算子定义了数据流上的具体操作。
- 优化与执行：为了提高处理效率和减少资源消耗，Flink会将多个算子链接（chain）成一个Task，在同一个线程中执行。
1.2.3 多流操作
多流操作指的是在数据流处理过程中，对两个或多个数据流进行各种转换和合并的操作。这些操作使得Flink能够处理复杂的数据流场景，如数据分流（将一条数据流拆分成多条）、数据合流（将多条数据流合并成一条）以及双流联结（基于特定条件将两条数据流联结起来）等。
1.2.6 时间语义
1. 事件时间（Event Time）
事件时间是指数据本身所携带的时间戳，即数据实际发生或产生的时间。你可以把它想象成每个数据项都自带了一个“出生证”，上面写着它是什么时候被创造出来的。在Flink中，事件时间允许我们按照数据实际发生的时间顺序来处理数据，即使这些数据在系统中是乱序到达的。
2. 处理时间（Processing Time）
处理时间是指数据在Flink系统中被处理时所在机器的系统时间。你可以把它想象成每个处理节点都有一个“本地时钟”，这个时钟告诉节点当前是什么时候，并且所有基于时间的操作都使用这个时钟的时间。
3. 摄入时间（Ingestion Time）
摄入时间是指数据进入Flink系统的时间戳，即数据被Flink Source算子接收的时间。你可以把它想象成Flink系统有一个“大门”，所有数据都要通过这个大门进入，而大门上有一个“计时器”，记录着每个数据项进门的时间。
