Flink实战(10)-checkpoint容错保证

news2024/11/24 10:53:21

0 前言

程序在 Flink 集群运行，某个算子因为某些原因出现故障，如何处理

在故障恢复后，如何保证数据状态，和故障发生之前的数据状态一致?

1 什么是 checkpoint(检查点)?

Checkpoint 能生成快照(Snapshot)。

若 Flink 程序崩溃，重新运行程序时可以有选择地从这些快照进行恢复。

Checkpoint 是 Flink 可靠性的基石。

2 Checkpoint V.S State

  • State 指某个算子的数据状态，保存在堆内存
  • Checkpoint 指所有算子的数据状态，持久化保存

3 什么是savepoint(保存点)?

基于 checkpoint 机制的快照。

4 Checkpoint V.S Savepoint

Checkpoint 是 自动容错恢复机制，Savepoint 某个时间点的全局状态镜像

Checkpoint 是 Flink 系统行为 。Savepoint 是用户触发

Checkpoint 默认程序删除。Savepoint 会一直保存

5 数据流快照最简单的流程

  1. 暂停处理新流入数据，将新数据缓存起来
  2. 将算子任务的本地状态数据拷贝到一个远程的持久化存储上
  3. 继续处理新流入的数据，包括刚才缓存起来的数据

设置合理的并行度能够加快数据的处理

Flink 每个算子都可以设置并行度

Slot 使得 taskmanager 具有并发执行的能力

从 Source 到 sink，每当并行度发生变化或者数据分组( keyBy)，就会产生任务。

一个任务的并行度为 N，就会有 N 个子任务。

7 Checkpoint 分布式快照流程

第1步

要实现分布式快照，最关键的是能够将数据流切分。Flink 中使用 Checkpoint Barrier(检查点分割线)来切分数据流

当 Source 子任务收到 Checkpoint 请求，该算子会对自己的数据状态保存快照。

向自己的下一个算子发送 Checkpoint Barrier，下一个算子只有收到上一个算子广播过来的 Checkpoint Barrier，才进行快照保存。

第2步

当 Sink 算子已经收到所有上游的 Checkpoint Barrie 时，进行以下 2 步操作：

  1. 保存自己的数据状态
  2. 并直接通知检查点协调器

检查点协调器在收集所有的 task 通知后，就认为这次的 Checkpoint 全局完成了。

下游算子有多个数据流输入，啥时才 checkpoint？

这就涉及到Barrie对齐机制，保证了 Checkpoint 数据状态的精确一致。

第1步：下一个算子某个通道接收了第一个ID为n的 Checkpoint Barrie

这个算子其他通道的ID 为n的 Checkpoint Barrie 还没到达

第2步：该算子将第一个ID为n的 Checkpoint Barrie 缓存

该个算子继续处理其他通道的ID为n的 Checkpoint Barrie

第3步: 该个算子所有通道的ID 为n的 Checkpoint Barrie 到达后 该算子执行快照

不进行 Barrier 对齐可以吗？

8 Checkpoint咋保证数据状态的一致性？

Flink内置的数据状态一致性

端到端的数据状态一致性

AT-MOST-ONCE(最多一次，已废除)

发生故障，可能会丢失数据

AT-LEAST-ONCE(至少一次)

发生故障，可能会有重复数据。

EXACTLY-ONCE(精确一次)

发生故障，能保证不丢失数据，也没有重复数据

KafkaSink 总共支持三种不同的语义保证（DeliveryGuarantee）。对于 DeliveryGuarantee.AT_LEAST_ONCE 和 DeliveryGuarantee.EXACTLY_ONCE，Flink checkpoint 必须启用。默认情况下 KafkaSink 使用 DeliveryGuarantee.NONE。

  • DeliveryGuarantee.NONE 不提供任何保证：消息有可能会因 Kafka broker 的原因发生丢失或因 Flink 的故障发生重复。
  • DeliveryGuarantee.AT_LEAST_ONCE: sink 在 checkpoint 时会等待 Kafka 缓冲区中的数据全部被 Kafka producer 确认。消息不会因 Kafka broker 端发生的事件而丢失，但可能会在 Flink 重启时重复，因为 Flink 会重新处理旧数据。
  • DeliveryGuarantee.EXACTLY_ONCE: 该模式下，Kafka sink 会将所有数据通过在 checkpoint 时提交的事务写入。因此，如果 consumer 只读取已提交的数据（参见 Kafka consumer 配置 isolation.level），在 Flink 发生重启时不会发生数据重复。然而这会使数据在 checkpoint 完成时才会可见，因此按需调整 checkpoint 间隔。请确认事务 ID 的前缀（transactionIdPrefix）对不同的应用是唯一的，以保证不同作业的事务 不会互相影响！此外，强烈建议将 Kafka 的事务超时时间调整至远大于 checkpoint 最大间隔 + 最大重启时间，否则 Kafka 对未提交事务的过期处理会导致数据丢失。

9 Data Source 和 Sink 的容错保证

当程序出现错误的时候，Flink 的容错机制能恢复并继续运行程序。这种错误包括机器硬件故障、网络故障、瞬态程序故障等。

只有当 source 参与快照机制，Flink 才能保证对自定义状态的精确一次更新。下表列举了 Flink 与其自带连接器的状态更新的保证。

SourceGuaranteesNotes
Apache Kafka精确一次根据你的版本用恰当的 Kafka 连接器
Amazon Kinesis Data Streams精确一次
RabbitMQ至多一次 (v 0.10) / 精确一次 (v 1.0)
Google PubSub至少一次
Collections精确一次
Files精确一次
Sockets至多一次

为保证端到端精确一次的数据交付（在精确一次的状态语义上更进一步），sink需要参与 checkpointing 机制。下表列举了 Flink 与其自带 sink 的交付保证（假设精确一次状态更新）。

SinkGuaranteesNotes
Elasticsearch至少一次
Opensearch至少一次
Kafka producer至少一次 / 精确一次当使用事务生产者时，保证精确一次 (v 0.11+)
Cassandra sink至少一次 / 精确一次只有当更新是幂等时，保证精确一次
Amazon DynamoDB至少一次
Amazon Kinesis Data Streams至少一次
Amazon Kinesis Data Firehose至少一次
File sinks精确一次
Socket sinks至少一次
Standard output至少一次
Redis sink至少一次

关注我，紧跟本系列专栏文章，咱们下篇再续！

作者简介：魔都架构师，多家大厂后端一线研发经验，在分布式系统设计、数据平台架构和AI应用开发等领域都有丰富实践经验。

各大技术社区头部专家博主。具有丰富的引领团队经验，深厚业务架构和解决方案的积累。

负责：

  • 中央/分销预订系统性能优化

  • 活动&券等营销中台建设

  • 交易平台及数据中台等架构和开发设计

  • 车联网核心平台-物联网连接平台、大数据平台架构设计及优化

  • LLM Agent应用开发

  • 区块链应用开发

  • 大数据开发挖掘经验

  • 推荐系统项目

    目前主攻市级软件项目设计、构建服务全社会的应用系统。

参考：

  • 编程严选网

    本文由博客一文多发平台 OpenWrite 发布！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1986507.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

ResNet 网络中的残差单元

ResNet 网络中的残差单元

今晚看《深度学习推荐系统实战》这本书，读到这样一句话，残差单元中的两层 ReLU 网络其实拟合的是输出和输入之间的“残差” x o − x i x^o-x^i xo−xi ，想看看微信读书的 AI 问书新功能对这句话怎么理解，原以为会像其他大模型一…
阅读更多...
H20 首发！上 Neolink.AI 免费尝鲜

H20 首发！上 Neolink.AI 免费尝鲜

AI 原生服务平台 Neolink.AI 正式上线！Neolink.AI 致力于整合关键要素——算力、数据、知识、模型与企业应用，旨在为 AI-Native 应用的构建提供高效能的 GPU 算力资源和全面的一站式数据与 AI 平台产品服务。 #高性能千卡集群免费尝鲜# 今天&#xff0…
阅读更多...
[Vue3] 4 computed

[Vue3] 4 computed

前言 … 目标 1 computed的用法 computed的用法 computed 计算属性用法与vue2的类似 引入 import { reactive,computed } from vue使用 setup(){let person reactive({firstName:张,lastName:三})// 简单写法 - 只有读// person.fullName computed(()>{// return…
阅读更多...
Windows11手动安装linux分发版

Windows11手动安装linux分发版

Manual installation steps for older versions of WSL | Microsoft LearnStep by step instructions to manually install WSL on older versions of Windows, rather than using the wsl install command.https://learn.microsoft.com/en-us/windows/wsl/install-manual下载完…
阅读更多...
【算法 03】雇佣问题

【算法 03】雇佣问题

“雇用问题”及其算法优化 在日常生活和工作中，我们经常会遇到需要从多个选项中做出选择的情况，而“雇用问题”正是这样一个典型的例子。在这个问题中，我们不仅要考虑如何高效地找到最佳候选人，还要关注整个过程中的成本。今天&a…
阅读更多...
Tomcat漏洞

Tomcat漏洞

一、Tomcat 漏洞描述 当 Tomcat运行在Windows操作系统时，且启用了HTTPPUT请求方法(例如，将readonly初始化参数由默认值设置为false)，攻击者将有可能可通过精心构造的攻击请求数据包向服务器上传包含任意代码的JSP 文件，JSP文件中…
阅读更多...
docker系列11：Dockerfile入门

docker系列11：Dockerfile入门

传送门 docker系列1：docker安装 docker系列2：阿里云镜像加速器 docker系列3：docker镜像基本命令 docker系列4：docker容器基本命令 docker系列5：docker安装nginx docker系列6：docker安装redis docker系…
阅读更多...
蒲公英G5-2250路由器之收集各种硬件的配置页面

蒲公英G5-2250路由器之收集各种硬件的配置页面

前言：此篇文章是为了更好的让大家了解各个路由器的后台设置页面具体有哪些功能，更加的清晰直观！（如有雷同纯属巧合，如有侵权联系删除！） 云管理平台 本地地址IP/oraybox/login.html 本地配置页…
阅读更多...
一把手带你了解Bigo Ads联动休闲真金游戏出海营销策略

一把手带你了解Bigo Ads联动休闲真金游戏出海营销策略

一把手带你了解Bigo Ads联动休闲真金游戏出海营销策略 在探索Bigo Ads作为投放海外游戏广告的平台时，精准定位与创意融合成为了成功的关键。首先，深入理解目标市场的文化习俗与玩家偏好至关重要。不同地区的玩家对于游戏类型、画风乃至广告语言风格都有…
阅读更多...
【链表OJ】常见面试题 3

【链表OJ】常见面试题 3

文章目录 1.[环形链表II](https://leetcode.cn/problems/linked-list-cycle-ii/description/)1.1 题目要求1.2 快慢指针1.3 哈希法 2.[随机链表的复制](https://leetcode.cn/problems/copy-list-with-random-pointer/description/)2.1 题目要求2.2 迭代法 1.环形链表II 1.1 题目…
阅读更多...
KEIL5芯片包下载

KEIL5芯片包下载

一、打开KEIL芯片包下载网址 Arm Keil | Devices 二、搜索要下载的芯片型号 三、安装
阅读更多...
CSP初赛知识点讲解（二）

CSP初赛知识点讲解（二）

CSP初赛知识点讲解（二） 进制转换基本定义n进制转十进制十进制转n进制n进制转m进制小数的进制转换 例题训练（四） 进制转换 基本定义 十进制：逢十进一(包含数字0~9) ( 365 ) 10 3 1 0 2 6 1 0 1 5 1 0 0 (365)_{…
阅读更多...
如何提高编程能力？（来自准大三学长的含泪建议）

如何提高编程能力？（来自准大三学长的含泪建议）

种一棵树最好是十年前，其次是现在 想了解更多内容可以看我主页：GGBondlctrl-CSDN博客 1.前言 以下是小编的亲身经历哟 （1）大一，摆烂 -------和每个人一样，大学都是带着美好的憧憬，我开始学习…
阅读更多...
Apache漏洞

Apache漏洞

四、 CVE-2021-41773 Apache HTTP Server 路径穿越漏洞 漏洞简介 该漏洞是由于Apache HTTP Server 2.4.49版本存在目录穿越漏洞,在路径穿越目录<Directory/>Require all granted</Directory>允许被访问的的情况下(默认开启)攻击者可利用该路径穿越漏洞读取到Web…
阅读更多...
C++ 基础练习 - Chapter 12 (基础练习 完结版)

C++ 基础练习 - Chapter 12 (基础练习 完结版)

Review Questions 12.1 What is generic Programming? How is it implemented in C? Answer: Generic programming is an approach where generic types are used as parameters in algorithms so that they work for variety of suitable data types and data structures…
阅读更多...
【Spring】通过Aspects实现面向切面编程（AOP）

【Spring】通过Aspects实现面向切面编程（AOP）

目录 1.概念理解 2. 案例说明 1.概念理解 【注】一些概念来自&#xff1a;https://blog.csdn.net/Kaiser__/article/details/135894150 横切关注点 分散在每个各个模块中解决同一样的问题&#xff0c;如用户验证、日志管理、事务处理、数据缓存都属于横切关注点。这个概念不是…
阅读更多...
【C++刷题】优选算法——贪心第一辑

【C++刷题】优选算法——贪心第一辑

什么是贪心算法 贪心策略&#xff1a;局部最优 -> 全局最优 “贪婪鼠目寸光” 1、把解决问题的过程分为若干步 2、解决每一步的时候&#xff0c;都选择当前看起来“最优的”解法 3、“希望”得到全局最优解 贪心算法的特点 贪心策略的提出是没有标准或者模板的 正确的贪心策…
阅读更多...
项目小结（中）

项目小结（中）

一.文件分片上传 在文件上传的逻辑中&#xff0c;文件以MD5唯一&#xff0c;然后记录已经储存的文件md5&#xff0c;如果已上传&#xff0c;就秒传&#xff0c;并记录班级上传文件信息。 如果请求文件上传时&#xff0c;发现班级已经上传了一部分&#xff0c;这里就会把班级上…
阅读更多...
秋招复习笔记——八股文部分：网络IP

秋招复习笔记——八股文部分：网络IP

终于来到了网络的最后一篇&#xff0c;继续加油&#xff01; IP 知识全家桶 IP 基本认识 IP 在 TCP/IP 参考模型中处于第三层&#xff0c;也就是网络层。 网络层的主要作用是&#xff1a;实现主机与主机之间的通信&#xff0c;也叫点对点&#xff08;end to end&#xff09…
阅读更多...
【Vue3】Pinia修改数据

【Vue3】Pinia修改数据

【Vue3】Pinia修改数据 背景简介开发环境开发步骤及源码总结 背景 随着年龄的增长&#xff0c;很多曾经烂熟于心的技术原理已被岁月摩擦得愈发模糊起来&#xff0c;技术出身的人总是很难放下一些执念&#xff0c;遂将这些知识整理成文&#xff0c;以纪念曾经努力学习奋斗的日子…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023