Kafka集群与可靠性

news2024/11/15 17:58:22

Kafka集群与可靠性

1.Kafka集群搭建实战

使用两台Linux服务器：一台192.168.182.137 一台192.168.182.138

安装kafka首先，我们需要配置java环境变量（这里就略过了）

mkdir /opt/kafka
#上传压缩包kafka_2.13-3.3.1.tgz并解压
tar -zxvf kafka_2.13-3.3.1.tgz
#进入目录
cd /opt/kafka/kafka_2.13-3.3.1
# 修改config目录下的server.properties配置文件

修改config目录下的server.properties配置文件

  1. 修改broker.id，确保每个集群的节点broker的id都是不一样的

    broker.id=0

image-20240116155502101

  1. 修改监听的端口和ip

    # 192.168.182.137是我虚拟机的ip, 9092是kafka默认的端口
listeners = PLAINTEXT://192.168.182.137:

    image-20240116155646799

  2. 修改zookeeper的ip

    zookeeper.connect=192.168.182.137:2181

image-20240116155828472

  1. 编写脚本启动kafka和zk

    start_ZK.sh

    #!/bin/bash
./zookeeper-server-start.sh ../config/zookeeper.properties

    stop_Kafka.sh

    #!/bin/bash
./kafka-server-stop.sh ../config/server.properties

    start_Kafka.sh

    #!/bin/bash
./kafka-server-start.sh ../config/server.properties

​

启动zk

# 将启动日志打印到zk.log文件中，后台启动
nohup ./start_ZK.sh -> zk.log &

启动kafka

nohup ./start_Kafka.sh &

查看启动日志

tail -f nohup.out

image-20240116160554154

ps:其他节点的配置类似，要确保每个集群的节点broker的id都是不一样的，这里138我使用的是137的zookeeper（确保多个broker注册到同一个zookeeper）

2.Kafka集群规模如何预估

吞吐量：

集群可以提高处理请求的能力。单个Broker的性能不足，可以通过扩展broker来解决。

磁盘空间：

比如，如果一个集群有10TB的数据需要保留，而每个broker可以存储2TB，那么至少需要5个broker。如果启用了数据复制，则还需要一倍的空间，那么这个集群需要10个broker。

3.Kafka集群原理

成员关系与控制器

控制器其实就是一个broker, 只不过它除了具有一般 broker的功能之外, 还负责分区首领的选举。

当控制器发现一个broker加入集群时, 它会使用 broker ID来检査新加入的 broker是否包含现有分区的副本。 如果有, 控制器就把变更通知发送给新加入的 broker和其他 broker, 新 broker上的副本开始从首领那里复制消息。

简而言之, Kafka使用 Zookeeper的临时节点来选举控制器,并在节点加入集群或退出集群时通知控制器。 控制器负责在节点加入或离开集群时进行分区首领选举。

从下面的两台启动日志中看出，192.168.140.103 这台服务器是控制器。

image-20240116221553427

集群工作机制

复制功能是 Kafka 架构的核心。在 Kafka 的文档里, Kafka 把自己描述成“一个分布式的、可分区的、可复制的提交日志服务”。

复制之所以这么关键, 是因为它可以在个别节点失效时仍能保证 Kafka 的可用性和持久性。
Kafka 使用主题来组织数据, 每个主题被分为若干个分区,每个分区有多个副本。那些副本被保存在 broker 上, 每个 broker 可以保存成百上千个属于 不同主题和分区的副本。

replication-factor参数

比如我们创建一个llp的主题，复制因子是2，分区数是2

./kafka-topics.sh --bootstrap-server 192.168.140.103:9092  --create --topic llp --replication-factor 2 --partitions 2

replication-factor用来设置主题的副本数。每个主题可以有多个副本，副本位于集群中不同的 broker 上，也就是说副本的数量不能超过 broker 的数量。

./kafka-topics.sh --bootstrap-server 192.168.140.103:9092 --describe

image-20240116223301961

从这里可以看出，llp分区有两个分区，partition0和partition1 ，其中

在partition0 中，broker1（broker.id =0）是Leader，broker2（broker.id =1）是跟随副本。

在partition1 中，broker2（broker.id =1）是Leader，broker1（broker.id =0）是跟随副本。

image-20240116222641119

image.png

首领副本

每个分区都有一个首领副本。为了保证一致性，所有生产者请求和消费者请求都会经过这个副本 。

跟随者副本

首领以外的副本都是跟随者副本。跟随者副本不处理来自客户端的请求,它们唯一一的任务就是从首领那里复制消息, 保持与首领一致的状态 。 如果首领发生崩溃, 其中的一个跟随者会被提升为新首领 。

auto.leader.rebalance.enable参数

是否允许定期进行 Leader 选举。

设置它的值为true表示允许Kafka定期地对一些Topic 分区进行Leader重选举，当然这个重选举不是无脑进行的，它要满足一定的条件才会发生。

比如Leader A一直表现得很好，但若auto.leader.rebalance.enable=true，那么有可能一段时间后Leader A就要被强行卸任换成Leader B。
换一次Leader 代价很高，原本向A发送请求的所有客户端都要切换成向B发送请求，而且这种换Leader本质上没有任何性能收益，因此建议在生产环境中把这个参数设置成false。

集群消息生产

复制系数、不完全的首领选举、最少同步副本

可靠系统里的生产者

发送确认机制

3 种不同的确认模式。

acks=0 意味着如果生产者能够通过网络把消息发送出去，那么就认为消息已成功写入Kafka 。

acks=1 意味若首领在收到消息并把它写入到分区数据文件（不一定同步到磁盘上）时会返回确认或错误响应。

acks=all 意味着首领在返回确认或错误响应之前，会等待（min.insync.replicas）同步副本都收到悄息。

ISR

image.png

Kafka的数据复制是以Partition为单位的。而多个备份间的数据复制，通过Follower向Leader拉取数据完成。从一这点来讲，有点像Master-Slave方案。不同的是，Kafka既不是完全的同步复制，也不是完全的异步复制，而是基于ISR的动态复制方案。

ISR，也即In-Sync Replica。每个Partition的Leader都会维护这样一个列表，该列表中，包含了所有与之同步的Replica（包含Leader自己）。每次数据写入时，只有ISR中的所有Replica都复制完，Leader才会将其置为Commit，它才能被Consumer所消费。

这种方案，与同步复制非常接近。但不同的是，这个ISR是由Leader动态维护的。如果Follower不能紧“跟上”Leader，它将被Leader从ISR中移除，待它又重新“跟上”Leader后，会被Leader再次加加ISR中。每次改变ISR后，Leader都会将最新的ISR持久化到Zookeeper中。

至于如何判断某个Follower是否“跟上”Leader，不同版本的Kafka的策略稍微有些区别。

从0.9.0.0版本开始，replica.lag.max.messages被移除，故Leader不再考虑Follower落后的消息条数。另外，Leader不仅会判断Follower是否在replica.lag.time.max.ms时间内向其发送Fetch请求，同时还会考虑Follower是否在该时间内与之保持同步。

示例

image.png

在第一步中，Leader A总共收到3条消息，但由于ISR中的Follower只同步了第1条消息（m1），故只有m1被Commit，也即只有m1可被Consumer消费。此时Follower B与Leader A的差距是1，而Follower C与Leader A的差距是2，虽然有消息的差距，但是满足同步副本的要求保留在ISR中。

在第二步中，由于旧的Leader A宕机，新的Leader B在replica.lag.time.max.ms时间内未收到来自A的Fetch请求，故将A从ISR中移除，此时ISR={B，C}。同时，由于此时新的Leader B中只有2条消息，并未包含m3（m3从未被任何Leader所Commit），所以m3无法被Consumer消费。

使用ISR方案的原因

由于Leader可移除不能及时与之同步的Follower，故与同步复制相比可避免最慢的Follower拖慢整体速度，也即ISR提高了系统可用性。

ISR中的所有Follower都包含了所有Commit过的消息，而只有Commit过的消息才会被Consumer消费，故从Consumer的角度而言，ISR中的所有Replica都始终处于同步状态，从而与异步复制方案相比提高了数据一致性。

ISR相关配置说明

Broker的min.insync.replicas参数指定了Broker所要求的ISR最小长度，默认值为1。也即极限情况下ISR可以只包含Leader。但此时如果Leader宕机，则该Partition不可用，可用性得不到保证。

只有被ISR中所有Replica同步的消息才被Commit，但Producer发布数据时，Leader并不需要ISR中的所有Replica同步该数据才确认收到数据。Producer可以通过acks参数指定最少需要多少个Replica确认收到该消息才视为该消息发送成功。acks的默认值是1，即Leader收到该消息后立即告诉Producer收到该消息，此时如果在ISR中的消息复制完该消息前Leader宕机，那该条消息会丢失。而如果将该值设置为0，则Producer发送完数据后，立即认为该数据发送成功，不作任何等待，而实际上该数据可能发送失败，并且Producer的Retry机制将不生效。

更推荐的做法是，将acks设置为all或者-1，此时只有ISR中的所有Replica都收到该数据（也即该消息被Commit），Leader才会告诉Producer该消息发送成功，从而保证不会有未知的数据丢失。

总结

设置acks=all，且副本数为3
极端情况1：
默认min.insync.replicas=1，极端情况下如果ISR中只有leader一个副本时满足min.insync.replicas=1这个条件，此时producer发送的数据只要leader同步成功就会返回响应，如果此时leader所在的broker crash了，就必定会丢失数据！这种情况不就和acks=1一样了！所以我们需要适当的加大min.insync.replicas的值。

极端情况2：
min.insync.replicas=3（等于副本数），这种情况下要一直保证ISR中有所有的副本，且producer发送数据要保证所有副本写入成功才能接收到响应！一旦有任何一个broker crash了，ISR里面最大就是2了，不满足min.insync.replicas=3，就不可能发送数据成功了！

根据这两个极端的情况可以看出min.insync.replicas的取值，是kafka系统可用性和数据可靠性的平衡！

减小 min.insync.replicas 的值，一定程度上增大了系统的可用性，允许kafka出现更多的副本broker crash并且服务正常运行；但是降低了数据可靠性，可能会丢数据（极端情况1）。
增大 min.insync.replicas 的值，一定程度上增大了数据的可靠性，允许一些broker crash掉，且不会丢失数据（只要再次选举的leader是从ISR中选举的就行）；但是降低了系统的可用性，会允许更少的broker crash（极端情况2）。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1391100.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

某银行主机安全运营体系建设实践

某银行主机安全运营体系建设实践

随着商业银行业务的发展，主机规模持续增长，给安全团队运营工作带来极大挑战，传统的运营手段已经无法适应业务规模的快速发展，主要体现在主机资产数量多、类型复杂，安全团队难以对全量资产进行及时有效的梳理、管理&…
阅读更多...
【QML COOK】- 010-动态创建组件

【QML COOK】- 010-动态创建组件

上节介绍了Component的概念，本节介绍一下如何使用javascript动态创建对象。 1. 创建工程，新建一个MyComponent.qml的qml import QtQuickRectangle {color: "red" }它很简单就是一个红色框 2. 编辑main.qml import QtQuickWindow {id: root…
阅读更多...
mac pro “RESP.app”意外退出 redis desktop manager

mac pro “RESP.app”意外退出 redis desktop manager

文章目录 redis desktop manager下载地址提示程序含有恶意代码“RESP.app”意外退出解决办法：下载python3.10.并安装重新打开RESP如果还是不行，那么需要替换错误路径（我的没用）外传 最近在研究redis的消息，看到了strea…
阅读更多...
Ubuntu系统默认的dash shell改成bash shell

Ubuntu系统默认的dash shell改成bash shell

在Ubuntu系统中，如果默认的/bin/sh链接指向了dash，而你希望将其更改为指向bash，可以通过以下步骤操作： sudo rm /bin/sh sudo ln -s /bin/bash /bin/sh 但是，这种做法并不推荐，因为某些系统服务和脚本依赖…
阅读更多...
在线艺术字生成器-DedeCMS源码-支持字体转换与自定义-适用于网站设计

在线艺术字生成器-DedeCMS源码-支持字体转换与自定义-适用于网站设计

创造专属艺术字-字体定制-系统源码-支持自定义字体/在线艺术字体转换器 您现在可以随心所欲地在线生成、转换和设计艺术字体。我们的系统源码以html为主， 虽然基于DedeCMS内核，但赋予您无限的可能性。后台管理功能只是辅助，您可以自由探索和…
阅读更多...
外观模式（结构型）

外观模式（结构型）

目录 一、前言 二、外观模式 三、总结 一、前言 外观模式（Facade Pattern）是一种结构型设计模式，它为系统中的一组复杂子系统提供一个简单的接口，从而隐藏了这些子系统的复杂性，并且使得代码更加易于使用和理解。 外…
阅读更多...
推荐系统模型(一) DFN 详解 Deep Feedback Network for Recommendation

推荐系统模型(一) DFN 详解 Deep Feedback Network for Recommendation

背景 在大多数的推荐系统中，往往注重于隐式正反馈(例如：点击)，而忽略掉用户的其他行为(例如大多数CTR模型只考虑用户的喜欢，而忽略了不喜欢)。腾讯在Deep Feedback Network for Recommendation 一文中，提出了一个新颖…
阅读更多...
VitePress-01-从零开始的项目创建（npm版）

VitePress-01-从零开始的项目创建（npm版）

说明 本文介绍一下 VitePress的项目创建的步骤。 主要用到的命令工具是 npm。 本文的操作步骤是从无到有的创建一个完整的基本的【VitePress】项目。 环境准备 根据官方文档的介绍，截止本文发稿时，需要使用node.js 18 的版本。 可以使用node -v 的命令查…
阅读更多...
Electron+React项目打包踩坑记录

Electron+React项目打包踩坑记录

首先，如何打包 写下本文的时间是 2024/01/16，搜索了网络上 ElectronReact 的打包方式，中间行不通，本文采用的方式是记录本文时 Electron 快速入门(https://www.electronjs.org/zh/docs/latest/tutorial/quick-start)记录的打包方式…
阅读更多...
电子学会C/C++编程等级考试2023年05月（八级）真题解析

电子学会C/C++编程等级考试2023年05月（八级）真题解析

C/C++编程（1~8级）全部真题・点这里 第1题：道路 N个以 1 … N 标号的城市通过单向的道路相连:。每条道路包含两个参数：道路的长度和需要为该路付的通行费（以金币的数目来表示） Bob and Alice 过去住在城市 1.在注意到Alice在他们过去喜欢玩的纸牌游戏中作弊后，Bob和她分手…
阅读更多...
vtk9.3 配置 visual studio 2019 运行环境 和运行实例详解

vtk9.3 配置 visual studio 2019 运行环境 和运行实例详解

（1）包含文件配置： 项目--属性--VC目录，在包含目录中把include文件夹的地址加进去，一直要到下一级 vtk-9.3目录下， 小知识： 在Visual Studio 2019中运行项目时，如果项目中使用了第三…
阅读更多...
SpringBoot项目中简单使用虚拟机Redis

SpringBoot项目中简单使用虚拟机Redis

目录 步骤大致如下： 一.在pom文件中加入redis依赖 二.在虚拟机上打开我们下载好的Redis。开启服务器端并获取虚拟机ip地址 三.在项目配置。 四：使用redis 测试 redis是一个以键值对存储的NoSQL。被数百万开发人员用作缓存、矢量数据库、文档数据库、…
阅读更多...
SpringBoot-项目复制

SpringBoot-项目复制

Spring Boot是一个用于简化Java应用程序开发的框架，它提供了自动配置和约定优于配置的原则。项目复制是指通过复制现有的Spring Boot项目来创建一个新的项目，以便快速搭建基于相似功能或结构的应用程序。项目复制可以减少类似项目的开发时间、提高生产力…
阅读更多...
MongoDB 环境搭建及使用详解

MongoDB 环境搭建及使用详解

文章目录 1、安装1.1 window平台安装MongoDB1.2 Linux系统中安装启动和连接 2、MongoDB连接3、MongoDB 概念数据库（DATABASE）文档（Document）集合元数据 4、常用语法创建数据库删除数据库创建集合查看创建的集合删除集合文档CRUD 5…
阅读更多...
Rust 错误处理（上）

Rust 错误处理（上）

目录 1、用 panic! 处理不可恢复的错误 对应 panic 时的栈展开或终止 1.1 使用 panic! 的 backtrace 2、用 Result 处理可恢复的错误 2.1 匹配不同的错误 2.2 失败时 panic 的简写：unwrap 和 expect 2.3 传播错误 错误是软件中不可否认的事实，所…
阅读更多...
Kafka详解及常见面试问题解析（值得珍藏）

Kafka详解及常见面试问题解析（值得珍藏）

1. 定义 Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。它是一种高吞吐量的分布式发布订阅消息系统，可以处理消费者在网站中的所有动作流数据。这种动作（网页浏览，搜索和其他用户的行动）是在…
阅读更多...
Visual Studio 2022 成功配置QT5.12.10

Visual Studio 2022 成功配置QT5.12.10

目录 下载并安装Visual Studio 2022 Qt5.12.10下载 Qt5.12.10安装 Qt VS Tools for Visual Studio 2022下载 Visual Studio 2022配置 测试 下载并安装Visual Studio 2022 下载社区版并安装，这个比较快。 Qt5.12.10下载 官网下载很慢，还不如百度网…
阅读更多...
【加强版】小学数学出题，加减乘除混合运算，支持自定义数字，一键打印

【加强版】小学数学出题，加减乘除混合运算，支持自定义数字，一键打印

在线预览：在线HTML代码预览和运行工具 - UU在线工具 复制下面代码后到该地址预览即可 注意：在线预览不能打印。如需打印，在电脑本地上新建文本文档，粘贴代码后保存，然后把文件后缀改为.html运行，出题点击…
阅读更多...
不同打包工具下的环境变量配置方式对比

不同打包工具下的环境变量配置方式对比

本文作者为 360 奇舞团前端开发工程师 天明 前言 在现代的JavaScript应用程序开发中，环境变量的配置是至关重要的。不同的应用场景和部署环境可能需要不同的配置，例如开发、测试和生产环境。最常见的需求是根据不同的环境，配置如是否开启sour…
阅读更多...
如何编译openssl的早期版本的共享库，如openssl 1.0

如何编译openssl的早期版本的共享库，如openssl 1.0

背景介绍 最近在为客户排查问题的时候，发现客户提供的日志是加密的，解密工具依赖到了openssl 1.0的共享库。可是手头没有这么老版本的openssl共享库。因此只好手动编译一个出来。 编译步骤 因为openssl 1.0是比较老的版本，很多系统上的库已…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023