Linux系统上搭建高可用Kafka集群（使用自带的zookeeper）

news2024/11/18 2:33:13

本次在CentOS7.6上搭建Kafka集群

Apache Kafka 是一个高吞吐量的分布式消息系统，被广泛应用于大规模数据处理和实时数据管道中。本文将介绍在CentOS操作系统上搭建Kafka集群的过程，以便于构建可靠的消息处理平台。

文件分享（KafkaUI、kafka3.3.2、jdk1.8）

链接：https://pan.baidu.com/s/1dn_mQKc1FnlQvuSgGjBc1w?pwd=t2v9 提取码：t2v9

也可以从官网自己下

Kafka官网

步骤概览

本次使用三台机器 hostname别名分别为res01（10.41.7.41）、res02（10.41.7.42）、res03（10.41.7.43）

在这个教程中，我们将覆盖以下主要步骤：

  1. 准备环境：安装和配置Java、Zookeeper和Kafka所需的依赖。
  2. 配置Zookeeper集群：确保Kafka有可靠的分布式协调服务。（本次使用Kafka自带的zookeeper）
  3. 配置Kafka集群：在每个节点上安装和配置Kafka，设置Kafka集群以实现高性能和高可用性。

步骤详解

步骤1：环境准备 （先对第一台服务器操作 其他的使用scp传输之后进行小修改就好）

安装Java

确保Java安装正确，并设置JAVA_HOME环境变量。

如果对于jdk安装有问题的可以看一下这篇Linux安装MySQL、JDK（含环境变量配置）、Tomcat

步骤2：安装Kafka

下载和解压Kafka
[root@res01 module]# clear
[root@res01 module]# ll
总用量 104124
drwxr-xr-x. 4 root root        40 11月 10 10:07 data
-rw-r--r--. 1 root root 106619987 11月 10 10:33 kafka_2.13-3.3.2.tgz
[root@res01 module]# tar -zxvf kafka_2.13-3.3.2.tgz
解压之后通过mv改名

步骤3：配置zookeeper

进入文件夹kafka3.3.2中找到config

接下来主要修改zookeeper.properties和server.properties这两个文件

zookeeper.properties如下

# 需要去新建/opt/module/data/zookeeper下面这两个文件夹
dataDir=/opt/module/data/zookeeper/data
dataLogDir=/opt/module/data/zookeeper/logs
clientPort=12181
maxClientCnxns=0
admin.enableServer=false
tickTime=2000
initLimit=10
syncLimit=5
# server.X=hostname:peerPort:leaderPort
# peerPort 是服务器之间通信的端口。
# leaderPort 是用于选举 leader 的端口。
server.1=res01:12182:12183
server.2=res02:12182:12183
server.3=res03:12182:12183

#res01、res02、res03是我本地设置过的主机名 如果没设置使用ip地址即可
在每个节点上zookeeper的配置文件中dataDir目录下创建一个名为myid的文件，并分别填入相应节点的ID号：1、2、3。

步骤4:配置Kafka

编辑Kafka配置文件config/server.properties，设置broker.id和zookeeper.connect：

# 设置 broker.id 这个是 Kafka 集群区分每个节点的唯一标志符。 对应那个myid即可
broker.id=1
# 将监听端口设置为19091
listeners=PLAINTEXT://res01:19091

# 将广告给客户端的地址也设置为19091
advertised.listeners=PLAINTEXT://res01:19091

num.network.threads=3

num.io.threads=8

socket.send.buffer.bytes=102400

# The receive buffer (SO_RCVBUF) used by the socket server
socket.receive.buffer.bytes=102400

# The maximum size of a request that the socket server will accept (protection against OOM)
socket.request.max.bytes=104857600


############################# Log Basics #############################

# 设置 Kafka 的数据存储路径 这个目录下不能有其他非 Kafka 目录，不然会导致 Kafka 集群无法启动。
log.dirs=/opt/module/data/kafka-log
# 默认的 Partition 的个数。
num.partitions=3
# 设置默认的复制因子为3
default.replication.factor=3


num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=3
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
# Kafka 的数据保留的时间，默认是 7 天 168h。 这里使用24小时
log.retention.hours=24

log.retention.check.interval.ms=300000
# Kafka 连接的 ZooKeeper 的地址和连接 Kafka 的超时时间。
zookeeper.connect=res01:12181,res02:12181,res03:12181
zookeeper.connection.timeout.ms=6000

group.initial.rebalance.delay.ms=0
# 设置是否可以删除 Topic，默认 Kafka 的 Topic 是不允许删除的 这里打开了
delete.topic.enable=true


# 这是用于启用或禁用日志清理的选项，默认值为 true，以确保 Kafka 持续进行日志清理。需要根据实际需求进行设置。
log.cleaner.enable=true
# 这个参数控制日志清理线程的数量。对于你的硬件配置，你可以考虑设置为 4 或 8 来充分利用服务器的性能。
log.cleaner.threads=4
# 这个参数用于控制日志清理线程的 IO 缓冲区大小。对于你的硬件配置，可以设置为 8192 或 16384。
log.cleaner.io.buffer.size=8192
# 这个参数是用来设置主题日志保留的最大字节数。对于控制磁盘空间的使用非常重要。例如，如果你希望限制每个主题的数据量不超过 100GB，可以设置为 107374182400
log.retention.bytes=107374182400
# 这个参数用于控制每个日志段文件的最大大小。对于你的硬件配置，你可以设置为 1073741824（即 1GB）。
log.segment.bytes=1073741824
# 这个参数用于设置 Zookeeper 会话的超时时间。对于较大的集群和连接较慢的网络，你可以考虑将其设置为 10000，即 10 秒。
zookeeper.session.timeout.ms=10000

重点是这个：

# 设置默认的复制因子为3
default.replication.factor=3

在Kafka集群的每个节点上，修改broker.id为对应的节点ID。

配置kafka环境变量

#java环境
export JAVA_HOME=/usr/local/java/jdk1.8
export PATH=$PATH:$JAVA_HOME/bin
#kafka环境
export KAFKA_HOME=/opt/module/kafka3.3.2
export PATH=$PATH:$KAFKA_HOME/bin

步骤5：复制虚拟机

（已有其他服务器的直接连网线scp就好 环境变量 配置小改一下就好 还有hosts、ip等等别忘了配置，我这里直接复制虚拟机了 ）

配置ip、hostname以及hosts后尝试ping

res02修改kafka的config文件即可（zookeeper配置文件都一样 用res01配置的就好）

res03的kafka配置文件同理

以及各台机器的myid（对应上brokerId即可）

步骤6：配置Kafka集群

确保防火墙或安全组允许Kafka端口通过，通常是9092端口。（我这是修改过的为19091，我直接关防火墙了 方便。）

systemctl stop firewalld.service
#关闭运行的防火墙
systemctl disable firewalld.service
#永久关闭防火墙
本次使用的是绝对路径 各位可以到kafka目录下执行命令 去掉前面的绝对路径就好
zookeeper命令

在每个机器上，先启动zookeeper：

/opt/module/kafka3.3.2/bin/zookeeper-server-stop.sh
#停止命令
/opt/module/kafka3.3.2/bin/zookeeper-server-start.sh  /opt/module/kafka3.3.2/config/zookeeper.properties
#启动命令
/opt/module/kafka3.3.2/bin/zookeeper-server-start.sh -daemon /opt/module/kafka3.3.2/config/zookeeper.properties
#后台启动命令 常用~
统一启动后jps查看进程

Kafka命令
在每个Kafka节点上，启动Kafka服务器：
/opt/module/kafka3.3.2/bin/kafka-server-start.sh  /opt/module/kafka3.3.2/config/server.properties
#kafka启动命令
/opt/module/kafka3.3.2/bin/kafka-server-start.sh -daemon /opt/module/kafka3.3.2/config/server.properties
#kafka后台启动命令 常用~
/opt/module/kafka3.3.2/bin/kafka-server-stop.sh
#停止命令
统一启动后jps查看进程
创建主题

使用kafka-topics.sh命令创建一个主题：这里设置的复制因子为3 

bin/kafka-topics.sh --create --topic 你的topic--bootstrap-server res01:19091--replication-factor 3 --partitions 3

验证Kafka集群

使用生产者和消费者验证Kafka集群的功能：

# 启动生产者
bin/kafka-console-producer.sh --topic myTopic --bootstrap-server res01:19091

# 启动消费者
bin/kafka-console-consumer.sh --topic myTopic --bootstrap-server res01:19091--from-beginning

停止 Zookeeper：
/opt/module/kafka3.3.2/bin/zookeeper-server-stop.sh
启动 Zookeeper：
/opt/module/kafka3.3.2/bin/zookeeper-server-start.sh  /opt/module/kafka3.3.2/config/zookeeper.properties
后台启动 Zookeeper：
/opt/module/kafka3.3.2/bin/zookeeper-server-start.sh -daemon /opt/module/kafka3.3.2/config/zookeeper.properties
清空 Kafka 日志：
rm -rf //opt/module/data/kafka-logs/*
启动 Kafka 服务：
/opt/module/kafka3.3.2/bin/kafka-server-start.sh  /opt/module/kafka3.3.2/config/server.properties
后台启动 Kafka 服务：
/opt/module/kafka3.3.2/bin/kafka-server-start.sh -daemon /opt/module/kafka3.3.2/config/server.properties
停止 Kafka 服务：
/opt/module/kafka3.3.2/bin/kafka-server-stop.sh
创建 Topic：
/opt/module/kafka3.3.2/bin/kafka-topics.sh --create --topic [TOPIC_NAME] --bootstrap-server [SERVER_IP]:[PORT] --partitions [PARTITIONS_SIZE] --replication-factor [REPLICATION_FACTOR]
删除 Topic：
/opt/module/kafka3.3.2/bin/kafka-topics.sh --delete --topic [TOPIC_NAME] --bootstrap-server [SERVER_IP]:[PORT]
查看 Topic 信息：
/opt/module/kafka3.3.2/bin/kafka-topics.sh --describe --topic [TOPIC_NAME] --bootstrap-server [SERVER_IP]:[PORT]
列出所有的 Topic：
/opt/module/kafka3.3.2/bin/kafka-topics.sh --list --bootstrap-server [SERVER_IP]:[PORT]
控制台生产消息：
/opt/module/kafka3.3.2/bin/kafka-console-producer.sh --bootstrap-server [SERVER_IP]:[PORT] --topic [TOPIC_NAME]
控制台消费信息：
/opt/module/kafka3.3.2/bin/kafka-console-consumer.sh --bootstrap-server [SERVER_IP]:[PORT] --topic [TOPIC_NAME] --from-beginning
查看副本：
/opt/module/kafka3.3.2/bin/kafka-topics.sh --describe --bootstrap-server [SERVER_IP]:[PORT] | grep consumer_offsets
请记住替换 [TOPIC_NAME]、[SERVER_IP]:[PORT]、[PARTITIONS_SIZE]、[REPLICATION_FACTOR] 等位中的值为实际的值。

自己的做的总结如上：

运行Java代码生成topic 可以看到分区都是3符合集群要求

运行kafkaui查看详细情况（百度网盘链接里有，自己输入命令太累了 直接用别人封装好现成的看就好~）

结论

通过这个步骤，我们成功地搭建了一个基本的Kafka集群。在实际生产环境中，您可能需要进一步调整和优化配置，以满足特定需求和性能要求。

希望这个教程可以帮助您成功搭建Kafka集群，为您的数据处理和消息传递架构提供强大的基础设施。

最后温馨提示：如果你远程服务器起了别名，而自己电脑的hosts别名对应其他的服务器 也会发生报错 记得别名对应好ip即可

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1196749.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

matplotlib 创建图和子图

matplotlib 创建图和子图

Matplotlib 可能是 Python 2D-绘图领域使用最广泛的套件。它能让使用者很轻松地将数据图形化，并且提供多样化的输出格式。这里将会探索 matplotlib 的常见用法。 plt方式是先生成了一个画布，然后在这个画布上隐式的生成一个画图区域来进行画图&#xff1…
阅读更多...
提升中小企业效率的不可或缺的企业云盘网盘

提升中小企业效率的不可或缺的企业云盘网盘

相比之大型企业，中小型企业在挑选企业云盘工具更注重灵活性和成本。那么市面上有哪些企业云盘产品更适合中小企业呢？ 说起中小企业不能错过的企业云盘网盘，Zoho Workdrive企业云盘绝对榜上有名！ Zoho Workdrive企业云盘为用户提…
阅读更多...
利用Python代码提取shp中每个区域的图像

利用Python代码提取shp中每个区域的图像

import geopandas as gpd import rasterio from rasterio.mask import mask import matplotlib.pyplot as plt import numpy as np# 载入shp文件 - 它只包含几何对象 shapefile_path rD:\Desktop\新建文件夹 (3)\01.shp shapes gpd.read_file(shapefile_path)# 打开图像 imag…
阅读更多...
杂记杂记杂记

杂记杂记杂记

目录 Mybatis分页插件原理？ ThreadLocal? 树形表的标记字段是什么？如何查询MySQL树形表？ Mybatis的ResultType和ResultMap的区别？ #{}和${}有什么区别？ 系统如何处理异常？ Mybatis分页插件原理&#…
阅读更多...
家居美学：将水离子壁炉融入你的现代装饰

家居美学：将水离子壁炉融入你的现代装饰

当谈及家居装饰和壁炉选择时，水离子雾化壁炉是一个备受瞩目的话题。水离子雾化壁炉的美学价值，还为室内装饰带来全新的维度。它甚至能够激发室内装饰的灵感。 水离子雾化壁炉是现代美学的标志，融合了简洁、线条清晰的设计。这种壁炉常常采用不…
阅读更多...
Java性能测试中常用的锁

Java性能测试中常用的锁

多线程编程在现代软件开发中扮演着至关重要的角色。它使我们能够有效地利用多核处理器和提高应用程序的性能。然而，多线程编程也伴随着一系列挑战，其中最重要的之一就是处理共享资源的线程安全性。在这个领域，锁（Lock）…
阅读更多...
compile: version “go1.19“ does not match go tool version “go1.18.1“

compile: version “go1.19“ does not match go tool version “go1.18.1“

** 1 安装了新版本的go后 为什么go version 还是旧版本？ ** 如果你已经按照上述步骤安装了新版本的 Go，但 go version 命令仍然显示旧版本，可能是因为你的环境变量设置不正确或未正确生效。你可以尝试以下方法来解决问题： 重新…
阅读更多...
在PyTorch中使用CUDA, pytorch与cuda不同版本对应安装指南，查看CUDA版本，安装对应版本pytorch

在PyTorch中使用CUDA, pytorch与cuda不同版本对应安装指南，查看CUDA版本，安装对应版本pytorch

目录 1 查看本机CUDA版本 2 查看对应CUDA的对应pytorch版本安装 3 用pip 安装 4 用conda安装 5 验证安装 在PyTorch中使用CUDA，根据你的具体环境和需求调整版本号，确保安装的PyTorch版本与你的CUDA版本兼容。 在PyTorch中使用CUDA，你需…
阅读更多...
品牌滥用申诉

品牌滥用申诉

指导 据了解，有以下几种情况可能会出现品牌滥用： 第一种：店铺存在问题 包括但不限于以下问题：店铺绩效中有感叹号、店铺 rating 少于 4.5 分、ODR 超标、被变狗 过、二手货投诉、商标版权专利侵权等。 第二种：品牌授…
阅读更多...
深入浅出Python异常处理 - 你所不知道的Python异常

深入浅出Python异常处理 - 你所不知道的Python异常

深入浅出Python异常处理 - 你所不知道的Python异常 前言 在Python编程开发中，异常处理扮演者至关重要的角色。合适的异常处理不仅可以提高代码的健壮性，还能增强程序的可读性和可维护性。在Python编程中，有效地管理异常是提高代码质量的关键…
阅读更多...
腾讯小程序音视频 TRTC live-pusher 黑屏等各种问题

腾讯小程序音视频 TRTC live-pusher 黑屏等各种问题

微信小程序进行音视频开发, 主要会用到live-player live-pusher,这两个媒体组件. 在开发的过程中,会遇到各种各样的问题,其中最直接的就是黑屏问题, 以下就这个问题进行整理. 文档: https://developers.weixin.qq.com/miniprogram/dev/component/live-player.html https://dev…
阅读更多...
【CASS精品教程】cass3d加载点云(.ilas和.las)并处理应用

【CASS精品教程】cass3d加载点云(.ilas和.las)并处理应用

本文讲解cass11.0 3d中将las点云转为ilas加载并进行后续处理。（cass11.0下载与安装） 一、ilas点云格式介绍 点云ilas格式是现今数字化三维模型建模的--种普遍被使用的数据格式，也被称作点云、点集或聚集点。它把地球表面上的物体，比如森林、海洋、河流、山脉等自然物体，以…
阅读更多...
AI通义灵码能够帮你写通达信选股公式么？

AI通义灵码能够帮你写通达信选股公式么？

答案是否定的 先不说语法错误，注释错误，就说AI压根不理解炸板和涨停板； 算了，股票交易AI千万别来掺和，会死的很惨的。
阅读更多...
Linux下的调试工具——GDB

Linux下的调试工具——GDB

GDB 1.什么是GDB GDB 是由 GNU 软件系统社区提供的调试工具，同 GCC 配套组成了一套完整的开发环境，GDB 是 Linux 和许多 类Unix系统的标准开发环境。 一般来说，GDB 主要能够提供以下四个方面的帮助： 启动程序，可以按…
阅读更多...
改进YOLOv8：结合ICCV2023｜动态蛇形卷积，构建不规则目标识别网络

改进YOLOv8：结合ICCV2023｜动态蛇形卷积，构建不规则目标识别网络

🔥🔥🔥 提升多尺度、不规则目标检测，创新提升 🔥🔥🔥 🔥🔥🔥 捕捉图像特征和处理复杂图像特征 🔥🔥🔥 👉👉👉: 本专栏包含大量的新设计的创新想法，包含详细的代码和说明，具备有效的创新组合，可以有效应用到改进创新当中 👉👉👉: �…
阅读更多...
什么是稳定扩散，它是如何工作的？

什么是稳定扩散，它是如何工作的？

推荐基于稳定扩散(stable diffusion) AI 模型开发的自动纹理工具： DreamTexture.js自动纹理化开发包 - NSDT 稳定扩散是潜在扩散模型的一个版本。潜在空间用于获得数据的低维表示的好处。之后，使用扩散模型和添加和去除噪声的方法根据文本生成图像。在接…
阅读更多...
《红蓝攻防对抗实战》十.内网穿透之利用DNS协议进行隧道穿透

《红蓝攻防对抗实战》十.内网穿透之利用DNS协议进行隧道穿透

一.利用DNS协议进行隧道穿透 1.环境配置2.Windows系统下进行DNS隧道穿透利用3.Linux系统下进行DNS隧道穿透利用 前文推荐： 《红蓝攻防对抗实战》一. 隧道穿透技术详解 《红蓝攻防对抗实战》二.内网探测协议出网之TCP/UDP协议探测出网 《红蓝攻防对抗实战》三.内网…
阅读更多...
抖音小程序开发：打造高效餐饮团购平台的技术指南

抖音小程序开发：打造高效餐饮团购平台的技术指南

在餐饮行业，通过抖音小程序开发一个高效的团购平台，可以为餐厅提供更广泛的曝光，增加销售机会。本文将从技术角度出发，为您提供一份详细的抖音小程序开发指南，助您打造一流的餐饮团购平台。 一、确定需求和功能 在开…
阅读更多...
LeetCode | 234. 回文链表

LeetCode | 234. 回文链表

LeetCode | 234. 回文链表 O链接 这里的解法是先找到中间结点然后再将中间节点后面的节点逆序一下然后再从头开始和从中间开始挨个比较如果中间开始的指针到走最后都相等，就返回true，否则返回false 代码如下： struct ListNode* reverseLis…
阅读更多...
只会CRUD程序员朋友，你开始拥抱云计算技术了吗

只会CRUD程序员朋友，你开始拥抱云计算技术了吗

阅读建议 嗨，伙计！刷到这篇文章咱们就是有缘人，在阅读这篇文章前我有一些建议： 本篇文章大概6000多字，预计阅读时间长需要6分钟。本篇文章的理论性较强，是一篇质量分数较高的技术文章，建议收藏…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023