Kafka【六】Linux下安装Kafka(Zookeeper)集群

news2024/9/28 17:35:38

Kafka从早期的消息传输系统转型为开源分布式事件流处理平台系统，所以很多核心组件，核心操作都是基于分布式多节点的。本文这里采用三台虚拟机模拟真实物理主机搭建Zookeeper集群和kafka集群。

VMware可以使用户在一台计算机上同时运行多个操作系统，还可以像Windows应用程序一样来回切换。用户可以如同操作真实安装的系统一样操作虚拟机系统，甚至可以在一台计算机上将几个虚拟机系统连接为一个局域网或者连接到互联网。生产环境中，我们会使用多台服务器搭建Kafka集群系统，但是对于学习来讲，准备多台独立的服务器还是比较困难的，所以我们这里采用虚拟机的方式进行学习。

在这里插入图片描述

【1】安装jdk1.8

① 卸载现有jdk

# 不同节点都要执行操作
rpm -qa | grep -i java | xargs -n1 sudo rpm -e --nodeps

② 上传压缩包

将jdk-8u212-linux-x64.tar.gz文件上传到虚拟机的/opt/softinstall目录中

③ 解压JDK到/opt/module目录下

[root@localhost ~]# cd /opt/softinstall/

[root@localhost ~]# tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/

④ 配置JDK环境变量

新建/etc/profile.d/my_env.sh文件，

 vim /etc/profile.d/my_env.sh

添加如下内容，保存后退出。

#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin

使新的环境变量PATH生效

source /etc/profile

检测是否生效：

[root@centos3 softinstall]# java -version
java version "1.8.0_212"
Java(TM) SE Runtime Environment (build 1.8.0_212-b10)
Java HotSpot(TM) 64-Bit Server VM (build 25.212-b10, mixed mode)

三个节点上都要配置jdk环境。

【2】安装Zookeeper

① 上传ZooKeeper压缩包

将apache-zookeeper-3.7.1-bin.tar.gz文件上传到三台虚拟机的/opt/softinstall目录中

② 解压ZooKeeper压缩包

# 进入到/opt/softinstall目录中
cd /opt/softinstall/

# 解压缩文件到指定目录
tar -zxvf apache-zookeeper-3.7.1-bin.tar.gz -C /opt/module/

# 进入/opt/module目录
cd /opt/module

# 文件目录改名
mv apache-zookeeper-3.7.1-bin/ zookeeper

③ 配置服务器编号

(1)在/opt/module/zookeeper/目录下创建zkData

# 进入/opt/module/zookeeper目录
cd /opt/module/zookeeper

# 创建zkData文件目录
mkdir zkData

(2)创建myid文件

# 进入/opt/module/zookeeper/zkData目录 
cd /opt/module/zookeeper/zkData

# 创建myid文件
vim myid

(3)在文件中增加内容

1

服务器与编号对应关系如下:

Centos1：1
Centos2：2
Centos3：3

④ 修改配置文件

(1)重命名/opt/module/zookeeper/conf目录下的zoo_sample.cfg文件为zoo.cfg文件

# 进入cd /opt/module/zookeeper/conf文件目录
cd /opt/module/zookeeper/conf

# 修改文件名称
mv zoo_sample.cfg zoo.cfg

(2)修改zoo.cfg文件

# 修改文件内容
vim zoo.cfg

# 以下内容为修改内容
dataDir=/opt/module/zookeeper/zkData

# 以下内容为新增内容
####################### cluster ##########################
# server.A=B:C:D
#
# A是一个数字，表示这个是第几号服务器
# B是A服务器的主机名
# C是A服务器与集群中的主服务器（Leader）交换信息的端口
# D是A服务器用于主服务器（Leader）选举的端口
#########################################################
server.1=centos1:2888:3888
server.2=centos2:2888:3888
server.3=centos3:2888:3888

上述操作针对其他两台虚拟机同样执行。

⑤ 启动/关闭/查看状态

启动ZooKeeper

# 进入zookeeper目录
cd /opt/module/zookeeper

# 启动ZK服务
bin/zkServer.sh start

关闭ZooKeeper

# 进入zookeeper目录
cd /opt/module/zookeeper

# 关闭ZK服务
bin/zkServer.sh stop

查看ZooKeeper状态

# 进入zookeeper目录
cd /opt/module/zookeeper

# 查看ZK服务状态
bin/zkServer.sh status

JPS检测，QuorumPeerMain表示Zookeeper进程

[root@centos1 zookeeper]# jps
2619 Jps
2541 QuorumPeerMain

使用客户端工具可以看到此时Zookeeper的节点：

在这里插入图片描述

【3】安装Kafka

① 上传Kafka压缩包

将kafka_2.12-3.6.1.tgz文件上传到三台虚拟机的/opt/softinstall/目录中

② 解压Kafka压缩包

# 进入/opt/softinstall目录
cd /opt/softinstall

# 解压缩文件到指定目录
tar -zxvf kafka_2.12-3.6.1.tgz -C /opt/module/

# 进入/opt/module目录
cd /opt/module

# 修改文件目录名称
mv kafka_2.12-3.6.1/ kafka

③ 修改配置文件

# 进入cd /opt/module/kafka/config文件目录
cd /opt/module/kafka/config

# 修改配置文件
vim server.properties

参考如下配置：

#broker的全局唯一编号，每个服务节点不能重复，只能是数字。
broker.id=1

#broker对外暴露的IP和端口 （每个节点单独配置）
advertised.listeners=PLAINTEXT://centos1:9092
#处理网络请求的线程数量
num.network.threads=3
#用来处理磁盘IO的线程数量
num.io.threads=8
#发送套接字的缓冲区大小
socket.send.buffer.bytes=102400
#接收套接字的缓冲区大小
socket.receive.buffer.bytes=102400
#请求套接字的缓冲区大小
socket.request.max.bytes=104857600
#kafka运行日志(数据)存放的路径，路径不需要提前创建，kafka自动帮你创建，可以配置多个磁盘路径，路径与路径之间可以用"，"分隔
log.dirs=/opt/module/kafka/datas
#topic在当前broker上的分区个数
num.partitions=1
#用来恢复和清理data下数据的线程数量
num.recovery.threads.per.data.dir=1
# 每个topic创建时的副本数，默认时1个副本
offsets.topic.replication.factor=1
#segment文件保留的最长时间，超时将被删除
log.retention.hours=168
#每个segment文件的大小，默认最大1G
log.segment.bytes=1073741824
# 检查过期数据的时间，默认5分钟检查一次是否数据过期
log.retention.check.interval.ms=300000
#配置连接Zookeeper集群地址（在zk根目录下创建/kafka，方便管理）
zookeeper.connect=centos1:2181,centos2:2181,centos3:2181/kafka

centos2节点需要修改如下：

#broker的全局唯一编号，每个服务节点不能重复，只能是数字。
broker.id=2
#broker对外暴露的IP和端口 （每个节点单独配置）
advertised.listeners=PLAINTEXT://centos2:9092
log.dirs=/opt/module/kafka/datas
#配置连接Zookeeper集群地址（在zk根目录下创建/kafka，方便管理）
zookeeper.connect=centos1:2181,centos2:2181,centos3:2181/kafka

centos3节点需要修改如下：

#broker的全局唯一编号，每个服务节点不能重复，只能是数字。
broker.id=3
#broker对外暴露的IP和端口 （每个节点单独配置）
advertised.listeners=PLAINTEXT://centos3:9092
log.dirs=/opt/module/kafka/datas
#配置连接Zookeeper集群地址（在zk根目录下创建/kafka，方便管理）
zookeeper.connect=centos1:2181,centos2:2181,centos3:2181/kafka

④ 配置环境变量

(1)修改 /etc/profile.d/my_env.sh文件

vim /etc/profile.d/my_env.sh

(2)添加内容

#KAFKA_HOME
export KAFKA_HOME=/opt/module/kafka
export PATH=$PATH:$KAFKA_HOME/bin

(3)让环境变量生效

source /etc/profile.d/my_env.sh

⑤ 启动/关闭kafka

启动Kafka，启动前请先启动ZooKeeper服务

# 进入/opt/module/kafka目录
cd /opt/module/kafka

# 执行启动指令
bin/kafka-server-start.sh -daemon config/server.properties

此时再查看Zookeeper节点如下所示：

在这里插入图片描述

关闭Kafka

# 进入/opt/module/kafka目录
cd /opt/module/kafka

# 执行关闭指令
bin/kafka-server-stop.sh

关闭kafka后，查看Zookeeper节点会发现已下线：

在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/2104075.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

符合全真彩的简单完美正方形

符合全真彩的简单完美正方形

符合全真彩的简单完美正方形，像素：4096x4096、颜色：16,777,216。 原图可透过 https://linxinglu.com/art/#245.png 访问 ，除了分辨率 4096x4096，也就是 16777216 像素，颜色数量也恰好是 16777216&#xff0…
阅读更多...
静态字段和静态方法

静态字段和静态方法

1. 静态字段 1. 用static修饰的字段。 2. 实例字段在每个实例中有自己的独立”空间“，静态字段只有共享”空间“，所有实例共享该字段。 3. 使用”类名.静态字段“调用静态字段，静态字段不属于实例，是类class本身的…
阅读更多...
四川财谷通抖音小店创新引领新风尚

四川财谷通抖音小店创新引领新风尚

在数字化浪潮的推动下，电商行业蓬勃发展，抖音小店作为新兴的电商平台，凭借其独特的社交属性和便捷的购物体验，迅速赢得了广大消费者的青睐。在众多抖音小店中，四川财谷通抖音小店以其精准定位、高质量内容、一站式服务…
阅读更多...
iLogtail 开源两周年：社区使用调查报告

iLogtail 开源两周年：社区使用调查报告

作者：玄飏 iLogtail 作为阿里云开源的可观测数据采集器，以其高效、灵活和可扩展的特性，在可观测采集、处理与分析领域受到了广泛的关注与应用。在 iLogtail 两周年之际，我们对 iLogtail 开源社区进行了一次使用调研，旨…
阅读更多...
http连接处理（最新版）

http连接处理（最新版）

分析http类及请求接收 基础 epoll epoll_create函数 #include <sys/epoll.h> int epoll_create(int size) 创建一个指示epoll内核事件表的文件描述符&#xff0c;该描述符将用作其他epoll系统调用的第一个参数&#xff0c;size不起作用。 epoll_ctl函数 #include …
阅读更多...
程序设计—房屋租赁系统 项目源码31279

程序设计—房屋租赁系统 项目源码31279

摘 要 在当今社会&#xff0c;随着城市化进程的不断加速&#xff0c;房屋租赁市场的需求日益增长。然而&#xff0c;传统的房屋租赁方式存在信息不对称、租房过程繁琐等问题&#xff0c;因此需要建立一套高效、便捷的房屋租赁系统来满足用户的需求。通过深入研究房屋租赁市场的…
阅读更多...
华为 HCIP-Datacom H12-821 题库 (8)

华为 HCIP-Datacom H12-821 题库 (8)

有需要题库的可以看主页置顶 V群仅进行学习交流 1.在 DHCP 运行过程中&#xff0c;如果客户端 IP 地址在相约过去 87.5%还没有完成续约的话&#xff0c;客户将发送什么报文进行再次续约&#xff1f; A、DHCP discover 广播报文 B、DHCP release 单播报文 C、DHCP request 广播…
阅读更多...
探索MongoDB的Python之钥：pymongo的魔力

探索MongoDB的Python之钥：pymongo的魔力

文章目录 探索MongoDB的Python之钥&#xff1a;pymongo的魔力背景&#xff1a;为什么选择pymongo&#xff1f;简介&#xff1a;pymongo是什么&#xff1f;安装&#xff1a;如何将pymongo纳入你的项目&#xff1f;基础用法&#xff1a;五个核心函数介绍1. 连接到MongoDB2. 选择数…
阅读更多...
基于数字孪生搭建的智慧地铁站管理平台

基于数字孪生搭建的智慧地铁站管理平台

数字孪生技术是指通过数学模型和实时数据同步反映实体系统运行状态的数字复制品建模。在智慧地铁站管理中&#xff0c;数字孪生技术的应用使得地铁站的运营管理更加高效、智能化&#xff0c;并提升了安全性和服务质量。以下是古河云科技小编整理的数字孪生搭建的智慧地铁站管理…
阅读更多...
【学习笔记】Kylin-Desktop-V10-SP1 麒麟系统知识1——常用软件的基本操作

【学习笔记】Kylin-Desktop-V10-SP1 麒麟系统知识1——常用软件的基本操作

一、前期准备 成功安装麒麟系统&#xff08;本次实验的安装的系统是&#xff1a;Kylin-Desktop-V10-SP1&#xff09; &#xff09; 二、学习内容 提示&#xff1a;学习麒麟Kylin-Desktop-V10-SP1系统自带软件的基本操作&#xff0c;包括开始菜单、设置、归档管理器、文件管理器…
阅读更多...
hive on spark 合并小文件

hive on spark 合并小文件

最近在做用户画像相关的数据开发&#xff0c;在hive中做行转列的过程中&#xff0c;每个标签即tag在写入hive表时&#xff0c;有大量的小文件生成&#xff0c;通过增加参数解决了小文件过多的问题&#xff0c;但是在完成特殊要求--&#xff08;因后续需要同步ck&#xff0c;ck也…
阅读更多...
英伟达RTX 50系显卡功耗曝光：5090比上代激增33%、性能比4090高70%，爆料来自于kopite7kimi。

英伟达RTX 50系显卡功耗曝光：5090比上代激增33%、性能比4090高70%，爆料来自于kopite7kimi。

在科技爱好者翘首以盼的9月4日&#xff0c;一则来自国际知名媒体的深度报道犹如一枚重磅炸弹&#xff0c;在显卡领域掀起了轩然大波。据该报道透露&#xff0c;英伟达正紧锣密鼓地筹备其下一代旗舰级显卡——RTX 5090&#xff0c;其功耗之巨&#xff0c;直接跃升至前所未有的60…
阅读更多...
如何让wave波形信号不显示全路径

如何让wave波形信号不显示全路径

Modesim仿真如何让wave信号不显示全路径 问题说明 在使用modesim仿真时&#xff0c;需要利用modesim的wave界面显示调试信号的波形&#xff0c;默认情况下wave栏的左边是显示抓捕信号的全路径的&#xff0c;如下图所示: 这种情况下&#xff0c;区分信号比较麻烦&#xff0c;如…
阅读更多...
ArkUI-动画

ArkUI-动画

ArkUI-动画 系统能力属性动画显式动画 关键帧动画转场动画路径动画粒子动画 资源调用GIF动画帧动画 三方库LottieSVG 提升动画的流畅度使用renderGroup概述使用约束 系统能力 属性动画 通过更改组件的属性值实现渐变过渡效果&#xff0c;例如缩放、旋转、平移等。支持的属性包…
阅读更多...
解决el-table中使用el-input无法聚焦问题

解决el-table中使用el-input无法聚焦问题

在el-table中点击单元格时使用el-input或其他表单组件编辑单条数据。会出现聚焦不上的问题&#xff0c;需要手动点击才能够聚焦。究其原因是因为点击单元格时页面已自动聚焦到单元格&#xff0c;此时无法自动聚焦到对应的表单&#xff0c;需要手动设置。 <template><e…
阅读更多...
微积分-积分应用5.2（体积）

微积分-积分应用5.2（体积）

在尝试找到一个固体的体积时&#xff0c;我们面对的问题与寻找面积时相同。我们对体积的概念有直观的理解&#xff0c;但我们必须通过使用微积分来精确定义体积。 我们从一种简单类型的固体——称为柱体&#xff08;或更准确地说&#xff0c;直柱体&#xff09;——开始。如图…
阅读更多...
U盘格式化后还能恢复数据吗？如何有效找回数据

U盘格式化后还能恢复数据吗？如何有效找回数据

在日常工作和生活中&#xff0c;我们经常会使用U盘来存储和传输重要的数据。然而&#xff0c;有时由于误操作或病毒攻击等原因&#xff0c;我们可能会不小心格式化U盘&#xff0c;从而丢失存储在其中的重要数据。很多人会疑惑&#xff0c;U盘格式化后&#xff0c;是否还能恢复丢…
阅读更多...
PLC工业网关在钢铁企业生产过程中的应用-天拓四方

PLC工业网关在钢铁企业生产过程中的应用-天拓四方

在当今工业自动化领域&#xff0c;PLC工业网关已经成为了提升生产效率、确保产品质量、增强系统可靠性的关键组件。本文旨在通过一个具体的工业应用实例&#xff0c;深入探讨PLC工业网关的功能、优势及其在现代工业环境中的重要作用&#xff0c;从而展示其在实际操作中的专业性…
阅读更多...
教育行业解决方案：智能PPT在教育行业的创新应用

教育行业解决方案：智能PPT在教育行业的创新应用

在信息化时代&#xff0c;教育行业面临着巨大的变革。随着人工智能技术的不断发展&#xff0c;传统教学方式正在被重新定义。彩漩科技作为 AI 技术的先行者&#xff0c;推出了歌者 PPT &彩漩 PPT&#xff0c;为教师、学生和家长提供了一种全新的教育体验&#xff0c;实现了…
阅读更多...
【C++】STL学习——vector模拟实现

【C++】STL学习——vector模拟实现

目录 vector介绍vector函数接口总览结构介绍默认成员函数构造函数1构造函数2构造函数3经典的深浅拷贝拷贝构造赋值重载析构函数 迭代器begin和end 容量相关函数sizecapacityemptyreserveresize 访问operator[] 修改相关函数insertpush_backerasepop_backclearswap 迭代器失效问…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023