Kafka 安装入门实战

news2024/11/13 16:32:37

1.下载Kafka

有2个下载网站都可以:

https://www.apache.org/dyn/closer.cgi?path=/kafka/3.4.0/kafka_2.13-3.4.0.tgz
https://kafka.apache.org/downloads

 下载完后解压缩:
[root@test ~]# tar -xzf kafka-3.4.0-src.tgz
[root@test ~]# cd kafka_2.12-3.4.0/
[root@test kafka_2.12-3.4.0]#

2.启动KAFKA

前提:启动kafka之前,先要启动zookeeper,启动zookeeper前,先要保证本地环境必须安装Java 8+
[root@test kafka_2.12-3.4.0]# bin/zookeeper-server-start.sh config/zookeeper.properties &
[root@test ~]# lsof -i:2181
COMMAND     PID USER   FD   TYPE  DEVICE SIZE/OFF NODE NAME
java    1484292 root  122u  IPv6 9693917      0t0  TCP *:eforward (LISTEN)
[root@test ~]# jps
1484292 QuorumPeerMain
1484944 Jps
[root@test ~]#

可以看到 zk 已经监听再2181端口,可以看到启动后有个 QuorumPeerMain,它就是 Zookeeper 集群的启动入口类,是用来加载配置启动QuorumPeer 线程

3.启动 Kafka

如果已经启动了Zookeeper服务,则直接运行下面的命令来启动或者停止Kafka服务
#启动 kafka 服务命令:
bin/kafka-server-start.sh config/server.properties &
#停止 kafka 服务则运行下面命令:
bin/kafka-server-stop.sh config/server.properties

[root@test config]# lsof -i:9092     # 查看9092端口是否被监听,来验证kafka是否正常启动
COMMAND     PID USER   FD   TYPE  DEVICE SIZE/OFF NODE NAME
java    1485365 root  128u  IPv6 9701151      0t0  TCP *:XmlIpcRegSvc (LISTEN)
java    1485365 root  141u  IPv6 9701162      0t0  TCP test:57344->test:XmlIpcRegSvc (ESTABLISHED)
java    1485365 root  142u  IPv6 9701163      0t0  TCP test:XmlIpcRegSvc->test:57344 (ESTABLISHED)
[root@test config]#

查看kafka参数:

[root@test config]# pwd
/root/kafka_2.12-3.4.0/config
[root@test config]# cd /root/kafka_2.12-3.4.0/config
[root@test config]# cat server.properties |grep '^[a-z]'
broker.id=0
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/tmp/kafka-logs
num.partitions=1
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.retention.hours=168
log.retention.check.interval.ms=300000
zookeeper.connect=localhost:2181
zookeeper.connection.timeout.ms=18000
group.initial.rebalance.delay.ms=0
[root@test config]#

4.示例测试

首先创建一个名为 message 的 test1,只使用单个分区和一个副本。

4.1.创建一个名为test1的Topic 命令:
kafka3.0之前命令:
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 3 --topic test1
kafka3.0后命令:
bin/kafka-topics.sh --create --topic test1 --bootstrap-server localhost:9092 --replication-factor 1 --partitions 3

4.2.查看Topic命令:
kafka3.0之前命令:
bin/kafka-topics.sh --list --zookeeper localhost:2181
kafka3.0后命令:
bin/kafka-topics.sh --describe --topic test1 --bootstrap-server localhost:9092
Topic: test1    TopicId: fmqvg2PKTOKG_G1cQcLiIw    PartitionCount: 3    ReplicationFactor: 1    Configs:
    Topic: test1    Partition: 0    Leader: 0    Replicas: 0    Isr: 0
    Topic: test1    Partition: 1    Leader: 0    Replicas: 0    Isr: 0
    Topic: test1    Partition: 2    Leader: 0    Replicas: 0    Isr: 0

4.3.发送消息命令:
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test1
>
>
>s
>ll
>1
>2
>3
>4
>5
>hello kafka
>
4.4.打开另一个终端进行消费:
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test1 --from-beginning
s
ll
1
2
3
4
5
hello kafka

删除本地 Kafka 环境数据

rm -rf /tmp/kafka-logs /tmp/zookeeper /tmp/kraft-combined-logs

至此,简单安装完成。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/359623.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

C# String与StringBuilder 的区分

重点 1)它是比较的栈里面的值是否相等(值比较) 2)Equals它比较的是堆里面的值是否相等(引用地址值比较) 3)Object.ReferenceEquals(obj1,obj2)它是比较的是内存地址是否相等 问题描述: 今日提交代码时候,被检测工具发出修改建议。遂补充一下知识 1.什么…

【科研】一目了然单目深度估计实验评价指标

1.度量指标表概览(自整待完善) SI Scale-Invariant loss尺度不变损失YES像素深度损失bi-directional chamfer loss双向槽损失YESBin中心稠密损失L1 loss & LAD & LAEL1范数损失函数 把目标值与估计值的绝对差值的总和最小化 RMSE Root Mean …

从Tomcat源码中寻找request路径进行注入

前言 前面主要是通过寻找一个全局存储的request / response来进行Tomcat中间下的回显,但是在tomcat 7环境下并不能够获取到StandardContext对象,这里李三师傅在前文的基础中发现了在AbstractProtocol$ConnectionHandler#register的调用中不仅像之前的思…

【蓝桥集训】第五天——递推

作者:指针不指南吗 专栏:Acwing 蓝桥集训每日一题 🐾或许会很慢,但是不可以停下来🐾 文章目录1.砖块递推算法是一种简单的算法,通过已知条件,利用特定关系得出中间推论,逐步递推&…

CSS样式

CSS Css的优势&#xff1a; 内容和表现分离网页结构表现统一&#xff0c;可以实现复用样式丰富建议使用独立的html的css CSS的导入方式 第一种导入方式 &#xff1a;行内样式 <!DOCTYPE html> <html lang"en"> <head><meta charset"U…

清洁级动物(CL)实验室设计SICOLAB

清洁级动物&#xff08;CL&#xff09;实验室设计清洁级动物&#xff08;CL&#xff09;实验室设计有哪些内容&#xff1f;工艺流程是如何&#xff1f;功能房间的划分清洁级动物实验室&#xff08;CL实验室&#xff09;是进行高洁净度动物实验的专门场所&#xff0c;需要满足一…

无水印的电脑录屏软件,推荐这3款软件,2023年新版

很多小伙伴最近喜欢在私信中询问小编&#xff0c;都已经是2023年了&#xff0c;有没有一款特别好用无水印的电脑录屏软件。当然有啦&#xff01;今天小编就应各位小伙伴的要求&#xff0c;在这里分享3款好用的无水印电脑录屏软件&#xff0c;一起来看看吧。 无水印的电脑录屏软…

2022社交平台设备风险安卓占三成,iOS 仅占一成

目录 2022年度社交平台风险分析 社交平台黑灰产作弊手段分析 社交平台如何应对&#xff1f; 随着移动互联网的发展&#xff0c;社交媒体进入“人人皆媒”时代。社交不再仅仅满足于用户即时通讯的需求&#xff0c;还承载了在线支付、内容分享等等的多元功能&#xff0c;正不断…

Rsync服务端和客户端多模块和排错

一台服务器可能有N多个文件需要同步备份, 那怎么办呢? 其实这个也很容易解决, 就是在服务器端多建几个模块, 每个模块包含不同的文件夹, 使用同样的密码文件即可实现. 如同下面的: use chroot false #不使用chroot, 其实这个应该是针对linux系统来说的.既然是默认的, …

jQuery.NiceScroll - 有史以来最好的 nicescroll 版本——在现代浏览器和移动设备上极其流畅和一致,资源使用率低(中文文档)

jQuery.NiceScroll特征依赖关系使用配置参数有史以来最好的 nicescroll 版本——在现代浏览器和移动设备上极其流畅和一致&#xff0c;资源使用率低 官网:nicescroll.areaaperta.com GitHub:github.com/inuyaksa/jquery.nicescroll CDN引入: https://www.bootcdn.cn/jquery.nic…

Flink-Table API 和 SQL(基本API、流处理的表、时间属性和窗口、聚合查询、联结查询、函数、SQL客户端、连接到外部系统)

文章目录Table API 和 SQL快速上手基本 API程序架构创建表环境创建表表的查询输出表表和流的转换流处理中的表动态表和持续查询将流转换成动态表原理用 SQL 持续查询-更新查询&追加查询将动态表转换为流(Append-only、Retract、Upsert)时间属性和窗口事件时间处理时间窗口&…

使用react hooks 封装的圆形滚动组件

相关技术 react , hooks , ts 功能描述 根据用户的触摸&#xff0c;对卡片进行一个圆形的旋转滚动。 码上掘金 引入组件好像不支持ts类型会报错&#xff0c;所以功能函数就丢到一个文件里面了 使用 引入 ScrollRotate 组件&#xff0c;在需要使用的数据列表外包裹一层&…

[Datawhale][CS224W]图机器学习(四)

目录一、回顾二、图嵌入概述2.1 补充知识——表示学习2.2 图嵌入2.3 图嵌入-基本框架 编码器——解码器2.3.1 编码器2.3.2 解码器2.3.3 执行步骤2.4 随机游走2.4.1 随机游走的方法步骤2.4.2 计算优化三、随机梯度下降3.1 SGD步骤3.2 批处理四、node2vec五、基于随机游走的图嵌入…

vivo x TiDB丨解决云服务海量数据挑战

vivo 是一家全球性的移动互联网智能终端公司&#xff0c;品牌产品包括智能手机、平板电脑、智能手表等 &#xff0c;截至 2022 年 8 月&#xff0c;已进驻 60 多个国家和地区&#xff0c;全球用户覆盖 4 亿多人。 vivo 为用户提供了在手机上备份联系人、短信、便签、书签等数据…

k8s-kubeadm部署

文章目录一、准备环境二、安装docker三、安装kubeadm&#xff0c;kubelet和kubectl四、部署容器网络五、部署UI一、准备环境 1.安装要求 在开始之前&#xff0c;部署Kubernetes集群机器需要满足以下几个条件&#xff1a; 一台或多台机器&#xff0c;操作系统 CentOS7.x-86_x6…

论文阅读:pixelNeRF: Neural Radiance Fields from One or Few Images

中文标题&#xff1a;从一或少量图像中构建神经辐射场 提出问题 NeRF效果虽然惊艳&#xff0c;但是其需要大量环绕图像以及长时间的训练。 创新点 与原始的NeRF网络不使用任何图像特征不同&#xff0c;pixelNeRF将与每个像素对齐的空间图像特征作为输入。也可以集合更多输入…

计算机网络(第三版) 胡亮 课后习题第三章答案

计算机网络&#xff08;第三版&#xff09; 胡亮 课后习题第三章答案 1、双绞线电缆有哪两种&#xff1f; 非屏蔽双绞线&#xff08;UTP&#xff09;和屏蔽双绞线(STP) 2、UTP分为几类&#xff1f; UTP安好电气性能分为8种类型&#xff1a;1类、2类、3类、4类、5类、超5类、6类…

python基于vue学生毕业离校系统

可定制框架:ssm/Springboot/vue/python/PHP/小程序/安卓均可开发 目录 1 绪论 1 1.1课题背景 1 1.2课题研究现状 1 1.3初步设计方法与实施方案 2 1.4本文研究内容 2 2 系统开发环境 4 3 系统分析 6 3.1系统可行性分析 6 3.1.1经济可行性 6 3.1.2技术可行性 6 3.1.3运行可行性 6…

面试攻略,Java 基础面试 100 问(十二)

如何将字符串转换为基本数据类型&#xff1f; 调用基本数据类型对应的包装类中的方法 parseXXX(String)或 valueOf(String)即可返回相应基本类型&#xff1b; 如何将基本数据类型转换为字符串&#xff1f; 一种方法是将基本数据类型与空字符串&#xff08;””&#xff09;连…

面试官最喜欢的软件测试工程师简历模板

目录 个人信息 求职意向 职业技能 工作经历 项目经历 工作经历 项目经历 教育经历 自我评价 总结 个人信息 姓 名&#xff1a;xxx 性 别&#xff1a;女 手 机&#xff1a;xxxxxxxxxxxx 最高学历&#xff1a;统招硕士 工作年限&am…