Ubuntu下Kafka安装及使用

news2024/12/24 21:57:09

Kafka是由Apache软件基金会开发的一个开源流处理平台,同时也是一个高吞吐量的分布式发布订阅消息系统。它由Scala和Java编写,具有多种特性和广泛的应用场景。

Kafka是一个分布式消息系统,它允许生产者(Producer)发布消息到指定的主题(Topic),消费者(Consumer)可以订阅这些主题并消费其中的消息。

Kafka具有高吞吐量、低延迟、可扩展性、持久性、可靠性等特性,非常适合处理大规模数据流和实时数据处理任务。

ZooKeeper是一个分布式的、开放源码的分布式应用程序协调服务,它为分布式应用提供一致性服务。

1、安装Zookeeper

下载地址:Apache Download Mirrors

下载pache-zookeeper-3.9.2-bin.tar.gz

解压:tar -zxvf apache-zookeeper-3.9.2-bin.tar.gz -C ~/training/

2、配置Zookeeper环境变量:

> vi ~/bashrc, 在最下面添加:

ZOOKEEPER_HOME=/home/worker/training/apache-zookeeper-3.9.2-bin
export ZOOKEEPER_HOME
PATH=$ZOOKEEPER_HOME/bin:$PATH
export PATH
 

3、配置conf/zoo.cfg:

dataDir=/home/worker/training/apache-zookeeper-3.9.2-bin/tmp/zookeeper

server.1=demo1:2888:3888   //demo1是主机名

在/home/worker/training/apache-zookeeper-3.9.2-bin/tmp目录下创建文本文件myid,写入1。

4、启动zookeeper

./bin/zkServer.sh start

5、下载Kafka

下载地址:Apache Kafka

下载 kafka_2.13-3.8.0.tgz

tar -zxvf kafka_2.13-3.8.0.tgz -C ~/training/

6、配置kafka

vi ~/training/kafka_2.13-3.8.0/config/server.properties

log.dirs=/home/worker/training/kafka_2.13-3.8.0/tmp/kafka-logs

vi ~/training/kafka_2.13-3.8.0/config/zookeeper.properties

dataDir=/home/worker/training/apache-zookeeper-3.9.2-bin

7、测试Kafka收发消息

启动kafka:

bin/kafka-server-start.sh config/server.properties&

创建主题:

./bin/kafka-topics.sh --create --bootstrap-server demo1:9092 --replication-factor 1 --partitions 1 --topic mydemo1

启动生产者:

bin/kafka-console-producer.sh --broker-list demo1:9092 --topic mydemo1

启动消费者:

bin/kafka-console-consumer.sh --bootstrap-server demo1:9092 --topic mydemo1

测试方法:在生产者终端输入信息,在消费者终端即可同步显示,如下图所示:

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2171637.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Spring Ioc底层原理代码详细解释

文章目录 概要根据需求编写XML文件,配置需要创建的bean编写程序读取XML文件,获取bean相关信息,类,属性,id前提知识点Dom4j根据第二步获取到的信息,结合反射机制动态创建对象,同时完成属性赋值将…

【移植】标准系统方案之扬帆移植案例

往期知识点记录: 鸿蒙(HarmonyOS)应用层开发(北向)知识点汇总 鸿蒙(OpenHarmony)南向开发保姆级知识点汇总~ 持续更新中…… 本文章是基于瑞芯微RK3399芯片的yangfan开发板,进行标准…

一些写论文必须要知道的神仙级网站!芝士AI(paperzz)

说实话,写论文真的是挺头疼,尤其到了毕业季的时候,没有过任何写作毕业论文的经验的毕业生而言更是如此,相信大家都有过这种状态,不知从何下笔,还需要面对论文进度的压力,并且时常需要寻找各种资…

HDF5文件浏览软件--H5View

概述 H5View是一款轻量级桌面软件,旨在提供用户友好的界面以读取和展示 HDF5 文件中的数据结构。该软件允许用户查看文件的数据目录和数据集,并支持将选定的数据集导出为多种格式。 功能特点 读取 HDF5 文件 支持打开和读取 HDF5 格式的文件。显示文件…

Lenovo SR850服务器亮黄灯维修和升级CPU扩展模块

佛山市三水区某高校1台Lenovo Thinksystem SR850服务器黄灯故障到现场检修 和 升级3号和4号CPU。加强服务器的计算性能; 故障情况是该学校it管理员这一天看到这台SR850服务器前面板亮了一个黄灯,但是目前系统运行正常,出于安全考虑&#xff0…

JavaFX 如何加载系统资源

简介 问题描述:JavaFX 加载图片资源异常,即使路径正确 如何解决:使用反射 API 如何解决 import javafx.scene.image.Image; import org.junit.jupiter.api.Test;import java.util.Objects;public class ImageTest {Testvoid name() {Image…

golang web笔记-1.创建Web Server和Handler请求

1. 创建http web server的两个方法 1.1. 方式一:http.ListenAndServe(addr string, handler Handler) addr string:监听地址,如果为"" ,那么就是所有网络接口的80接口handler Handler:如果为nil,那么就是D…

TypeScript 设计模式之【状态模式】

文章目录 状态模式:优雅切换的交通信号灯状态模式的奥秘状态模式有什么利与弊?如何使用状态模式来优化你的系统代码实现案例状态模式的主要优点状态模式的主要缺点状态模式的适用场景总结 状态模式:优雅切换的交通信号灯 当你站在繁忙的十字路口&#…

RabbitMQ 实验入门

使用 spring-amqp 实验 发布订阅模型 fanoutExchange 实验 实验步骤: 编写定义 队列 和 交换机 绑定关系的代码创建接口,模拟生产者,方便调试(接受参数 队列名、路由键、[消息])定义消费者 代码示例: C…

证件照制作小程序源码

预览: 证件照制作小程序官方有推出对应的api接口,也有demo示例,大家有需要的可以直接拿 证件照规格列表 接口地址:https://api.zheyings.cn/item/list 请求方式:POST(application/x-www-form-urlencoded) 返回格式&…

DERT目标检测—End-to-End Object Detection with Transformers

DERT:使用Transformer的端到端目标检测 论文题目:End-to-End Object Detection with Transformers 官方代码:https://github.com/facebookresearch/detr 论文题目中包括的一个创新点End to End(端到端的方法)简单的理解就是没有使…

Elixir求解螺旋矩阵问题

题目是构造一个 n 维的顺时针螺旋矩阵,那么什么是螺旋矩阵呢?就是从左上角开始按顺时针方向从外向内依次递增的二维矩阵。一个3维螺旋矩阵示例如下: 我们是在 elixir 中求解,没有变量,没有循环,但是我们有…

中国篆刻—孙溟㠭浅析碑帖《张黑女墓志》

中国篆刻——孙溟㠭浅析碑帖《张黑女墓志》 《张黑女墓志》 《张黑女墓志》全称是《魏南阳张玄墓志》,又称《张玄墓志》,是北魏时期的墓志,属正书体,北魏普泰元年(公元531年)立碑。原碑已经丢失&#xf…

5个最佳开源RPA框架之一UI.Vision介绍

博主介绍: 大家好,我是Yuperman,互联网宇宙厂经验,17年医疗健康行业的码拉松奔跑者,曾担任技术专家、架构师、研发总监负责和主导多个应用架构。技术范围: 目前专注java体系,以及golang、.Net、…

【ADC】SAR 型 ADC 和 ΔΣ ADC 的选型决策方法

本文学习于TI 高精度实验室课程,介绍如何选择 SAR 或 delta-sigma 型 ADC。 文章目录 一、选型决策树二、特定传感器的应用三、需要 DC 精度但分辨率较低的应用四、需要 DC 精度且分辨率较高的应用五、极低噪声的 DC 精密测量六、需要捕获瞬态信号值的应用七、需要高…

产品需求-聊天框中发送的文件,要求文件名过长是保留后缀名省略中间的文字部分

介绍一下之前做过的一个需求,是要实现pc的一个聊天软件的消息引用功能。对于文件的引用,产品是这样做要求的: 消息框无固定长度,根据回复的文字长度决定消息框长度对于一个pc项目,当页面窗口变化时要实现响应式文件名…

个人账号(学校+个人)申请专利过程中遇见的问题

一、请指定一位申请人作为代表人 因为是拿个人账号申请的专利,同时要求学校是第一申请人,所以可以再添加一个第二申请人,然后勾选第二申请人为代表人就可以提交申请了(注意:两个申请人只能减免75%,也就是要…

Kubernetes配置管理(kubernetes)

实验环境: 在所有节点上拉取镜像;然后把资源清单拉取到第一个master节点上; 同步会话,导入镜像: configmap/secret 配置文件的映射 变量: 基于valuefrom的方式 cm--》pod 特点:变量的名称可…

109.游戏安全项目:信息显示二-利用游戏通知辅助计算基址

免责声明:内容仅供学习参考,请合法利用知识,禁止进行违法犯罪活动! 内容参考于:易道云信息技术研究院 本人写的内容纯属胡编乱造,全都是合成造假,仅仅只是为了娱乐,请不要盲目相信…

C++之二叉搜索

1.二叉搜索树的概念 二叉搜索树又称为二叉排序树,它有以下的特点。 1.如果它的左子树不为空,则左子树上所以结点的值都小于等于根结点的值 2.如果它的右子树不为空,则右子树上所有结点都大于等于根结点的值 3.它的左右子树也分别为二叉搜…