kafka和消息队列

news2024/11/25 7:13:48

https://downloads.apache.org/kafka/3.5.1/kafka_2.13-3.5.1.tgz
d

kafka依赖与zookeeper

kakka配置文件

broker.id=1    #每个 broker 在集群中的唯一标识，正整数。每个节点不一样
listeners=PLAINTEXT://192.168.74.70:9092 ##监听地址
num.network.threads=3  # 定义用于网络处理的线程数。
num.io.threads=8  #定义用于I/O操作的线程数。
socket.send.buffer.bytes=102400  #设置用于发送数据的套接字缓冲区大小。
socket.receive.buffer.bytes=102400  # 设置用于接收数据的套接字缓冲区大小。
socket.request.max.bytes=104857600 #指定单个请求的最大字节数。
log.dirs=/data/kafka #kakfa 用于保存数据的目录，所有的消息都会存储在该目录当中
num.partitions=3#设置创建新的 topic 默认分区数量，一般为集群的节点数
num.recovery.threads.per.data.dir=1  #
offsets.topic.replication.factor=1  #设置偏移量主题的复制因子为1。
transaction.state.log.replication.factor=1 #事务主题的复制因子（设置更高以确保可用性）。 内部主题创建将失败，直到群集大小满足此复制因素要求
transaction.state.log.min.isr=1#覆盖事务主题的min.insync.replicas配置
log.retention.hours=168#设置 kafka 中消息保留时间，
log.retention.check.interval.ms=300000
zookeeper.connect=192.168.74.70:2181,192.168.74.71:2181,192.168.74.72:2181 #设置Zookeeper服务器的连接地址。
zookeeper.connection.timeout.ms=18000  #设置与Zookeeper建立连接的超时时间。
group.initial.rebalance.delay.ms=0 #设置初始重新平衡延迟的毫秒数。

启动
/apps/kafka_2.13-3.5.1/bin/kafka-server-start.sh -daemon /apps/kafka_2.13-3.5.1/config/server.properties

在这里插入图片描述

创建topic

/apps/kafka_2.13-3.5.1/bin/kafka-topics.sh --create --topic magedu --bootstrap-server 192.168.74.70:9092 --partitions 3 --replication-factor 2

在这里插入图片描述
查看topic
root@ubuntu20:~# /apps/kafka_2.13-3.5.1/bin/kafka-topics.sh --bootstrap-server 192.168.74.70:9092 --list
magedu

停止kafka
/apps/kafka_2.13-3.5.1/bin/kafka-server-stop.sh

验证topic
状态说明： 有三个分区分别为0、1、2，
PartitionCount: 3 代表分片3个
ReplicationFactor: 2 代表副本2个
分区0的leader是1

Replicas： 代表副本存放的brokerid
Isr: 1,3 代表活者的是1，3

root@ubuntu20:~# /apps/kafka_2.13-3.5.1/bin/kafka-topics.sh  --describe   --bootstrap-server  192.168.74.70:9092Topic: magedu	TopicId: H4nV6WulTU-y_S4J2pHfOA	PartitionCount: 3	ReplicationFactor: 2	Configs: 
	Topic: magedu	Partition: 0	Leader: 1	Replicas: 1,3	Isr: 1,3
	Topic: magedu	Partition: 1	Leader: 1	Replicas: 2,1	Isr: 1
	Topic: magedu	Partition: 2	Leader: 3	Replicas: 3,2	Isr: 3

上面的Isr中没有2，可以知道2节点缺少，查看发现2节点的kafka没有启动
启动后正常

Topic: magedu	TopicId: H4nV6WulTU-y_S4J2pHfOA	PartitionCount: 3	ReplicationFactor: 2	Configs: 
	Topic: magedu	Partition: 0	Leader: 1	Replicas: 1,3	Isr: 1,3
	Topic: magedu	Partition: 1	Leader: 1	Replicas: 2,1	Isr: 1,2
	Topic: magedu	Partition: 2	Leader: 3	Replicas: 3,2	Isr: 3,2

指定topic查看
/apps/kafka_2.13-3.5.1/bin/kafka-topics.sh --describe --bootstrap-server 192.168.74.70:9092 --topic luo

root@ubuntu20:~# ll /data/kafka/

生产数据
/apps/kafka_2.13-3.5.1/bin/kafka-console-producer.sh --broker-list 192.168.74.71:9092,192.168.74.70:9092 --topic magedu
在这里插入图片描述

消费数据
/apps/kafka_2.13-3.5.1/bin/kafka-console-consumer.sh --topic magedu --bootstrap-server 192.168.74.71:9092,192.168.74.70:9092 --from-beginning
–from-beginning 从头消费

通过软件查看数据
创建连接
在这里插入图片描述
添加kafka地址配置
在这里插入图片描述

修改为字符串类型
在这里插入图片描述

可以查看数据

在这里插入图片描述

总结

一个消息被消费一次
一个消息被消费多次 -》 数据同步，分发
大多次通常都是消费一次

kafka通常以集群运行，实现高可用
topic(主题)：在逻辑上对record（记录、日志）进行分组保存

kafka分区：为了实现数据的高可用，比如将分区0的数据分散到不同的kafka节点，每一个分区有一个broker作为leader和一个broker作为follower

顺序读写
顺序读取

监控：
对端口
curl url 是否200

activemq

端口和rabbitmq 一样
安装
wget https://mirrors.tuna.tsinghua.edu.cn/apache/activemq/5.18.2/apache-activemq-5.18.2-bin.tar.gz
cp apache-activemq-5.18.2-bin.tar.gz /apps/
cd /apps/
tar -xf apache-activemq-5.18.2-bin.tar.gz
ln -s apache-activemq-5.18.2 activemq
vi activemq.xml #不用修改
cd …
./bin/linux-x86-64/activemq start #启动

netstat -antp|grep 8161 修改地址为0.0.0.0
/usr/local/activemq/conf# vi jetty.xml
在这里插入图片描述
访问
http://120.77.146.92:8161/admin/
在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/939393.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

Monibucav4(开源流媒体服务器)在Windows上搭建rtmp服务器并实现拉取rtsp视频流以及转换flv播放

Monibucav4(开源流媒体服务器)在Windows上搭建rtmp服务器并实现拉取rtsp视频流以及转换flv播放

场景 开源流媒体服务器ZLMediaKit在Windows上运行、配置、按需拉流拉取摄像头rtsp视频流)并使用http-flv网页播放： 开源流媒体服务器ZLMediaKit在Windows上运行、配置、按需拉流拉取摄像头rtsp视频流)并使用http-flv网页播放_srs按需拉流_霸道流氓气质的博客-CSDN…
阅读更多...
K-Means（K-均值）聚类算法

K-Means（K-均值）聚类算法

目录 K-Means 算法 K-Means 术语 K 值如何确定 K-Means 场景 美国总统大选摇争取摆选民 电商平台用户分层 给亚洲球队做聚类 ​编辑 其他场景 K-Means 工作流程 K-Means 开发流程 K-Means 的评价标准 K-Means 算法 对于 n 个样本点来说，根据距离公式&a…
阅读更多...
如何使用HOOPS技术将3D模型转换成点云？

如何使用HOOPS技术将3D模型转换成点云？

将3D模型转换为点云是一个常见的计算机图形学任务，通常用于将具有几何信息的复杂模型转换为一组离散的点坐标。这可以用于各种应用，如点云分析、计算机辅助设计、虚拟现实等。以下是一些步骤，可供您在将3D模型转换为点云时参考： …
阅读更多...
还不会选渲染器？建筑设计师年度爱用排名来了！

还不会选渲染器？建筑设计师年度爱用排名来了！

近期，建筑设计网站CG architect公布了其主导的一年一度全球建筑渲染引擎调查报告：《2022年建筑可视化渲染引擎调查结果》，该报告主要是针对建筑可视化市场中50多种渲染引擎的使用比例情况。 在3月1号到7月31号期间，CG architect基…
阅读更多...
vscode调试PHP代码

vscode调试PHP代码

目录 准备工作ssh的连接以及配置调试 准备工作 1.首先你需要下载一个vscode 2.下载模块 你需要在VScode中去下载我们所需的两个模块PHP Debug以及remote -ssh 3.安装对应版本的xdebug 需要在xdebug的官方去进行分析，选择适合你自己版本的xdebug 去往官方&#x…
阅读更多...
Thrift构建调用说明

Thrift构建调用说明

安装开发环境 sudo yum -y groupinstall "Development Tools" 安装bison sudo yum install -y wget 安装autoconf wget http://ftp.gnu.org/gnu/autoconf/autoconf-2.69.tar.gz tar xvf autoconf-2.69.tar.gz cd autoconf-2.69 ./configure --prefix/usr make…
阅读更多...
Android性能优化之APK瘦身详解(瘦身73%)

Android性能优化之APK瘦身详解(瘦身73%)

公司项目在不断的改版迭代中，代码在不断的累加，终于apk包不负重负了，已经到了八十多M了。可能要换种方式表达，到目前为止没有正真的往外推过，一直在内部执行7天讨论需求，5天代码实现的阶段。你在写上个版本…
阅读更多...
【分布式技术专题】「OSS中间件系列」Minio的文件服务的存储模型及整合Java客户端访问的实战指南

【分布式技术专题】「OSS中间件系列」Minio的文件服务的存储模型及整合Java客户端访问的实战指南

Minio的元数据 数据存储 MinIO对象存储系统没有元数据数据库，所有的操作都是对象级别的粒度的，这种做法的优势是: 个别对象的失效，不会溢出为更大级别的系统失效。便于实现"强一致性"这个特性。此特性对于机器学习与大数据处理非…
阅读更多...
初阶数据结构（六）队列的介绍与实现

初阶数据结构（六）队列的介绍与实现

💓博主csdn个人主页：小小unicorn💓 ⏩专栏分类：C 🚚代码仓库：小小unicorn的学习足迹🚚 🌹🌹🌹关注我带你学习编程知识 栈 队列的介绍队列的概念：队…
阅读更多...
webassembly003 ggml ADAM (暂记)

webassembly003 ggml ADAM (暂记)

Adam优化器的工作方式是通过不断更新一阶矩估计和二阶矩估计来自适应地调整学习率，并利用动量法来加速训练过程。这种方式可以在不同的参数更新方向和尺度上进行自适应调整，从而更有效地优化模型。 https://arxiv.org/pdf/1412.6980.pdf 参数 这些参数…
阅读更多...
SCI论文创新思路

SCI论文创新思路

SCI论文创新思路 一、 创新的分类1、算法创新2、架构创新3、迁移创新4、思想创新5、方法创新6、组合创新 二、组合创新的必要性三、组合创新的流程四、组合创新举例1、组合创新公式2、生活中的例子3、关于CV的例子4、魔改的方法 一、 创新的分类 1、算法创新 比如提出CNN、LS…
阅读更多...
django-发送邮件

django-发送邮件

一、业务场景 业务警告 邮箱验证 密码找回 二、邮件相关协议 1.SMYTP（简答邮件传输协议 25端口） 属于“推送”协议 负责发送 2.IMAP（交互式邮件访问协议，应用层协议，143端口） 用于从本地邮件客户端…
阅读更多...
华为云Stack的学习（三）

华为云Stack的学习（三）

四、华为云Stack公共组件 1.华为云Stack公共负载均衡方案介绍 1.1 LVS原理 LVS是四层负载均衡，建立在OSI模型的传输层之上，所以效率非常高。 LVS有两种转发模式： NAT模式的转发主要通过修改IP地址（位于OSI模型的第三层网络层&…
阅读更多...
可直接运营的零工零活招聘流量主小程序开发演示

可直接运营的零工零活招聘流量主小程序开发演示

在互联网高速发展的今天，诞生了很多互联网招聘平台，极大的方便了企业与求职者之间的对接。而在招聘市场，零工灵活招聘求职也是不可忽视的一个重要组成部分。基于帮助招聘企业快速获得优质员工和求职者快速寻找合适企业，我们在招聘…
阅读更多...
echarts画一个简单的饼图 中间是空的 环有两种颜色一种是底色 一种是百分比的颜色

echarts画一个简单的饼图 中间是空的 环有两种颜色一种是底色 一种是百分比的颜色

//dom打印出来大概是什么样子下方有个图可以作为参考 ecInit(correctRate, processAnalysisVO.correctRate, (100-processAnalysisVO.correctRate));//如效果图//饼图 function ecInit(dom, correctRate, errorRate) {var dom dom; //就是你要放入的盒子元素var myChart ech…
阅读更多...
KCC@北京｜开源到底带给了我们什么？

KCC@北京｜开源到底带给了我们什么？

KCC，全称 KAIYUANSHE City Community（中文：开源社城市社区）是由开源社发起，旨在让开源社区在每个城市落地生根的地域性开源组织。 自2023年2月份发起以来，我们已经在南京、上海、深圳、北京、硅谷、新加坡、…
阅读更多...
postgresql类型转换函数

postgresql类型转换函数

postgresql类型转换函数 简介CAST 函数to_date 函数to_timestamp 函数to_char 函数to_number 函数隐式类型转换 简介 类型转换函数用于将数据从一种类型转换为另一种类型。 CAST 函数 CAST ( expr AS data_type )函数用于将 expr 转换为 data_type 数据类型；Post…
阅读更多...
macOS上开源免费的新闻阅读器SABnzbd

macOS上开源免费的新闻阅读器SABnzbd

SABnzbd Mac版是一款运行在Mac平台上的开源新闻阅读器，这款阅读器界面简约、功效简单强大，使用SABnzbd时可以帮助使用Python语言编写，让用户使用usenet新闻组更便利，是你阅读新闻的好帮手！ SABnzbd具有以下主要特点&a…
阅读更多...
Wolfram Mathematica 13 for Mac 数学计算工具

Wolfram Mathematica 13 for Mac 数学计算工具

Wolfram Mathematica for Mac是一款功能强大、划时代的科学计算软件。它结合了数字和符号计算引擎、图形系统、编程语言、文本系统以及与其他应用程序的高级连接，在许多功能方面处于世界领先地位，截至2009年，它是使用最广泛的数学软件之一。人…
阅读更多...
小小的消火栓 蕴藏着“大智慧”

小小的消火栓 蕴藏着“大智慧”

2023年8月22日14时24分，天津消防救援总队指挥中心接到报警：天津市南开区万兴街道南京路新天地大厦外墙起火。接警后，总队立即调派23个消防站及南开、和平支队全勤指挥部，共计284名消防救援人员、62辆消防车赶赴现场。总队全勤指挥…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023