Kafka简单搭建及常用命令

news2024/11/15 3:35:33

一、Kafka的服务搭建

    1. 安装包下载

    这里我下载的是目前最新的版本,在3.X版本及之后的版本中,Kafka已经移除了Zookeeper的强依赖,虽然依旧支持以Zookeeper的方式启动,但本文仅介绍无Zookeeper的启动方式,即kraft模式。

    (说明:Kafka下载的为压缩包,解压即可使用,不需安装,且压缩包为windows与linux系统通用,windows通过bat文件使用,linux通过sh文件使用,实际项目中基本都是通过linux系统使用,所以此处本人仅对linux系统下的使用进行测试验证)

下载地址:https://kafka.apache.org/downloads

    并将下载好的压缩包上传到服务器,这里上传到了虚拟机中的/usr/local/目录下:

    2. 解压

解压命令:tar -zxvf "压缩包名"

    3. 生成集群ID

    进入解压出来的文件夹下的bin目录中,执行以下命令,生成一个唯一的集群id

./kafka-storage.sh random-uuid

    4. 格式化存储目录

    通过如下命令格式化存储目录,注意:-t参数需要指定上一步生成的集群id,即将下面命令中的"Tc5TTyKZQfil377YgmT5uQ "替换为你自己在上一步生成的集群id,另外,-c参数后需要指定的是config中的kraft中的server.properties配置文件,而不是config中的server.properties文件,后者是zookeeper模式启动需要的配置文件,前者才是我们使用kraft模式需要的配置文件,且后面服务的启动等操作都是围绕着这个配置文件来进行的。

./kafka-storage.sh format -t Tc5TTyKZQfil377YgmT5uQ -c ../config/kraft/server.properties

    在格式化存储目录之后,会自动创建好目录/tmp/kraft-combined-logs,此目录即为kafka服务相关数据的存储位置。

    5. 启动kafka服务

    回到kafka下的bin目录,通过如下命令启动kafka

./kafka-server-start.sh ../config/kraft/server.properties

    打印出以下日志即为启动成功

二、常用命令

    (以下命令皆在kafka的bin目录下执行)

1. 查看topic列表

./kafka-topics.sh --bootstrap-server localhost:9092 --list

2. 查看topic相关详细信息

./kafka-topics.sh --bootstrap-server localhost:9092 --describe

3. 创建topic

 ./kafka-topics.sh --bootstrap-server localhost:9092 --create --topic quanyu-topic --replication-factor 1 --partitions 2

参数说明:

    topic:指定topic名称,例如事例中topic名称为quanyu-topic

    replication-factor:用来设置主题的副本数。每个主题可以有多个副本,副本位于集群中不同的broker上,也就是说副本的数量不能超过broker的数量,否则创建主题时会失败。

    partitions:主题分区数量。kafka通过分区策略,将不同的分区分配在一个集群中的broker上,一般会分散在不同的broker上,当只有一个broker时,所有的分区就只分配到该Broker上。

4. 建立生产者

./kafka-console-producer.sh --broker-list localhost:9092 --topic quanyu-topic

    以上命令执行完成之后会开始等待输入,每次输入完成后敲入回车便会发送一条消息,如以下截图,共发送了三条消息:111,222,333

    如要停止该生产者,则输入Ctrl+Z即可退出。

5. 建立消费者

./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic quanyu-topic --from-beginning --consumer.config ../config/consumer.properties

    以上命令执行之后会进入监听状态,等待接收到消息之后直接显示在控制台中,同样的,如要停止该消费者,输入Ctrl+Z即可退出。且通过参数中的--from-beginning,表示从消息队列起始位置开始接收消息;通过参数中的--consumer.config,可以指定消费者使用的配置文件。

6. 删除Topic

./kafka-topics.sh --bootstrap-server localhost:9092 --delete --topic quanyu-topic

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2081725.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

003、架构_详解(重点)

GoldenDB 分布式数据库框架 DN和RDB增加了备节点;引入新模块CM,且GTM、MDS、PM、CM都增加备节点;MDS、PM、CM、RDB被统一在了管理节点之中;GTM和MDS间多了一条连线,因为GTM的切换由MDS把控;初步系统架构mysqld:一般称为DB节点,负责单个节点的数据处理; dbproxy:一般…

【文心智能体】通过低代码工作流编排创建应用《挑战奥运问答拿奖牌》

欢迎来到《小5讲堂》 这是《文心智能体平台》系列文章,每篇文章将以博主理解的角度展开讲解。 温馨提示:博主能力有限,理解水平有限,若有不对之处望指正! 目录 背景整体界面大模型链提示词模型 工具链HTTP请求工具 逻辑…

多语言跨领域迁移学习的新框架:MAD-X

人工智能咨询培训老师叶梓 转载标明出处 多语言模型如mBERT和XLM-R通过零样本或少样本跨语言迁移极大地推动了低资源语言的NLP应用。但这些模型由于容量限制,对低资源语言和未见语言的迁移性能并不理想。为了解决这一问题,来自德国达姆施塔特工业大学、…

【docker】docker学习笔记

docker学习笔记 0. docker 基本命令1. docker存储1.1 目录挂载1.2 卷映射 2. docker 网络2.1 机器ip访问2.2 容器ip访问2.3 域名访问 3. docker compose(批量管理)3.1 编写一个yml文件:3.2 docker compose 命令 4. 制作docker 镜像 0. docker 基本命令 …

【JAVA】jdk下载与安装、配置环境

【JAVA】jdk下载与安装、配置环境 一、下载jdk二、安装jdk三、配置环境四、测试环境变量是否设置成功五、特殊情况六、idea官网 一、下载jdk Oracle官网: https://www.oracle.com/点击 “ Products ” “ 下滑 ”,点击 “ Java ” 点击 “ Download Java ” 先选择…

智慧公厕:城市公共卫生间智慧之选@卓振思众

在现代城市生活中,公共设施的智能化已经成为提升市民生活质量的重要一环。而智慧公厕作为公共卫生设施的创新代表,正逐步改变我们对传统公共厕所的认知,为城市管理带来了前所未有的便捷与舒适。【卓振思众】 环境智能调控,提升使用…

【逐行注释】一维EKF滤波的MATLAB代码|*不需要下载*,直接复制到MATLAB即可运行

文章目录 介绍完整代码运行结果各模块含义介绍 这是一个状态量为一维的MATLAB下的滤波程序,使用的滤波方法是EKF(扩展卡尔曼滤波),滤波后,显示滤波值的曲线、滤波误差曲线、滤波误差的最大值、平均值、标准差的输出。 模型是非线性的(状态方程和观测方程都是非线性的),…

RuoYi-Vue 最新 SpringBoot3 前后端分离版本源码分析

RuoYi-Vue 最新 SpringBoot3 前后端分离版本源码分析 RuoYi-Vue 本地环境部署权限管理SpringSecurity 配置登录接口(认证管理)Authentication 认证token的生成 权限控制 异步任务管理操作日志数据权限 RuoYi-Vue 本地环境部署 直接去 gitee 上拉取最新版本即可,分支…

comfyUI好在哪?为啥大家都在用?

前言 comfyUI自从面世以来,就以一种潜力股的姿态快速流行了起来,越来越多的小伙伴开始使用comfyUI。也许你一开始会被comfyUI密密麻麻的“线路”吓到,但其实comfyUI也没那么复杂,并且好处多多。 本文将带大家一起,快…

2024年8月31日(星期六)骑行瓦恭村

2024年8月31日 (星期六)骑行瓦恭村(向日葵,谷花鱼),早8:30到9:00, 昆明氧气厂门囗集合,9:00准时出发【因迟到者,骑行速度快者,可自行追赶偶遇。】 偶遇地点:昆明氧气厂…

华为Huawei路由器交换机SSH配置

华为设备的SSH登录配置需要5个步骤,示例如下: 一、配置命令 使能SSH功能 stelnet server enable生成公钥 rsa local-key-pair create 1024配置AAA用户密码及相应授权 aaalocal-user xxx password cipher xxxyyy1234local-user xxx privilege level …

RAG必备知识:OpenAI官宣结构化输出|结构化输出工具大汇总

官宣:根据非常普遍的需求,OpenAI的API 中开始支持结构化输出。 在 API 中引入结构化输出 - 模型输出现在遵循开发人员提供的 JSON 模式。让大型语言模型(Large Language Models, LLMs)进行结构化输出是自然语言处理(NLP)领域中的一个重要目标。结构化输出指的是将自然语…

Java SpringBoot结合Vue打造法律援助平台,实现高效在线法律咨询服务

✍✍计算机编程指导师 ⭐⭐个人介绍:自己非常喜欢研究技术问题!专业做Java、Python、微信小程序、安卓、大数据、爬虫、Golang、大屏等实战项目。 ⛽⛽实战项目:有源码或者技术上的问题欢迎在评论区一起讨论交流! ⚡⚡ Java实战 |…

布偶猫应该怎么喂?希喂、交响乐金罐、尾巴生活彩虹泥适合布偶猫吗?

我开了家布偶猫咖,这些长相甜美可爱的小家伙超会撒娇卖萌,把客人迷的团团转。布偶猫又叫仙布拉多尔猫,它是现存体型最大、体重最重的猫之一,它们体型大,食量也大,但肠胃却特别弱,所以一定要特别…

Mac环境下Python3虚拟环境创建、Flask安装以及创建运行第一个最小的Flask项目

为什么要使用虚拟环境?随着你的 Python 项目越来越多,你会发现不同的项目会需要 不同的版本的 Python 库。同一个 Python 库的不同版本可能不兼容。 虚拟环境可以为每一个项目安装独立的 Python 库,这样就可以隔离不同项目之间的 Python 库&…

普通人怎么利用ai赚钱?这10个AI帮你实现!

以前我是真想不到,AI写的破文章,复制粘贴发出去竟然有收入? 今天先码住10个ai工具,下次更新10投稿文章获得收入的平台! 1、豆包:完全免费,ai对话里有一个功能叫做网页摘要,可以把你…

从源码到产品:视频美颜SDK与直播美颜插件的开发详解

开发一款高效的视频美颜SDK与直播美颜插件,不仅需要深入理解图像处理技术,还需要考虑到性能优化、跨平台支持等多个方面的挑战。接下来,笔者将从源码开发的角度,详解视频美颜SDK与直播美颜插件的开发过程。 一、视频美颜SDK的核心…

ai取名生成器在哪?建议看看这篇文章

ai取名字叫什么好听?你是否在为给孩子、宠物或是项目起一个既独特又好听的名字而烦恼?别担心,AI取名字软件来帮你解锁命名新境界! 现在有很多智能工具利用先进的人工智能技术,可以为你量身定制一系列令人耳目一新的名…

选择个人开发者进行软件开发的潜在风险分析

在科技飞速发展的今天,软件开发行业正变得越来越精细化和专业化,对专业技能和团队协作能力的需求日益增长。虽然在某些情况下,雇佣个人开发者似乎成本较低且操作简便,但其背后隐藏的挑战和风险同样不容小觑。本篇分析将探讨选择个…

使用Dockerfile创建应用镜像

在Docker file中定义所需要执⾏的指令,使⽤ docker build创建镜 像,过程中会按照dockerfile所定义的内容进⾏打开临时性容器,把 docker file中命令全部执⾏完成,就得到了⼀个容器应⽤镜像,每 ⼀⾏命令都会出现容器&…