Kafka下载安装及基本使用

news2024/11/15 21:49:09

目录

Kafka介绍

消息队列的作用

消息队列的优势

应用解耦

异步提速

削峰填谷

 为什么要用Kafka

Kafka下载安装

Kafka快速上手（单机体验）

1. 启动zookeeper服务

2. 启动kafka服务

3. 简单收发消息

Kakfa的消息传递机制

Kafka介绍

       Apache Kafka是一个分布式流处理平台，最初由LinkedIn开发并于2011年开源。它主要用于解决大规模数据的实时流式处理和数据管道问题。

       Kafka是一个分布式的发布-订阅消息系统，可以快速地处理高吞吐量的数据流，并将数据实时地分发到多个消费者中。Kafka消息系统由多个broker（服务器）组成，这些broker可以在多个数据中心之间分布式部署，以提供高可用性和容错性。

       Kafka的基本架构由生产者、消费者和主题（topic）组成。生产者可以将数据发布到指定的主题，而消费者可以订阅这些主题并消费其中的数据。同时，Kafka还支持数据流的处理和转换，可以在管道中通过Kafka Streams API进行流式计算，例如过滤、转换、聚合等。

       Kafka使用高效的数据存储和管理技术，能够轻松地处理TB级别的数据量。其优点包括高吞吐量、低延迟、可扩展性、持久性和容错性等。

       Kafka在企业级应用中被广泛应用，包括实时流处理、日志聚合、监控和数据分析等方面。同时，Kafka还可以与其他大数据工具集成，如Hadoop、Spark和Storm等，构建一个完整的数据处理生态系统。

消息队列的作用

       队列是一种FIFO先进先出的数据结构。消息则是跨进程传递的数据。一个典型的MQ系统，会将消息消息由生产者发送到MQ进行排队，然后根据一定的顺序交由消息的消费者进行处理。

消息队列的优势

应用解耦

          

       假如用户访问订单系统，而订单系统跟其他系统是强耦合的，如图如果库存系统挂了，那么整个订单系统也都不能用了。   如果这种情况还想要增加新的XX系统进来，那么就只能修改源代码来完成。系统的耦合性越高，容错性就越低，可维护性就越低。

            

       通过引入MQ做到应用解耦，库存系统出现异常可以等库存系统恢复后去MQ中拿消息，此时不影响别的系统调用，如果还要加入新的系统比如XX系统，那么只需XX系统去MQ中拿取消息进行处理即可。使用MQ可以提升容错性和可维护性。

异步提速

       

 原先用户请求订单系统，需要等到订单系顺序调用其他系统无误后返回，比较耗时。

       

       现在通过引入MQ，订单系统只需要把信息发送到MQ中即可，相当于完成了之前顺序请求其他系统的步骤，时间成本大大减低。

削峰填谷

           
             
以上场景中激增请求会打垮系统，造成服务不可用。

           

 通过将激增请求先放到MQ当前，然后系统再根据自身情况拉取请求来消费

 为什么要用Kafka

Kafka产品的特点：

1、数据吞吐量很大： 需要能够快速收集各个渠道的海量数据（一般收集海量日志）。

2、集群容错性高：允许集群中少量节点崩溃。

3、功能不需要太复杂：Kafka的设计目标是高吞吐、低延迟和可扩展，主要关注消息传递而不是消息处理。所以，Kafka并没有支持死信队列、顺序消息等高级功能。

4、允许少量数据丢失：Kafka本身也在不断优化数据安全问题，目前基本上可以认为Kafka可以做到不会丢数据。

Kafka下载安装

下载地址：Apache Kafka

下载完成后解压，注意目录位置，先启动zookeeper

 在启动kafka服务

       一般都可以正常启动，使用默认的配置即可，如果执行命令发现报错“命令语法不正确。”请将下载的文件移到最外层目录，如上图位置。（本人遇到此问题，找寻了多种解决方案，发现这种方式才能解决我的问题。）

Kafka快速上手（单机体验）

1. 启动zookeeper服务

2. 启动kafka服务

3. 简单收发消息

       Kafka的基础工作机制是消息发送者可以将消息发送到kafka上指定的topic，而消息消费者，可以从指定的topic上消费消息。

             

创建主题

bin\windows\kafka-topics.bat --create --topic test --bootstrap-server localhost:9092

查看主题

bin\windows\kafka-topics.bat --describe --topic test --bootstrap-server localhost:9092

生产者往test的Topic发消息 

bin\windows\kafka-console-producer.bat --broker-list localhost:9092 --topic test

消费者消费test的Topic消息

bin\windows\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test --from-beginning

​        这样就完成了一个基础的交互。这其中，生产者和消费者并不需要同时启动。他们之间可以进行数据交互，但是又并不依赖于对方。没有生产者，消费者依然可以正常工作，反过来，没有消费者，生产者也依然可以正常工作。这也体现出了生产者和消费者之间的解耦。

指定消费进度

如果需要精确的消费消息，可以指定从哪一条消息开始消费。

bin\windows\kafka-console-consumer.bat --bootstrap-server localhost:9092 --partition 0 --offset 2 --topic test

这表示从第0号Partition上的第二个消息开始读起。

Kakfa的消息传递机制

       Kafka的消息发送者和消息消费者通过Topic这样一个逻辑概念来进行业务沟通。但是实际上，所有的消息是存在服务端的Partition这样一个数据结构当中的。

                  
​Kafka的基本概念：
客户端Client：
       包括消息生产者 和 消息消费者。之前简单接触过。
消费者组：
       每个消费者可以指定一个所属的消费者组，相同消费者组的消费者共同构成一个逻辑消费者组。每一个消息会被多个感兴趣的消费者组消费，但是在每一个消费者组内部，一个消息只会被消费一次。
服务端Broker：
        一个Kafka服务器就是一个Broker。
话题Topic：
       这是一个逻辑概念，一个Topic被认为是业务含义相同的一组消息。客户端都通过绑定Topic来生产或者消费自己感兴趣的话题。
分区Partition：
       Topic只是一个逻辑概念，而Partition就是实际存储消息的组件。每个Partiton就是一个queue队列结构。所有消息以FIFO先进先出的顺序保存在这些Partition分区中。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1423997.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

结构体与共用体——C语言——day15

结构体与共用体——C语言——day15

在C语言中，C语言允许用户自己指定这样一种数据结构，它称为结构体(structure) 。它相当于其他高级语言中的“记录”。 假设程序中要用到图所表示的数据结构，但是C语言没有提供这种现成的数据类型，因此用户必须要在程序中建立所需的…
阅读更多...
vue3学习——初始化项目及配置

vue3学习——初始化项目及配置

初始化项目 环境 node 16pnpm 8.0.0 命令 pnpm create vite进行以下选择 👇 – 项目名 – VUe – Ts – cd/目录 – pnpm run dev 浏览器自动打开 package.json 配置eslint 安装依赖包 pnpm i eslint -D npx eslint --init // 生成配置文件进行以下选择 &a…
阅读更多...
golang开源的可嵌入应用程序高性能的MQTT服务

golang开源的可嵌入应用程序高性能的MQTT服务

golang开源的可嵌入应用程序高性能的MQTT服务 什么是MQTT？ MQTT（Message Queuing Telemetry Transport）是一种轻量级的、开放的消息传输协议，设计用于在低带宽、高延迟或不可靠的网络环境中进行通信。MQTT最初由IBM开发&#xf…
阅读更多...
在windows和Linux中的安装 boost 以及 安装 muduo

在windows和Linux中的安装 boost 以及 安装 muduo

二、安装boost boost官网：boost官网 我下载的boost版本： windows:boost_1_84_0.ziplinux:boost_1_84_0.tar.gz 2.1 在windows中安装boost和测试 （1）在windows中，解压这个压缩包boost_1_84_0.zip，路径为…
阅读更多...
2024Node.js零基础教程(小白友好型)，nodejs新手到高手，（三）NodeJS入门——http协议

2024Node.js零基础教程(小白友好型)，nodejs新手到高手，（三）NodeJS入门——http协议

033_HTTP协议_初识HTTP协议 hello，大家好，这个小节我们来认识一下 http协议。 http是几个单词的首字母拼写，全称为Hypertext Transfer Protocol 译为超文本传输协议，那么这个http协议是互联网上应用最广泛的协议之一。顺便说一下…
阅读更多...
壹[1]，Xamarin开发

壹[1]，Xamarin开发

1，环境 VS2022 注： 1，本来计划使用AndroidStudio，但是也是一堆莫名的配置让人搞得很神伤，还是回归C#。 2，MAUI操作类似，但是很多错误解来解去，且调试起来很卡。 3，最…
阅读更多...
【3DGS】从新视角合成到3D Gaussian Splatting

【3DGS】从新视角合成到3D Gaussian Splatting

文章目录 引言：什么是新视角合成任务定义一般步骤NeRF的做法NeRF的三维重建NeRF的渲染 3DGS的三维重建从一组图片估计点云高斯点云模型球谐函数参数优化损失函数和协方差矩阵的优化高斯点的数量控制(Adaptive Density Control)新的问题 3DGS的渲染：快速可…
阅读更多...
[网络安全]IIS---FTP服务器 、serverU详解

[网络安全]IIS---FTP服务器 、serverU详解

一 . FTP服务器(File Transfor Protocol) : 协议:文件传输协议 端口号:TCP: 20(数据) / 21(控制) 二 . FTP工作方式: 1.主动模式 : (FTP服务器21端口与FTP客户端产生的随机端口先建立连接 建立连接后,再使用FTP服务器21端口与FTP客户端创建的一个新的随机端口进行发送…
阅读更多...
Mobileye CES 2024 自动驾驶新技术新方向

Mobileye CES 2024 自动驾驶新技术新方向

Mobileye亮相2024年国际消费类电子产品展览会推出什么自动驾驶新技术? Mobileye再次亮相CES，展示了我们的最新技术，并推出了Mobileye DXP--我们全新的驾驶体验平台。 与往年一样，Mobileye是拉斯维加斯展会现场的一大亮点，让参观者有机会见证我们对自主未来的愿景。 在…
阅读更多...
Wpf 使用 Prism 实战开发Day16

Wpf 使用 Prism 实战开发Day16

客户端使用RestSharp库调用WebApi 动态加载数据 在MyDoTo客户端中，使用NuGet 安装两个库 RestSharp Newtonsoft.Json 一. RestSharp 简单的使用测试例子 当前章节主要目的是：对RestSharp 库，根据项目需求再次进行封装。下面先做个简单的使用…
阅读更多...
前端开发基于Qunee绘制网络拓扑图总结-02

前端开发基于Qunee绘制网络拓扑图总结-02

1、渲染连线颜色 *关键函数一定要调用：graph.invalidate()* graph.forEach(function(element) {if (element instanceof Q.Edge) {let arr [#549BF1, #AA8A6E, #8F54F1,#5A70BC,#BCBF5C, #BC5A76, #67B4D4,#B4C9EF, #676AD4, #A86EAA,#5CBF7F, #EFB4B4];let inde…
阅读更多...
CapCut - 剪映国际版11.0.0

CapCut - 剪映国际版11.0.0

【应用名称】：CapCut - 剪映国际版 【适用平台】：#Android 【软件标签】：#CapCut #剪映国际版 【应用版本】：11.0.0 【应用大小】：231MB 【软件说明】：软件升级更新。目前大家广泛使用的最令人惊叹、最专业…
阅读更多...
负载均衡下的webshell上传+nginx解析漏洞

负载均衡下的webshell上传+nginx解析漏洞

负载均衡下的webshell上传 一，负载均衡下webshell上传的四大难点 难点一：需要在每一台节点的相同位置上传相同内容的webshell 我们需要在每一台节点的相同位置都上传相同内容的 WebShell一旦有一台机器上没有，那么在请求轮到这台机器上的时…
阅读更多...
C++ hash—unordered_mapset

C++ hash—unordered_mapset

目录 一. unordered系列关联式容器 1、文档说明 2、接口说明 1. 构造 2. 容量 3. 迭代器 4. 元素访问 5. 查询 6. 修改 7. 桶操作 8. 测试 二、unordered_set 1、​​​​​​​文档说明 2、接口说明 1. 构造 2. 容量 3. 迭代器 4. 元素访问 5. 插入和删除…
阅读更多...
AI赋能编程 | 自动化工具助力高效办公

AI赋能编程 | 自动化工具助力高效办公

前言 前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家：https://www.captainbed.cn/z ChatGPT体验地址 文章目录 前言泡泡AI工具卡片思维导图Markdown编辑器 其他工具文件免费处理工具结语 合集…
阅读更多...
SpringBoot 使用WebSocket功能

SpringBoot 使用WebSocket功能

实现步骤&#xff1a; 1.导入WebSocket坐标。 在pom.xml中增加依赖项&#xff1a; <dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-websocket</artifactId> </dependency>2.编写WebSocket配…
阅读更多...
查看 npm的一些命令，以及npm config set registry x x x 不生效 解决方案

查看 npm的一些命令，以及npm config set registry x x x 不生效 解决方案

在 Mac 上查看自己的 npm 源&#xff0c;可以使用以下命令&#xff1a; 打开终端应用程序&#xff08;Terminal&#xff09;。 运行以下命令来查看当前的 npm 配置&#xff1a; npm config list这会显示 npm 的配置信息&#xff0c;包括当前使用的源&#xff08;registry&am…
阅读更多...
FCIS 2023：洞悉网络安全新前沿，引领未来安全创新狂潮

FCIS 2023：洞悉网络安全新前沿，引领未来安全创新狂潮

在数字化浪潮席卷全球的今天&#xff0c;网络安全问题愈发凸显其重要性。 FCIS 2023网络安全创新大会作为业界瞩目的盛会&#xff0c;不仅汇聚了国际顶尖的网络安全专家&#xff0c;更展示了最前沿的安全技术与研究成果。那么&#xff0c;参与这场大会&#xff0c;我们究竟能学…
阅读更多...
MySQL-DQL（Data Query Language）数据查询语言

MySQL-DQL（Data Query Language）数据查询语言

文章目录 1. DQL定义2. 基础查询3. 条件查询&#xff08;WHERE&#xff09;4. 分组查询&#xff08;GROUP BY&#xff09;5. 过滤分组&#xff08;HAVING&#xff09;6. 排序&#xff08;ORDER BY&#xff09;7. 限制查询结果的条数&#xff08;LIMIT&#xff09;8. 多表查询8.…
阅读更多...
OG Trade在ZKX揭幕：一家基于Starknet的游戏化永续合约交易所

OG Trade在ZKX揭幕：一家基于Starknet的游戏化永续合约交易所

ZKX的 OG Trade通过内置游戏化和30分钟交易竞赛&#xff0c;为所有交易者创造机会&#xff0c;革新了永续合约交易模式。 2024年1月30日 — ZKX宣布推出OG Trade&#xff0c;这是一家基于Starknet的游戏化永续合约交易所&#xff0c;旨在满足短期交易者、高水平交易者和波段交易…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023