大数据Kafka--概述

news2024/11/25 2:53:19

文章目录

  • 概述
    • 定义
    • 消息队列
      • 传统消息队列的应用场景
      • 消息队列的两种模式
    • Kafka基础架构
  • Kafka快速入门
    • 安装部署
      • 集群规划
      • 集群部署
      • 集群启停脚本
    • Kafka命令行操作
      • 主题命令行操作
      • 生产者命令行操作
      • 消费者命令行操作

概述

定义

在这里插入图片描述

消息队列

目前企业中比较常见的消息队列产品主要有 Kafka、ActiveMQ、RabbitMQ、
RocketMQ等。

在大数据场景主要采用 Kafka作为消息队列。在 JavaEE开发中主要采用ActiveMQ、RabbitMQ、RocketMQ。

传统消息队列的应用场景

传统的消息队列的主要应用场景包括:缓存/消峰、解耦和异步通信。

  • 缓存/消峰:有助于控制和优化数据流经过系统的速度,解决生产消息和消费消息的处理速度不一致的情况
  • 解耦:允许你独立的扩展或修改两边的处理过程,只要确保它们遵守同样的接口约束
    在这里插入图片描述
  • 异步通信:允许用户把一个消息放入队列,但并不立即处理它,然后在需要的时候再去处理它们

消息队列的两种模式

在这里插入图片描述

Kafka基础架构

在这里插入图片描述
(1)Producer:消息生产者,就是向Kafka broker发消息的客户端。
(2)Consumer:消息消费者,向Kafka broker取消息的客户端。
(3)Consumer Group(CG): 消费者组,由多个consumer组成。消费者组内每个消费者负责消费不同分区的数据,一个分区只能由一个组内消费者消费;消费者组之间互不影响。所有的消费者都属于某个消费者组,即消费者组是逻辑上的一个订阅者
(4)Broker:一台 Kafka服务器就是一个broker。一个集群由多个broker组成。一个
broker 可以容纳多个topic。
(5)Topic:可以理解为一个队列,生产者和消费者面向的都是一个topic。
(6)Partition:为了实现扩展性,一个非常大的 topic 可以分布到多个 broker(即服
务器)上,一个topic可以分为多个partition,每个partition是一个有序的队列
(7)Replica:副本。一个 topic 的每个分区都有若干个副本,一个 Leader 和若干个
Follower
(8)Leader:每个分区多个副本的“主”,生产者发送数据的对象,以及消费者消费数据的对象都是Leader。
(9)Follower:每个分区多个副本中的“从”,实时从 Leader 中同步数据,保持和Leader 数据的同步。Leader发生故障时,某个Follower会成为新的Leader。

Kafka快速入门

安装部署

集群规划

hadoop102hadoop103hadoop104
zkzkzk
kafkakafkakafka

集群部署

1)官方下载地址:https://kafka.apache.org/downloads.html

2)解压安装包

[yudan@hadoop102 software]$ tar -zxvf kafka_2.12-3.0.0.tgz -C /opt/module/ 

3)修改解压后的文件名称

[yudan@hadoop102 module]$ mv kafka_2.12-3.0.0/ kafka 

4)进入到/opt/module/kafka目录,修改配置文件

[yudan@hadoop102 kafka]$ cd config/ 
[yudan@hadoop102 config]$ vim server.properties

输入以下内容:

#broker的全局唯一编号,不能重复,只能是数字。 
broker.id=0 --需要修改的参数
#处理网络请求的线程数量 
num.network.threads=3 
#用来处理磁盘IO的线程数量 
num.io.threads=8 
#发送套接字的缓冲区大小 
socket.send.buffer.bytes=102400 
#接收套接字的缓冲区大小 
socket.receive.buffer.bytes=102400 
#请求套接字的缓冲区大小 
socket.request.max.bytes=104857600 
#kafka运行日志(数据)存放的路径,路径不需要提前创建,kafka自动帮你创建,可以配置多个磁盘路径,路径与路径之间可以用","分隔 
log.dirs=/opt/module/kafka/datas --需要修改的参数
#topic在当前broker上的分区个数 
num.partitions=1 
#用来恢复和清理data下数据的线程数量 
num.recovery.threads.per.data.dir=1 
# 每个topic创建时的副本数,默认时1个副本 
offsets.topic.replication.factor=1 
#segment文件保留的最长时间,超时将被删除 
log.retention.hours=168 
#每个segment文件的大小,默认最大1G 
log.segment.bytes=1073741824 
# 检查过期数据的时间,默认5分钟检查一次是否数据过期 
log.retention.check.interval.ms=300000 
#配置连接Zookeeper集群地址(在zk根目录下创建/kafka,方便管理) 
zookeeper.connect=hadoop102:2181,hadoop103:2181,hadoop104:2181/kafka --需要修改的参数

5)分发安装包

[yudan@hadoop102 module]$ xsync kafka/

6)分别在hadoop103和hadoop104上修改配置文件/opt/module/kafka/config/server.properties中的broker.id=1、broker.id=2

注:broker.id不得重复,整个集群中唯一。

[yudan@hadoop103 module]$ vim kafka/config/server.properties 
修改: 
# The id of the broker. This must be set to a unique integer for each broker. 
broker.id=1 

[yudan@hadoop104 module]$ vim kafka/config/server.properties 
修改: 
# The id of the broker. This must be set to a unique integer for each broker. 
broker.id=2 

7)配置环境变量

(1)在/etc/profile.d/my_env.sh文件中增加kafka环境变量配置

[yudan@hadoop102 module]$ sudo vim /etc/profile.d/my_env.sh

增加如下内容:

#KAFKA_HOME 
export KAFKA_HOME=/opt/module/kafka 
export PATH=$PATH:$KAFKA_HOME/bin 

(2)刷新一下环境变量

[yudan@hadoop102 module]$ source /etc/profile

(3)分发环境变量文件到其他节点,并source。

[yudan@hadoop102 module]$ sudo /home/atguigu/bin/xsync /etc/profile.d/my_env.sh 
[yudan@hadoop103 module]$ source /etc/profile 
[yudan@hadoop104 module]$ source /etc/profile

8)启动集群

(1)先启动Zookeeper集群,然后启动Kafka。

[yudan@hadoop102   kafka]$ zk.sh start 

(2)依次在hadoop102、hadoop103、hadoop104节点上启动Kafka。

[yudan@hadoop102 kafka]$ bin/kafka-server-start.sh -daemon config/server.properties 
[yudan@hadoop103 kafka]$ bin/kafka-server-start.sh -daemon config/server.properties 
[yudan@hadoop104 kafka]$ bin/kafka-server-start.sh -daemon config/server.properties

注意:配置文件的路径要能够到server.properties

9)关闭集群

[yudan@hadoop102 kafka]$ bin/kafka-server-stop.sh  
[yudan@hadoop103 kafka]$ bin/kafka-server-stop.sh  
[yudan@hadoop104 kafka]$ bin/kafka-server-stop.sh 

集群启停脚本

1)在/home/atguigu/bin 目录下创建文件kf.sh 脚本文件

[yudan@hadoop102 bin]$ vim kf.sh

脚本如下:

#! /bin/bash 

case $1 in 
"start"){ 
for i in hadoop102 hadoop103 hadoop104 
do 
echo " --------启动 $i Kafka-------" 
ssh $i "/opt/module/kafka/bin/kafka-server-start.sh 
daemon /opt/module/kafka/config/server.properties" 
done 
};; 
"stop"){ 
for i in hadoop102 hadoop103 hadoop104 
do 
echo " --------停止 $i Kafka-------" 
ssh $i "/opt/module/kafka/bin/kafka-server-stop.sh " 
done 
};; 
esac 

2)添加执行权限

[yudan@hadoop102 bin]$ chmod 777 kf.sh

3)启动集群命令

[yudan@hadoop102 ~]$ kf.sh start 

4)停止集群命令

[yudan@hadoop102 ~]$ kf.sh stop

注意:停止Kafka集群时,一定要等Kafka所有节点进程全部停止后再停止Zookeeper集群。因为Zookeeper集群当中记录着 Kafka集群相关信息,Zookeeper集群一旦先停止,Kafka 集群就没有办法再获取停止进程的信息,只能手动杀死Kafka进程了。

Kafka命令行操作

在这里插入图片描述

主题命令行操作

1)查看操作主题命令参数

[yudan@hadoop102 kafka]$ bin/kafka-topics.sh
参数描述
--bootstrap-server <String: server toconnect to>连接的 Kafka Broker 主机名称和端口号。
--topic <String: topic>操作的topic名称。
--create创建主题。
--delete删除主题。
--alter修改主题。
--list查看所有主题。
--describe查看主题详细描述。
--partitions <Integer: # of partitions>设置分区数。
--replication-factor <Integer: replication factor>设置分区副本。
--config <String: name=value>更新系统默认的配置。

2)查看当前服务器中的所有topic

[yudan@hadoop102 kafka]$ bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --list

3)创建first topic

[yudan@hadoop102 kafka]$ bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --create --partitions 1 --replication-factor 3 --topic first
  • 选项说明:
    • –topic 定义 topic 名
    • –replication-factor 定义副本数
    • –partitions 定义分区数

4)查看first 主题的详情

[yudan@hadoop102 kafka]$ bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --describe --topic first 

5)修改分区数(注意:分区数只能增加,不能减少)

[yudan@hadoop102 kafka]$ bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --alter --topic first --partitions 3 

6)再次查看first主题的详情

[yudan@hadoop102 kafka]$ bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --describe --topic first

7)删除topic

[yudan@hadoop102 kafka]$ bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --delete --topic first

生产者命令行操作

1)查看操作生产者命令参数

[yudan@hadoop102 kafka]$ bin/kafka-console-producer.sh
参数描述
--bootstrap-server要连接的 Kafka Broker 主机名称和端口号。
--topic操作的topic。

2)发送消息

[yudan@hadoop102 kafka]$ bin/kafka-console-producer.sh -bootstrap-server hadoop102:9092 --topic first 

>hello world 
>yudan yudan

消费者命令行操作

1)查看操作消费者命令参数

[yudan@hadoop102 kafka]$ bin/kafka-console-consumer.sh 
参数描述
--bootstrap-server<String: server toconnect to>连接的 Kafka Broker 主机名称和端口号。
--topic<String: topic> 操作的topic名称。
--from-beginning从头开始消费。如果设置此参数,消费者将从该topic的最开始位置开始消费消息
--group <String: consumer group id>指定消费者组名称

2)消费消息

(1)消费first 主题中的数据

[yudan@hadoop102 kafka]$ bin/kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --topic first

(2)把主题中所有的数据都读取出来(包括历史数据)

[yudan@hadoop102 kafka]$ bin/kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --from-beginning --topic first

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1463577.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

C/C++的内存管理(1)

内存管理 C与C的内存分布C语言中动态内存管理方式回顾C内存管理的方式 C与C的内存分布 我们学习C语言时就知道&#xff0c;储存不同的变量计算机会相应分配不同区块的内存。那为什么要把内存化为不同的区域呢&#xff1f;实质上是为了方便管理 下面我们来看看下面一道例题&…

了解JSON的作用及其方法

什么是json JSON&#xff08;JavaScript Object Notation&#xff09;是一种轻量级的数据交换格式采用完全独立编程语言的文本格式存储和表示数据&#xff08;就是字符串&#xff09;。它基于JavaScript语法&#xff0c;但可以被多种编程语言使用和解析。JSON以键值对的形式存…

05 类和对象 3

目录 再谈构造函数static成员友元内部类匿名对象拷贝对象时一些编译器优化再次理解封装 1. 再谈构造函数 1.1 构造函数赋值 在创建对象时&#xff0c;编译器调用构造函数&#xff0c;给对象中各个成员变量一个合适的初始值 class Date { public: Date(int year, int month,…

前端基础自学整理|DOM树

DOM&#xff0c;文档对象模型&#xff08;Document Object Model&#xff09;&#xff0c;简单的说&#xff0c;DOM是一种理念&#xff0c;一种思想&#xff0c;一个与系统平台和编程语言无关的接口&#xff0c;一种方法, 使 Web开发人员可以访问HTML元素&#xff01;不是具体方…

MySQL语句大全

MySQL语句大全 数据库操作数据表操作往表中插入数据修改表中数据删除表中数据查询表中数据用户管理函数约束 (限制表中的字段值)多表查询事务 数据库操作 -- 显示数据库 show databases;-- 创建一个数据库 demo create database demo;-- 若不存在数据库 demo 则创建一个数据库…

软件测试基础篇(完整版)

&#x1f345; 视频学习&#xff1a;文末有免费的配套视频可观看 &#x1f345; 点击文末小卡片&#xff0c;免费获取软件测试全套资料&#xff0c;资料在手&#xff0c;涨薪更快 “尽早的介入测试&#xff0c;遇到问题的解决成本就越低” 随着软件测试技术的发展&#xff0c…

Flutter NestedScrollView 内嵌视图滚动行为一致

Flutter NestedScrollView 内嵌视图滚动行为一致 视频 https://youtu.be/_h7CkzXY3aM https://www.bilibili.com/video/BV1Gh4y1571p/ 前言 上一节讲了 CustomScrollView &#xff0c;可以发现有的地方滚动并不是很连贯。 这时候就需要 NestedScrollView 来处理了。 今天会写…

Promise中的链式流

如果阅读有疑问的话&#xff0c;欢迎评论或私信&#xff01;&#xff01; 本人会很热心的阐述自己的想法&#xff01;谢谢&#xff01;&#xff01;&#xff01; 携手共进&#xff01; 文章目录 前言深入Promise链式流 前言 在探索Promise链式流之前我们要知道两个Promise固有…

js设计模式:依赖注入模式

作用: 在对象外部完成两个对象的注入绑定等操作 这样可以将代码解耦,方便维护和扩展 vue中使用use注册其他插件就是在外部创建依赖关系的 示例: class App{constructor(appName,appFun){this.appName appNamethis.appFun appFun}}class Phone{constructor(app) {this.nam…

【鸿蒙 HarmonyOS 4.0】网络请求

一、介绍 资料来自官网&#xff1a;文档中心 网络管理模块主要提供以下功能&#xff1a; HTTP数据请求&#xff1a;通过HTTP发起一个数据请求。WebSocket连接&#xff1a;使用WebSocket建立服务器与客户端的双向连接。Socket连接&#xff1a;通过Socket进行数据传输。 日常…

车载测试,检测项目标准

检测项目&#xff1a; 二.GB/T 31486-2015电动汽车用动力蓄电池电性能要求及试验方法 说明&#xff1a;本标准规定了电动汽车用动力蓄电池(以下简称蓄电池)的 电性能要求、试验方法、检验规则。本标准适用于装载在电动汽车 上的锂离子蓄电池和金属氢化 物镍蓄电池单体和模块&a…

设计模式-创建型模式-抽象工厂模式

抽象工厂模式&#xff08;Abstract Factory Pattern&#xff09;&#xff1a;提供一个创建一系列相关或相互依赖对象的接口&#xff0c;而无须指定它们具体的类。抽象工厂模式又称为Kit模式&#xff0c;它是一种对象创建型模式。 由于工厂方法模式中的每个工厂只生产一类产品&…

JS基础之JSON对象

JS基础之JSON对象 目录 JS基础之JSON对象对象转JSON字符串JSON转JS对象 对象转JSON字符串 JSON.stringify(value,replacer,space) value:要转换的JS对象 replacer:(可选)用于过滤和转换结果的函数或数组 space:(可选)指定缩进量 // 创建JS对象 let date {name:"张三…

如何利用内网穿透工具在企业微信开发者中心实现本地接口服务回调

文章目录 1. Windows安装Cpolar2. 创建Cpolar域名3. 创建企业微信应用4. 定义回调本地接口5. 回调和可信域名接口校验6. 设置固定Cpolar域名7. 使用固定域名校验 企业微信开发者在应用的开发测试阶段&#xff0c;应用服务通常是部署在开发环境&#xff0c;在有数据回调的开发场…

时序数据库TimescaleDB,实战部署全攻略

&#x1f4e2;&#x1f4e2;&#x1f4e2;&#x1f4e3;&#x1f4e3;&#x1f4e3; 哈喽&#xff01;大家好&#xff0c;我是【IT邦德】&#xff0c;江湖人称jeames007&#xff0c;10余年DBA及大数据工作经验 一位上进心十足的【大数据领域博主】&#xff01;&#x1f61c;&am…

2024华北医院信息网络大会第二轮更新通知

大会背景 近年来&#xff0c;我国医疗行业信息化取得了飞跃式的发展&#xff0c;医疗信息化对医疗行业有着重要的支撑作用。2021年国家卫健委、中医药管理局联合印发《公立医院高质量发展促进行动&#xff08;2021-2025年&#xff09;》&#xff0c;提出重点建设“三位一体”智…

Linux定时任务调度

Linux定时任务调度 crond 任务调度 crontab 进行定时任务的设置 介绍 任务调度&#xff1a;是指系统在某个时间执行的特定的命令或程序。 任务调度分类&#xff1a;系统工作&#xff1a;有些重要的工作必须周而复始地执行。如病毒扫描等 个别用户工作&#xff1a;个别用户可能…

SpringBoot指定外部环境配置

nohup java -Xms256m -Xmx512m -Dfile.encodingUTF-8 -jar /usr/local/xxxx.jar --spring.profiles.activeprod > system.log 2>&1 & --spring.profiles.activeprod修改的是多环境配置中内部application.properties里的spring.profiles.active值 -Dspring.config…

SOC电源管理系统简介

1. 概况 随着SOC越来越复杂&#xff0c;包含的IP越来越多&#xff0c;单个SOC上实现了CPU, 射频模块&#xff0c;相机模块&#xff0c;DDR控制模块&#xff0c;外设等等功能。多种功能&#xff0c;多种IP也带来了多档电源的需求。同时为了满足低功耗的挑战&#xff0c;SOC通常被…

代码随想录算法训练营第二十五天|Leetcode216 组合总和III、Leetcode17 电话号码的字母组合

代码随想录算法训练营第二十五天|Leetcode216 组合总和III、Leetcode17 电话号码的字母组合 ● Leetcode216.组合总和III● 解题思路● 代码实现 ● Leetcode17 电话号码的字母组合● 解题思路● 代码实现 ● Leetcode216.组合总和III 题目链接&#xff1a;Leetcode216.组合总和…