zookeeper集群+kaafka集群

news2025/1/4 17:32:27

kafka3.0之前依赖于zookeeper

zookeeper开源,分布式的架构,提供协调服务(Apache项目)

基于观察者模式涉及的分布式服务管理架构

存储和管理数据,分布式节点上的服务接受观察者的注册,一旦分布式节点上的数据发生变化,由zookeeper负责通知分布式节点上的服务

zookeeper特点

1、分为领导者 追随者 leader follow组成的集群

2、只要有一半以上的集群存活,zookeeper集群就可以正常工作,适用于安装奇数台的服务集群

3、全局数据一致,每一个zookeeper每个节点都保存相同的数据,维护监控服务的数据一致

4、数据更新的原子性,要么都成功,要么都失败

5、实时性,只要有变化,立刻同步(特性)

zookeeper的应用场景

1、统一命名服务,在分布式的环境下,对所有的应用和服务进行统一命名

2、统一配置管理,配置文件同步,kafka的配置文件被修改,可以快速同步到其他节点

3、统一集群管理,实时掌握所有节点的状态

4、服务器动态上下线

5、负载均衡,把访问的服务器的数据,发送到访问最少得服务器处理客户端的请求

zookeeper的选取机制(领导者和追随者)

三台服务器:A B C

A 先启动,发起第一次选举,投票投给自己,只有一票,不满半数,A的状态是looking

B 启动,在发起一次选举,A和B分别投自己一票,交换选票信息,myid,A 发现B的myid比A大,A的这一票转而投给B

A 0 B 2 没有半数以上结果,A B会进入looking B有可能成为leader

C启动 myid c的myid最大,A和B会把票投给C A 0 B 0 C 3

C的状态变为leader ,A和B变成follower

只要leader确定,后续的服务器都是追随者

只有两种情况会开启选举机制

1、初始化的情况会产生选举

2、服务器之间和leader丢失了连接状态

leader已经存在,建立连接即可

leader不存在,leader不存在

1、服务器ID大的胜出

2、EPOCH大,直接胜出

3、EPOCH相同,事务ID大的胜出

EPOCH每个leader任期的代号,如果没有leader,所有的逻辑地位相同,每投完一次之后,数据是递增

事务ID,表示服务器的每一次变更,每变更一次事务ID变化一次

服务器ID:zookeeper集群当中的机器都有一个ID,每台机器不重复,和myid保持一致

zookeeper+kafka(2.7.0)集群部署
zookeeper集群

20.0.0.10 zookeeper+kafka

20.0.0.11 zookeeper+kafka

20.0.0.12 zookeeper+kafka

所有服务器都是2核4G

#所有服务器

#关闭防火墙和安全机制
#把zookeeper和kafka源码包拖到opt目录下

#升级java环境
yum install -y java-1.8.0-openjdk java-1.8.0-openjdk-devel

java -version

#解压源码包
cd /opt
tar -xf apache-zookeeper-3.5.7-bin.tar.gz 
mv apache-zookeeper-3.5.7-bin zookeeper
cd zookeeper/conf

cp zoo_sample.cfg zoo.cfg
vim zoo.cfg

tickTime=2000
#服务器与客户端之间心跳时间,2秒检测一次服务器和客户端之间的通信
initLimit=10
#领导者和追随者之间,初始连接时能够容忍的超时时间,10*2s 20s
syncLimit=5
#同步超时时间,领导者和追随者之间,同步通信超时的时间,5*2s,leader会认为follower丢失,移除集群
dataDIr=/opt/zookeeper/data
#保存数据的目录,需要单独创建
dataLogDir=/opt/zookeeper/logs
#保存日志的目录,需要单独创建
clientPort=2181
#端口号
server.1=20.0.0.10:3188:3288
server.2=20.0.0.11:3188:3288
server.3=20.0.0.12:3188:3288
#server.1=20.0.0.10:3188:3288
#1 每个zookeeper集群的初始myid
# 20.0.0.10	服务器的IP地址
# 3188 领导者和追随者之间交换信息的端口(内部通信的端口)
# 3288 一旦leader丢失响应,开启选举,3288就是用来选举时的服务之间通信端口

cd /opt/zookeeper
mkdir data logs

#给每台服务器分配myid
cd /data
echo 1 > myid

cd /data
echo 2 > myid

cd /data
echo 3 > myid

#创建启动脚本
vim /etc/init.d/zookeeper

#!/bin/bash
#chkconfig:2345 20 90
#description:Zookeeper Service Control Script
ZK_HOME='/opt/zookeeper'
case $1 in
start)
	echo "---------- zookeeper 启动 ------------"
	$ZK_HOME/bin/zkServer.sh start
;;
stop)
	echo "---------- zookeeper 停止 ------------"
	$ZK_HOME/bin/zkServer.sh stop
;;
restart)
	echo "---------- zookeeper 重启 ------------"
	$ZK_HOME/bin/zkServer.sh restart
;;
status)
	echo "---------- zookeeper 状态 ------------"
	$ZK_HOME/bin/zkServer.sh status
;;
*)
    echo "Usage: $0 {start|stop|restart|status}"
esac

#给脚本权限
chmod +x /etc/init.d/zookeeper
chkconfig --add zookeeper

#重启服务
service zookeeper start
#查看状态(查看谁是主)
service zookeeper status
消息队列kafka

为什么要引入消息队列(MQ),他也是一个中间件,在高并发环境下,同步请求来不及处理,来不及处理的请求会形成阻塞

比方说数据库就会形成行锁或者表锁,请求线程满了,超标了,too many connection 整个系统雪崩

消息队列的作用

1、异步处理请求

异步处理的流程图

2、流量削峰,应用解耦

解耦:只要通信保证,其他的修改不影响珍格格集群,每个组件可以的独立的扩展,修改,降低组件之间的依赖性

依赖点就是接口约束,通过不同的端口,保证集群通信

耦合:在软件系统中,修改一个组件需要修改所有其他组件,高度耦合

低度耦合:修改其中一个对其他组件影响不大,无需修改所有

3、可恢复性:系统当中的有一部分组件消失,不影响整个系统,也就是说在消息队列当中,即使有一个处理消息的进程失败,一旦恢复还可以重启加入队列当中,继续处理消息

4、缓中:可以控制和优化数据经过系统的时间和速度,解决生产消息和消费消息处理速度不一致的问题

5、峰值的处理能力:消息队列在峰值情况下,能够顶住突发的访问压力,避免专门为了突发情况而对系统进行修改

6、异步通信:允许用户把一个消息放入队列,但是不立刻处理,等用户想处理的时候在处理

消息队列的模式

1、点对点 一对一:消息的生产者发送消息队列中,消费者从队列中提取消息,消费者提取完之后,队列中被提取的消息将会被移除,后续消费者不能再消费队列当中的消息,消息队列可以有多个消费者,但是一个消息,只能由一个消费者提取

RABBITMQ

2、发布/订阅模式:一对多,又叫做观察者模式,消费者提取数据之后,队列当中的消息不会被清除

生产者发布一个消息到主题,所有消费者都是通过主题获取消息

消息队列的重要组件

1、主题:topic topic类似一个数据流的管道,生产者把消息发布到主题,消费者从那个主题当中订阅数据,主题可以分区,每个分区都有自己的偏移量

2、分区:partition 每个主题都可以多个分区,每个分区是数据的有序子集,分区可以允许kafka进行水平拓展,以处理大量数据,消息在分钟按照偏移量存储,消费者可以独立读取每个分区的数据

3、偏移量:是每个消息在分区中唯一的标识,消费者可以通过偏移量来跟踪获取已读或者未读消息的位置,也可以提交偏移量来记录已处理的信息

4、生产者:producer生产者把数据发送kafka的主题当中,负责写入消息

5、消费者:从主题当中读取数据,消费者可以是一个也可以十多个,每个消费者有一个唯一的消费者组ID,kafka通过消费者实现负载均衡和容错性

6、经纪人:Broker 每个kafka节点都有一个Broker,每个负责一台kafka服务器,id唯一,存储主题分区当中数据,处理生产和消费者的请求

维护元数据(zookeeper)

zookeeper:zookeeper负责保存元数据,元数据就是topic的相关信息(发布在哪台主机上,指定了多少分区,以及副本数,偏移量)

zookeeper自建一个主题:__consumer_offsets

3.0之后不依赖zookeeper的核心元数据由kafka节点自己管理

第一种,begin从头开始,获取所有

第二种,实时获取,我只消费,后续产生的消息

第三种,指定偏移量消费,代码实现

kafka的工作流程

1、生产者发送数据到主题(topic)中

2、可以分区,每个分区都有自己的偏移量

3、消费者从主题当中读取数据

工作流程图

生产者写入topic的数据时持久化的,默认是7小时

至少一次语义:只要消费者进入,确保消息至少被消费一次

kafka实验部署
#解压kafka的源码包
tar -xf kafka

mv kafka

vim /etc/profile
export KAFKA_HOME=/opt/kafka
export PATH=$PATH:$KAFKA_HOME/bin

#10服务器
#修改kafka的配置文件
cd /opt/kafka
cd /config
vim server.properties

#21行
broker.id=1
#全局唯一编号,不可以重复
#28行
#如果全局遍布改变,不需要改
#42行
num.network.threads=3
#处理网络请求的线程数量,默认即可
#46行
num.io.threads=8
#处理磁盘的IO线程数量,一定要比硬盘数大
#50行
socket.receive
#发送套接字的缓冲区大小
54行

#接受者的接受套接字缓冲区大小(套接字就是端口)
58行

#请求套接字的缓冲区大小
#65行
log.dirs=/var/log/kafka
#日志路径
#70行
num.partitions=1
#在此kafka服务器上创建topic,默认分区数,如果指定了,这个配置无效了
#75行
num.recovery.threads.per.data.dir=1
#用来恢复,回收,清理data下的数据的线程数量,kafka的默认不允许删除主题的
#110行
log.retention.hours=168
#生产者发布的数据文件在主题当中保存的时间,168小时,默认是7天
#130行
zookeeper.connect=20.0.0.10:2181,20.0.0.11:2181,20.0.0.12:2181
#指定zookeeper集群

#11服务器
vim server.properties

#21行
broker.id=2
#65行
log.dirs=/var/log/kafka
#日志路径
#130行
zookeeper.connect=20.0.0.10:2181,20.0.0.11:2181,20.0.0.12:2181
#指定zookeeper集群

#12服务器
vim server.properties

#21行
broker.id=3
#65行
log.dirs=/var/log/kafka
#日志路径
#130行
zookeeper.connect=20.0.0.10:2181,20.0.0.11:2181,20.0.0.12:2181
#指定zookeeper集群


#kafka的启动脚本
vim /etc/init.d/kafka

#!/bin/bash
#chkconfig:2345 22 88
#description:Kafka Service Control Script
KAFKA_HOME='/opt/kafka'
case $1 in
start)
	echo "---------- Kafka 启动 ------------"
	${KAFKA_HOME}/bin/kafka-server-start.sh -daemon ${KAFKA_HOME}/config/server.properties
;;
stop)
	echo "---------- Kafka 停止 ------------"
	${KAFKA_HOME}/bin/kafka-server-stop.sh
;;
restart)
	$0 stop
	$0 start
;;
status)
	echo "---------- Kafka 状态 ------------"
	count=$(ps -ef | grep kafka | egrep -cv "grep|$$")
	if [ "$count" -eq 0 ];then
        echo "kafka is not running"
    else
        echo "kafka is running"
    fi
;;
*)
    echo "Usage: $0 {start|stop|restart|status}"
esac

#给权限
chmod +x /etc/init.d/kafka
#添加系统当中
chkconfig --add kafka

#启动kafka
service kafka start 
#查看kafka端口
netstat -antp | grep 9092
kafka创建主题
#所有可执行kafka的命令文件都要在bin目录下执行
cd /opt/kafka/bin

#创建主题
kafka-topics.sh --create --zookeeper 20.0.0.10:2181,20.0.0.11:2181,20.0.0.12:2181 --replication-factor 2 --partitions 3 --topic xiaobu 
#--zookeeper  指定的是zookeeper的地址和端口,保存kafka的元数据
#--replication-factor 2 定义每个分区的副本数
#--partitions 3  指定主题的分区数
# --topic xiaobu 指定主题名可以自定义

#查看主题
kafka-topics.sh --describe --zookeeper 20.0.0.10:2181,20.0.0.11:2181,20.0.0.12:2181

#查看指定的主题详细信息
kafka-topics.sh --describe --zookeeper 20.0.0.10:2181,20.0.0.11:2181,20.0.0.12:2181 --topic xiaobu

#Partition:分区编号	
#Leader:每个分区都有一个领导者(Leader),领导者负责处理分区的读写操作。
#在上述输出中,领导者的编号分别为 3、1、3。
#Replicas:每个分区可以有多个副本(Replicas),用于提供冗余和容错性。
#在上述输出中,Replica 3、1、2 分别对应不同的 Kafka broker。
#Isr:ISR(In-Sync Replicas)表示当前与领导者保持同步的副本。
#ISR 3、1分别表示与领导者同步的副本。

#做映射
vim /etc/hosts
20.0.0.10 test1
20.0.0.11 test2
20.0.0.12 test3

随便选择一个主机发布消息
kafka-console-producer.sh --broker-list 20.0.0.10:9092,20.0.0.11:9092,20.0.0.12:9092 --topic xiaobu

订阅信息(从头开始)
kafka-console-consumer.sh --bootstrap-server 20.0.0.10:9092,20.0.0.11:9092,20.0.0.12:9092 --topic xiaobu --from-beginning 

订阅信息(实时更新)
kafka-console-consumer.sh --bootstrap-server 20.0.0.10:9092,20.0.0.11:9092,20.0.0.12:9092 --topic xiaobu

在11上创建主题
kafka-topics.sh --create --zookeeper 20.0.0.11:2181 --replication-factor 1 --partitions 1 --topic xiaobu1
在10上订阅信息
kafka-console-consumer.sh --bootstrap-server 20.0.0.11:9092 --topic xiaobu1
在11上创建主题
kafka-topics.sh --create --zookeeper 20.0.0.12:2181 --replication-factor 1 --partitions 1 --topic xiaobu2
在10上订阅信息
kafka-console-consumer.sh --bootstrap-server 20.0.0.12:9092 --topic xiaobu2
修改分区数
kafka-topics.sh  --zookeeper 20.0.0.11:2181 --alter -topic xiaobu1 --partitions 3
#查看指定的主题详细信息
kafka-topics.sh --describe --zookeeper 20.0.0.11:2181 --topic xiaobu1

删除主题

kafka-topics.sh --delete --zookeeper 20.0.0.12:2181 --topic xiaobu1
#此时命令执行后,只是打赏打上删除的标记,并没有完全删除。还是保存在元数据当中
查看zookeeper保存信息
cd zookeeper/bin
./zkCli.sh -server 20.0.0.11:2181
#-server 20.0.0.11:2181:指定需要登录的IP地址
ls /brokes/topics
#保存Kafka的元数据信息的位置。
#你无法对保存的元数据进行任何信息,只可以查询
get /brokes/topics
#查看元数据信息
kafka3.0创建主题
#所有可执行kafka的命令文件都要在bin目录下执行
cd /opt/kafka/bin

#创建主题
kafka-topics.sh --create --bootstrap-server 20.0.0.13:9092,20.0.0.40:9092,20.0.0.41:9092 --replication-factor 2 --partitions 3 --topic test1

#查看主题
kafka-topics.sh --list --bootstrap-server 20.0.0.10:9092,20.0.0.11:9092,20.0.0.12:9092 
指定查看主题
kafka-topics.sh --list --bootstrap-server 20.0.0.10:9092,20.0.0.11:9092,20.0.0.12:9092 test


随便选择一个主机发布消息
kafka-console-producer.sh --broker-list 20.0.0.10:9092,20.0.0.11:9092,20.0.0.12:9092 test
kafka+elk集群

#两个es主机
#把filebeat的源码包拖到opt目录下
解压
cd filebeat
yum -y insatll nginx
systemctl restart nginx 
vim /var/share/nginx/html/index.html

vim filebeat.yml
- type: log
  enabled: true
  paths:
    - /var/log/nginx/access.log
    - /var/log/nginx/error.log
  tags: ["nginx"]
  fields:
    service_name: 20.0.0.10_nginx
    log_type: nginx
    from: 20.0.0.10
output.kafka:
  enabled: true
  hosts: ["20.0.0.40:9092,20.0.0.41:9092,20.0.0.42:9092"]
  topic: "nginx"

运行filebeat

nohup ./filebeat -e -c filebeat.yml > filebeat.out &


cd /opt/kafka.conf
input {
     kafka {
        bootstrap_servers => "20.0.0.40:9092,20.0.0.41:9092,20.0.0.42:9092"
        topics => "nginx"
        type => "nginx_kafka"
        codec => "json"
        解析json格式的代码
        auto_offset_reset => "earliest"
        从头拉取,latest
        decorate_event => true
        传递给es实例中的信息包含kafka的属性数据
     }
  }
 output{
     if "nginx" in [tags] {
        elasticsearch {
            hosts => ["20.0.0.10:9200","20.0.0.11:9200"]
            index => "%{[fields][service_name]}-%{YYYY.MM.dd}"
        }
     }
 }
 

logstash -f kafka.conf --path.data /opt/nginx1
 
 去kafka上查看
 kafka-topic.sh --list --bootstrap-server 20.0.0.40:9092,20.0.0.41:9092,20.0.0.42:9092

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1277295.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

保护您的数据库免受注入攻击:MSSQL注入入门指南

MSSQL注入的入门讲解 一、引言二、MSSQL注入的基础知识2.1、MSSQL数据库的基本原理和结构2.2、常见的SQL语句和操作2.3、MSSQL注入的原理和工作方式 三、MSSQL注入攻击技术3.1、基于错误的注入攻击:利用错误消息和异常信息3.2、基于时间的注入攻击:利用延…

二、设置三台虚拟机的内存、MAC地址、IP地址

目录 1、配置内存 2、配置MAC地址 2.1 配置node2的MAC地址

HNU-计算机网络-讨论课2

第二次 有关网络智能、安全以及未来网络的讨论 一、必选问题(每组自由选择N个,保证组内每人负责1个) 网络的发展促进信息的传播,极大提高了人类的感知能力,整个世界都被纳入人类的感知范围。但人们对信息系统以及数据…

【动态规划】LeetCode-LCR166.珠宝的最高价值

🎈算法那些事专栏说明:这是一个记录刷题日常的专栏,每个文章标题前都会写明这道题使用的算法。专栏每日计划至少更新1道题目,在这立下Flag🚩 🏠个人主页:Jammingpro 📕专栏链接&…

DCCK“启航计划“3+2第三课相机参数于选型

面积小,通电发热都用以引入噪声

计算机视觉的应用21-基于含有注意力机制的CoAtNet模型的图像分类任务实现,利用pytorch搭建模型

大家好,我是微学AI,今天我给大家介绍一下计算机视觉的应用21-基于注意力机制CoAtNet模型的图像分类任务实现,加载数据进行模型训练。本文我们将详细介绍CoAtNet模型的原理,并通过一个基于PyTorch框架的实例,展示如何加…

MagicPipe3D地下管网三维建模数据规格

经纬管网建模系统MagicPipe3D(www.magic3d.net)本地离线参数化构建三维地下管网(含管道、接头、附属物等)模型,输出标准3DTiles、Obj等格式,支持Cesium、Unreal、Unity等引擎可视化查询。MagicPipe3D三维建…

23种设计模式之C++实践(一)

23种设计模式之C++实践 1. 简介2. 基础知识3. 设计模式(一)创建型模式1. 单例模式——确保对象的唯一性1.2 饿汉式单例模式1.3 懒汉式单例模式比较IoDH单例模式总结2. 简单工厂模式——集中式工厂的实现简单工厂模式总结3. 工厂方法模式——多态工厂的实现工厂方法模式总结4.…

java实验:数据库应用(idea+mysql+php)

设计用户注册和登录界面,实现用户注册和登录操作。 设计用户注册/登录界面;使用工具在MySQL中创建user表,包括学号、姓名、密码、专业、班级;实现注册操作:在user表中插入一条新纪录,但学号不能重复;实现登…

【分布式事务】Seata 开源的分布式事务解决方案

1. 什么是seata Seata 是一款开源的分布式事务解决方案,致力于提供高性能和简单易用的分布式事务服务。Seata 将为用户提供了 AT、TCC、SAGA 和 XA 事务模式,为用户打造一站式的分布式解决方案。 2. seata发展历程 阿里巴巴作为国内最早一批进行应用分…

html个人简历网页版源码

文章目录 1.个人简历1.1 简历风格1 - 纯净版1.2 简历风格2 - 蓝色版1.2 简历风格3 - 粉色心动版 源码目录结构源码下载 作者:xcLeigh 文章地址:https://blog.csdn.net/weixin_43151418/article/details/134752070 html个人简历网页版源码,好看…

Mysql行格式(记录格式)详解

1.InnoDB行格式简介: 我们平时向表中插入数据,是以行为基本单位,这些行在磁盘上的存储方式成为行格式。在innodb中有四种行格式:Compact、Redundant、Dynamic和Compressed。 默认的行格式是Dynamic: 1.1 Compact行格式 1.1.1 …

内存免杀--

通过分析Ekko项目了解内存加密过程,这对对抗内存扫描来说很重要。 概述 Edr会扫描程序的内存空间,检测是否存在恶意软件,这种检测恶意软件的方式,应该和静态检测没什么区别,只不过一个扫描的对象是硬盘,一…

vue中使用echarts实现省市地图绘制,根据数据在地图上显示柱状图信息,增加涟漪特效动画效果

一、实现效果 使用echarts实现省市地图绘制根据数据在地图显示柱状图根据数据显示数据,涟漪效果 二、实现方法 1、安装echarts插件 npm install echarts --save2、获取省市json数据 https://datav.aliyun.com/portal/school/atlas/area_selector 通过 阿里旗下…

振南技术干货集:各大平台串口调试软件大赏(6)

注解目录 (串口的重要性不言而喻。为什么很多平台把串口称为 tty,比如 Linux、MacOS 等等,振南告诉你。) 1、各平台上的串口调试软件 1.1Windows 1.1.1 STCISP (感谢 STC 姚老板设计出 STCISP 这个软件。&#xf…

安科瑞ASCP200系列 DS 型电气防火限流式保护器 充电桩配套用限流式保护 -安科瑞 蒋静

1 概述 电气防火限流式保护器可有效克服传统断路器、空气开关和监控设备存在的短路电流大、切断短路电流 时间长、短路时产生的电弧火花大,以及使用寿命短等弊端,发生短路故障时,能以微秒级速度快速限制短 路电流以实现灭弧保护&#xff0…

Python 重要数据类型

目录 列表 序列操作 列表内置方法 列表推到式 字典 声明字典 字典基本操作 列表内置方法 字典进阶使用 字典生成式 附录 列表 在实际开发中,经常需要将一组(不只一个)数据存储起来,以便后边的代码使用。列表就是这样的…

python之logo编程

Logo标志是一种视觉符号,代表着一个品牌、企业或组织的形象。它通常采用图形、字母或字形来代表一个公司或品牌,起到对徽标拥有公司的识别和推广的作用。Logo的设计需要考虑多种因素,例如颜色搭配、字体选择和构图等,以创造出独特…

C#中GDI+图形图像绘制(直线、矩形、圆、椭圆、圆弧、扇形、多边形)

目录 一、直线 二、矩形 三、椭圆 四、圆 五、圆弧 六、扇形 七、多边形 八、示例源码 一、直线 调用Graphics类中的DrawLine()方法,结合Pen对象可以绘制直线。DrawLine()方法有以下两种构造函数。 第一种用于绘制一条连接两个Point结构的线。当参数pt1的值…

Spring---更简单的存储和读取对象

文章目录 存储Bean对象配置扫描路径添加注解存储Bean对象使用类注解为什么需要五个类注解呢?Bean命名规则 使用方法注解重命名Bean 读取Bean对象属性注入Setter注入构造方法注入注入多个相同类型的BeanAutowired vs Resource 存储Bean对象 配置扫描路径 注&#xf…