【Java Web】Kafka,构建TB级异步消息系统

news2024/11/24 6:39:24

1. 阻塞队列

  • BlockingQueue
    • 解决线程通信的问题;
    • 阻塞方法:put从队列中存一个 , take 从队列中拿出一个
  • 生产者消费者模式
    • 生产者:产生数据的线程;
    • 消费者:使用数据的线程。
  • 实现类
    • ArrayBlockingQueue
    • LinkedBlockingQueue
    • ProrityBlockingQueueSynchronousQueueDelayQueue

在这里插入图片描述

  • 阻塞队列充当了生产者(Thread-1)和消费者(Thread-2)之间的桥梁;
  • 若Blocking Queue满了,将阻塞生产者,线程1陷入等待;
  • 若Blocking Queue空了,将阻塞消费者,线程2陷入等待;
  • 因此,可以防止系统资源被浪费。

2. Kafka入门

  • Kafka简介
    • kafka 是一个分布式的流媒体平台;
    • 应用:消息系统、日志收集、用户行为追踪、流式处理。
  • Kafka特点
    • 高吞吐量、消息持久化、高可靠性、高扩展性
  • Kafka术语
    • Broker(一个服务器)、Zookeeper(集群)
    • Topic(文件夹)、Partition(分区,提高容错率)、Offset(在分区中的位置)
    • Leader Replica(主副本,如果需要从分区获取数据,主副本可以响应)、Follower Replica(随从副本,备份)

-卡夫卡能处理海量数据(高吞吐量),因为卡夫卡将数据存在硬盘此类的介质里,而硬盘比内存的价格低廉,所以它可以持久化。卡夫卡的分布式保证了高可靠性。如果想要加入新服务器,只需简单的配置,因此具有高扩展性

【1】Mac 启动Zookeeper:

./zookeeper-server-start.sh ../config/zookeeper.properties &

【2】启动Kafka:

./kafka-server-start.sh ../config/server.properties &

【3】创建Topic

./kafka-topics.sh --bootstrap-server localhost:9092 --create --topic javaTopic --partitions 2 --replication-factor 1

replication-factor:指定副本数量
partitions:指定分区

【4】查看Topic

./kafka-topics.sh --bootstrap-server localhost:9092 --list

【5】删除Topic

./kafka-topics.sh --bootstrap-server localhost:9092 --delete -topic javaTopic

【6】生产消费数据
【6-1】生产者

./kafka-console-producer.sh --broker-list localhost:9092 --topic javaTopic

【6-2】消费者

./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic javaTopic --from-beginning

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/995280.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

pyqt5调用摄像头

pyqt5调用摄像头 1、UI布局 2、代码 # !/usr/bin/python # -*- coding: utf-8 -*-""" contact: 微信 1257309054 file: t.py time: 2023/9/10 0:16 author: LDC """import sysimport cv2 from PyQt5 import QtCore from PyQt5 import QtWidget…

buuctf crypto 【RSA】解题记录

1.打开文件后,可以看到公钥,打开后解析公钥 2.分解一下n,得到p,q(使用yafu分解)后,写出脚本 3.运行,得到flag

Emscripten安装并配置环境变量

前言 Emscripten官网 官网有安装教程,但有些细节没有讲清楚,本文会很详细的讲解每一步。 一、下载 emsdk 包 emsdk – github地址 可以使用 git 去拉取,不过可能会超时拉取失败。 git clone https://github.com/emscripten-core/emsdk.…

电子信息工程专业课复习知识点总结:(一)电路分析基础

文章目录 第一章:电路的基本概念和电路定律第二章:电阻电路的等效变换第三章:电阻电路的一般分析方法第四章:电路定理1.叠加定理2.替代定理3.戴维南定律4.诺顿定律5.最大功率传输定理6.特勒根定理7.互易定理8.对偶定理 第七章 储能…

常用调优命令及各种 OOM 的应对策略【JVM调优】

文章目录 1. 常见的调优命令2. 常见的性能调优3. 常用的调优工具4. 各种 OOM 的应对策略5. 配置垃圾收集器6. CPU 占用过高 1. 常见的调优命令 ① jps:显示所有虚拟机进程; ② jstack:生成当前线程快照; ③ jmap:生成…

基于SSM的在线云音乐系统

末尾获取源码 开发语言:Java Java开发工具:JDK1.8 后端框架:SSM 前端:采用JSP技术开发 数据库:MySQL5.7和Navicat管理工具结合 服务器:Tomcat8.5 开发软件:IDEA / Eclipse 是否Maven项目&#x…

Linux内核分析与应用3-进程管理

本系列是对 陈莉君 老师 Linux 内核分析与应用[1] 的学习与记录。讲的非常之好,推荐观看 留此记录,蜻蜓点水,可作抛砖引玉 3.1 进程概述 一个程序通过编译器将其编译成汇编程序,经过汇编器将其汇编成目标代码,通过链接器形成可执行文件a.out或者elf格式,…

Kali2022.3虚拟机编译AOSP(从Kali安装到完成Aosp编译详细记录)

一.前言 测试的硬件环境(轻薄本):cpu:Amd r5 4600u,内存:16g,外接固态硬盘盒子。测试(下载和编译Android10)结果:下载时长为0.5-1h,编译时长接近5h;虚拟机环境:VMware Workstation …

Stream流用法详解

文章目录 🐒个人主页🏅JavaSE系列专栏📖前言:🎀什么是Stream流?🧸流的概念 🐕如何获取流🐕流的操作🏅中间操作(返回类型都是流)filter…

【strcat函数和strncat函数的对比与模拟实现】

strcat函数和strncat函数的对比与模拟实现 1.strcat函数的介绍 资源来源于cplusplus网站 它的作用是: 将源字符串的副本追加到目标字符串。目标中的结束空字符被源的第一个字符覆盖,并且在由目标中的两个字符串串联形成的新字符串的末尾包含一个空字符…

数据结构之单链表(c++(c语言)通用版)

我们创建一个长度为n的链表时,可以采取头插法创建或者尾插法创建,本篇博客我们采取头插法来创建,(作者只学了头插,尾插等以后来补qwq,补上喽)。 头插原理 我们先来画图来看看头插的创建形式把&#xff0c…

《python趣味工具》——酷炫二维码(2):批量定制合适的二维码

今天,我们将学习如何从Excel中提取相应的内容然后批量生成相应的二维码。 文章目录 一、Excel的基本操作:1. Excel的基本结构:2. 安装xlrd模块:3. 读取指定工作表:4. 读取指定内容:Tip:切片读取&#xff1a…

线性代数的学习和整理19,特征值,特征向量,以及引入的正交化矩阵概念(草稿)

目录 1 什么是特征值和特征向量? 1.1 特征值和特征向量这2个概念先放后 1.2 直观定义 1.3 严格定义 2 如何求特征值和特征向量 2.1 方法1:结合图形看,直观方法求 2.1.1 单位矩阵的特征值和特征向量 2.1.2 旋转矩阵 2.2 根据严格定义…

buuctf crypto 【RSA2】解题记录

1.打开文件 2.写脚本 3.16进制转字符串

Ardupilot — AP_OpticalFlow代码梳理

文章目录 前言 1 Copter.cpp 1.1 void Copter::setup() 2 system.cpp 2.1 void Copter::init_ardupilot() 3 sensors.cpp 3.1 void Copter::init_optflow() 3.2 对象optflow说明 4 OpticalFlow.cpp 4.1 void OpticalFlow::init(uint32_t log_bit) 5 AP_OpticalFlow_…

十三、函数式编程(1)

本章概要 新旧对比Lambda 表达式 递归 函数式编程语言操纵代码片段就像操作数据一样容易。 虽然 Java 不是函数式语言,但 Java 8 Lambda 表达式和方法引用 (Method References) 允许你以函数式编程。 在计算机时代早期,内存是稀缺和昂贵的。几乎每个人…

手写Spring:第20章-事务处理

文章目录 一、目标:事务处理二、设计:事务处理2.1 事务单元测试2.2 事务设计 三、实现:事务处理3.1 工程结构3.2 事务管理的核心类图3.3 定义事务注解3.3.1 定义事务注解3.3.2 定义事务接口3.3.3 默认事务定义实现类3.3.4 委托事务定义实现类…

Java 多线程系列Ⅵ(并发编程的六大组件)

JUC 组件 前言一、Callable二、ReentrantLock三、Atomic 原子类四、线程池五、Semaphore六、CountDownLatch 前言 JUC(Java.util.concurrent)是 Java 标准库中的一个包,它提供了一组并发编程工具,本篇文章就介绍几组常见的 JUC 组…

win10自带wifi共享功能

1、按下【wini】组合键打开windows设置,点击【网络和internet】; 2、按照下图,打开个移动热点,设置名称、密码。

Blender--》页面布局及基本操作讲解

接下来我会在three.js专栏中分享关于3D建模知识的文章,如果学习three朋友并且想了解和学习3D建模,欢迎关注本专栏,关于这款3D建模软件blender的安装,我在前面的文章已经讲解过了,如果不了解的朋友可以去考考古&#xf…