kafka入门,发送原理和生产者重要参数(三)

news2024/9/21 8:03:18

发送原理

在消息发送过程中,涉及两个线程,main线程和Sender线程。在main线程中创建了一个双端队列,RecordAccumulator,Sender过程不断从RecordAccumulator中拉取消息发送到Kafka Broker
在这里插入图片描述
batch size:只有数据累计到batch.size之后,sender才会发送数据,默认16k。
linger.ms: 如果数据迟迟未达到batch.size,sender等待linger.ms设置的时间到了之后就会发送数据。单位ms,默认是0ms,表示没有延迟
应答
应答acks
0:生产者发送过来数据,不需要等数据落盘应答
1:生产者发送过来的数据,leader收到数据后应答
-1:(all):生产者发送过来的数据,leader和ISR队列的所有节点收齐数据后应答。

生产者重要参数

参数名称描述
bootstrap.servers生产者连接集群所需要的broker清单,例如hadoop100:9002,hadoop101:9002,hadoop:102: 9002,可以设置1个或者多个,中间用逗号隔开,注意这里并不是需要所有broker的地址,因为生产者从给定的broker里查找到其他broker信息
key.serializer 和 value.serializer指定发送消息的key和value的序列化类型,一定要写全类名
key.serializer 和 value.serializer指定发送消息的key和value的序列化类型,一定要写全类名
buffer.memoryRecordAccumulator缓冲区总大小,默认32m
batch.size缓冲区一批数据最大值,默认16K。适当增加该值,可以提高吞吐量,如果该值设置太大,会导致数据传输延迟增加
linger.ms如果数据迟迟未到batch.size,sender等待linger.time之后就会发送数据。单位ms,默认值时是0ms,表示没有延迟,生产环境建议该值大小为5-100ms
acks0:生产者发送过来的数据,不需要等数据落盘应答。1:生产者发送过来的数据,leader收到数据后应答。-1:生产者发送过来的数据,leader+和isr队列里面所有的节点收起数据后应答,默认值是-1,-1和all等价的
retries当消息发送出现错误的时候,系统会重发消息,retries表示重试次数。默认是int最大值,如果设置了重试,还想保证消息的有序性,需要设置MAX_IN_FLIGHT_REQUESTS_PER_CONNECTION=1,否则在重试此失败小
retry.backoff.ms两次重试之间的间隔,默认是100ms
enable.idempotence是否开启幂等性,默认true,开启幂等性
compression.type生产者发送的所有数据的压缩方式,默认是none,就是不压身,支持压缩类型:none,gzip,snappy,lz4和zstd

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/690865.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

C++ 哈希思想应用 位图 布隆过滤器 海量数据处理

文章目录 问题引入位图(附C模拟实现源码)布隆过滤器(附C模拟实现源码) 问题引入 问题: 给40亿个不重复的无符号整数,没排过序。给一个无符号整数,如何快速判断一个数是否在这40亿个数中。 问题…

连续6年霸榜全球工作站市场,Dell Precision凭什么?

前段时间,IDC发布2022 Q4工作站市场报告,戴尔拿下2022年工作站市场出货量和行业占比的双料冠军,且成为全年唯一一家份额增长的供应商。 至此,Dell Precision已连续6年蝉联世界第一。 根据IDC发布的2022年第四季度全球工作站追踪…

第四十章 开发Productions - ObjectScript Productions - 定义企业消息库

文章目录 第四十章 开发Productions - ObjectScript Productions - 定义企业消息库概述定义 Message Bank服务器添加Message Bank Helper类关于Message Bank的注意事项 第四十章 开发Productions - ObjectScript Productions - 定义企业消息库 概述 Enterprise Message Bank …

初识运营,明晰运营的学习路径

关于运营的思考 问题1:运营是什么?运营到底是做什么工作的? 如题:到底什么是运营?为什么我们所接触到的很多运营都不太一样,有的运营就是每天追寻互联网热点,加班加点的写文案;有的…

考研算法32天:桶排 【桶排序】

算法介绍 桶排 举个例子,一个数组中的数是:4 1 2 3 5, 然后桶排的顺序是:将每个数应该在的下标算出来,咋算呢?这我们就得考虑两种情况:假设我们设现在这个需要找到自己在数组里位置的数是x。…

自学黑客(网络安全),一般人我劝你还是算了吧(自学网络安全学习路线--第七章 数据库安全)【建议收藏】

文章目录 一、自学网络安全学习的误区和陷阱二、学习网络安全的一些前期准备三、自学网络安全学习路线一、数据库安全概述1、数据库的安全特性 二、数据库中的数据保护2、数据库加密3、数据库完整性保护 三、数据备份与恢复1、数据库备份2、数据库恢复 四、SQL Servre数据库安全…

vue写法——使用js高阶函数实现多条件搜索功能

🙂博主:爱学习的Akali king 🙂本文核心:vue写法——使用js高阶函数实现多条件搜索功能 目录 类比一下react写法用vue写法来实现,思路步骤:第一步:准备数据第二步:根据数据结构渲染Do…

ModaHub魔搭社区:向量数据库Milvus性能调优教程(一)

目录 性能调优 插入性能调优 查询性能调优 硬件环境 系统参数 性能调优 插入性能调优 “数据插入”到“数据写入磁盘”的基本流程请参考 存储操作。 如果数据量小于单次插入上限(256 MB),批量插入比单条插入要高效得多。 系统配置中…

Boom 3D For Win如何进行安装、激活和换机?

Boom系列应用软件又迎来了一位新的“猛将”— 隆重升级的Boom 3D(Windows系统)!这款主打3D环绕音效的软件,既能使用在Windows设备上,也能使用在MAC设备上。Boom 3D既可以让你体验到高质量的3D环绕音效,也能…

我们来谈谈websocket

"你一无所有地闯荡。" 一、初始WebSocket (1) 什么是websocket WebSocket是一种在单个TCP连接上进行全双工通信的协议。 WebSocket使得客户端和服务器之间的数据交换变得更加简单,允许服务端主动向客户端推送数据。在WebSocket API中,浏览器和…

自学黑客(网络安全),一般人我劝你还是算了吧(自学网络安全学习路线--第九章 Internet安全协议)【建议收藏】

文章目录 一、自学网络安全学习的误区和陷阱二、学习网络安全的一些前期准备三、自学网络安全学习路线一、安全协议概述二、IPSec协议1、概述2、IP封装过程3、IPSec不安全性4、IPSec的功能5、IPSec体系结构6、IPSec的AH7、IPSec的AH8、IPSec的ESP9、IPSec的ESP10、ISAKMP11、IK…

分析油烟污染的危害及其控制防治对策 安科瑞 许敏

摘 要:介绍了烹饪油烟的组成及危害,着重概述了家庭烹饪油烟污染特点以及净化技术的研究进展,对各技术特点及存在的问题进行了分析,初步探讨了新近发展的静电催化耦合技术在烹饪排放污染控制中的应用,分析了现行的吸油烟…

全志V3S嵌入式驱动开发(spi-nand image制作和烧入)

【 声明:版权所有,欢迎转载,请勿用于商业用途。 联系信箱:feixiaoxing @163.com】 上一篇文章,我们说到了spi-nor image的制作和输入。相比较spi-nor,spi-nand虽然在稳定性上面差一点,但是价格上面有很大的优势。举例来说,一般32M的spi-nor大约在6-7元左右,但…

软件外包开发在线监控工具

软件系统上线后需要实时监控,这样在系统出现问题后可以及时发现问题并解决问题。今天和大家分享常见的软件系统监控工具,这些工具功能强大且成熟稳定,熟练的应用可以帮助运维人员解决很多项目中的实际问题。北京木奇移动技术有限公司&#xf…

ubuntu dlib 编译 人脸检测

编译: ubuntu14.04 dlib19.2【 C 】Face Landmark Detection_FR-0912的博客-CSDN博客 也可这样 cmake .. -DUSE_AVX_INSTRUCTIONS1 cmake --build .测试代码 linux安装dlib,关键点检测_dlib linux_Peanut_范的博客-CSDN博客 CmakeList.txt cmake_mini…

QtCreator工具下载链接

QT工具下载链接: 离线安装的安装包下载链接: Index of /archive/qthttp://download.qt.io/archive/qt/ 在线安装的安装包下载链接: Index of /archive/online_installershttps://download.qt.io/archive/online_installers/

第八十六天学习记录:Linux基础:基础指令Ⅰ

Linux系统的目录结构 Linux的目录结构是一个树型结构 Linux没有盘符的概念,只有一个根目录/,所有文件都在根目录下面 Linux系统的路径表达形式 在Linux系统中,路径之间的层级关系使用:/来表示。(windows系统中用\&a…

ecology9-导出流程上图片附件的方案

ecology9 导出流程上图片附件 方案一方案二√方案三 ecology9 把图片名称位置等信息存储在imagefile中,实际文件以zip压缩包的形式存储在服务器上。需求是提供导出历史流程上的图片附件,方便新系统导入 方案一 编写图片附件下载接口,查询到图…

Java双指针专题——1.移动0 2.复写0 3.快乐数4.盛最多水的容器5.有效三角形的个数 6.和为s的两个数字7.三数之和8.四数之和

目录 1.移动0 2.复写0 3.快乐数 4.盛最多水的容器 5.有效三角形的个数 6.和为s的两个数字 7.三数之和 8.四数之和 1.移动0 给定一个数组 nums,编写一个函数将所有 0 移动到数组的末尾,同时保持非零元素的相对顺序。 请注意 ,必须在不复制数组…

实施预测性维护的策略和实践探讨

随着工业设备复杂性和关键性的增加,传统的计划性维护方法已经无法满足现代工业的需求。预测性维护作为一种基于设备状态和数据分析的维护策略,能够准确预测设备故障,降低停机时间,提高生产效率和设备可靠性。在实施预测性维护之前…