压测实操--produce压测方案

news2024/11/15 12:56:46

作者：九月

环境信息：

操作系统centos7.9，kafka版本为hdp集群中的2.0版本。

Producer相关参数

使用Kafka自带的kafka-producer-perf-test.sh脚本进行压测，该脚本参数为：

请添加图片描述

在producer涉及到性能的关键因素可能会存在如下几个：

thread:测试时的单机线程数；

bath-size:处理的数据批次大小；

ack:主从同步策略，在生产消息时特别需要注意，是follower收到后返回还是只是leader收到后返回，这对于吞吐量影响颇大；

message-size:单条消息的大小，要在producer和broker中设置一个阈值，且它的大小范围对吞吐量也有影响；

compression-codec:压缩方式，目前有不压缩，gzip，snappy，lz4四种方式;

partition:分区数，主要是和线程复合来测试；

replication:副本数；

througout:所需要的吞吐量，单位时间内处理消息的数量，可能对处理消息的延迟有影响；

linger.ms：两次发送时间间隔，满足后刷一次数据。

produce测试

目前kafka堆内存为1G下进行

请添加图片描述

创建topic名称为test_kafka_perf1，partition=3、replication=3。

bath-size

bath-size=1000

./kafka-producer-perf-test.sh  --topic test_kafka_perf1     --num-records 100000000 --record-size 687 --producer-props bootstrap.servers=172.16.120.30:6667,172.16.120.36:6667,172.16.120.37:6667   batch.size=	1000   --throughput 30000

请添加图片描述

请添加图片描述

请添加图片描述

请添加图片描述

请添加图片描述

kafka指标

kafka仪表盘限制topic条件，获取仪表盘指标。

fetch请求延迟正增长,延迟在执行命令过程中逐渐增高。

请添加图片描述

produce请求延迟正增长，延迟在执行命令过程中逐渐增高

请添加图片描述

请添加图片描述

请添加图片描述

bath-size=2000

./kafka-producer-perf-test.sh  --topic test_kafka_perf1     --num-records 100000000 --record-size 687 --producer-props bootstrap.servers=172.16.120.30:6667,172.16.120.36:6667,172.16.120.37:6667   batch.size=2000   --throughput 30000

具体指标仪表盘与上述条件一致。

bath-size=10000

./kafka-producer-perf-test.sh  --topic test_kafka_perf1     --num-records 100000000 --record-size 687 --producer-props bootstrap.servers=172.16.120.30:6667,172.16.120.36:6667,172.16.120.37:6667   batch.size=10000   --throughput 30000

bath-size=20000

./kafka-producer-perf-test.sh  --topic test_kafka_perf1     --num-records 100000000 --record-size 687 --producer-props bootstrap.servers=172.16.120.30:6667,172.16.120.36:6667,172.16.120.37:6667   batch.size=20000   --throughput 30000

ack

ack=0

./kafka-producer-perf-test.sh  --topic test_kafka_perf1 --num-records  100000000 --record-size 687  --producer-props   bootstrap.servers=172.16.120.30:6667,172.16.120.36:6667,172.16.120.37:6667  batch.size=5000 acks=0   --throughput 30000

ack=1

./kafka-producer-perf-test.sh  --topic test_kafka_perf1 --num-records  100000000 --record-size 687  --producer-props   bootstrap.servers=172.16.120.30:6667,172.16.120.36:6667,172.16.120.37:6667  batch.size=5000 acks=1   --throughput 30000

ack=-1

./kafka-producer-perf-test.sh  --topic test_kafka_perf1 --num-records  100000000 --record-size 687  --producer-props   bootstrap.servers=172.16.120.30:6667,172.16.120.36:6667,172.16.120.37:6667  batch.size=5000 acks=-1   --throughput 30000

message-size

record-size =687

./kafka-producer-perf-test.sh  --topic test_kafka_perf1 --num-records 100000000 --record-size 687  --producer-props   bootstrap.servers=172.16.120.30:6667,172.16.120.36:6667,172.16.120.37:6667  batch.size=5000 acks=-1  --throughput 30000

record-size =454

./kafka-producer-perf-test.sh  --topic test_kafka_perf1 --num-records 100000000 --record-size 454  --producer-props   bootstrap.servers=172.16.120.30:6667,172.16.120.36:6667,172.16.120.37:6667  batch.size=5000 acks=-1  --throughput 30000

compression-codec

compression.type=none

batch.size=5000，并发量在30000

./kafka-producer-perf-test.sh  --topic test_kafka_perf1 --num-records  100000000 --record-size 687  --producer-props   bootstrap.servers=172.16.120.30:6667,172.16.120.36:6667,172.16.120.37:6667  batch.size=5000 acks=1 compression.type=none  --throughput 30000

batch.size=10000，并发量在50000

./kafka-producer-perf-test.sh  --topic test_kafka_perf1 --num-records  100000000 --record-size 687  --producer-props   bootstrap.servers=172.16.120.30:6667,172.16.120.36:6667,172.16.120.37:6667  batch.size=10000 acks=1 compression.type=none  --throughput 50000

compression.type=gzip

batch.size=5000，并发量在30000

./kafka-producer-perf-test.sh  --topic test_kafka_perf1 --num-records  100000000 --record-size 687  --producer-props   bootstrap.servers=172.16.120.30:6667,172.16.120.36:6667,172.16.120.37:6667  batch.size=5000 acks=1 compression.type=gzip  --throughput 30000

compression.type=snappy

batch.size=5000，并发量=30000

./kafka-producer-perf-test.sh  --topic test_kafka_perf1 --num-records  100000000 --record-size 687  --producer-props   bootstrap.servers=172.16.120.30:6667,172.16.120.36:6667,172.16.120.37:6667  batch.size=5000 acks=1 compression.type=lz4  --throughput 30000

compression.type=lz4

batch.size=5000，并发量=30000

./kafka-producer-perf-test.sh  --topic test_kafka_perf1 --num-records  100000000 --record-size 687  --producer-props   bootstrap.servers=172.16.120.30:6667,172.16.120.36:6667,172.16.120.37:6667  batch.size=5000 acks=1 compression.type=lz4  --throughput 30000

partition

partition=1

./kafka-topics.sh --create  --zookeeper mutong01:2181,mutong02:2181,mutong03:2181  --topic test_kafka_perf1  --partitions 1 --replication-factor 1

./kafka-producer-perf-test.sh  --topic test_kafka_perf1 --num-records  100000000 --record-size 687  --producer-props   bootstrap.servers=172.16.120.30:6667,172.16.120.36:6667,172.16.120.37:6667  batch.size=5000 acks=1 compression.type=lz4  --throughput 30000

partition=2

./kafka-topics.sh --create  --zookeeper mutong01:2181,mutong02:2181,mutong03:2181  --topic test_kafka_perf1  --partitions 2 --replication-factor 1

./kafka-producer-perf-test.sh  --topic test_kafka_perf2 --num-records  100000000 --record-size 687  --producer-props   bootstrap.servers=172.16.120.30:6667,172.16.120.36:6667,172.16.120.37:6667  batch.size=5000 acks=1 compression.type=lz4  --throughput 30000

partition=3

./kafka-topics.sh --create  --zookeeper mutong01:2181,mutong02:2181,mutong03:2181  --topic test_kafka_perf1  --partitions 3 --replication-factor 1

./kafka-producer-perf-test.sh  --topic test_kafka_perf3 --num-records  100000000 --record-size 687  --producer-props   bootstrap.servers=172.16.120.30:6667,172.16.120.36:6667,172.16.120.37:6667  batch.size=5000 acks=1 compression.type=lz4  --throughput 30000

replication

replication=1

./kafka-topics.sh --create  --zookeeper mutong01:2181,mutong02:2181,mutong03:2181  --topic test_kafka_perf1  --partitions 1 --replication-factor 1

./kafka-producer-perf-test.sh  --topic test_kafka_perf1 --num-records  100000000 --record-size 687  --producer-props   bootstrap.servers=172.16.120.30:6667,172.16.120.36:6667,172.16.120.37:6667  batch.size=5000 acks=1 compression.type=lz4  --throughput 30000

replication=2

./kafka-topics.sh --create  --zookeeper mutong01:2181,mutong02:2181,mutong03:2181  --topic test_kafka_perf4  --partitions 1 --replication-factor 2

./kafka-producer-perf-test.sh  --topic test_kafka_perf4 --num-records  100000000 --record-size 687  --producer-props   bootstrap.servers=172.16.120.30:6667,172.16.120.36:6667,172.16.120.37:6667  batch.size=5000 acks=1 compression.type=lz4  --throughput 30000

replication=3

./kafka-topics.sh --create  --zookeeper mutong01:2181,mutong02:2181,mutong03:2181  --topic test_kafka_perf5  --partitions 1 --replication-factor 3

./kafka-producer-perf-test.sh  --topic test_kafka_perf5 --num-records  100000000 --record-size 687  --producer-props   bootstrap.servers=172.16.120.30:6667,172.16.120.36:6667,172.16.120.37:6667  batch.size=5000 acks=1 compression.type=lz4  --throughput 30000

throughput

./kafka-topics.sh --create  --zookeeper mutong01:2181,mutong02:2181,mutong03:2181  --topic test_kafka_perf1  --partitions 1 --replication-factor

throughput=10000

./kafka-producer-perf-test.sh  --topic test_kafka_perf1 --num-records  100000000 --record-size 687  --producer-props   bootstrap.servers=172.16.120.30:6667,172.16.120.36:6667,172.16.120.37:6667  batch.size=5000 acks=1  --throughput 10000

throughput=30000

./kafka-producer-perf-test.sh  --topic test_kafka_perf1 --num-records  100000000 --record-size 687  --producer-props   bootstrap.servers=172.16.120.30:6667,172.16.120.36:6667,172.16.120.37:6667  batch.size=5000 acks=1  --throughput 30000

throughput=50000

./kafka-producer-perf-test.sh  --topic test_kafka_perf1 --num-records  100000000 --record-size 687  --producer-props   bootstrap.servers=172.16.120.30:6667,172.16.120.36:6667,172.16.120.37:6667  batch.size=5000 acks=1  --throughput 50000

throughput=80000

./kafka-producer-perf-test.sh  --topic test_kafka_perf1 --num-records  100000000 --record-size 687  --producer-props   bootstrap.servers=172.16.120.30:6667,172.16.120.36:6667,172.16.120.37:6667  batch.size=5000 acks=1  --throughput 80000

throughput=100000

./kafka-producer-perf-test.sh  --topic test_kafka_perf1 --num-records  100000000 --record-size 687  --producer-props   bootstrap.servers=172.16.120.30:6667,172.16.120.36:6667,172.16.120.37:6667  batch.size=5000 acks=1  --throughput 100000

结论

使用kafka自带的kafka-producer-perf-test.sh脚本对集群生产消息情况进行压测，根据业务情况设置要测试的num-records条数。不同的变量因素，通过修改其中一个变量条件，固定其余变量值，获取对应的吞吐速率。比如修改batch-size条件，其他变量保持不变，根据结果就可以获取每秒的生产消息大小和每秒的消费消息条数等指标，整理不同条件下的指标结果，形成曲线就可以观察具体的消费趋势。

比如batch-size条件下：

batch-sizeackmessage-sizecompression-codecpartitionreplicationthroughputmb/smsgnum/s
10000687none333000013.117550
20000687none333000021.630540
50000687none333000021.230044
100000687none333000021.129987
200000687none33300002130005

请添加图片描述

更多技术信息请查看云掣官网https://yunche.pro/?t=yrgw

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1946973.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

Golang实现免费天气预报获取（OpenWeatherMap）

Golang实现免费天气预报获取（OpenWeatherMap）

最近接到公司的一个小需求，需要天气数据，所以就做了一个小接口，供前端调用 这些数据包括六个元素，如降水、风、大气压力、云量和温度。有了这些，你可以分析趋势，知道明天的数据来预测天气。 1.1 工具简介 …
阅读更多...
通过4G模块EC600N向阿里云物联网平台物模型上面发送字符串，现在发送int数据是成功的，发送字符串就是不成功

通过4G模块EC600N向阿里云物联网平台物模型上面发送字符串，现在发送int数据是成功的，发送字符串就是不成功

🏆本文收录于《CSDN问答解惑-专业版》专栏，主要记录项目实战过程中的Bug之前因后果及提供真实有效的解决方案，希望能够助你一臂之力，帮你早日登顶实现财富自由🚀；同时，欢迎大家关注&&收…
阅读更多...
35个NumPy数据科学核心方法，从入门到精通

35个NumPy数据科学核心方法，从入门到精通

大家好，NumPy是Python数据科学生态中的核心编程库。对于Python开发者，精通NumPy是探索数据奥秘的关键。本文将介绍35个NumPy核心方法，帮助大家快速掌握这一强大工具。 使用NumPy库之前，首先需要进行导入，在Python中&a…
阅读更多...
如何在vscode中对在服务器上多卡运行的bash脚本进行debug?

如何在vscode中对在服务器上多卡运行的bash脚本进行debug?

问题描述 使用vscode可以很方便地添加断点，进行代码调试。 在使用服务器时，我们的python代码通常是通过bash脚本来执行的，那么如何进行debug呢？ 待运行的bash 脚本示例 前半段定义了一些参数，后半段是执行python代码…
阅读更多...
一步一步测试DNS隧道

一步一步测试DNS隧道

目录 0、前言 1、DNS解析 1.1 DNS简介 1.2 DNS查询类型 1.3 DNS解析过程 2、DNS隧道准备工作 2.1 DNS隧道介绍 2.1.1 什么是DNS隧道？ 2.1.2 DNS隧道的原理 2.2 客户端、服务端准备 2.3 域名准备 2.4 连接隧道 2.5 遇坑 3、隧道确认和利用…
阅读更多...
编码行缩进

编码行缩进

GitHub 曾经对 400,000 个 GitHub 存储库、10 亿个文件、14 TB 的代码的统计，发现大部分语言还是使用空格的多，除了 Go 语言： 空格的优缺点 优点： 一致性：空格可以确保代码在不同的编辑器和查看工具中看起来是一致的…
阅读更多...
Python自动化测试之Selenium各浏览器驱动下载网址

Python自动化测试之Selenium各浏览器驱动下载网址

在自动化测试领域，Selenium无疑是一个不可或缺的工具。它允许开发者编写脚本来模拟用户在浏览器中的操作，从而进行自动化测试。然而，为了使用Selenium控制不同的浏览器，我们需要安装相应的浏览器驱动（WebDriver&#x…
阅读更多...
Istio_01_Istio初识

Istio_01_Istio初识

文章目录 IstioService Mesh Istio Istio: 以服务网格形态用于服务治理的开放平台和基础设施 本质: 以非侵入式治理服务之间的访问和调用服务治理: 流量管理、可观测性、安全性可同时管理多类基础设施(多种网络方案) 如: Istio和Kubernetes架构的结合 Istio通过Kubernetes的域…
阅读更多...
SpringBoot 2.x 配置ssl - 自签证书/信用库

SpringBoot 2.x 配置ssl - 自签证书/信用库

文章目录 前言SpringBoot 2.x 配置ssl - 自签证书/信用库1. yml 配置2. 当服务器为客户端发送https请求时改造 前言 如果您觉得有用的话，记得给博主点个赞，评论，收藏一键三连啊，写作不易啊^ _ ^。   而且听说点赞的人每天的运气…
阅读更多...
通过 WSL 2 在Windows 上挂载 Linux 磁盘

通过 WSL 2 在Windows 上挂载 Linux 磁盘

原文查看 曾为了传输或者共享不同系统的文件频繁地在 Windows 和 Linux 系统之间切换，效率过低，所以尝试通过 WSL 2 在Windows 上挂载 Linux 磁盘。 先决条件 需要在Windows 10 2004 及更高版本（Build 19041 及更高版本）或 Win…
阅读更多...
Docker简单快速入门

Docker简单快速入门

1. 安装Docker 基于 Ubuntu 24.04 LTS 安装Docker 。 # 更新包索引并安装依赖包 sudo apt-get update sudo apt-get install -y apt-transport-https ca-certificates curl software-properties-common# 添加Docker的官方GPG密钥并存储在正确的位置 curl -fsSL https://mirror…
阅读更多...
记一次Mycat分库分表实践

记一次Mycat分库分表实践

一、分库分表 在系统的研发过程中，随着数据量的不断增长，单库单表已无法满足数据的存储需求，此时就需要对数据库进行分库分表操作。 分库分表是随着业务的不断发展，单库单表无法承载整体的数据存储时，采取的一种将整体数据分散存储到不同服务器上的不同数据库中的不同数…
阅读更多...
【C++BFS算法】2192. 有向无环图中一个节点的所有祖先

【C++BFS算法】2192. 有向无环图中一个节点的所有祖先

本文涉及知识点 CBFS算法 LeetCode2192. 有向无环图中一个节点的所有祖先 给你一个正整数 n ，它表示一个 有向无环图 中节点的数目，节点编号为 0 到 n - 1 （包括两者）。 给你一个二维整数数组 edges ，其中 edges[i]…
阅读更多...
vue3前端开发-小兔鲜项目-产品详情基础数据渲染

vue3前端开发-小兔鲜项目-产品详情基础数据渲染

vue3前端开发-小兔鲜项目-产品详情基础数据渲染！这一次内容比较多，我们分开写。第一步先完成详情页面的基础数据的渲染。然后再去做一下右侧的热门产品的列表内容。 第一步，还是老规矩，先准备好接口函数。方便我们的页面组件拿到对…
阅读更多...
Vue Router基础

Vue Router基础

Router 的作用是在单页应用（SPA）中将浏览器的URL和用户看到的内容绑定起来。当用户在浏览不同页面时，URL会随之更新，但页面不需要从服务器重新加载。 1 Router 基础 RouterView RouterView 用于渲染当前URL路径对应的路由组件。…
阅读更多...
【Linux】-----工具篇（yum介绍）

【Linux】-----工具篇（yum介绍）

目录 Ⅰ、是什么？ Ⅱ、Linux下安装软件的三种方式 ①源代码安装 ②rpm包安装 ③yum安装 Ⅲ、yum相关操作 1.查看软件包 2.安装软件 3.卸载软件 Ⅳ、yum本地配置 Ⅰ、是什么？ yum是包管理器，也就像一个软件下载安装管理的客户端&…
阅读更多...
vsftpd搭建FTP服务器 - 虚拟用户

vsftpd搭建FTP服务器 - 虚拟用户

命令记录 $ sudo apt install vsftpd db-util $ sudo nano /etc/vsftpd.conf $ sudo nano /etc/vsftpd/vsftpd-virtual-users.txt $ sudo db_load -T -t hash -f /etc/vsftpd/vsftpd-virtual-users.txt /etc/vsftpd/vsftpd-virtual-users.db ls /etc/vsftpd/vsftpd-virtual-us…
阅读更多...
【PHP】系统的登录和注册

【PHP】系统的登录和注册

一、为什么要学习系统的登录和注册 系统的登录和注册可能存在多种漏洞，这些漏洞可能被恶意攻击者利用，从而对用户的安全和隐私构成威胁。通过学习系统的登录和注册理解整个登录和注册的逻辑方便后续更好站在开发的角度思考问题发现漏洞。以下是一些常见…
阅读更多...
基于STM32瑞士军刀--【FreeRTOS开发】学习笔记（一）|| RISC / 底层代码执行步骤 / 汇编指令

基于STM32瑞士军刀--【FreeRTOS开发】学习笔记（一）|| RISC / 底层代码执行步骤 / 汇编指令

本篇文章基于韦东山老师讲课笔记和自己理解编写。 RISC ARM芯片属于精简指令集计算机(RISC：Reduced Instruction Set Computing)，它所用的指令比较简单，有如下特点： ① 对内存只有读、写指令 ② 对于数据的运算是在CPU内部实现 …
阅读更多...
Cyberchef基础概念之-分叉合并-fork/merge

Cyberchef基础概念之-分叉合并-fork/merge

本文将介绍如何利用cyberchef中的fork和merge操作，通过对数据进行分叉和合并对数据进行分类处理。为读者提供数据处理多种思路，使得读者能够在日常的工作中灵活的应对数据中的不同部分，还原被编码数据的原貌。 fork和merge操作是Cyberchef非…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023