kafka硬件选择以及如何在生产中优化各个组件的参数

news2024/11/24 12:45:10

硬件选择:

1.求出一天kafka会产出大概多少的消息,然后平均到每一秒,要多少的消息,然后一条消息大概就是0.5-2k的大小,求出,每秒占用多少内存

2.求购买服务器数量=(上边求出的效率 * 副本数/100)+1

如果除不尽,则向上取整

3.磁盘选择,因为机械硬盘和固态硬盘的顺序读取速度一致,所有机械硬盘即可,kafka是按顺序追加log文件

所有服务器加起来的总内存=(一天的大概条数 * 每条占用的内存 *3 )/0.7

4.内存选择

堆内存(kafka的内部缓存)+页缓存(系统内存,前边kafka存储结构中讲过)

  • 堆内存,在 kafka-server-start.sh中配置
    if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
     export KAFKA_HEAP_OPTS="-server -Xms2G -Xmx2G -XX:PermSize=128m -XX:+UseG1GC -XX:MaxGCPauseMillis=200 -XX:ParallelGCThreads=8 -XX:ConcGCThreads=5 -XX:InitiatingHeapOccupancyPercent=70"
     export JMX_PORT="9999"  #监控kafka运行情况的端口号
     #export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
    fi
    

     一般生产环境10-15g即可,可以通过查看实际的堆内存使用情况,通过如下命令

 jmap -heap 进程号

 

 上边是我们在配置文件中配置的2g总内存,下边是占用情况,如果到70%以上,就要考虑加一点堆内存了

  •    页缓存 选择

(分区数 * 1g *25% )/3=每台的页缓存内存需求

总的来说,两个加起来就是我们的内存最佳值

5.cpu

生产者优化:

broker优化:

 增加主题分区

消费者优化:

(1)调整参数

 (2)多增加消费者数量,但也要根据实际分区数来定,多了就会闲置

 

 

 

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/668456.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

2022 开源社年度报告:打开新世界

2022 年被认为是充满挑战的一年,对于开源社而言也不例外。开源社同样面临着外部环境的不断变化,然而,正是开源的力量和开放协作的模式,让我们能够在这个极端情况下做出卓越的回应。 大家对于开源社的组织架构充满好奇,…

下载插件-4K Video Downloader

这款插件小编自己还是蛮喜欢的,有兴趣的小伙伴可以体验学习下。 一、简单介绍 提供视频下载服务,让您以高质量的方式获取所需内容。无论是视频、播放列表、频道还是字幕,您都可以轻松下载并保存为多种格式,如MP4、MKV、M4A、MP3、…

C++基础(8)——类和对象(多态)

前言 本文主要介绍了C中多态的基本知识 4.7.1:多态的基本概念和原理剖析 1:基本概念 静态多态:函数重载、运算符重载 动态多态:派生类和虚函数实现运行时多态 静态多态在编译阶段确定函数地址;动态多态在运行阶段…

RN 学习小记之使用 Expo 创建项目

本文Hexo博客链接🔗 https://ysx.cosine.ren/react-native-note-1 xLog链接🔗 https://x.cosine.ren/react-native-note-1 RSS订阅 📢 https://x.cosine.ren/feed/xml 由于业务需要,开始学习RN以备后面的需求,而虽然之…

《后端存储实战课》课程学习笔记(二)

创建和更新订单时,如何保证数据准确无误? 订单系统是整个电商系统中最重要的一个子系统,订单数据也就是电商企业最重要的数据资产。一个合格的订单系统,最基本的要求是什么?数据不能错。 首先,你的代码必须…

2023年度编程排行重磅发布,JS连续11年霸占榜一

编程语言千千万,你最喜欢用哪一个? 最近,在调研了全球超过9万名开发者之后,程序员社区 Stack overflow 重磅发布了《2023 Developer Survey》,从这份报告中,我们可以了解到当前最热门的工具、最主流的技术…

每日学术速递6.5

CV - 计算机视觉 | ML - 机器学习 | RL - 强化学习 | NLP 自然语言处理 Subjects: cs.CV 1.Humans in 4D: Reconstructing and Tracking Humans with Transformers 标题:4D 中的人类:用变形金刚重建和跟踪人类 作者:Shubham Goel, Geor…

深入理解Linux虚拟内存管理(九)

系列文章目录 Linux 内核设计与实现 深入理解 Linux 内核 Linux 设备驱动程序 Linux设备驱动开发详解 深入理解Linux虚拟内存管理(一) 深入理解Linux虚拟内存管理(二) 深入理解Linux虚拟内存管理(三) 深入理…

STL容器——map的用法

0、概述 map翻译为映射,map可以将任何基本类型(包括STL容器)映射到任何基本类型(包括STL容器)。下面是map、multimap和unordered_map之间的差别。 注意这三种映射的底层实现,他决定了算法的时间复杂度。特…

Java+Demo对接中国移动 云MAS短信发送(http协议详解,新测成功!)

一.登录官网,下载http接入文档(随着官网不断更新,可参考官网的文档) 官网地址为:云mas业务平台 进入云MAS管理平台,找到 管理-接口管理 的列表页。 (必读:本文对接方式是 java引用jar包&#…

【MYSQL篇】一文弄懂mysql中redo log、binlog

前言 今天想跟大家聊聊关于 mysql 中的两个小的知识点:redo log 和 binlog 。 redo log :InnoDB 存储引擎层方面的日志,所以如果你使用的存储引擎不是 InnoDB 的话,那就根本谈不上 redo log。 binlog : MySQL Serve…

SpringBoot整合模板引擎Thymeleaf(2)

版权声明 本文原创作者:谷哥的小弟作者博客地址:http://blog.csdn.net/lfdfhl 概述 Thymeleaf十分类似于JSP中使用的EL表达式。整体而言,Thymeleaf简洁、优雅、高效;非常适合小型项目的快速开发。 Thymeleaf常用标签简述 在此…

多商户商城开发功能清单

电商时代下,传统企业商家急需拓展业务规模,向线上拓展,而多商户小程序造价低,效应高,自然就成为了很多企业商家拓展线上营销渠道的首要选择,那么多商户小程序商城涵盖哪些功能呢?下面小编就来详细为大家解答&#xff…

每日学术速递6.8

CV - 计算机视觉 | ML - 机器学习 | RL - 强化学习 | NLP 自然语言处理 Subjects: cs.CV 1.BundleSDF: Neural 6-DoF Tracking and 3D Reconstruction of Unknown Objects(CVPR 2023) 标题:BundleSDF:未知对象的神经 6-DoF 跟踪和 3D 重建 作者&am…

5年功能测试,“我“一进阶自动化测试拿到了24k的offer...

目录:导读 前言一、Python编程入门到精通二、接口自动化项目实战三、Web自动化项目实战四、App自动化项目实战五、一线大厂简历六、测试开发DevOps体系七、常用自动化测试工具八、JMeter性能测试九、总结(尾部小惊喜) 前言 什么?…

Linux下工作常用命令

Linux系统下常用的查找文件命令,可以方便地根据文件名、文件类型、文件大小等条件来查找指定文件。以下是一些常用的find示例: 1. 根据文件名查找文件 find / nsme “*.log”目录下查找所有以.log结尾的文件 [rootlocalhost ~]# find / -name "…

vite vs babel+webpack | 创建一个简单的vite项目打包运行

有babel、webpack这些优秀的框架,为什么使用vite? 因为vite编译快,启动快,使用简单,还自带一个热更新重启的服务器,vite能够自动的帮我打包所用到的依赖,有些依赖只有用到才会导入,不用到不会…

卷起来了,阿里最新出品“微服务全阶笔记”,涵盖微服务全部操作

近两年,“大厂裁员”总是凭实力冲上各大媒体头条,身在局中的我们早已习以为常。国内的京东,阿里,腾讯,字节,快手,小米等互联网公司都以不同程度的裁员比例向社会输送人才。大量有大厂经验的卷王…

C++基础(7)——类和对象(继承)

前言 本文主要介绍C中的继承 4.6.1:继承和继承方式(公有、保护、私有) 4.6.2:继承中的对象模型,sizeof()求子类对象大小 4.6.3:子类继承父类后,两者构造和析构顺序 父类先构造、子类先析构 如…

在vue3中使用pinia完整流程图文

1.准备 使用vite创建好一个vue3项目,开发语言选择ts使用 npm i pinia -s 安装最新版本的pinia 这里我的版本安装的是 2.1.4 2.注册pinia 1.在main中注册pinia import { createApp, createApp } from "vue"; import "./style.css"; import App…