Kafka核心技术与实战 04

news2024/11/18 4:36:09

Kafka 不再是一个单纯的消息引擎系统,而是能够实现精确一次(Exactly-once)处理语义的实时流处理平台。

Kafka版本

  • Apache Kafka,也称社区版 Kafka。优势在于迭代速度快,社区响应度高,使用它可以让你有更高的把控度;缺陷在于仅提供基础核心组件,缺失一些高级的特性。

  • Confluent Kafka,Confluent 公司提供的 Kafka。优势在于集成了很多高级特性且由 Kafka 原班人马打造,质量上有保证;缺陷在于相关文档资料不全,普及率较低,没有太多可供参考的范例。

  • CDH/HDP Kafka,大数据云公司提供的 Kafka,内嵌 Apache Kafka。优势在于操作简单,节省运维成本;缺陷在于把控度低,演进速度较慢。

Kafka监控软件

  • kafka manager

  • kafka eagle 国人开发

  • Logi-KafkaManager 滴滴开源

  • kafka tools 能够清晰的看到kafka存储结构

  • Kafka Offset Monitor 单集群

  • JMXTrans + InfluxDB + Grafana这种组合

常见问题

  • 现在国内大部分用的都是apache kafka 是这样吧?

Confluent很少,创业公司多是CDH,大厂一般使用Apache Kafka,并且自己做了定制和改造

  • Client/Broker 跨版本具体会带来什么性能影响呢?Kafka 在1.1版本后做了协议兼容,允许Client/Broker 协议不一致。如果生产上Client/Broker 协议不一致,除了新协议的功能上不兼容,性能上有什么影响呢?比如Client 是1.1而Broker 是2.3,会不会影响比如Zero copy 而导致性能下降?

功能上是兼容的,只是性能上可能会有影响,因为可能出现需要把消息格式向下转换成老版本的额外中间步骤,增加了延时,降低了TPS

  • kafka性能测试工具有哪些?

没有特别好的工具。Kafka自己提供了kafka-pro

ducer-perf-test和kafka-consumer-perf-test脚本可以做producer和consumer的性能测试。另外LinkedIn开源了一款名为kafka-monitor的端到端系统测试工具,也可以用来测试Kafka集群end-to-end的性能。有些遗憾的是这个工具几乎没什么人维护了,你可以试试吧

  • 有没有办法从部署环境中看出用的是社区版还是Confluent版本的Kafka?
    的性能。有些遗憾的是这个工具几乎没什么人维护了,你可以试试吧

  • 有没有办法从部署环境中看出用的是社区版还是Confluent版本的Kafka?

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/63279.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

美团一面:为什么线程崩溃崩溃不会导致 JVM 崩溃

网上看到一个很有意思的美团面试题:为什么线程崩溃崩溃不会导致 JVM 崩溃,这个问题我看了不少回答,但发现都没答到根上,所以决定答一答,相信大家看完肯定会有收获,本文分以下几节来探讨 线程崩溃&#xff0…

公众号美食文案怎么写?怎么写才能吸引人?

美食类公众号的文案还是比较难写的,毕竟文案没有图片那么直观,让用户看着就有食欲。 公众号美食文案怎么写?怎么写才能吸引人?怎么写才能在字里行间透露着美食的诱惑力? 作为一个有着十年丰富经验的文案人&#xff0c…

Java编程最常见的208道面试题,一文解析

相比与这些问题,我的这 208 道面试题具备以下优点: 披沙拣金提炼出每个 Java 模块中最经典的面试题;答案准确,每个题目都是我仔细校对过的;接近最真实的企业面试,题目实用有效果;难懂的题目&am…

SAP IDoc状态70 - This IDoc is saved as the original of an edited document.

SAP IDoc状态70 - This IDoc is saved as the original of an edited document. 根据SAP的标准逻辑,一个IDoc一旦被修改了,SAP系统会自动创建一个新的IDoc(状态70)来存储IDoc修改日志。 比如idoc # IDoc 208828452,由于库存不够,所…

SQL注入【SQLi-LABS Page-1(Basic Challenges Less1-Less22)】

文章目录前言sqlmapless-1(基于错误的GET单引号字符型注入)less-2(基于错误的GET整型注入)less-3(基于错误的GET单引号变形注入)less4(基于错误的GET双引号字符型注入)less5&#xf…

Docker的资源管理控制(CPU、内存、磁盘IO配额)

目录 一、CPU 资源控制 1、设置CPU使用率上限 (1)查看CPU使用率 (2)进行CPU压力测试 (3)设置CPU使用率 2、设置CPU资源占用比(设置多个容器时才有效) 3、设置容器绑定指定的CP…

word如何转化成pdf,最新图文教学,学会只需1分钟

​在日常生活中,我们经常会遇到需要将word文档转换成PDF格式的情况。那word如何转化成pdf呢?word文件转换成PDF并不难,只要你操作正确,就可以将其快速地转化成PDF。下面就给大家分享一下操作步骤吧。 一、第一步,打开需…

嵌入式开发--STM32硬件SPI驱动74HC595

本篇是硬件SPI口驱动74HC595。 IO口模拟时序软件驱动74HC595见这一篇文章:嵌入式开发–IO口扩展–74HC595 硬件连接如下: 只用了一个74HC595,如果需要多个74HC595级联,参考前面的链接,里面有电路,不需要额…

KubeEdge云原生边缘计算公开课02——云原生边缘计算千行百业核心应用

KubeEdge云原生边缘计算公开课02——云原生边缘计算千行百业核心应用张琦:云原生边缘计算产业发展现状与趋势展望——KubeEdge云原生边缘计算产业发展概述一、云原生边缘计算的产业场景1.云计算与边缘计算的对比2.传统的把边缘计算逐步向CloudNative技术演进3.传统本…

cookie加密解密和保证数据完整性(不被篡改)

cookie加密解密和保证数据完整性 AES-128-CBC加密算法 AES-128-CBC是一种分组对称加密算法,即用同一组key进行明文和密文的转换,以128bit为一组,128bit16Byte,意思就是明文的16字节为一组对应加密后的16字节的密文。 若最后剩余…

计算机SCI论文的摘要怎么写? - 易智编译EaseEditing

摘要第一部分的 1-3 句话必须让读者知道你为什么进行这项研究。 引导性句子既陈述了主要议题,也说明了问题。这样,读者的注意力被立刻抓住了。 下一个句子可以接着讲述这个领域缺乏什么样的信息,或者以前的研究者曾做了哪些努力来解决这个问…

你居然还去服务器上捞日志,搭个日志收集系统难道不香吗?

摘要 ELK日志收集系统进阶使用,本文主要讲解如何打造一个线上环境真实可用的日志收集系统。有了它,你就可以和去服务器上捞日志说再见了! ELK环境安装 ELK是指Elasticsearch、Kibana、Logstash这三种服务搭建的日志收集系统,具体…

序列化工具Protobuf在Idea中的配置和在java中的使用实例

一、什么是 protobuf ? 1、protobuf 来源? Protocal Buffers(简称protobuf)是谷歌的一项技术,用于结构化的数据序列化、反序列化。 由于protobuf是跨语言的,所以用不同的语言序列化对象后,生成一段字节码,…

5G无线技术基础自学系列 | 5G上下行解耦技术

素材来源:《5G无线网络规划与优化》 一边学习一边整理内容,并与大家分享,侵权即删,谢谢支持! 附上汇总贴:5G无线技术基础自学系列 | 汇总_COCOgsta的博客-CSDN博客 C-Band TDD系统拥有大带宽,…

Spring Boot 3.0 正式发布

导读Spring Boot 3.0 现已正式发布,此版本包含了 12 个月以来 151 个人的 5700 多次 commit 的工作结晶。这是自 4.5 年前发布 2.0 以来,Spring Boot 的第一次重大修订。它也是第一个支持 Spring Framework 6.0 和 GraalVM 的 Spring Boot GA 版本。 由于…

Windows10安装DM8-达梦数据库

目录1. 下载安装包1.1 点击官网下载DM8安装包1.2 安装包解压2. 安装数据库2.1 打开解压后的文件夹,双击打开该iso文件2.2 点击setup.exe进行安装2.3 选择语言2.4 执行安装向导2.5 数据库初始化3. SQL交互查询工具验证数据库安装4. 参考文档及简单的试炼5.DM管理工具…

System.UnauthorizedAccessException: 对路径“xxx”的访问被拒绝的解决办法

环境:.net、spring.core、C#、MVC、IIS 8、Windows server standard 2016 操作:读取本地文件夹 现象:爆出如标题异常,因为是在后台调用接口处理本地文件(夹),前端相关接口显示500 Internal Server Error。 简单理解…

将“万词王”离线转化为“文络之心“插件之一:复现 wantwords Python/Pytorch 开源项目

在电影里,无限之书,每一页都是不一样的内容。简单的随机算法其实有点无聊,但借助深度学习技术,化王为心,实现心灵大道的转换,可以让AI生成相互之间有所关联的无限词典之书! 访问 wantwords开源…

python @ 装饰器(修饰器,语法糖)使用与不使用对比总结记录

由于看python代码里面函数上的 不爽很久了,为了避免自己又忘记了这里来记录下。 简单总结: 的作用就是在使用 下面的函数(如下图的cs2)的时候,会在该函数执行前将该函数作为参数扔到后跟着的处理函数先行处理&#x…

再见 Spring Boot 1.X ,Spring Boot 2.X 走向舞台中心

2019年8月6日,Spring 官方在其博客宣布,Spring Boot 1.x 停止维护,Spring Boot 1.x 生命周期正式结束。 其实早在2018年7月30号,Spring 官方就已经在博客进行过预告,Spring Boot 1.X 将维护到2019年8月1日。 1.5.x 将会是 Spring Boot 1.0 系列的最后一个大版本。 如今…