kafka集群跨双网段及多网段通信问题解决(避免踩坑)

news2024/11/20 23:14:49

一、问题场景:在这里插入图片描述
实际生产环境总存在很多kafka集群跨网段的问题。kafka集群可能存在多个网卡,对应多个网段。不同网段之间需要同时与集群通信,即跨网段生产消费问题。
单机

# broker 的唯一标识符,在 Kafka 集群中必须唯一
broker.id=0

# Kafka 服务监听的地址和端口,这里使用明文协议监听在 10.168.200.2509092 端口
listeners=PLAINTEXT://10.168.200.250:9092

# 用于处理网络请求的线程数
num.network.threads=5

# 用于执行磁盘 I/O 操作的线程数
num.io.threads=8

# 套接字发送缓冲区大小,单位为字节
socket.send.buffer.bytes=102400

# 套接字接收缓冲区大小,单位为字节
socket.receive.buffer.bytes=102400

# 单个请求的最大字节数
socket.request.max.bytes=104857600

# Kafka 日志文件的存储目录
log.dirs=/home/logs/kafka

# 每个主题的默认分区数量
num.partitions=1

# 每个数据目录用于恢复的线程数
num.recovery.threads.per.data.dir=1

# 偏移量主题的副本因子,决定了数据的冗余度
offsets.topic.replication.factor=1

# 事务状态日志的副本因子
transaction.state.log.replication.factor=1

# 事务状态日志的最小同步副本数量
transaction.state.log.min.isr=1

# 日志保留的小时数,超过这个时间的日志将被清理
log.retention.hours=24

# 日志清理策略,这里设置为删除旧日志
log.cleanup.policy=delete

# 日志段的大小,单位为字节,当一个日志段达到这个大小后会创建新的日志段
log.segment.bytes=1073741824

# 检查日志保留策略的时间间隔,单位为毫秒
log.retention.check.interval.ms=300000

# 连接 Zookeeper 的地址,这里是连接本地的 2181 端口
zookeeper.connect=localhost:2181

# 连接 Zookeeper 的超时时间,单位为毫秒
zookeeper.connection.timeout.ms=18000

# 消费者组初始平衡的延迟时间,单位为毫秒,设置为 0 表示不延迟
group.initial.rebalance.delay.ms=0

多网段第一版 不行 你们可以试试

# broker 的唯一标识符,在 Kafka 集群中必须唯一
broker.id=0

# Kafka 服务监听的地址和端口,这里使用明文协议监听在 10.168.200.2509092 端口
listeners=PLAINTEXT://10.168.200.250:9092,PLAINTEXT://10.168.201.250:9092

# Listener name, hostname and port the broker will advertise to clients.
# If not set, it uses the value for "listeners".
#remote visit
advertised.listeners=PLAINTEXT://10.168.200.250:9092,PLAINTEXT://10.168.201.250:9092

# 用于处理网络请求的线程数
num.network.threads=5

# 用于执行磁盘 I/O 操作的线程数
num.io.threads=8

# 套接字发送缓冲区大小,单位为字节
socket.send.buffer.bytes=102400

# 套接字接收缓冲区大小,单位为字节
socket.receive.buffer.bytes=102400

# 单个请求的最大字节数
socket.request.max.bytes=104857600

# Kafka 日志文件的存储目录
log.dirs=/home/logs/kafka

# 每个主题的默认分区数量
num.partitions=1

# 每个数据目录用于恢复的线程数
num.recovery.threads.per.data.dir=1

# 偏移量主题的副本因子,决定了数据的冗余度
offsets.topic.replication.factor=1

# 事务状态日志的副本因子
transaction.state.log.replication.factor=1

# 事务状态日志的最小同步副本数量
transaction.state.log.min.isr=1

# 日志保留的小时数,超过这个时间的日志将被清理
log.retention.hours=24

# 日志清理策略,这里设置为删除旧日志
log.cleanup.policy=delete

# 日志段的大小,单位为字节,当一个日志段达到这个大小后会创建新的日志段
log.segment.bytes=1073741824

# 检查日志保留策略的时间间隔,单位为毫秒
log.retention.check.interval.ms=300000

# 连接 Zookeeper 的地址,这里是连接本地的 2181 端口
zookeeper.connect=localhost:2181

# 连接 Zookeeper 的超时时间,单位为毫秒
zookeeper.connection.timeout.ms=18000

# 消费者组初始平衡的延迟时间,单位为毫秒,设置为 0 表示不延迟
group.initial.rebalance.delay.ms=0

多网段第二版 失败 你们可以试试

broker 的唯一标识符,在 Kafka 集群中必须唯一

broker.id=0

# Kafka 服务监听的地址和端口,这里使用明文协议监听在 10.168.200.2509092 端口
listeners=PLAINTEXT://0.0.0.0:9092

# 配置 Kafka 广播给客户端的地址和端口
advertised.listeners=PLAINTEXT://10.168.200.250:9092,PLAINTEXT://10.168.201.250:9092

# 用于处理网络请求的线程数
num.network.threads=5

# 用于执行磁盘 I/O 操作的线程数
num.io.threads=8

# 套接字发送缓冲区大小,单位为字节
socket.send.buffer.bytes=102400

# 套接字接收缓冲区大小,单位为字节
socket.receive.buffer.bytes=102400

# 单个请求的最大字节数
socket.request.max.bytes=104857600

# Kafka 日志文件的存储目录
log.dirs=/home/logs/kafka

# 每个主题的默认分区数量
num.partitions=1

# 每个数据目录用于恢复的线程数
num.recovery.threads.per.data.dir=1

# 偏移量主题的副本因子,决定了数据的冗余度
offsets.topic.replication.factor=1

# 事务状态日志的副本因子
transaction.state.log.replication.factor=1

# 事务状态日志的最小同步副本数量
transaction.state.log.min.isr=1

# 日志保留的小时数,超过这个时间的日志将被清理
log.retention.hours=24

# 日志清理策略,这里设置为删除旧日志
log.cleanup.policy=delete

# 日志段的大小,单位为字节,当一个日志段达到这个大小后会创建新的日志段
log.segment.bytes=1073741824

# 检查日志保留策略的时间间隔,单位为毫秒
log.retention.check.interval.ms=300000

# 连接 Zookeeper 的地址,这里是连接本地的 2181 端口
zookeeper.connect=localhost:2181

# 连接 Zookeeper 的超时时间,单位为毫秒
zookeeper.connection.timeout.ms=18000

# 消费者组初始平衡的延迟时间,单位为毫秒,设置为 0 表示不延迟
group.initial.rebalance.delay.ms=0
解释
listeners=PLAINTEXT://0.0.0.0:9092:配置 Kafka 监听所有网络接口上的 9092 端口。
advertised.listeners=PLAINTEXT://10.60.200.250:9092,PLAINTEXT://10.60.201.250:9092:配置 Kafka 广播给客户端的地址和端口。客户端连接时会使用这些地址。

第三版 亲测OK

 # broker 的唯一标识符,在 Kafka 集群中必须唯一
broker.id=0

# 配置 Kafka 监听的地址和端口
listeners=INTERNAL://10.168.200.250:9093,EXTERNAL://10.168.201.250:9092

# 配置 Kafka 广播给客户端的地址和端口
advertised.listeners=INTERNAL://10.168.200.250:9093,EXTERNAL://10.168.201.250:9092

# 指定 Kafka broker 之间的通信监听器
inter.broker.listener.name=INTERNAL

# Maps listener names to security protocols, the default is for them to be the same. See the config documentation for more details
listener.security.protocol.map=INTERNAL:PLAINTEXT,EXTERNAL:PLAINTEXT

# 用于处理网络请求的线程数
num.network.threads=5

# 用于执行磁盘 I/O 操作的线程数
num.io.threads=8

# 套接字发送缓冲区大小,单位为字节
socket.send.buffer.bytes=102400

# 套接字接收缓冲区大小,单位为字节
socket.receive.buffer.bytes=102400

# 单个请求的最大字节数
socket.request.max.bytes=104857600

# Kafka 日志文件的存储目录
log.dirs=/home/logs/kafka

# 每个主题的默认分区数量
num.partitions=1

# 每个数据目录用于恢复的线程数
num.recovery.threads.per.data.dir=1

# 偏移量主题的副本因子,决定了数据的冗余度
offsets.topic.replication.factor=1

# 事务状态日志的副本因子
transaction.state.log.replication.factor=1

# 事务状态日志的最小同步副本数量
transaction.state.log.min.isr=1

# 日志保留的小时数,超过这个时间的日志将被清理
log.retention.hours=24

# 日志清理策略,这里设置为删除旧日志
log.cleanup.policy=delete

# 日志段的大小,单位为字节,当一个日志段达到这个大小后会创建新的日志段
log.segment.bytes=1073741824

# 检查日志保留策略的时间间隔,单位为毫秒
log.retention.check.interval.ms=300000

# 连接 Zookeeper 的地址,这里是连接本地的 2181 端口
zookeeper.connect=localhost:2181

# 连接 Zookeeper 的超时时间,单位为毫秒
zookeeper.connection.timeout.ms=18000

# 消费者组初始平衡的延迟时间,单位为毫秒,设置为 0 表示不延迟
group.initial.rebalance.delay.ms=0

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2177036.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

uniapp修改uni-ui组件样式(对微信小程序/H5有效,vue3)

寻找要修改的样式 使用开发者工具找到具体要修改的class类名 修改 <style lang"scss">//.nav为上一级的class.nav::v-deep .uni-navbar--border {border-bottom-style: none !important;} </style>完整代码 <template><view><uni-na…

基于SpringBoot+Vue的在线考试管理系统

作者&#xff1a;计算机学姐 开发技术&#xff1a;SpringBoot、SSM、Vue、MySQL、JSP、ElementUI、Python、小程序等&#xff0c;“文末源码”。 专栏推荐&#xff1a;前后端分离项目源码、SpringBoot项目源码、Vue项目源码、SSM项目源码 精品专栏&#xff1a;Java精选实战项目…

24年Novartis诺华制药社招入职SHL测评:综合能力、性格问卷、动机问卷高分攻略

尊敬的求职者&#xff0c;若您渴望在医药行业的领军企业——诺华制药——开启您的职业生涯&#xff0c;深入了解其社招与校招测评流程至关重要。以下是对诺华SHL测评题型的全面解读&#xff0c;助您在招聘季脱颖而出。 测评构成 诺华的招聘测评由以下三个部分组成&#xff1a…

Arthas trace (方法内部调用路径,并输出方法路径上的每个节点上耗时)

文章目录 二、命令列表2.3 monitor/watch/trace/stack/tt 相关2.3.3 trace &#xff08;方法内部调用路径&#xff0c;并输出方法路径上的每个节点上耗时&#xff09;举例1&#xff1a;查看方法整体耗时举例2&#xff1a;trace次数限制 本人其他相关文章链接 二、命令列表 2.3…

【项目总结】工程构建思路分析与分享

背景 写这篇文章的初衷是因为国产化项目临近结束&#xff0c;在做项目总结时&#xff0c;回想起了代码管理的相关问题。虽然工程搭建及管理是一个高级工程师必备的能力&#xff0c;但似乎每次一个新项目立项&#xff0c;都是从老的项目中拷贝工程框架&#xff0c;再进行定制修…

【C++】C++17中可以存储任意类型数据的对象——any类的使用与设计思想

目录 引言 any类的使用 构造 号运算符重载 std::any::swap std::any::has_value std::any::type std::any::reset std::any_cast any类的设计思想 个人主页&#xff1a;东洛的克莱斯韦克-CSDN博客 C专栏&#xff1a;C_东洛的克莱斯韦克的博客-CSDN博客 引言 一提到存…

按键 tab 则 切换输入框, 按键 ↑↓ 则 加减数值

1) 页面内输入框,按键 tab 则 切换输入框, 按键 ↑↓ 则 加减数值 2) 思路 1、按键 tab切换input框&#xff0c;默认tab切换会聚焦到浏览器地址栏&#xff08;F12时会聚焦到开发者工具选项&#xff09;&#xff0c;我们需要阻止该默认事件。 2、进入页面就聚焦到第一个输入框…

【JAVA基础】lombok的@Data会生成什么?和无参构造器有关系吗

问题&#xff1a; 前提&#xff1a;实体中有三个属性&#xff1b;问题一、lombok在实体上如果只加Data会生成哪些构造器。问题二 编译器默认生成无参构造器&#xff0c;如果自己写了有一个参数的构造器&#xff0c;还会生成默认的无参构造器吗 &#xff1f; 问题一解答 当在Jav…

免费送源码:Java+B/S+ssm+MySQL 公众养老服务网上预订系统 计算机毕业设计原创定制

摘 要 本论文主要论述了如何使用JAVA语言开发一个公众养老服务网上预订系统&#xff0c;本系统将严格按照软件开发流程进行各个阶段的工作&#xff0c;采用B/S架构&#xff0c;SSM框架进行开发。在引言中&#xff0c;作者将论述公众养老服务网上预订系统的当前背景以及系统开发…

本地生活服务项目有哪些:如何利用本地生活市场,打开线下流量!

随着各大互联网公司在本地生活服务板块的布局力度持续加大&#xff0c;越来越多的人都开始意识到了它背后所蕴含着的发展前景和收益潜力&#xff0c;进而纷纷打听起了与之相关的消息。而就小编与多位创业者的交流情况而言&#xff0c;在众多问题中&#xff0c;属本地生活服务项…

巨控协议转换网关GRM321GRM322GRM323应用场景

巨控工业协议网关GRM321,GRM322,GRM323是网口型网关&#xff0c;支持各种PLC的TCP协议&#xff0c;具备多路RS485,RS232和三个TCP网口。能实现RS485&#xff0c;RS232和TCP的工业协议的零代码无缝转换&#xff0c;能极大节约工程师编程时间&#xff0c;保障数据采集的可靠性。 …

遥感图像分割

遥感图像分割是一种应用于遥感图像的计算机视觉技术&#xff0c;用于将图像划分为不同的区域&#xff0c;每个区域代表地表的不同特征&#xff0c;如水体、森林、城市区域等。这种分割帮助我们更好地理解和分析地球表面的变化&#xff0c;对于环境监测、城市规划、农业、灾害管…

阿里云ACP云计算高级工程师知识点,超详细,看完就够了!

本文以访问控制章节知识点为例&#xff0c;不说废话直接上干货&#xff01; 考法1&#xff1a;VPC访问控制方式对比 1.VPC可以通过安全组、防火墙、RDS白名单、SLB白名单等方式进行访问控制。 2.专有网络内的ECS使用安全组防火墙进行三层网络访问控制&#xff0c;ACL进行二层…

基于STM32的无人驾驶汽车路径规划与视觉识别系统

目录 引言项目背景环境准备 硬件准备软件安装与配置系统设计 系统架构关键技术代码示例 摄像头图像采集与处理路径规划算法实现实时视觉障碍物检测电机控制与执行应用场景结论 1. 引言 无人驾驶技术是当前自动化和人工智能领域的热门课题之一&#xff0c;涉及到复杂的感知、…

Python数据分析和可视化详解

Python数据分析和可视化详解 Python 是当前最受欢迎的数据分析和可视化工具之一。凭借其简单的语法和强大的第三方库&#xff0c;Python 为数据科学家、分析师和工程师提供了广泛的工具&#xff0c;用于处理、分析和展示数据。本文将介绍如何使用 Python 进行数据分析与可视化…

【NLP修炼系列之玩转LLM】基于 P-Tuning的高效微调ChatGLM方法

引言 上周给大家介绍了另一种基于LORA的高效微调ChatGLM-6B模型的方法。本周分享一下另一种高效的微调方法——P-Tuning v2方法&#xff0c;同时在文章的最后对比一下两种高效微调方法的效果怎么样&#xff0c;只有自己动手做实验了才能很客观的看出哪种方法效果更好&#xff…

超详细超实用!!!AI编程之cursor编写设计模式迪米特法则实例(八)

云风网 云风笔记 云风知识库 一、设计模式迪米特法则定义 只与你的直接朋友交谈&#xff0c;不跟“陌生人”说话 其含义是&#xff1a;如果两个软件实体无须直接通信&#xff0c;那么就不应当发生直接的相互调用&#xff0c;可以通过第三方转发该调用。其目的是降低类之间的耦…

leetcode面试题 03.04. 化栈为队

实现一个MyQueue类&#xff0c;该类用两个栈来实现一个队列。 示例&#xff1a; MyQueue queue new MyQueue();queue.push(1); queue.push(2); queue.peek(); // 返回 1 queue.pop(); // 返回 1 queue.empty(); // 返回 false 说明&#xff1a; 你只能使用标准的栈操作 -…

SpringBoot学习笔记(2)

1.静态文件访问 使用IDEA创建Spring Boot项目&#xff0c;会默认创建出classpath:/static/目录&#xff0c;静态资源一般放在这个目录下即可。 如果默认的静态资源过滤策略不能满足开发需求&#xff0c;也可以自定义静态资源过滤策略。 1.1直接访问 在application.properties中…

在线远程考试|基于springBoot的在线远程考试系统设计与实现(附项目源码+论文+数据库)

私信或留言即免费送开题报告和任务书&#xff08;可指定任意题目&#xff09; 目录 一、摘要 二、相关技术 三、系统设计 四、数据库设计 五、核心代码 六、论文参考 七、源码获取 一、摘要 信息数据从传统到当代&#xff0c;是一直在变革当中&#xff0c;突…