Kafka使用MirrorMaker同步数据的两种方式

news2024/11/16 7:49:27

1.前言

MirrorMaker 是 Kafka官方提供的跨数据中心的流数据同步方案。原理是通过从 原始kafka集群消费消息,然后把消息发送到 目标kafka集群。操作简单,只要通过简单的 consumer配置和 producer配置,然后启动 Mirror,就可以实现准实时的数据同步。

2.独立 Kafka集群使用 MirrorMaker

2.1 开启远程连接

这里需要确保 目标Kafka集群(接收数据的那个集群)已开启远程连接,开启方法如下:

# 修改 kafka配置文件中下面两个配置
listeners=PLAINTEXT://:9092
advertised.listeners=PLAINTEXT://192.168.xx.xx:9092

其中 192.168.xx.xx是对外提供服务的IP,修改为目标集群的 IP即可。

2.2 准备 consumer.properties

这个配置文件指定原始集群的信息。具体内容如下:

# 原始集群的broker list
bootstrap.servers=host1:9092,host2:9093 
# 指定一个新的 id即可
group.id=test-consumer-group1
auto.offset.reset=earliest

2.3 准备 producer.properties

这个配置文件指定目标集群的信息。具体内容如下:

# 目标集群的broker list
bootstrap.servers=host5:9092,host6:9093
# 数据压缩方式,加快数据同步速度
compression.type=gzip 

2.4 启动 MirrorMaker开始同步数据

进入 kafka安装目录后执行下面的命令:

./kafka-mirror-maker.sh --consumer.config /opt/kafka/consumer.properties --producer.config /opt/kafka/producer.properties --whitelist topic001

这里就需要用到前面两个准备好的文件了,另外,–whitelist指定需要同步的 topic,–blacklist是不需要同步的,这两个符合 java正则表达式形式。

3.在 CDH中开启 MirrorMaker

3.1 界面添加 MirrorMaker实例

在这里插入图片描述
在这里插入图片描述

3.2 配置Broker和需要同步的Topic

这里需要注意:所有需要同步的 topic要预先在 目标kafka集群中创建。

在这里插入图片描述

3.3 重启MirrorMaker实例

前面步骤顺利执行完,界面会多一个 Kafka MirrorMaker实例,如下,重启即可

在这里插入图片描述

4.总结

CDH对 Kafka MirrorMaker的支持度不错,稳定性也能经得起时间的检验。另外,这种备份方式属于实时备份,很适合对数据完整性和及时性要求较高的项目,能最大程度地确保通过 kafka流转的数据的及时可用。还有一个好处是,当 kafka集群1因为某种原因无法工作时,可以迅速切换到集群2,且两个集群的数据几乎一致。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/108066.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

不喜欢现在的工作,如何成功转行?

对现有行业职业公司不满、不喜欢,感觉此路不通,想换个跑道再战! 我想说,请先冷静一下。 我有两个认识的人,一个成功转行,另一个失败。后面会有我的分析~~ 我的一位女性朋友A,小公司里工作近1…

00后的他为何能年薪30w,转行真的很难吗?

网上有很多人经常在讨论转行,有的人说转行很难,有的却说不难,到底是怎样呢?我来说一个我身边发生的这么一个事实吧! 我之前接触过一个00后,他不同于别人,网上大多说00后是看老板不爽就直接不干…

unidbg入门级案例-某航空app_hnairSign分析

今天要分析的是某航空app,版本号是8.19.0,分析的样本在文章底部会提供,这次我们要借用unidbg 来辅助进行算法还原。 有关unidbg的介绍笔者就不做过多的描述,大家可自行百度查询。 该样本的so比较简单,但重点是记录分析…

多标签分类怎么做?(Python)

一、基本介绍 首先简单介绍下,多标签分类与多分类、多任务学习的关系: 多分类学习(Multi-class):分类器去划分的类别是多个的,但对于每一个样本只能有一个类别,类别间是互斥的。例如&#xff1…

electron:获取MAC地址

一、背景 当我们需要用户“使用指定设备”访问程序的时候,我们需要获取用户设备的固定的id,设备id用户id实现业务需求,这个所谓的id就是MAC地址。 对于其他方法: uuid:uuid是一个唯一的字符串,可以存放到…

深度融合钉钉PaaS,授客学堂助力企业实现培训数字化

方案简介 授客学堂将企业培训领域的经验与钉钉开放能力深度融合,通过集成钉钉人事一体、酷应用、IM底座、待办等多种开放能力,实现学员培训数据实时互通,为客户提供更新更酷的能力,高效解决企业培训的数字化服务。 方案场景 在…

tensorflow feature_columns

总结来说: feature_column定义了一种数据预处理的方式,可以看作是一种格式,指定了key,用于后续读取输入流中对应列的数据feature_column不是tensor,所以如果在下一步应用到模型中是需要tensor,还需要通过f…

非互联网人士如何转行互联网?

结论是,具备互联网式的做事思维积累互联网项目经验。我靠着这个方法从一名传统销售顺利转行,(之前没有任何互联网工作经验)入职了一家互联网公司做用户运营,半年前跳槽成为一个4人运营小团队的leader。 在分享我自身的…

我国丁辛醇行业现状:上游丙烯供给充足 下游需求下滑 市场出现高差价现象

根据观研报告网发布的《中国丁辛醇行业发展深度分析与投资前景研究报告(2022-2029年)》显示,丁辛醇是一种丁醇和辛醇合成的有机物,无色透明、易燃的油状液体,具有特殊的气味,能与水及多种化合物形成共沸物&…

服务器IPMI(BMC)装机

将网线连接服务器的控制口与PC,服务器的控制口默认IP为192.168.100.100,网关默认为192.168.100.1,将PC的IP修改为与服务器控制口相同网段。打开浏览器,输入https://19168.100.100,进入IPMI登录界面。账号密码需要找运维…

Apache Airflow Hive Provider <5.0.0 存在操作系统命令注入漏洞

漏洞描述 Apache Airflow 是一个用于以编程方式创作、安排和监控工作流平台。Apache Airflow Hive Provider 是一个使用 SQL 读取、写入和管理分布式存储中的大型数据集的工具包。 Apache Airflow Hive Provider 在 5.0.0 之前的版本中由于对airflow/providers/apache/hive/h…

Stm32标准库函数6——f103 PWM 电调(50Hz)

#include "stm32f10x.h" #include "delay.h" TIM_TimeBaseInitTypeDef TIM_TimeBaseStructure; TIM_OCInitTypeDef TIM_OCInitStructure; u16 Ppm; /************************************************* 函数: void RCC_Configuration(void) 功能: 配…

D. Friends and Subsequences Codeforces Round #361 (Div. 2)RMQ+二分 单调队列

题目传送门 题意为 给定两个长度为n的数组,设为a数组和b数组,需要找到所有可能的区间中,a数组的最大值等于b数组的最小值的个数。 1:RMQ 二分 RMQ 能找到一个数组在任意区间的最大值或者最小值,只需要在O(n)的时间…

【Java基础知识复盘】HashMap篇——持续更新中

本人知识复盘系列的博客并非全部原创,大部分摘自网络,只是为了记录在自己的博客方便查阅,往后也会陆续在本篇博客更新本人查阅到的新的知识点,望悉知! HashMap 概述 HashMap 是一个散列表,它存储的内容是…

hashMap相关

文章目录HashMapHashMap介绍HashMap在 JDK1.7和 JDK1.8中的区别JDK1.7中HashMap头插法死循环的原因HashMap的底层原理HashMap的扩容机制解决Hash冲突的方法为什么在解决hash冲突的时候选择先用链表,再转红黑树?HashMap为什么线程不安全一般用什么作为HashMap的key?…

程序员需要达到什么水平才能顺利拿到 20k 无压力?

很有趣的是,在程序员身上,我看到了最明显,也最有趣的贫富差距。 根据2022最新版大厂新入职员工职级对应表,大厂技术线的员工轻而易举地拿到了20w的水平,而只要往上够一够,30w也不是什么难事。 然而&#xf…

玩转云服务器:怎样用云服务器架设大型3D魔幻手游【魔域】服务器,实现联机多人同玩,带你一起搞机,了解游戏搭建过程,详细教程

准备工作: 你首先要准备一台云服务器! 服务器配置:2核4G以上配置! 服务器系统:win2012 开始搭建: 下载游戏服务端(有些多人叫源码,这里我就不解释了,喜欢怎么叫就怎…

SpringCloud Alibaba | 网关(三) : SpringCloudGateway 过滤器获取application/json中body数据

SpringCloudGateway 过滤器获取application/json中body数据一、前言二、通过cachedRequestBodyObject缓存获取三、ServerHttpRequest getBody方法获取四、(* ̄︶ ̄)一、前言 项目接口需要加解密,就在网关层进行解密操作。那么问题来了怎么在gateway 的filt…

基于松鼠算法改进的DELM预测-附代码

松鼠算法改进的深度极限学习机DELM的回归预测 文章目录松鼠算法改进的深度极限学习机DELM的回归预测1.ELM原理2.深度极限学习机(DELM)原理3.松鼠算法4.松鼠算法改进DELM5.实验结果6.参考文献7.Matlab代码1.ELM原理 ELM基础原理请参考:https:…

线程池相关

文章目录为什么需要线程池?池化思想常用方法execute()方法submit()方法shutdownisShutdownisTerminatedawaitTerminationshutdownNow创建线程池 七个参数流程JAVA线程池有哪几种类型?线程池常用的阻塞队列有哪些?源码中线程池是怎么复用线程的?如何合理配置线程池…