Maxwell数据同步（增量）

news2024/9/24 11:25:35

1. Maxwell简介

1.1 Maxwell概述

  Maxwell 是由美国Zendesk公司开源，用Java编写的MySQL变更数据抓取软件。它会实时监控Mysql数据库的数据变更操作（包括insert、update、delete），并将变更数据以 JSON 格式发送给 Kafka、Kinesi等流数据处理平台。官网地址：http://maxwells-daemon.io/

1.2 Maxwell输出数据格式

在这里插入图片描述
注：Maxwell输出的json字段说明：

字段解释
database操作的数据库
table操作的数据库表
type数据变更类型
ts数据变更的时间
xid事务id
commit事务提交标志
data对于insert类型，表示插入的数据；对于update类型，标识修改之后的数据；对于delete类型，表示删除的数据
old对于update类型，表示修改之前的数据，只包含变更字段

2. Maxwell原理

  Maxwell的工作原理是实时读取Mysql数据库的二进制日志（Binlog），从中获取变更数据，再将变更数据以JSON格式发送至Kafka等流处理平台。

2.1 Mysql 二进制日志

  二进制(Binlog)是Mysql服务端非常重要的一种日志，它会保存Mysql数据库的所有数据变更记录。Binlog的主要作用包括主从复制和数据恢复。Maxwell的工作原理和主从复制原理紧密相关。

2.2 Mysql 主从复制

Mysql的主从复制，就是用来建立一个和主数据库完全一样的数据库环境，这个数据库成为从数据库。
1） 主从复制的应用场景如下：
（1）做数据库的热备：主数据库服务器故障后，可切换到从数据库继续工作。
（2）读写分离：主数据库只负责业务数据的写入操作，而多个从数据库只负责业务数据的查询工作，在多读写少场景下，可以提高数据库工作效率。
2） 主从复制的工作原理如下：
（1）Master主库将数据变更记录，写到二进制日志（binary log）中
（2）Slave从库向mysql master发送dump协议，将master主库的binary log events拷贝到它的中继日志(relay log)
（3）Slave从库读取并回放中继日志中的事件，将改变的数据同步到自己的数据库。

2.3 Maxwell原理

Maxwell就是将自己伪装成slave，并遵循Mysql主从复制的协议，从master同步改变的数据并装换为JSON格式发送给 Kafka、Kinesi等流数据处理平台

3. Maxwell部署

3.1 安装Maxwell

1）下载安装包：
（1）地址：https://github.com/zendesk/maxwell/releases/download/v1.29.2/maxwell-1.29.2.tar.gz
注：Maxwell-1.30.0及以上版本不再支持JDK1.8
（2）将安装包上传到hadoop102节点的/opt/software目录
注：此处使用教学版安装包，教学版对原版进行了改造，增加了自定义Maxwell输出数据中ts时间戳的参数，生产环境请使用原版。
2） 将安装包解压至/opt/module

[atguigu@hadoop102 maxwell]$ tar -zxvf maxwell-1.29.2.tar.gz -C /opt/module/

3）修改名称

[atguigu@hadoop102 module]$ mv maxwell-1.29.2/ maxwell

3.2 配置 Mysql(mysql5.7版本)

在这里插入图片描述

3.2.1 启用 Mysql Binlog

  Mysql服务器的binlog默认是未开启的，如需进行同步，需要先进行开启。
1)修改Mysql配置文件/etc/my.cnf
2)添加以下配置

[mysqld]
#数据库id
server-id = 1
#启动binlog，该参数的值会作为binlog的文件名
log-bin=mysql-bin
#binlog类型，maxwell要求为row类型
binlog_format=row
#启用binlog的数据库，需根据实际情况作出修改
binlog-do-db=gmall

在这里插入图片描述

注：MySQL Binlog模式:

Row-based：基于行，Binlog会记录每次写操作后被操作行记录的变化。
优点：保持数据的绝对一致性。 缺点：占用较大空间。
Maxwell要求Binlog采用Row-based模式。

3）重启Mysql服务

[atguigu@hadoop102 ~]$ sudo systemctl restart mysqld

3.2.2 创建Maxwell所需数据库和用户

  Maxwell需要在Mysql中存储其运行过程中所需的数据，包括binlog同步的断点位置（Maxwell支持断点续传）等等，故需要在MySQL为Maxwell创建数据库及用户。
1）创建数据库

msyql> CREATE DATABASE maxwell;

2）调整Mysql数据库密码级别

mysql> set global validate_password_policy=0;
mysql> set global validate_password_length=4;

3）创建Maxwell用户并赋予其必要权限

mysql> CREATE USER 'maxwell'@'%' IDENTIFIED BY 'maxwell';
mysql> GRANT ALL ON maxwell.* TO 'maxwell'@'%';
mysql> GRANT SELECT, REPLICATION CLIENT, REPLICATION SLAVE ON *.* TO 'maxwell'@'%';

注：sql代码解释

mysql> CREATE USER 'maxwell'@'%' IDENTIFIED BY 'maxwell';

  创建了一个名为 maxwell的用户，并允许该用户从任何主机 连接到MySQL数据库。用户的密码被设置为 maxwell。

mysql> GRANT ALL ON maxwell.* TO 'maxwell'@'%';

  授予了用户 maxwell 对名为 maxwell 的数据库的所有权限。这包括了数据库中所有表的查询、插入、更新、删除等操作权限。

mysql> GRANT SELECT, REPLICATION CLIENT, REPLICATION SLAVE ON *.* TO 'maxwell'@'%';

这行代码授予了用户 maxwell 对所有数据库的一些特定权限：

  • SELECT: 允许用户执行查询操作。
  • REPLICATION CLIENT: 允许用户监视MySQL复制的状态。
  • REPLICATION SLAVE: 允许用户作为复制从服务器连接到主服务器。

3.3 配置Maxwell

1）修改Maxwell配置文件名称

[atguigu@hadoop102 maxwell]$ cd /opt/module/maxwell
[atguigu@hadoop102 maxwell]$ cp config.properties.example config.properties

2）修改Maxwell配置文件

[atguigu@hadoop102 maxwell]$ vim config.properties

配置文件内容如下:

#Maxwell数据发送目的地，可选配置有stdout|file|kafka|kinesis|pubsub|sqs|rabbitmq|redis
producer=kafka
#目标Kafka集群地址
kafka.bootstrap.servers=hadoop102:9092,hadoop103:9092
#目标Kafka topic，可静态配置，例如:maxwell，也可动态配置，例如：%{database}_%{table}
kafka_topic=topic_db

#MySQL相关配置
host=hadoop102
user=maxwell
password=maxwell
jdbc_options=useSSL=false&serverTimezone=Asia/Shanghai

4. Maxwell使用

本案例使用maxwell把mysql中gmall数据库的数据同步到kafka集群的topic_db topic。数据库gmall在Mysql配置文件/etc/my.cnf中指定，如下图所示：
在这里插入图片描述

4.1 启动kafka集群

  Maxwell发送数据的目的地为kafka集群，则需要先确保kafka集群为启动状态,数据将发往kafka集群的topic_db topic

4.2 Maxwell启停脚本mxw.sh

status_maxwell(){
    result=`ps -ef | grep com.zendesk.maxwell.Maxwell | grep -v grep | wc -l`
    return $result
}
start_maxwell(){
    status_maxwell
    if [[ $? -lt 1 ]]; then
        echo "启动Maxwell"
        $MAXWELL_HOME/bin/maxwell --config $MAXWELL_HOME/config.properties --daemon
    else
        echo "Maxwell正在运行"
    fi
}
stop_maxwell(){
    status_maxwell
    if [[ $? -gt 0 ]]; then
        echo "停止Maxwell"
        ps -ef | grep com.zendesk.maxwell.Maxwell | grep -v grep | awk '{print $2}' | xargs kill -9
    else
        echo "Maxwell未在运行"
    fi
}
case $1 in
    start )
        start_maxwell
    ;;
    stop )
        stop_maxwell
    ;;
    restart )
       stop_maxwell
       start_maxwell
    ;;
esac

1）mxw.sh start:启动Maxwell
2）mxw.sh stop:停止Maxwell
3）mxw.sh restart:重启Maxwell

4.3 增量数据同步

1）启动Kafka消费者

[atguigu@hadoop102 kafka]$ bin/kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --topic topic_db
  1. 使用mxw.sh start启动Maxwell
    3）手动在gmall数据库的test_province表中添加一条数据，如下图所示：
    在这里插入图片描述
    4）观察Kafka消费者
    在这里插入图片描述

4.4 历史数据全量同步

  上一节，我们已经实现了使用Maxwell实时增量同步MySQL变更数据的功能。但有时只有增量数据是不够的，我们可能需要使用到MySQL数据库中从历史至今的一个完整的数据集。这就需要我们在进行增量同步之前，先进行一次历史数据的全量同步。这样就能保证得到一个完整的数据集。
0）启动Maxwell: mxw.sh start

[atguigu@hadoop102 bin]$ mxw.sh start

1)Maxwell提供了bootstrap功能来进行历史数据的全量同步，命令如下：

[atguigu@hadoop102 maxwell]$ /opt/module/maxwell/bin/maxwell-bootstrap --database gmall --table test_province --config /opt/module/maxwell/config.properties

效果展示：
mysql:
在这里插入图片描述

kafka集群的topic_db 主题消费者消费数据如下
在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1388057.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

浅谈智慧路灯安全智能供电方案设计

浅谈智慧路灯安全智能供电方案设计

摘要: 智慧路灯，作为智慧城市、新基建、城市更新的主要组成部分，近些年在各大城市已得到很好的落地和 应用，但其与传统路灯相比集成大量异元异构电子设备，这些设备的供电电压、接口形式、权属单位各不相同， 如何设计一…
阅读更多...
《绝地求生》职业选手画面设置推荐 绝地求生画面怎么设置最好

《绝地求生》职业选手画面设置推荐 绝地求生画面怎么设置最好

《绝地求生》画面怎么设置最好是很多玩家心中的疑问，如果性能不是问题无疑高特效显示效果更好，但并不是所有画面参数都利于战斗，今天闲游盒带来分享的《绝地求生》职业选手画面设置推荐，赶紧来看看吧。 当前PUBG的图像设置的重要性…
阅读更多...
YOLOv5改进 | 主干篇 | 12月份最新成果TransNeXt特征提取网络（全网首发）

YOLOv5改进 | 主干篇 | 12月份最新成果TransNeXt特征提取网络（全网首发）

一、本文介绍 本文给大家带来的改进机制是TransNeXt特征提取网络,其发表于2023年的12月份是一个最新最前沿的网络模型，将其应用在我们的特征提取网络来提取特征，同时本文给大家解决其自带的一个报错，通过结合聚合的像素聚焦注意力和卷积GLU&…
阅读更多...
1131. 拯救大兵瑞恩（dp思想运用，set）

1131. 拯救大兵瑞恩（dp思想运用，set）

1131. 拯救大兵瑞恩 - AcWing题库 1944 年，特种兵麦克接到国防部的命令，要求立即赶赴太平洋上的一个孤岛，营救被敌军俘虏的大兵瑞恩。 瑞恩被关押在一个迷宫里，迷宫地形复杂，但幸好麦克得到了迷宫的地形图。 迷宫的…
阅读更多...
MySQL（三）——函数

MySQL（三）——函数

上期文章 MySQL（二）——SQL 文章目录 上期文章字符串函数数值函数日期函数流程函数总结 函数：一段可以直接被另一段程序调用的程序或代码 字符串函数 函数功能CONCAT(S1,S2,…Sn)字符串拼接，将S1,S2,…Sn拼接成一个字符串LOWER…
阅读更多...
【蓝桥杯选拔赛真题31】C++数位求和 第十三届蓝桥杯青少年创意编程大赛C++编程选拔赛真题解析

【蓝桥杯选拔赛真题31】C++数位求和 第十三届蓝桥杯青少年创意编程大赛C++编程选拔赛真题解析

目录 C/C++数位求和 一、题目要求 1、编程实现 2、输入输出
阅读更多...
分布式光伏运维平台在提高光伏电站发电效率解决方案

分布式光伏运维平台在提高光伏电站发电效率解决方案

摘要：伴随着能源危机和环境恶化问题的日益加重，科技工作者进一步加大对新能源的开发和利用。太阳能光伏发电作为新型清洁能源的主力军，在实际生产生活中得到了广泛的应用。然而，光伏发电效率偏低，成为制约光伏发电发展…
阅读更多...
基于SSM的交流论坛设计与实现

基于SSM的交流论坛设计与实现

末尾获取源码 开发语言：Java Java开发工具：JDK1.8 后端框架：SSM 前端：Vue、HTML 数据库：MySQL5.7和Navicat管理工具结合 服务器：Tomcat8.5 开发软件：IDEA / Eclipse 是否Maven项目：是…
阅读更多...
C# wpf 实现任意控件（包括窗口）更多调整大小功能

C# wpf 实现任意控件（包括窗口）更多调整大小功能

WPF拖动改变大小系列 第一节 Grid内控件拖动调整大小 第二节 Canvas内控件拖动调整大小 第三节 窗口拖动调整大小 第四节 附加属性实现拖动调整大小 第五章 拓展更多调整大小功能（本章） 文章目录 WPF拖动改变大小系列前言一、添加的功能1、任意控件Drag…
阅读更多...
tessreact训练字库

tessreact训练字库

tessreact主要用于字符识别，除了使用软件自带的中英文识别库，还可以使用Tesseract OCR训练属于自己的字库。 一、软件环境搭建 使用Tesseract OCR训练自己的字库，需要安装Tesseract OCR和jTessBoxEditor(配套训练工具)。jTessBoxEditor需要…
阅读更多...
ArcGIS Pro 拓扑编辑和常见一些拓扑错误处理

ArcGIS Pro 拓扑编辑和常见一些拓扑错误处理

7.4 拓扑编辑 拓扑编辑也叫共享编辑，多个数据修改时，一块修改，如使用数据：chp7\拓扑检查.gdb,数据集DS下JZX、JZD和DK，加载地图框中，在“地图”选项卡下选择“地图拓扑”或“ds_Topology(地理数据库)”&…
阅读更多...
自动化的自动化（1）--OPCUA2HTML5

自动化的自动化（1）--OPCUA2HTML5

现在的自动化工程师是令人沮丧的，他们努力地实现各个行业的自动化系统，自己却停留在敲键盘的手工劳作的阶段，该解放自己了。这就是“自动化实现自动化”的话题。 OPC 统一架构（简称 OPC UA）是现代工厂自动化中用于机器…
阅读更多...
任务15：使用Hive进行全国气象数据分析

任务15：使用Hive进行全国气象数据分析

任务描述 知识点： 使用Hive进行数据分析 重 点： 掌握Hive基本语句熟练使用Hive对天气数据进行分析 内 容： 使用Hive创建外部表使用Hive对数据进行统计分析 任务指导 1. 使用Hive创建基础表 将China_stn_city.csv文件上传到HDFS的/…
阅读更多...
广州市生物医药及高端医疗器械产业链大会暨联盟会员大会召开，天空卫士数据安全备受关注

广州市生物医药及高端医疗器械产业链大会暨联盟会员大会召开，天空卫士数据安全备受关注

12月20日，广州市生物医药及高端医疗器械产业链大会暨联盟会员大会在广州举办。在本次会议上，作为大会唯一受邀参加主题分享的技术供应商，天空卫士南区技术总监黄军发表《生物制药企业如何保护数据安全》的主题演讲。 做好承上启下“连心桥”…
阅读更多...
概率论与数理统计————3.随机变量及其分布

概率论与数理统计————3.随机变量及其分布

一、随机变量 设E是一个随机试验，S为样本空间，样本空间的任意样本点e可以通过特定的对应法则X，使得每个样本点都有与之对应的数对应，则称XX（e）为随机变量 二、分布函数 分布函数：设X为随机变量…
阅读更多...
使用Github + PicGo搭建个人图床，并使用CDN加速

使用Github + PicGo搭建个人图床，并使用CDN加速

文章目录 前言创建仓库配置PicGo如何使用 前言 在写博客的时候，常常需要为博客配图，于是一个好用稳定的图床的重要性不言而喻。本文主要介绍如何使用GitHub PicGo的方式快速搭建一个个人使用的图床。该方式方便快捷，还免费hh，唯…
阅读更多...
git提交报错：remote: Please remove the file from history and try again.

git提交报错：remote: Please remove the file from history and try again.

1. 报错信息 remote: error: File: fba7046b22fd74b77425aa3e4eae0ea992d44998 500.28 MB, exceeds 100.00 MB. remote: Please remove the file from history and try again. git rev-list --objects --all | grep fba7046b22fd74b77425aa3e4eae0ea992d44998 2. 分析原因 e…
阅读更多...
使用 Apache POI 更新/覆盖 特定的单元格

使用 Apache POI 更新/覆盖 特定的单元格

使用 Apache POI 更新特定的单元格 一. 需求二. 实现三. 效果 一. 需求 将以下表中第4行，第4列的单元格由“张宇”更新为“汤家凤”，并将更行后的结果写入新的Excel文件中； 二. 实现 使用Apache POI，可以精确定位到需要更改的单…
阅读更多...
C#编程-自定义属性

C#编程-自定义属性

命名自定义属性 让我们继续漏洞修复示例，在这个示例中新的自定义属性被命名为BugFixingAttribute。通常的约定是在属性名称后添加单词Attribute。编译器通过允许您调用具有短版名称的属性来支持附加。 因此，可以如以下代码段所示编写该属性： [ BugFixing ( 122,"Sara…
阅读更多...
几款提高开发效率的Idea 插件

几款提高开发效率的Idea 插件

1、ignore 开发代码过程中经常会有一些需要提交到代码仓库的文件，比如java文件生成的.class、.jar 等，如果将编译后的文件都提交到代码库那么代码库会很大，关键是没有必要。 这款插件就可以很方便的解决某类文件或者某个文件夹不需要提交到…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023