Maxwell工作流程详解

news2024/11/29 22:40:21

要介绍maxwell的工作原理,首先需要讲一下mysql主从复制的原理

mysql主从复制原理:

在这里插入图片描述
如上图,左边是master主节点,右边是slave从节点

工作流程:
1.往主节点mysql的数据库中写入数据,产生数据变化,主节点的binlog二进制日志文件监控到数据变化,就会记录下数据的变更记录(注意这个过程是数据先写到数据库成功之后,然后才能被binlog日志记录)

2.slave从节点中含有一个线程(上图中未显示)在时刻监控主节点binlog日志的变化。当该线程监控到主节点的binlog日志发生了变化,从节点会开启两个线程,一个是I/O线程,一个是SQL线程

3.其中I/O线程会前往主节点的binlog日志寻找变更的日志记录,找到之后,会将变更的日志返回到I/O线程。之后I/O线程会将数据写入到从节点自己的一个临时的中继日志Relaylog(relaylog不是binlog)。

4.此时SQL线程发现relaylog发生了变化,SQL线程开始工作,relaylog将会对SQL线程replay一下(此处假设binlog中记录的就是sql语句,当然binlog有很多模式,不是只能放sql语句),把sql语句重播之后,就可以把数据写入从节点的mysql数据中。

5.假设这次读写完毕且后续没有数据变更,I/O线程和SQL线程将会进入睡眠状态,当从节点监控主节点binlog日志的线程监控到主节点的binlog发生了变化,I/O线程和SQL线程就会又开始重新开始工作

如此循环往复。。。

slave从节点之所以没有显示它自己的binlog日志,是因为还没有节点监控它,如果此时新增一个节点监控slave的变化,便可以给slave节点开一个binlog。


maxwell是怎么工作的呢,很简单,它会把自己伪装成一个mysql的slave,maxwell的工作原理其实就等于mysql主从复制的原理

当然maxwell内部工作和mysql的slave工作有一些细微的差异,感兴趣的可以接着往下看

maxwell也会有I/O线程读取主节点的binlog,然后写入一个类似于(但不是)relaylog的东西,然后将读取的数据也进行重播,但重播之后,转化的格式并非Mysql所需要的格式,而是json格式,并且转化成json后也不会往mysql里写,而是发送给kafka等。这就是Maxwell的工作原理。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/344618.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

让ChatGPT介绍一下ChatGPT

申请新必应内测通过了,我在New Bing中使用下ChatGPT,让ChatGPT介绍一下ChatGPT 问题1:帮我生成一篇介绍chatGPT的文章,不少于2000字 回答: chatGPT是什么?它有什么特点和用途? chatGPT是一种…

IO流概述

🏡个人主页 : 守夜人st 🚀系列专栏:Java …持续更新中敬请关注… 🙉博主简介:软件工程专业,在校学生,写博客是为了总结回顾一些所学知识点 目录IO流概述IO 流的分类总结流的四大类字…

TCP传输文件

传输文件和传输信息的区别: 传输信息,只是一条数据,传输文件是多条数据传输信息传输过去一般都会显示,传输文件一般不会显示,一般只是存放在文件中传输文件需要传输,文件大小和文件名称(不然不知…

C语言(字符串函数)

这章的内容记得引用<string.h>头文件 目录 1.strlen&#xff08;&#xff09; 2.strcat() 3.strncat() 4.strcmp() 5.strncmp() 6.strcpy() 7.strncpy() 8.sprintf() 8.strchr() 9.strpbrk() 10.strrchr() 11.strstr() 1.strlen&#xff08;&#xff09; 用于统计字符串的…

CentOS Stream 9尝鲜安装教程

作者&#xff1a;IT圈黎俊杰 一、下载CentOS Stream 9安装介质 在CentOS官网可以下载到CentOS Stream 9的安装介质&#xff0c;正面列出ISO介质的下载链接地址&#xff1a; https://download.cf.centos.org/9-stream/BaseOS/x86_64/iso/CentOS-Stream-9-20221019.0-x86_64-dv…

157、【动态规划】leetcode ——377. 组合总和 Ⅳ(C++版本)

题目描述 原题链接&#xff1a;377. 组合总和 Ⅳ 解题思路 一维滚动数组思路与 518. 零钱兑换 II&#xff08;二维数组一维滚动数组&#xff09; 大致相同&#xff0c;区别之处在于&#xff0c;零钱兑换解决的是组合问题&#xff08;元素在不同位置都代表同一个含义&#xff…

Java基础之IO流详解及使用方式(建议收藏)

目录前言一.初识IO流二.流的分类三.基本字节流3.1 FileOutputStream3.2 FileInputStream四.文件拷贝五.字符集六.乱码原因七.基本字符流7.1 FileReader7.2 FileWriter经典案例Demo八.高级流8.1 缓冲流8.1.1 字节缓冲流8.1.2 字符缓冲流8.2 转换流8.3 序列化流8.4 打印流8.4.1 字…

【算法】前缀和

作者&#xff1a;指针不指南吗 专栏&#xff1a;算法篇 &#x1f43e;要学会在纸上打草稿&#xff0c;这个很重要&#x1f43e; 文章目录1.什么是前缀和&#xff1f;2.怎么求前缀和&#xff1f;3.前缀和有什么用&#xff1f;4.进阶二维:矩阵和前缀和 主打一个记公式 1.什么是前…

四数之和-力扣18-java排序+双指针

一、题目描述给你一个由 n 个整数组成的数组 nums &#xff0c;和一个目标值 target 。请你找出并返回满足下述全部条件且不重复的四元组 [nums[a], nums[b], nums[c], nums[d]] &#xff08;若两个四元组元素一一对应&#xff0c;则认为两个四元组重复&#xff09;&#xff1a…

【C++】十分钟带你入门类和对象(上)

目录零 介绍一 面向过程和面向对象的初步认识二 类的引入三 类的定义四 类的访问限定符及封装4.1 访问限定符4.2 封装五 类的作用域六 类的实例化七 类对象模型7.1 如何计算类对象大小7.2 类对象的存储方式猜测7.3 结构体内存对齐规则八 this指针8.1 this指针的引出8.2 this指针…

leaflet 本地上传KML文件,在地图上解析显示图形(060)

第060个 点击查看专栏目录 本示例的目的是介绍演示如何在vue+leaflet中本地上传kml文件,利用解析此kml文件,在地图上显示图形。 直接复制下面的 vue+openlayers源代码,操作2分钟即可运行实现效果 文章目录 示例效果配置方式示例源代码(共114行)安装加载 leaflet-kml相关AP…

Ansible中Playbook的编写

目录 一、playbook 1 简介 2 playbook语法 3 playbook示例 检测语法 列出任务 列出tag 指定执行主机 执行yaml文件 4 playbook基础 主机与用户 Tasks 列表 一、playbook 1 简介 Playbook与ad-hoc相比,是一种完全不同的运用。 playbook是一种简单的配置管理系统…

2.13日报

完成官网国际化配置 Spring boot国际化支持 当我们web项目涉及到国外部署或者国外用户使用时&#xff0c;需要展示不同语言信息&#xff0c;所以就需要国际化支持&#xff0c;下面将讲解Springboot国际化支持操作 1. 修改Springboot application.yml配置 spring: messages…

【Linux】NTP时间同步服务与NFS网络文件共享存储服务器(配置、测试)

一、NTP时间同步服务1、NTP介绍NTP服务器【Network Time Protocol&#xff08;NTP&#xff09;】是用来使计算机时间同步化的一种协议&#xff0c;它可以使计机对其服务器或时钟源&#xff08;如石英钟&#xff0c;GPS等等)做同步化&#xff0c;它可以提供高精准度的时间校正&a…

Android12之apex调试

1.问题在调试libtinyalsa.so中添加log后&#xff0c;但是发现push so后&#xff0c;却没有log打印&#xff0c;why&#xff1f;2.分析以下为libtinyalsa.so的位置/system/lib64/libtinyalsa.so /system/lib/libtinyalsa.so /apex/com.android.vndk.v31/lib64/libtinyalsa.so /a…

C语言rewind和fseek函数的用法详解

前面介绍的文件读写函数都是顺序读写&#xff0c;即读写文件只能从头开始&#xff0c;依次读写各个数据。但在实际开发中经常需要读写文件的中间部分&#xff0c;要解决这个问题&#xff0c;就得先移动文件内部的位置指针&#xff0c;再进行读写。这种读写方式称为随机读写&…

C语言( 动态内存分配)

目录 一.malloc()和free()(原型都在stdlib.h头文件&#xff09; 1.malloc() 2.free()函数 3.案例演示 二.calloc() 三.realloc&#xff08;&#xff09; 在在C语言的内存当中&#xff0c;针对不同的数据我们所存放的位置都是不一样的。内存栈区和静态区系统会自动创建和销毁&am…

RA4M2开发(3)----读取ISL29035数据,并在OLED上显示,串口打印

概述 首先导入必要的库文件&#xff0c;包括I2C驱动和OLED驱动。在代码中配置I2C接口&#xff0c;并初始化I2C驱动。配置ISL29035传感器&#xff0c;包括配置传感器的工作模式和量程。使用I2C读取ISL29035传感器的数据&#xff0c;并将其存储在变量中。初始化OLED驱动&#xf…

【机器学习】第二章-模型评估与选择-西瓜书笔记

文章目录为什么要进行模型评估&#xff1f;- 选择模型与参数在何种数据集上对训练误差进行评估&#xff1f;- 训练集在何种数据集上对泛化误差进行评估&#xff1f;- 测试集如何划分测试集&#xff1f;1 留出法2 交叉验证法3 自助法模型选择和调参的区别&#xff1f;如何模型选…

Pytest学习笔记

Pytest学习笔记 1、介绍 1.1、单元测试 单元测试是指在软件开发当中&#xff0c;针对软件的最小单位&#xff08;函数&#xff0c;方法&#xff09;进行正确性的检查测试 1.2、单元测试框架 测试发现&#xff1a;从多个py文件里面去找到我们测试用例测试执行&#xff1a;按…