Cannal实现MySQL主从同步环境搭建

news2024/11/23 4:57:20

大家好，我是袁庭新。

在多数情况下，客户端往往会优先获取缓存中的数据。然而，当缓存数据与数据库中的实际数据存在显著不一致时，可能会导致严重的后果。因此，确保数据库与缓存数据之间的一致性变得至关重要，这一过程被称为缓存与数据库的同步。

canal [kə’næl]，译意为水道/管道/沟渠，主要用途是基于MySQL数据库增量日志解析，提供增量数据订阅和消费。canal是阿里巴巴旗下的一款开源项目，基于Java开发。

而canal就是把自己伪装成MySQL的一个Slave节点，从而监听master的binary log变化。再把得到的变化信息通知给canal的客户端，进而完成对其它数据库的同步。

在这里插入图片描述

1 安装MySQL

后期做数据同步需要用到MySQL的主从功能，所以需要大家在虚拟机中，利用Docker来运行一个MySQL容器。

1.1 准备目录

为了方便后期配置MySQL，我们先准备两个目录，用于挂载容器的数据和配置文件目录。

# 进入/tmp目录
cd /tmp
# 创建文件夹
mkdir mysql
# 进入mysql目录
cd mysql

1.2 运行命令

进入mysql目录后，执行下面的Docker命令：

docker run \
 -p 3306:3306 \
 --name mysql \
 -v $PWD/conf:/etc/mysql/conf.d \
 -v $PWD/logs:/logs \
 -v $PWD/data:/var/lib/mysql \
 -e MYSQL_ROOT_PASSWORD=123456 \
 --privileged \
 -d \
 mysql:5.7.25

1.3 修改配置

在/tmp/mysql/conf目录添加一个my.cnf文件，作为mysql的配置文件：

# 创建文件
touch /tmp/mysql/conf/my.cnf

文件的内容如下：

[mysqld]
skip-name-resolve
character_set_server=utf8
datadir=/var/lib/mysql
server-id=1000

1.4 重启MySQL

配置修改后，必须重启容器。

docker restart mysql

下面我们来开启MySQL的主从同步机制，让canal来模拟Salve。

2 开启MySQL主从

canal是基于MySQL的主从同步功能，因此必须先开启MySQL的主从功能才可以。这里以之前用Docker运行的MySQL为例。

2.1 开启binlog

打开mysql容器挂载的日志文件，我的在/tmp/mysql/conf目录下。

修改my.cnf文件。

vi /tmp/mysql/conf/my.cnf

添加log-bin参数和binlog-do-db参数的配置，代码如下。

log-bin=/var/lib/mysql/mysql-bin
binlog-do-db=springboot_data

上述参数的含义是：

  • log-bin参数：log-bin参数用于启用二进制日志功能，并指定二进制日志文件的前缀。二进制日志记录了所有对数据库进行更改的SQL语句（例如，INSERT、UPDATE、DELETE等）。
  • binlog-do-db参数：用于指定只记录特定数据库的更改到二进制日志中。当配置了binlog-do-db后，MySQL只会将指定数据库的更改写入二进制日志，对于其他数据库的更改则不会记录。这个参数在需要限制二进制日志内容、减少日志量或者在进行部分复制时非常有用。

以上步骤操作完成后，此时my.cnf文件的完整内容见下。

[mysqld]
skip-name-resolve
character_set_server=utf8
datadir=/var/lib/mysql
server-id=1000
log-bin=/var/lib/mysql/mysql-bin
binlog-do-db=springboot_data

2.2 设置用户权限

1.接下来添加一个仅用于数据同步的账户，出于安全考虑，这里仅提供对heima这个库的操作权限。

CREATE USER canal@'%' IDENTIFIED by 'canal';
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT,SUPER ON *.* TO 'canal'@'%' identified by 'canal';
FLUSH PRIVILEGES;

2.然后重启mysql容器即可。

docker restart mysql

3.测试设置是否成功。在MySQL控制台，或者Navicat中，输入以下命令。

show master status;

4.如果现实效果如下图所示，则表明配置成功。

在这里插入图片描述

3 安装canal

3.1 创建网络

我们需要创建一个网络，将MySQL、Canal、MQ放到同一个Docker网络中。

docker network create yuanxin

让mysql加入这个网络。

docker network connect yuanxin mysql

3.2 安装canal

提前下载好canal的镜像压缩包（如canal.tar），然后可以上传到虚拟机，最后通过命令导入。

docker load -i canal.tar

然后运行命令创建Canal容器：

docker run -p 11111:11111 --name canal \
-e canal.destinations=yuanxin \
-e canal.instance.master.address=mysql:3306  \
-e canal.instance.dbUsername=canal  \
-e canal.instance.dbPassword=canal  \
-e canal.instance.connectionCharset=UTF-8 \
-e canal.instance.tsdb.enable=true \
-e canal.instance.gtidon=false  \
-e canal.instance.filter.regex=springboot_data\\..* \
--network yuanxin \
-d canal/canal-server:v1.1.5

下面是命令的详细解释：

  • docker run: Docker的命令，用于运行一个新的容器实例。
  • -p 11111:11111: 端口映射参数（canal的默认监听端口）。将容器内的11111端口映射到宿主机的11111端口上，这样就可以通过宿主机的端口访问容器内运行的服务。
  • --name canal: 为这个容器实例指定一个名字，这里命名为"canal"。
  • -e canal.destinations=yuanxin: 设置环境变量canal.destinations的值为yuanxin。这个变量指定了Canal实例的目标名称，Canal可以支持多个实例同时运行，每个实例都需要一个唯一的名称。
  • -e canal.instance.master.address=mysql:3306: 设置环境变量canal.instance.master.address的值为mysql:3306，指定了Canal要连接的MySQL数据库的地址和端口。
  • -e canal.instance.dbUsername=canal: 设置环境变量canal.instance.dbUsername的值为canal，指定了连接MySQL数据库的用户名。
  • -e canal.instance.dbPassword=canal: 设置环境变量canal.instance.dbPassword的值为canal，指定了连接MySQL数据库的密码。
  • -e canal.instance.connectionCharset=UTF-8: 设置环境变量canal.instance.connectionCharset的值为UTF-8，指定了连接MySQL数据库时使用的字符集。
  • -e canal.instance.tsdb.enable=true: 设置环境变量canal.instance.tsdb.enable的值为true，启用时间戳数据库，用于记录Canal解析和处理的位置信息。
  • -e canal.instance.gtidon=false: 设置环境变量canal.instance.gtidon的值为false，表示不启用全局唯一ID生成器。
  • -e canal.instance.filter.regex=springboot_data\\..*: 设置环境变量canal.instance.filter.regex的值为springboot_data\\..*，这是一个正则表达式，用于指定Canal需要监控和同步的数据库和表。这里的意思是监控名为springboot_data的数据库下的所有表。
  • --network yuanxin: 指定容器运行的网络模式为yuanxin，这意味着容器将加入名为yuanxin的Docker网络，可以与同一网络内的其他容器进行通信。
  • -d canal/canal-server:v1.1.5: 指定容器使用的镜像为canal/canal-server，版本为v1.1.5，并且以守护进程（后台）模式运行容器。

至此，使用canal实现MySQL主从同步的环境搭建完成。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/2245739.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

机器学习基础06

机器学习基础06

目录 1.梯度下降 1.1梯度下降概念 1.2梯度下降公式 1.3学习率 1.4实现梯度下降 1.5API 1.5.1随机梯度下降SGD 1.5.2小批量梯度下降MBGD 1.6梯度下降优化 2.欠拟合过拟合 2.1欠拟合 2.2过拟合 2.3正则化 2.3.1L1正则项（曼哈顿距离） 2.3.2…
阅读更多...
探索ASP.NET Core 6 MVC与SqlServer的完美结合：一个开源示例项目

探索ASP.NET Core 6 MVC与SqlServer的完美结合：一个开源示例项目

探索ASP.NET Core 6 MVC与SqlServer的完美结合：一个开源示例项目 【下载地址】ASP.NETCore6MVCSqlServer示例项目 ASP.NET Core 6 MVC SqlServer 示例项目本仓库提供了一个基于 ASP.NET Core 6 的 MVC 应用程序示例，使用 SqlServer 数据库 项目地址: …
阅读更多...
LLM | 论文精读 | CVPR | Alpha-CLIP —— 一个聚焦目标区域的CLIP模型

LLM | 论文精读 | CVPR | Alpha-CLIP —— 一个聚焦目标区域的CLIP模型

论文标题：Alpha-CLIP: A CLIP Model Focusing on Wherever You Want 作者：Zeyi Sun, Ye Fang, Tong Wu, Pan Zhang, Yuhang Zang等 期刊：CVPR 2024 DOI：http://arxiv.org/pdf/2312.03818v2 email：yuhan.huangwhu.ed…
阅读更多...
MySQL 的 Change Buffer 是什么？它有什么作用？

MySQL 的 Change Buffer 是什么？它有什么作用？

MySQL 的 Change Buffer 是什么？它有什么作用？ MySQL 是目前广泛使用的开源数据库管理系统，其中的 InnoDB 存储引擎凭借其高性能、高可靠性以及强大的事务支持，成为了默认的存储引擎。在 InnoDB 的众多优化机制中，Cha…
阅读更多...
axios 请求跨域问题

axios 请求跨域问题

文章目录 1. 使用场景2. 解决办法 1. 使用场景 ① 编写后端测试接口&#xff0c;Vue-CLI 的默认端口为 8080&#xff0c;所以为避免端口冲突&#xff0c;我们后端的端口号换成 8081。 ② 前端通过 axios 向后端服务发起请求。 <script> import axios from axios export…
阅读更多...
VConsole——（H5调试工具）前端开发使用于手机端查看控制台和请求发送

VConsole——（H5调试工具）前端开发使用于手机端查看控制台和请求发送

因为开发钉钉H5微应用在手机上一直查看不到日志等&#xff0c;出现安卓和苹果上传图片一边是成功的&#xff0c;一边是失败的&#xff0c;所以找了这个&#xff0c;之前在开发微信小程序进行调试的时候能看到&#xff0c;之前没想到过&#xff0c;这次被人提点发现可以单独使用…
阅读更多...
集合卡尔曼滤波（Ensemble Kalman Filter），用于二维滤波（模拟平面上的目标跟踪），MATLAB代码

集合卡尔曼滤波（Ensemble Kalman Filter），用于二维滤波（模拟平面上的目标跟踪），MATLAB代码

集合卡尔曼滤波&#xff08;Ensemble Kalman Filter&#xff09; 文章目录 引言理论基础卡尔曼滤波集合卡尔曼滤波初始化预测步骤更新步骤卡尔曼增益更新集合 MATLAB 实现运行结果3. 应用领域结论 引言 集合卡尔曼滤波&#xff08;Ensemble Kalman Filter, EnKF&#xff09;是…
阅读更多...
写给Vue2使用者的Vue3学习笔记

写给Vue2使用者的Vue3学习笔记

&#x1f64b;‍请注意&#xff0c;由于本人项目中引入了unplugin-auto-import的依赖&#xff0c;所以所有的代码示例中均未手动引入各种依赖库&#xff08;ref、reactive、useRouter等等&#xff09; 初始环境搭建 npm init vuelatest模板语法 插值 同 Vue2 <span>…
阅读更多...
golang调用webview，webview2，go-webview2

golang调用webview，webview2，go-webview2

go version go1.20 windows/amd64 先要了解一些第三方库 1、webview/webview 它是一个跨平台的轻量级的webview库&#xff0c;面向的是C/C&#xff0c;使用它可以构建跨平台的GUI。webview就是浏览器内核&#xff0c;在不同操作系统上是不同的库&#xff0c;比如在windows上…
阅读更多...
【初阶数据结构篇】双向链表的实现（赋源码）

【初阶数据结构篇】双向链表的实现（赋源码）

文章目录 须知 &#x1f4ac; 欢迎讨论&#xff1a;如果你在学习过程中有任何问题或想法&#xff0c;欢迎在评论区留言&#xff0c;我们一起交流学习。你的支持是我继续创作的动力&#xff01; &#x1f44d; 点赞、收藏与分享&#xff1a;觉得这篇文章对你有帮助吗&#xff1…
阅读更多...
结合第三方模块requests，文件IO、正则表达式，通过函数封装爬虫应用采集数据

结合第三方模块requests，文件IO、正则表达式，通过函数封装爬虫应用采集数据

#引用BeautifulSoup更方便提取html信息&#xff1b;requests模块&#xff0c;发生http请求&#xff1b;os模块&#xff0c;文件写入import requests from bs4 import BeautifulSoup import os#当使用requests库发送请求时&#xff0c;如果不设置User - Agent&#xff0c;默认的…
阅读更多...
开源许可协议

开源许可协议

何同学推动了开源协议的认识&#xff0c;功不可没&#xff0c;第一次对开源有了清晰的认识&#xff0c;最宽松的MIT开源协议 源自OSC开源社区&#xff1a;何同学使用开源软件“翻车”&#xff0c;都别吵了&#xff01;扯什么违反MIT
阅读更多...
【达梦数据库】主备集群改造成读写分离

【达梦数据库】主备集群改造成读写分离

目录 背景步骤1、确认授权2、参数修改3、确认驱动版本和数据库版本匹配 背景 客户在双机主备集群手动切换的环境下&#xff0c;发现主库压力较大&#xff0c;需要改成读写分离的模式&#xff0c;将主库的压力分担到备库。 步骤 1、确认授权 select * from v$license;授权使…
阅读更多...
docker安装zabbix +grafana

docker安装zabbix +grafana

安装zabbix grafana 1、部署 mkdir -p /opt/zabbix/{data,backups}mkdir -p /opt/grafanasudo chown -R 472:472 /opt/grafanasudo chmod -R 755 /opt/grafanacat > docker-compose.yml <<-EOF version: 3.3services:mysql-server:image: mysql:8.1container_name: m…
阅读更多...
RocketMQ学习记录

RocketMQ学习记录

服务器操作系统版本&#xff1a;Ubuntu 24.04 Java版本&#xff1a;21 Spring Boot版本&#xff1a;3.3.5 如果打算用GUI&#xff0c;虚拟机安装Ubuntu 24.04&#xff0c;见虚拟机安装Ubuntu 24.04及其常用软件(2024.7)_ubuntu24.04-CSDN博客https://blog.csdn.net/weixin_4…
阅读更多...
网络安全之接入控制

网络安全之接入控制

身份鉴别 ​ 定义:验证主题真实身份与其所声称的身份是否符合的过程&#xff0c;主体可以是用户、进程、主机。同时也可实现防重放&#xff0c;防假冒。 ​ 分类:单向鉴别、双向鉴别、三向鉴别。 ​ 主题身份标识信息:密钥、用户名和口令、证书和私钥 Internet接入控制过程 …
阅读更多...
Spring 框架七大模块（Java EE 学习笔记03）

Spring 框架七大模块（Java EE 学习笔记03）

​ ​核心容器模块&#xff08;Core Container&#xff09; 核心容器模块在Spring的功能体系中起着支撑性作用&#xff0c;是其他模块的基石。核心容器层主要由Beans模块、Core模块、Contex模块和SpEL模块组成。 &#xff08;1&#xff09;Beans模块。它提供了BeanFactory类&…
阅读更多...
IPv6基础知识

IPv6基础知识

IPv6是由IEIF提出的互聯網協議第六版&#xff0c;用來替代IPv4的下一代協議&#xff0c;它的提出不僅解決了網絡地址資源匱乏問題&#xff0c;也解決了多種接入設備接入互聯網的障礙。IPv6的地址長度為128位&#xff0c;可支持340多萬億個地址。如下圖&#xff0c;3ffe:1900:fe…
阅读更多...
旷世yolox自定义数据训练和验证和onnx导出推理

旷世yolox自定义数据训练和验证和onnx导出推理

目录 1.前言 2.代码 3.环境 4.自定义数据形态 5.配置文件 6.训练 7.验证 8.评估混淆矩阵 9.导出onnx 10.onnx推理 -- 补充&#xff1a;docker环境 1.前言 旷世科技的yolox比较清爽&#xff0c;效果也不错&#xff0c;简单总结主要有三点创新比较高&#xff1a;deco…
阅读更多...
Electron开发构建工具electron-vite(alex8088)添加VueDevTools(VitePlugin)

Electron开发构建工具electron-vite(alex8088)添加VueDevTools(VitePlugin)

零、介绍 本文章的electron-vite指的是这个项目&#x1f449;electron-vite仓库&#xff0c;electron-vite网站 本文章的VueDevTools指的是VueDevTools的Vite插件版&#x1f449;https://devtools.vuejs.org/guide/vite-plugin 一、有一个用electron-vite创建的项目 略 二、…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023