使用Canal同步mysql数据到es

news2024/11/25 20:46:17

一、简介

Canal主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费。当前的 canal 支持源端 MySQL 版本包括 5.1.x , 5.5.x , 5.6.x , 5.7.x , 8.0.x

二、工作原理

MySQL主备复制原理

MySQL master 将数据变更写入二进制日志( binary log, 其中记录叫做二进制日志事件binary log events，可以通过 show binlog events 进行查看)
MySQL slave 将 master 的 binary log events 拷贝到它的中继日志(relay log)
MySQL slave 重放 relay log 中事件，将数据变更反映它自己的数据

canal 工作原理
canal 模拟 MySQL slave 的交互协议，伪装自己为 MySQL slave ，向 MySQL master 发送dump 协议
MySQL master 收到 dump 请求，开始推送 binary log 给 slave (即 canal )
canal 解析 binary log 对象(原始为 byte 流)

三、准备安装包

下载地址，我使用的是1.1.6版本 https://github.com/alibaba/canal/releases/tag/canal-1.1.6 国内的话，可以在绿色聊天软件搜索：程序员朱永胜关注回复1006领取安装包，不限速下载
deployer包：服务包
admin包：UI管理系统，需要的话可以下载
adapter包：官方提供的客户端，可以实现自动同步

四、启动Canal服务

4.1 下载

最简单的使用，我们只需要安装deplyee包即可，其他的不需要

4.2 新增用户并授权

4.3 配置文件修改

4.3.1 canal.properties

这个配置文件默认即可，无需修改配置

4.3.2 instance.properties

修改mysql地址，要确保已经配置了账号密码并授权

4.4 启动

4.5 确认启动成功

五、安装依赖
```
<dependencies>
  <dependency>
      <groupId>com.alibaba.otter</groupId>
      <artifactId>canal.client</artifactId>
      <version>1.1.4</version>
  </dependency>
</dependencies>
```
六、运行效果

由于代码比较长，我放到最后了，这里先说下效果。代码启动后，我们只需要变更任意表里面的数据即可看到控制台打印内容。数据很清晰，有具体的数据库，表，操作类型，以及字段及修改的值。到这里基本就算结束了，后续就是根据业务自己推送到ES中。当然，也可以使用官方的adapter推送到ES中。

七、编写客户端代码

测试代码官网地址：https://github.com/alibaba/canal/blob/master/example/src/main/java/com/alibaba/otter/canal/example/AbstractCanalClientTest.java 国内的话，可以在绿色聊天软件搜索：程序员朱永胜关注回复1007领取代码，不限速下载

6.1 BaseCanalClientTest

6.2 SimpleCanalClientTest

6.3 AbstractCanalClientTest