canal使用说明：MySQL、Redis实时数据同步

news2024/11/26 6:19:38

1. canal简介

canal是阿里开源的数据同步工具，基于bin log可以将数据库同步到其他各类数据库中，目标数据库支持mysql,postgresql,oracle,redis,MQ,ES等

canal分成服务端deployer和客户端adapter，我们可以部署多个，同时为了方便管理还提供了一个管理端admin

canal的数据同步流程如下图所示

在这里插入图片描述

因为目前canal还不能直接通过配置就实现对redis的数据同步，因此我们需要自定义一下canal客户端，通过服务端将数据同步到客户端后，由客户端自定义操作同步到redis

在这里插入图片描述

2、canal配置（MySQL数据库用的是204服务器上的，canal安装在208服务器上）

第一步：因为canal是监控MySQL中的binlog日志来完成同步工作，所以我们需要开启binlog日志功能，由于咱们项目用的MySQL8以上的版本，binlog默认开启，所以可以不管。

第二步：通过show variables like ‘%binlog_format%’; 查看当前binlog，值为ROW就可以了

在这里插入图片描述

第三步：源数据库创建一个canal账号，并且设置slave,dump权限

CREATE USER canal IDENTIFIED BY 'canal';  
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%';
-- GRANT ALL PRIVILEGES ON *.* TO 'canal'@'%' ;
FLUSH PRIVILEGES;

第四步：因为mysql8.0.3后身份检验方式为caching_sha2_password，但canal使用的是mysql_native_password，因此需要设置检验方式（如果该版本之前的可跳过），否则会报错IOException: caching_sha2_password Auth failed

ALTER USER 'canal'@'%' IDENTIFIED WITH mysql_native_password BY 'canal';
select host,user,plugin from mysql.user ;

第五步：在208服务器上拉取canal，输入以下命令并解压到/tmp/canal文件夹下

wget https://github.com/alibaba/canal/releases/download/canal-1.1.6/canal.deployer-1.1.6.tar.gz

进入到canal文件夹，然后进入conf文件夹找到example文件夹，复制example文件夹并重命名为redis

cd conf
# 复制example实例配置
cp -R example redis

然后修改redis文件夹中的instance.properties配置文件

在这里插入图片描述

在此之前需要查看一下数据库binlog日志状态信息：

show master status;

在这里插入图片描述

然后进行instance.properties配置文件开始配置（说明和需要改动的地方都在图里）

在这里插入图片描述

想了解配置中其他配置信息的，可以参考下面的

在这里插入图片描述

配置完成后，启动canal客户端并查看日志，没报错就说明成功了

./bin/start.sh
cat logs/redis/redis.log

我在过程中也遇到了错误，如遇到，可以看看下面的解决办法：

Received error packet: errno = 1236, sqlstate = HY000 errmsg = Could
not find first log file name in binary log index file

第六步：创建canal应用端，配置需要同步到redis的地址（展示本地应用，具体的应用这几天会上传到云效上）

依赖引用：

<dependency>
  <groupId>top.javatool</groupId>
  <artifactId>canal-spring-boot-starter</artifactId>
  <version>1.2.1-RELEASE</version>
</dependency>

配置文件（application.yml）：

# 应用名称
spring:
  application:
    name: ns-service-support-canal
  # 数据同步到当前redis中
  redis:
    host: 127.0.0.1
    password: 123456
    database: 6

# 应用服务 WEB 访问端口
server:
  port: 8080

# canal服务端地址
canal:
  # 部署到208上，port默认为11111
  server: 192.168.xxx.xxx:11111
  # 实例名，与之前复制example之后那个文件夹名称一致
  destination: redis

# 设置canal消息日志打印级别
logging:
  level:
    top.javatool.canal.client: warn

RedisConfig.java(json转换与其他微服务同步)

@Configuration
@AllArgsConstructor
public class RedisConfig {

    private RedisConnectionFactory factory;

    /**
     * jsonObject转换
     * @param connectionFactory
     * @return
     */
    @Bean
    @SuppressWarnings(value = { "unchecked", "rawtypes" })
    public RedisTemplate<Object, Object> redisTemplate(RedisConnectionFactory connectionFactory)
    {
        RedisTemplate<Object, Object> template = new RedisTemplate<>();
        template.setConnectionFactory(connectionFactory);

        FastJsonRedisSerializer serializer = new FastJsonRedisSerializer(Object.class);

        // 使用StringRedisSerializer来序列化和反序列化redis的key值
        template.setKeySerializer(new StringRedisSerializer());
        template.setValueSerializer(serializer);

        // Hash的key也采用StringRedisSerializer的序列化方式
        template.setHashKeySerializer(new StringRedisSerializer());
        template.setHashValueSerializer(serializer);

        template.afterPropertiesSet();
        return template;
    }

}

3、关键（如果选择直接使用当前项目，你需要在项目中增加实体类和handler两个）

关键的来了，需要同步哪张表，就需要创建对应的实体类（与其他微服务基本一致，需要添加的东西是，实体类头部增加@Table注解，标明对应的数据库表名，每个实体类参数添加@Column注解，名称对应数据库表参数），以user表为例

@Data
@Table(name = "user")
public class User implements Serializable {

    private static final long serialVersionUID = 1L;

    @ApiModelProperty("id")
    @NsGridField(title = "id")
    @Column(name="id")
    private Long userId;

    @ApiModelProperty("姓名")
    @NsGridField(title = "姓名")
    @Column(name="name")
    private String name;

    @ApiModelProperty("账号")
    @NsGridField(title = "账号")
    @Column(name="username")
    private String username;

    @ApiModelProperty("密码")
    @NsGridField(title = "密码")
    @Column(name="password")
    private String password;

    @ApiModelProperty("昵称")
    @NsGridField(title = "昵称")
    @Column(name="nickname")
    private String nickname;

    @ApiModelProperty("授权顾问昵称")
    @NsGridField(title = "授权顾问昵称")
    @Column(name="g_a_a_c_nickname")
    private String gAACNickname;

    @ApiModelProperty("头像地址")
    @NsGridField(title = "头像地址")
    @Column(name="avatar_url")
    private String avatarUrl;

    @ApiModelProperty("手机")
    @NsGridField(title = "手机")
    @Column(name="phone")
    private String phone;

    @ApiModelProperty("身份证号")
    @NsGridField(title = "身份证号")
    @Column(name="id_card")
    private String idCard;

    @ApiModelProperty("邮箱")
    @NsGridField(title = "邮箱")
    @Column(name="email")
    private String email;

    @ApiModelProperty("性别: 0男;1女;2未知")
    @NsGridField(title = "性别: 0男;1女;2未知")
    @Column(name="gender")
    private Integer gender;

    @ApiModelProperty("账号状态：0正常;1禁用")
    @NsGridField(title = "账号状态：0正常;1禁用")
    @Column(name="account_status")
    private Integer accountStatus;

    @ApiModelProperty("账号类型：0普通用户 1平台用户 ")
    @NsGridField(title = "账号类型：0普通用户 1平台用户 ")
    @Column(name="account_type")
    private Integer accountType;

    @ApiModelProperty("是否实名认证：0否 1是")
    @NsGridField(title = "是否实名认证：0否 1是")
    @Column(name="is_approve")
    private Integer isApprove;

    @ApiModelProperty("平台组织id")
    @NsGridField(title = "平台组织id")
    @Column(name="org_id")
    private Long orgId;

    @ApiModelProperty("备注")
    @NsGridField(title = "备注")
    @Column(name="remark")
    private String remark;

    @ApiModelProperty("乐观锁")
    @NsGridField(title = "乐观锁")
    @Column(name="revision")
    private Integer revision;

    @ApiModelProperty("排序")
    @NsGridField(title = "排序")
    @Column(name="sort_value")
    private Integer sortValue;

    @ApiModelProperty("状态")
    @NsGridField(title = "状态")
    @Column(name="status")
    private Boolean status;

    @ApiModelProperty("组织描述")
    @NsGridField(title = "组织描述")
    @Column(name="org_describe")
    private String orgDescribe;

    @Override
    public String toString() {
        return "User{" +
                "name='" + name + '\'' +
                ", username='" + username + '\'' +
                ", password='" + password + '\'' +
                ", nickname='" + nickname + '\'' +
                ", gAACNickname='" + gAACNickname + '\'' +
                ", avatarUrl='" + avatarUrl + '\'' +
                ", phone='" + phone + '\'' +
                ", idCard='" + idCard + '\'' +
                ", email='" + email + '\'' +
                ", gender=" + gender +
                ", accountStatus=" + accountStatus +
                ", accountType=" + accountType +
                ", isApprove=" + isApprove +
                ", orgId=" + orgId +
                ", remark='" + remark + '\'' +
                ", revision=" + revision +
                ", sortValue=" + sortValue +
                ", status=" + status +
                ", orgDescribe='" + orgDescribe + '\'' +
                '}';
    }
}

canal-spring-boot-starter包提供了EntryHandler类用于监控表数据更新，于是我们创建一个EntryHandler实现类，用于实现redis的增删改

/**
 * @author csf
 * @Description
 * @date 2023/1/30
 */
@CanalTable("user")
@Component
@AllArgsConstructor
@Slf4j
public class NmsUserHandler  implements EntryHandler<User> {

    private final RedisTemplate<Object,Object> redisTemplate;

    @Override
    public void insert(User nmsUser) {
        log.info("[新增]"+nmsUser.toString());
        redisTemplate.opsForValue().set("user:"+nmsUser.getUsername(),nmsUser);
        Object o = redisTemplate.opsForValue().get("user:ns0");
        System.out.println(o);
    }

    @Override
    public void update(User before, User after) {
        log.info("[更新]"+after.toString());
        redisTemplate.opsForValue().set("user:"+after.getUsername(),after);
        Object o = redisTemplate.opsForValue().get("user:snn7");
        System.out.println(o);
    }

    @Override
    public void delete(User nmsUser) {
        log.info("[删除]"+nmsUser.getUsername());
        redisTemplate.delete("user:"+nmsUser.getUsername());
    }
}

至此，配置完成，启动项目

测试：不管对数据进行增或删改，日志都能实时反馈，并且数据都能实时同步到redis中

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

日志

在这里插入图片描述

redis
在这里插入图片描述
在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/336426.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

AssertionError: 618 columns passed, passed data had 508 columns【已解决】

AssertionError: 618 columns passed, passed data had 508 columns【已解决】

问题描述 程序中断&#xff0c;报错如下AssertionError: 618 columns passed, passed data had 508 columns Exception has occurred: ValueError 618 columns passed, passed data had 508 columns AssertionError: 618 columns passed, passed data had 508 columnsThe abo…
阅读更多...
＜ CSDN周赛解析：第 27 期 ＞

＜ CSDN周赛解析：第 27 期 ＞

CSDN周赛解析&#xff1a;第 27 期&#x1f449; 前言&#x1f449; 第一题&#xff1a; 幸运数字> 解析> 解决方案> 拓展知识&#x1f449; 第二题&#xff1a; 投篮> 解析> 解决方案&#x1f449; 第三题&#xff1a; 通货膨胀-x国货币> 解析> 解决方案…
阅读更多...
数字展陈技术，让珍贵馆藏资源走出深闺

数字展陈技术，让珍贵馆藏资源走出深闺

这篇文章来自于笔者2017年发表在《档案时空》第12期的一篇文章&#xff0c;原名为《数字展陈技术在档案展览中的应用》。 档案时空 时隔5年&#xff0c;数字视觉技术的发展突飞猛进&#xff0c;特别是这两年元宇宙浪潮席卷全球&#xff0c;VR/AR/MR技术的综合应用给受众带来非一…
阅读更多...
【PyTorch】教程：对抗学习实例生成

【PyTorch】教程：对抗学习实例生成

ADVERSARIAL EXAMPLE GENERATION 研究推动 ML 模型变得更快、更准、更高效。设计和模型的安全性和鲁棒性经常被忽视&#xff0c;尤其是面对那些想愚弄模型故意对抗时。 本教程将提供您对 ML 模型的安全漏洞的认识&#xff0c;并将深入了解对抗性机器学习这一热门话题。在图像…
阅读更多...
Java程序设计-ssm企业财务管理系统设计与实现

Java程序设计-ssm企业财务管理系统设计与实现

摘要系统设计系统实现开发环境&#xff1a;摘要 对于企业集来说,财务管理的地位很重要。随着计算机和网络在企业中的广泛应用&#xff0c;企业发展速度在不断加快&#xff0c;在这种市场竞争冲击下企业财务管理系统必须优先发展&#xff0c;这样才能保证在竞争中处于优势地位。…
阅读更多...
from文件突然全部变为类cs右击无法显示设计界面

from文件突然全部变为类cs右击无法显示设计界面

右击也不显示查看设计器 工程文件 .csproj中将 <Compile Include"OperatorWindows\Connection.cs" /> <Compile Include"OperatorWindows\Connection.Designer.cs"> <DependentUpon>Connection.cs</DependentUpon> &…
阅读更多...
CV——day74 读论文：关注前景的anchor-free交通场景探测器

CV——day74 读论文：关注前景的anchor-free交通场景探测器

FII-CenterNet&#xff1a;关注前景的anchor-free交通场景探测器FII-CenterNetI. INTRODUCTIONII. RELATED WORKC. Detectors Exploiting Segmentation InformationIII. FII-CENTERNET APPROACHA. 前景区域建议网络(Foreground Region Proposal Network)1) 上分支提出前景区域2…
阅读更多...
linux称手的终端管理器Zsh（Z shell）-图文安装超详细

linux称手的终端管理器Zsh（Z shell）-图文安装超详细

linux默认的shell太low了&#xff0c;iTerm2在macOS系统简直堪称终端管理神器&#xff0c;有一款可以平替iTem2的linux开源软件 Zsh&#xff08;Z shell&#xff09; &#xff0c;Zsh 是一个为交互使用而设计的 shell 一&#xff1a;安装Zsh 1.yum安装zsh yum install zsh安装…
阅读更多...
频谱分析仪测量噪声系数方法介绍

频谱分析仪测量噪声系数方法介绍

用频谱仪测量噪声系数&#xff1a;测量框图为&#xff1a;基于噪声系数的定义得到的一个测量公式为&#xff1a;NFPNOUT-(-174dBm/Hz20lg(BW)Gain)(1)公式中&#xff0c;PNOUT是已测的总共输出噪声功率&#xff0c;-174dBm/Hz是290oK&#xff08;室温&#xff09;时环境噪声的功…
阅读更多...
视频号小店新订单如何实时同步企业微信

视频号小店新订单如何实时同步企业微信

随着直播带货的火热&#xff0c;视频号小店也为商家提供商品信息服务、商品交易&#xff0c;支持商家在视频号运营电商&#xff0c;许多企业也将产品的零售路径渗透至视频号小店中了。如果我们希望在视频号小店接收到订单后&#xff0c;能尽快及时发货&#xff0c;给用户较好的…
阅读更多...
filter属性详解

filter属性详解

filter属性详解 filter 属性定义了元素(通常是<img>)的可视效果(例如&#xff1a;模糊与饱和度)。 filter: none | blur() | brightness() | contrast() | drop-shadow() | grayscale() | hue-rotate() | invert() | opacity() | saturate() | sepia() | url();下面运用…
阅读更多...
【金三银四系列】Spring面试题-上（2023版）

【金三银四系列】Spring面试题-上（2023版）

Spring面试专题 1.Spring应该很熟悉吧&#xff1f;来介绍下你的Spring的理解 有些同学可能会抢答&#xff0c;不熟悉!!! 好了&#xff0c;不开玩笑&#xff0c;面对这个问题我们应该怎么来回答呢&#xff1f;我们给大家梳理这个几个维度来回答 1.1 Spring的发展历程 先介绍…
阅读更多...
由 GPT 驱动的沙盒，尽情发挥想象力！ #NovelAI

由 GPT 驱动的沙盒，尽情发挥想象力！ #NovelAI

一个由 GPT 驱动的沙盒&#xff0c;供用户尽情发挥想象力的空间&#xff0c;会获得怎样的体验&#xff1f;NovelAI NovelAI 是一项用于 AI 辅助创作、讲故事、虚拟陪伴的工具。NovelAI 的人工智能算法会根据用户的方式创建类似人类的写作&#xff0c;使任何人&#xff0c;无论能…
阅读更多...
《爆肝整理》保姆级系列教程python接口自动化（十一）--发送post【data】（详解

《爆肝整理》保姆级系列教程python接口自动化（十一）--发送post【data】（详解

简介　 前面登录的是传 json 参数&#xff0c;由于其登录机制的改变没办法演示&#xff0c;然而在工作中有些登录不是传 json 的&#xff0c;如 jenkins 的登录&#xff0c;这里小编就以jenkins 登录为案例&#xff0c;传 data 参数&#xff0c;给各位童鞋详细演练一下。 一、…
阅读更多...
【操作系统】操作系统IO和虚拟文件系统VFS

【操作系统】操作系统IO和虚拟文件系统VFS

1.什么是操作系统的IO 输入&#xff08;input&#xff09;和输出&#xff08;output&#xff09;&#xff0c;就是对磁盘的读&#xff08;read&#xff09;和写&#xff08;write&#xff09;。 I/O模式可以划分为本地IO模型&#xff08;内存、磁盘&#xff09;和网络IO模型。…
阅读更多...
测试的阶段性小小总结

测试的阶段性小小总结

转眼入职2年之余&#xff0c;毕业后就投入测试行业。在日常的工作中也有自己的一些思考和总结。2021到2023是多变的两年&#xff0c;加入教培行业&#xff0c;受双减政策影响&#xff0c;注定艰难。参与了各种类型的测试项目&#xff0c;不断在探索和前行&#xff0c;万变不离其…
阅读更多...
C++ —— 多态

C++ —— 多态

目录 1.多态的概念 2.多态的定义及实现 2.1构成多态的两个硬性条件 2.2虚函数的重写 2.3override和final 3.抽象类 3.1接口继承和实现继承 4.多态原理 4.1虚函数表 4.2原理 4.3静态绑定和动态绑定 5.单继承和多继承体系的虚函数表 5.1单继承体系的虚函数表 5.2多继…
阅读更多...
【MyBatis】第七篇：动态sql

【MyBatis】第七篇：动态sql

mybatis中的动态sql&#xff0c;其实就是在mybatis中映射配置文件中通过if等判断语句写sql。现在聊一下&#xff0c;常用的的判断语句。 前面准备&#xff1a; CREATE TABLE student (sid int DEFAULT NULL,sname varchar(10) CHARACTER SET utf8mb3 COLLATE utf8mb3_general…
阅读更多...
2023年深圳/东莞/惠州CPDA数据分析师认证报名入口

2023年深圳/东莞/惠州CPDA数据分析师认证报名入口

CPDA数据分析师认证是中国大数据领域有一定权威度的中高端人才认证&#xff0c;它不仅是中国较早大数据专业技术人才认证、更是中国大数据时代先行者&#xff0c;具有广泛的社会认知度和权威性。 无论是地方政府引进人才、公务员报考、各大企业选聘人才&#xff0c;还是招投标加…
阅读更多...
计算机网络-传输层

计算机网络-传输层

文章目录前言概述用户数据报协议 UDP(User Datagram Protocol)传输控制协议 TCP(Transmission Control Protocol)TCP 的流量控制拥塞控制方法TCP 的运输连接管理TCP 的有限状态机总结前言 本博客仅做学习笔记&#xff0c;如有侵权&#xff0c;联系后即刻更改 科普&#xff1a…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023