缓存同步之 RabbitMQ 和 Canal

news2024/11/27 7:39:24

缓存同步

大多数情况下，浏览器查询到的都是缓存数据，如果缓存数据与数据库数据存在较大差异，可能会产生比较严重的后果。所以我们必须保证数据库数据、缓存数据的一致性，这就是缓存与数据库的同步。

数据同步策略

设置有效期：给缓存设置有效期，到期后自动删除。再次查询时更新

  • 优势：简单、方便
  • 缺点：时效性差，缓存过期之前可能不一致
  • 场景：更新频率较低，时效性要求低的业务

同步双写：在修改数据库的同时，直接修改缓存

  • 优势：时效性强，缓存与数据库强一致
  • 缺点：有代码侵入，耦合度高；
  • 场景：对一致性、时效性要求较高的缓存数据

异步通知：修改数据库时发送事件通知，相关服务监听到通知后修改缓存数据

  • 优势：低耦合，可以同时通知多个缓存服务
  • 缺点：时效性一般，可能存在中间不一致状态
  • 场景：时效性要求一般，有多个服务需要同步

大多情况下采用异步通知，而异步实现又可以基于MQ或者Canal来实现。

基于MQ的异步通知

RabbitMQ

SpringAMQP是基于RabbitMQ封装的一套模板，并且还利用SpringBoot对其实现了自动装配，使用起来非常方便。

SpringAmqp的官方地址：https://spring.io/projects/spring-amqp

整体流程：

  • 服务完成对数据的修改后，只需要发送一条消息到MQ中。
  • 缓存服务监听MQ消息，然后完成对缓存的更新。
  • 依然有少量的代码侵入。

在这里插入图片描述

案例代码

引入依赖

<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-amqp</artifactId>
</dependency>

编写配置

spring:
  rabbitmq:
    host: 192.168.150.101 # 主机名
    port: 5672 # 端口
    virtual-host: / # 虚拟主机
    username: XXX # 用户名
    password: XXX # 密码

声明队列交换机名称

/**
 * 声明队列交换机名称
 */
public class MqConstants {

    /**
     * 交换机
     */
    public final static String ITEM_EXCHANGE = "item.topic";

    /**
     * 监听新增和修改的队列
     */
    public final static String ITEM_INSERT_AND_UPDATE_QUEUE = "item.insert.update.queue";
    /**
     * 监听删除的队列
     */
    public final static String ITEM_DELETE_QUEUE = "item.delete.queue";

    /**
     * 新增或修改的 RoutingKey
     */
    public final static String ITEM_INSERT_AND_UPDATE_KEY = "item.insert.update";
    /**
     * 删除的 RoutingKey
     */
    public final static String ITEM_DELETE_KEY = "item.delete";
}

配置队列交换机

@Configuration
public class MqConfig {
    /**
     * 配置交换机
     * @return
     */
    @Bean
    public TopicExchange topicExchange(){
        return new TopicExchange(ITEM_EXCHANGE, true, false);
    }
    /**
     * 配置新增和修改的队列
     * @return
     */
    @Bean
    public Queue insertQueue(){
        return new Queue(ITEM_INSERT_AND_UPDATE_QUEUE, true);
    }
    /**
     * 配置删除的队列
     * @return
     */
    @Bean
    public Queue deleteQueue(){
        return new Queue(ITEM_DELETE_QUEUE, true);
    }
    /**
     * 绑定 新增和修改的队列和对应的 RoutingKey
     * @return
     */
    @Bean
    public Binding insertQueueBinding(){
        return BindingBuilder.bind(insertQueue()).to(topicExchange()).with(ITEM_INSERT_AND_UPDATE_KEY);
    }
    /**
     * 绑定 删除的队列和对应的 RoutingKey
     * @return
     */
    @Bean
    public Binding deleteQueueBinding(){
        return BindingBuilder.bind(deleteQueue()).to(topicExchange()).with(ITEM_DELETE_KEY);
    }
}

发送MQ消息

在service中的增、删、改业务中分别发送MQ消息：

@RestController
@RequestMapping("/item")
public class ItemController {

    @Autowired
    private IItemService itemService;

    @Autowired
    private RabbitTemplate rabbitTemplate;

	//新增
    @PostMapping
    public void saveItem(@RequestBody Item item){
        itemService.save(item);
        rabbitTemplate.convertAndSend(ITEM_EXCHANGE,ITEM_INSERT_AND_UPDATE_KEY,item.getId());
    }
	//修改
    @PutMapping
    public void updateItem(@RequestBody Item item) {
        itemService.updateById(item);
        rabbitTemplate.convertAndSend(ITEM_EXCHANGE,ITEM_INSERT_AND_UPDATE_KEY,item.getId());
    }

	//删除
    @DeleteMapping("/{id}")
    public void deleteById(@PathVariable("id") Long id){
        itemService.removeById(id);
        rabbitTemplate.convertAndSend(ITEM_EXCHANGE,ITEM_DELETE_KEY,id);
    }

}

监听MQ消息

@Component
public class ItemListener {
    
    @Autowired
    private ItemServiceImpl itemService;
    @Autowired
    private StringRedisTemplate redisTemplate;

    /**
     * 监听新增或修改的业务
     * @param id 
     */
    @RabbitListener(queues = ITEM_INSERT_AND_UPDATE_QUEUE)
    public void listenInsertOrUpdate(Long id){
        //查询数据库
        Item item = itemService.getById(id);
        //新增redis缓存,对于修改，直接新增覆盖（key一致）redis缓存即可
        redisTemplate
                .opsForValue()
                .set("item:id:"+id, JSONUtil.toJsonStr(item), Duration.ofMinutes(30));
    }

    /**
     * 监听删除的业务
     * @param id 
     */
    @RabbitListener(queues = ITEM_DELETE_QUEUE)
    public void listenDelete(Long id){
        //删除redis缓存
        redisTemplate.delete("item:id:"+id);
    }
}

基于Canal的通知

认识Canal

Canal [kə’næl]，译意为水道/管道/沟渠，canal是阿里巴巴旗下的一款开源项目，基于Java开发，基于数据库增量日志解析，提供增量数据订阅&消费。

GitHub官方的地址：https://github.com/alibaba/canal

Canal是基于mysql的主从同步来实现的，Canal就是把自己伪装成MySQL的一个slave节点，从而监听master的binary log变化。再把得到的变化信息通知给Canal的客户端，进而完成对其它数据库的同步。
在这里插入图片描述

整体流程：

  • 服务完成修改后，业务直接结束，没有任何代码侵入。
  • Canal监听MySQL变化，当发现变化后，立即通知缓存服务。
  • 缓存服务接收到canal通知，更新缓存。
  • 代码零侵入。
    在这里插入图片描述

实例代码

引入依赖

<dependency>
    <groupId>top.javatool</groupId>
    <artifactId>canal-spring-boot-starter</artifactId>
    <version>1.2.1-RELEASE</version>
</dependency>

编写配置

canal:
  destination: canal # canal的集群名字，要与安装canal时设置的名称一致
  server: 192.168.150.101:11111 # canal服务地址,更换ip

修改实体类

通过@Id、@Column、@Transient等注解完成实体类与数据库表字段的映射：

  • @Id ：主键ID
  • @Column：属性名与数据库表中字段不一致
  • @Transient：数据库表中不存在字段
@Data
@TableName("tb_item")
public class Item {
    @TableId(type = IdType.AUTO)
    @Id
    private Long id;//商品id
    @Column(name = "name")
    private String name;//商品名称
    private String title;//商品标题
    private Long price;//价格（分）
    private String image;//商品图片
    private String category;//分类名称
    private String brand;//品牌名称
    private String spec;//规格
    private Integer status;//商品状态 1-正常，2-下架
    private Date createTime;//创建时间
    private Date updateTime;//更新时间
    @TableField(exist = false)
    @Transient
    private Integer sold;
}

编写监听器

通过实现EntryHandler<T>接口编写监听器，监听Canal消息。注意两点：

  • 实现类通过@CanalTable("XXX")指定监听的表信息
  • EntryHandler的泛型是与表对应的实体类
@CanalTable("tb_item")
@Component
public class ItemHandler implements EntryHandler<Item> {

    @Autowired
    private StringRedisTemplate redisTemplate;

    /**
     * 监听新增方法
     * @param item
     */
    @Override
    public void insert(Item item) {
        //新增redis缓存
        redisTemplate
                .opsForValue()
                .set("item:id:"+item.getId(), JSONUtil.toJsonStr(item), Duration.ofMinutes(30));
    }

    /**
     * 监听修改方法
     * @param before
     * @param after
     */
    @Override
    public void update(Item before, Item after) {
        //对于修改，直接新增覆盖（key一致）redis缓存即可
        redisTemplate
                .opsForValue()
                .set("item:id:"+after.getId(), JSONUtil.toJsonStr(after), Duration.ofMinutes(30));
    }

    /**
     * 监听删除方法
     * @param item
     */
    @Override
    public void delete(Item item) {
        //删除redis缓存
        redisTemplate.delete("item:id:"+item.getId());
    }
}

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/49934.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

Postman接口Mock Server服务器设置

Postman接口Mock Server服务器设置

目录 一、适用场景 二、设置步骤 2.1.创建一个mock server 2.2.配置mock server 2.3.Mock Servers创建成功一个新的mock地址 2.4.环境变量Environments&#xff1a;生成一个mock server新的环境变量 2.5.项目集Collections&#xff1a;生成一个mock server新的项目集&am…
阅读更多...
Vue3 - Pinia 状态管理，解构 store（Pinia storeToRefs API 详细使用教程）

Vue3 - Pinia 状态管理，解构 store（Pinia storeToRefs API 详细使用教程）

目录前言ES 解构方式&#xff08;错误的&#xff09;storeToRefs&#xff08;正确的&#xff09;总结SEO前言 解构啥意思呢&#xff1f;大家应该对 ES 传统方式解构非常了解&#xff0c;相同的&#xff0c;解构 store 也是如此。 假设你在状态管理仓库中定义很多很多数据&#…
阅读更多...
BGP课后

BGP课后

文章目录实验要求拓扑图连接表1 网络连接规划表表2 网络设备明细表表3 IP规划表各设备的IP地址配置OSPF协议配置及BGP协议配置在R1、R2和R3上配置ospf协议在R2、R3、R4和R5上配置BGP协议路由引入利用路由策略实现路由过滤某一学校拟对单位网络进行规划设计。请根据下列具体要求…
阅读更多...
适配高DPI QWidget::move移动有错误？

适配高DPI QWidget::move移动有错误？

适配高DPI QWidget::move移动有错误&#xff1f; 1、现象 在适配高DPI文章发布之后&#xff0c;有个小伙伴立马联系我说增加了这个特性之后&#xff0c;发现一个移动坐标的问题。 比如说&#xff1a;QWidget::move(500, 500)&#xff0c;在实际的高DPI屏幕上移动的像素并不是…
阅读更多...
[附源码]Python计算机毕业设计Django的汽车租赁系统

[附源码]Python计算机毕业设计Django的汽车租赁系统

项目运行 环境配置&#xff1a; Pychram社区版 python3.7.7 Mysql5.7 HBuilderXlist pipNavicat11Djangonodejs。 项目技术&#xff1a; django python Vue 等等组成&#xff0c;B/S模式 pychram管理等等。 环境需要 1.运行环境&#xff1a;最好是python3.7.7&#xff0c;…
阅读更多...
Linux下使用kvm搭建虚拟机群

Linux下使用kvm搭建虚拟机群

Linux下使用kvm搭建虚拟机群 1.安装kvm 1.检查cpu是否支持虚拟化 [rootkevin ~]# grep vmx /proc/cpuinfo 如果有vmx信息输出&#xff0c;就说明支持VT;如果没有任何的输出&#xff0c;说明你的cpu不支持&#xff0c;将无法使用KVM虚拟机。 2.确保BIOS里开启虚拟化功能&…
阅读更多...
three.js之材质

three.js之材质

文章目录简介常用材质点材质线材质网格模型材质和模型的对应关系属性公有属性sideopacity私有属性专栏目录请点击 简介 所谓材质&#xff0c;就是平常我们所说的塑料材质&#xff0c;金属材质&#xff0c;纤维材质等实质上所有材质都是WebGL着色器代码的封装 常用材质 点材质…
阅读更多...
2023年湖北监理工程师报考条件和专业要求有哪些？ 甘建二告诉你

2023年湖北监理工程师报考条件和专业要求有哪些？ 甘建二告诉你

2023年湖北监理工程师报考条件和专业要求有哪些&#xff1f; 一、2023年湖北监理工程师报考条件详细解读&#xff1a; 1、大专毕业满足4年&#xff0c;毕业专业理工类或者工科类专业毕业&#xff0c;监理工程师分为3个专业&#xff0c;土建、交通、水利三个专业对于报考专业要…
阅读更多...
BIM设计 | 学会CAD这5个隐藏操作，让你受益无穷

BIM设计 | 学会CAD这5个隐藏操作，让你受益无穷

每一个CAD设计师都会有自己的设计习惯&#xff0c;无论是从CAD的绘图、改图、图层管理、图块管理、甚至是打印设置&#xff0c;都是不尽相同的。 对于还是小白的新手设计师来说&#xff0c;是还没有一套属于自己的操作习惯的&#xff0c;这个阶段大多数新手设计师都是通过参考别…
阅读更多...
Python之多进程

Python之多进程

python中的多线程其实并不是真正的多线程&#xff0c;如果想要充分地使用多核CPU的资源&#xff0c;在python中大部分情况需要使用多进程。Python提供了非常好用的多进程包multiprocessing&#xff0c;只需要定义一个函数&#xff0c;Python会完成其他所有事情。借助这个包&…
阅读更多...
centos安装nginx

centos安装nginx

系统版本&#xff1a;centos7.9-2009 nginx版本&#xff1a;1.20.2 1、去nginx官网下载压缩包&#xff0c;此处选择稳定版本 nginx官网链接 2、上传到服务器指定位置/opt/tools,根据个人习惯来 解压&#xff1a; tar -zxvf nginx-1.20.2.tar.gz3、配置&#xff0c;使用默认配置…
阅读更多...
npm install 安装包时，常用的-S 、-D 、-g 有什么区别？

npm install 安装包时，常用的-S 、-D 、-g 有什么区别？

一、主要区别就是依赖配置写入package.json文件的位置不同而已 npm install 本身就有一个别名 npm i &#x1f449; npm i module_name -S 即 npm install module_name --save 写入dependencies&#xff0c;发布到生产环境 这样安装是局部安装的&#xff0c;会写进…
阅读更多...
MySQL存储引擎InnoDB架构

MySQL存储引擎InnoDB架构

目录 查看MySQL使用的存储引擎 磁盘文件 系统表空间 用户表空间 InnoDB逻辑存储结构 RedoLog文件 内存结构 缓冲池Buffer Pool RedoLogBuffer ChangeBuffer Double Write CheckPoint机制下的脏页落盘 RedoLog落盘 查看MySQL使用的存储引擎 sql show engines; 对于存储…
阅读更多...
G1D26-DP presentationNLP相关

G1D26-DP presentationNLP相关

一、DP &#xff08;一&#xff09;代码 钞票问题简单写了写代码&#xff0c;对比了一下暴搜和dp的速度 二项式问题&#xff0c;对比了递归和DP (二) CPU 1、cpu&#xff0c;内核和逻辑处理器 一个CPU可以有多个内核&#xff0c;内核就是真正的物理核心&#xff0c;而往往…
阅读更多...
Spring——@Transactional事务注解原理及失效场景

Spring——@Transactional事务注解原理及失效场景

Spring——Transactional事务注解原理及失效场景一、属性介绍二、传播机制准备例子总结三、原理四、失效场景一、属性介绍 value 和 transactionManager 属性 它们两个是一样的意思。当配置了多个事务管理器时&#xff0c;可以使用该属性指定选择哪个事务管理器。 isolation…
阅读更多...
javaSE -类（class）和对象

javaSE -类（class）和对象

一、类与对象的初步认知 C语言是面向过程的&#xff0c;关注的是过程&#xff0c;分析出求解问题的步骤&#xff0c;通过函数调用逐步解决问题。 JAVA是基于面向对象的&#xff0c;关注的是对象&#xff0c;将一件事情拆分成不同的对象&#xff0c;靠对象之间的交互完成。 面向…
阅读更多...
FT2004(D2000)开发实战之W25X10CL固件烧写

FT2004(D2000)开发实战之W25X10CL固件烧写

一 W25X10CL固件烧写 1.1 Windows电脑安装GZUT_EZP_XPro编程器2.0软件，安装成功后会生成如下图标 1.2 固定和安装W25X10CL芯片 W25X10CL属于典型的8PIN SPI Flash芯片，其固定和安装方法如下所示： 1.2.1 准备Flash编程器、SOP8转DIP8转换器以及Flash芯片，下图所示为Flash编…
阅读更多...
计算ip是否在网络段(子网掩码)

计算ip是否在网络段(子网掩码)

比如 检查下面的ip是否在网络段内 IP 192.168.1.3 子网掩码 255.255.255.192 IP 192.168.1.3 对应的&#xff1a; 11000000.10101000.00000001.00000011 先把上面的子网掩码 255.255.255.192 转成二进制 结果应该是 11111111.11111111.11111111.11000000 这时有26个…
阅读更多...
Vue如何实现快进后退的跑马灯组件

Vue如何实现快进后退的跑马灯组件

Vue如何实现快进后退的跑马灯组件 用vue编写一个可以快进后退的跑马灯组件 由于业务需求&#xff0c;要实现一个会可以控制速度的跑马灯&#xff0c;刚开始用js的setinterval每隔几毫秒来减取一个字符拼接到后面&#xff0c;效果不理想就放弃了。后来用animate这个api实现了。…
阅读更多...
MyBtais的SQL映射文件(元素,查询,映射,动态SQL)

MyBtais的SQL映射文件(元素,查询,映射,动态SQL)

目录 1.概述 2.SQL映射文件元素 3.Mybatis框架的条件查询 3.1 单参数查询(模糊查询) 3.2 多参数查询 3.2.1 JavaBean 对象参数 3.2.2 Map 参数 3.2.3 Param 注解 参数 3.2.4 底层顺序[param1,param2] 4.Mybatis框架的结果映射 4.1 resultMap自定义映射 4.1.1 Res…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023