小熊家务帮day13-day14 门户管理（ES搜索，Canal+MQ同步，索引同步）

news2024/11/20 13:42:04

1 服务搜索

1.1 需求分析

服务搜索的入口有两处：

在门户最上端的搜索入口对服务信息进行搜索。
在门户最下方点击“全部服务”进入全部服务界面。
如下图：
点击服务分类查询分类下的服务。

1.2 技术方案

1.2.1 使用Elasticsearch进行全文检索（为什么数据没有那么多还要用ES？）

根据需求分析，对服务进行搜索除了根据服务类型查询其下的服务以外还需要根据关键字去搜索与关键字匹配的服务
通过关键字去匹配服务的哪些信息呢？比如：输入关键字“家庭保洁”，它会去匹配服务相关的信息，比如：服务类型的名称、服务项的名称，甚至根据需要也可能去匹配服务介绍的信息，只要与“家庭保洁”相关的服务都会展示出来。如下效果：
[图片]
这里最关键的是根据关键字去匹配，使用数据库的like搜索能否实现呢？
上图的搜索效果是一种全文检索方式，在搜索“家庭保洁”关键字时会对关键字先分词，分为“家庭”和“保洁”，再根据分好的词去匹配索引库中的服务类型的名称、服务项的名称、服务项的描述等字段。Like搜索不具有分词功能，它不是一种全文检索的方式。

用Mysql不行吗？行，但是c端用户肯定访问量很大，这样做会增加数据库压力

如果要实现全文检索且对接口性能有一定的要求，最常用的是Elasticsearch，本项目使用ES完成服务搜索功能的开发。
复习下：
在这里插入图片描述

1.2.2 索引同步方案

如果要使用ES去搜索服务信息需要提前对服务信息在ES中创建索引，运营端在管理服务时是将服务信息保存在数据库，如何对数据库中的服务信息去创建索引，保证数据库中的信息与ES的索引信息同步呢，本节对索引同步的方案进行分析与确定。
在这里插入图片描述
想到同步最简单的就是
在服务项的增删改查Service方法中添加维护ES索引的代码。
在区域服务的增删改查Service方法中添加维护ES索引的代码。
例如下边的代码：

public Serve onSale(Long id){
    //操作serve表
    //添加向ES创建索引的代码
}

上边的代码存在分布式事务，比如：向ES写成功了由于网络问题抛出网络超时异常，最终数据库操作回滚了ES操作没有回滚，数据库的数据和ES中的索引不一致。所以肯定不用这种同步的方法，那就用异步。

使用Canal+MQ

1.2.2.1 Canal介绍

Canal是什么？
Canal可与很多数据源进行对接，将数据由MySQL同步到ES、MQ、DB等各个数据源。
官方文档：https://github.com/alibaba/canal/wiki
在这里插入图片描述

1.2.2.1 Canal工作原理

理解Canal的工作原理需要首先要知道MySQL主从数据同步的原理

MySQL主从集群由MySQL主服务器(master)和MySQL从服务器(slave)组成，MySQL主从数据同步是一种数据库复制技术，进行写数据会先向主服务器写，写成功后将数据同步到从服务器，流程如下：

1、主服务器将所有写操作（INSERT、UPDATE、DELETE）以二进制日志（binlog）的形式记录下来。
2、从服务器连接到主服务器，发送dump 协议,请求获取主服务器上的binlog日志。
MySQL的dump协议是MySQL复制协议中的一部分。
3、MySQL master 收到 dump 请求，开始推送 binary log 给 slave
4、从服务器解析日志，根据日志内容更新从服务器的数据库，完成从服务器的数据保持与主服务器同步。
在这里插入图片描述

那么回到原来的话题，Canal在整个过程充当什么角色呢？

1、Canal模拟 MySQL slave 的交互协议，伪装自己为 MySQL slave ，向 MySQL master 发送dump 协议
MySQL的dump协议是MySQL复制协议中的一部分。
2、MySQL master 收到 dump 请求，开始推送 binary log 给 slave (即 canal )
。一旦连接建立成功，Canal会一直等待并监听来自MySQL主服务器的binlog事件流，当有新的数据库变更发生时MySQL master主服务器发送binlog事件流给Canal。
3、Canal会及时接收并解析这些变更事件并解析 binary log
通过以上流程可知Canal和MySQL master主服务器之间建立了长连接。

简单来所就是，Canal充当从节点，监听mysql并获取mysql的binlog日志，之后解析这个binlog日志

本方案需要借助Canal和消息队列，具体实现方案如下：
通过上边的技术分析下边对本项目服务搜索方案进行总结。
本项目使用Elasticsearch实现服务的搜索功能，使用Canal+MQ完成服务信息与ES索引同步。
如下图：
在这里插入图片描述
流程如下：
运营人员对服务信息进行增删改操作，MySQL记录binlog日志。
Canal定时读取binlog 解析出增加、修改、删除数据的记录。
Canal将修改记录发送到MQ。
同步程序监听MQ，收到增加、修改、删除数据的记录，请求ES创建、修改、删除索引。
C端用户请求服务搜索接口从ES中搜索服务信息。