Mysql和ES使用汇总

news2024/10/5 21:58:52

一、mysql和ES在业务上的配合使用

在这里插入图片描述
一般使用时使用ES 中存储全文检索的关键字与获取的商品详情的id，通过ES查询获取查询商品的列表中展示的数据，通过展示id 操作去获取展示商品的所有信息。mysql根据id去查询数据库数据是很快的；

在这里插入图片描述

在这里插入图片描述

为什么ES一般不存储所有表的数据？因为数据表的所有字段列并不一定参与业务查询，如果将业务表中超多列的字段全部存储在ES中反而影响ES的查询性能。
在实际使用中ES中一般存储，全文检索列或者列表展示列字段和id。通过id去数据库hash散列分库分表查询大数据列是比较快的；
在这里插入图片描述
通过点击商品详情获取商品详情id，通过点击id去数据库查询获取所有数据的数据；id在数据库根据分库分表策略去查询，查询是很快的；

一般情况下使用mysql这种关系型数据库去为所有的Nosql类型（redis、mogodb、es、clickhos）的数据库进行兜底数据，因为关系型数据库支持事务对保持数据的一致性有比较好的支持。但是查询效率在大数据量的时候比较低。而非关系型数据库在查询效率比较高，对数据的事务比较低，对数据的一致性支持比较差。所以使用mysql作为其他nosql类型的数据的兜底支持；

二、mysql和ES的数据同步

在这里插入图片描述
**在实际项目开发中，我们经常将 MySQL 作为业务数据库，ES 作为查询数据库，用来实现读写分离，缓解 MySQL 数据库的查询压力，应对海量数据的复杂查询。**这其中有一个很重要的问题，就是如何实现 MySQL 数据库和 ES 的数据同步，今天和大家聊聊 MySQL 和 ES 数据同步的各种方案。

我们先看看下面 4 种常用的数据同步方案。

2.1 同步双写

这是一种最为简单的方式，在将数据写到 MySQL 时，同时将数据写到 ES。

在这里插入图片描述

优点：

  • 业务逻辑简单；
  • 实时性高。

缺点：

  • 硬编码，有需要写入 MySQL 的地方都需要添加写入 ES 的代码；
  • 业务强耦合；
  • 存在双写失败丢数据风险；
  • 性能较差，本来 MySQL 的性能不是很高，再加一个 ES，系统的性能必然会下降。

2.2 异步双写

针对多数据源写入的场景，可以借助 MQ 实现异步的多源写入。
在这里插入图片描述
优点：

  • 性能高；
  • 不易出现数据丢失问题，主要基于 MQ 消息的消费保障机制，比如 ES 宕机或者写入失败，还能重新消费 MQ 消息；
  • 多源写入之间相互隔离，便于扩展更多的数据源写入。

缺点：

  • 硬编码问题，接入新的数据源需要实现新的消费者代码；
  • 系统复杂度增加，引入了消息中间件；
  • MQ是异步消费模型，用户写入的数据不一定可以马上看到，造成延时。

2.3 基于 SQL 抽取

上面两种方案中都存在硬编码问题，代码的侵入性太强，如果对实时性要求不高的情况下，可以考虑用定时器来处理：

  • 数据库的相关表中增加一个字段为 timestamp 的字段，任何 CURD 操作都会导致该字段的时间发生变化；
    原来程序中的 CURD 操作不做任何变化；

  • 增加一个定时器程序，让该程序按一定的时间周期扫描指定的表，把该时间段内发生变化的数据提取出来；
    逐条写入到 ES 中。
    在这里插入图片描述
    优点：

  • 不改变原来代码，没有侵入性、没有硬编码；

  • 没有业务强耦合，不改变原来程序的性能；

  • Worker 代码编写简单不需要考虑增删改查。

缺点：

  • 时效性较差，由于是采用定时器根据固定频率查询表来同步数据，尽管将同步周期设置到秒级，也还是会存在一定时间的延迟；
  • 对数据库有一定的轮询压力，一种改进方法是将轮询放到压力不大的从库上。
  • 经典方案：借助 Logstash 实现数据同步，其底层实现原理就是根据配置定期使用 SQL 查询新增的数据写入 ES 中，实现数据的增量同步。

2.4 基于 Binlog 实时同步

上面三种方案要么有代码侵入，要么有硬编码，要么有延迟，那么有没有一种方案既能保证数据同步的实时性又没有代入侵入呢？
当然有，可以利用 MySQL 的 Binlog 来进行同步。
在这里插入图片描述

具体步骤如下：

  1. 读取 MySQL 的 Binlog 日志，获取指定表的日志信息；
  2. 将读取的信息转为 MQ；
  3. 编写一个 MQ 消费程序；
  4. 不断消费 MQ，每消费完一条消息，将消息写入到 ES 中。

优点：

  • 没有代码侵入、没有硬编码；
  • 原有系统不需要任何变化，没有感知；
  • 性能高；
  • 业务解耦，不需要关注原来系统的业务逻辑。

缺点：

  • 构建 Binlog 系统复杂；
  • 如果采用 MQ 消费解析的 Binlog 信息，也会像方案二一样存在 MQ 延时的风险。

三 、数据迁移工具选型

对于上面 4 种数据同步方案，“基于 Binlog 实时同步”方案是目前最常用的，也诞生了很多优秀的数据迁移工具，这里主要对这些迁移工具进行介绍。

这些数据迁移工具，很多都是基于 Binlog 订阅的方式实现，模拟一个 MySQL Slave 订阅 Binlog 日志，从而实现 CDC（Change Data Capture），将已提交的更改发送到下游，包括 INSERT、DELETE、UPDATE。

至于如何伪装？大家需要先了解 MySQL 的主从复制原理，需要学习这块知识的同学，可以看我之前写的高并发教程，里面有详细讲解。

3.1 Cannel

基于数据库增量日志解析，提供增量数据订阅&消费，目前主要支持 MySQL。

Canal 原理就是伪装成 MySQL 的从节点，从而订阅 master 节点的 Binlog 日志，主要流程为：

  • Canal 服务端向 MySQL 的 master 节点传输 dump 协议；
  • MySQL 的 master 节点接收到 dump 请求后推送 Binlog 日志给 Canal 服务端，解析 - Binlog 对象（原始为 byte 流）转成 Json 格式；Canal 客户端通过 TCP 协议或 MQ 形式监听 Canal 服务端，同步数据到 ES。
    在这里插入图片描述
    下面是 Cannel 执行的核心流程，其中 Binlog Parser 主要负责 Binlog 的提取、解析和推送，EventSink 负责数据的过滤 、路由和加工，仅作了解即可。

在这里插入图片描述

3.2 阿里云 DTS

数据传输服务 DTS（Data Transmission Service）支持 RDBMS、NoSQL、OLAP 等多种数据源之间的数据传输。

它提供了数据迁移、实时数据订阅及数据实时同步等多种数据传输方式。相对于第三方数据流工具，DTS 提供丰富多样、高性能、高安全可靠的传输链路，同时它提供了诸多便利功能，极大方便了传输链路的创建及管理。

特点：

  • 多数据源：支持 RDBMS、NoSQL、OLAP 等多种数据源间的数据传输；
  • 多传输方式：支持多种传输方式，包括数据迁移、实时数据订阅及数据实时同步；
  • 高性能：底层采用了多种性能优化措施，全量数据迁移高峰期时性能可以达到70MB/s，20万的TPS，使用高规格服务器来保证每条迁移或同步链路都能拥有良好的传输性能；
  • 高可用：底层为服务集群，如果集群内任何一个节点宕机或发生故障，控制中心都能够将这个节点上的所有任务快速切换到其他节点上，链路稳定性高；
  • 简单易用：提供可视化管理界面，提供向导式的链路创建流程，用户可以在其控制台简单轻松地创建传输链路；
    需要付费。

再看看 DTS 的系统架构。
在这里插入图片描述

  • 高可用：数据传输服务内部每个模块都有主备架构，保证系统高可用。容灾系统实时检测每个节点的健康状况，一旦发现某个节点异常，会将链路快速切换到其他节点。

数据源地址动态适配：对于数据订阅及同步链路，容灾系统还会监测数据源的连接地址切换等变更操作，一旦发现数据源发生连接地址变更，它会动态适配数据源新的连接方式，在数据源变更的情况下，保证链路的稳定性。

更多内容，请查看阿里官方文档：https://help.aliyun.com/product/26590.html

3.3 Databus

Databus 是一个低延迟、可靠的、支持事务的、保持一致性的数据变更抓取系统。由 LinkedIn 于 2013 年开源。

Databus 通过挖掘数据库日志的方式，将数据库变更实时、可靠的从数据库拉取出来，业务可以通过定制化 client 实时获取变更并进行其他业务逻辑。

特点：

  • 多数据源：Databus 支持多种数据来源的变更抓取，包括 Oracle 和 MySQL。

  • 可扩展、高度可用：Databus 能扩展到支持数千消费者和事务数据来源，同时保持高度可用性。

  • 事务按序提交：Databus 能保持来源数据库中的事务完整性，并按照事务分组和来源的提交顺寻交付变更事件。
    低延迟、支持多种订阅机制：数据源变更完成后，Databus 能在毫秒级内将事务提交给消费者。同时，消费者使用D atabus 中的服务器端过滤功能，可以只获取自己需要的特定数据。

  • 无限回溯：对消费者支持无限回溯能力，例如当消费者需要产生数据的完整拷贝时，它不会对数据库产生任何额外负担。当消费者的数据大大落后于来源数据库时，也可以使用该功能。

再看看 Databus 的系统架构。

Databus 由 Relays、bootstrap 服务和 Client lib 等组成，Bootstrap 服务中包括 Bootstrap Producer 和 Bootstrap Server。
在这里插入图片描述
快速变化的消费者直接从 Relay 中取事件；

如果一个消费者的数据更新大幅落后，它要的数据就不在 Relay 的日志中，而是需要请求 Bootstrap 服务，返回的将会是自消费者上次处理变更之后的所有数据变更快照。

开源地址：https://github.com/linkedin/databus

3.4 其它

Flink

  • 有界数据流和无界数据流上进行有状态计算分布式处理引擎和框架。
    官网地址：https://flink.apache.org
  • CloudCanal
    数据同步迁移系统，商业产品。
    官网地址：https://www.clougence.com/?utm_source=wwek
  • Maxwell
    使用简单，直接将数据变更输出为json字符串，不需要再编写客户端。
    官网地址：http://maxwells-daemon.io
  • DRD
    阿里巴巴集团自主研发的分布式数据库中间件产品，专注于解决单机关系型数据库扩展性问题，具备轻量(无状态)、灵活、稳定、高效等特性。
    官方地址：https://www.aliyun.com/product/drds
  • yugong
    帮助用户完成从 Oracle 数据迁移到 MySQL。访问地址：https://github.com/alibaba/yugong

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1885983.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

高效除氟：探索CH-87up树脂在氟化工废水处理中的应用

高效除氟：探索CH-87up树脂在氟化工废水处理中的应用

摘要 本研究旨在评估Tulsimer CH-87up树脂针对经钙镁预处理后的氟化工废水的深度处理效果。实验结果显示，CH-87up树脂能显著降低废水中的氟离子浓度，从43.4mg/L降至0.34mg/L，远低于行业排放标准的5mg/L。此外，该树脂表现出卓越的…
阅读更多...
Windows打开redis以及Springboot整合redis

Windows打开redis以及Springboot整合redis

目录 前言Windows系统打开redisSpringboot整合redis依赖实体类yml配置文件config配置各个数据存储类型分别说明记录string数据写入redis，并查询通过命令行查询 list插入数据到redis中从redis中读取命令读取数据 hash向redis中逐个添加map键值对获取key对应的map中所…
阅读更多...
[附源码]最新springboot线上电商|前后端分离|界面简洁

[附源码]最新springboot线上电商|前后端分离|界面简洁

一. 前言 今天小编给大家带来了一款可学习，可商用的，线上电商的网站源码，支持二开，无加密。代码的后端是SpringBoot技术栈（非jsp），前端是Angular。如果您需要定制需求请找小编。 文章第六小节…
阅读更多...
Vue 数据大屏适配

Vue 数据大屏适配

1、准备俩个盒子 .dataScreen-content 盒子内容根据设计稿给的px单位进行正常的布局就行 2、盒子的CSS样式 .dataScreen-container {width: 100%;height: 100%;// 有背景图需要的样式background: url("./images/bg.png") no-repeat;background-repeat: no-repeat;b…
阅读更多...
让采购和工程师们既爱又恨的任务——BOM

让采购和工程师们既爱又恨的任务——BOM

在项目研发与生产过程中，有一个常常让采购经理和工程师们既爱又恨的任务，那就是整理BBOMB。BOM作为连接设计与制造的桥梁，其重要性不言而喻，它详细列出了产品构成所需的所有零部件、材料及其规格、数量，是成本估算、采…
阅读更多...
学习记录之数学表达式（6）

学习记录之数学表达式（6）

目录 十二、图与网络12.1 有向图12.2 元组与对象12.3 二元关系与有向图12.4 无向图12.5 有向网络12.6 作业 十三、树13.1 例子13.2 定义13.3 Java代码13.4 作业 十四、 m \mathbf{m} m叉树14.1 预备知识：字符串14.2 m \mathbf{m} m-叉树的定义14.3 Java代码14.4 作…
阅读更多...
代码随想录算法训练营第20天 | 题目： 235. 二叉搜索树的最近公共祖先 701.二叉搜索树中的插入操作 450.删除二叉搜索树中的节点

代码随想录算法训练营第20天 | 题目： 235. 二叉搜索树的最近公共祖先 701.二叉搜索树中的插入操作 450.删除二叉搜索树中的节点

代码随想录算法训练营第20天 | 题目： 235. 二叉搜索树的最近公共祖先 701.二叉搜索树中的插入操作 450.删除二叉搜索树中的节点 文章来源：代码随想录 题目名称： 235. 二叉搜索树的最近公共祖先 给定一个二叉搜索树, 找到该树中两个指定节点的…
阅读更多...
【.Net】Web项目部署腾讯云

【.Net】Web项目部署腾讯云

文章目录 总述前置准备docker-compose部署普通部署 参考 总述 前置准备 云服务添加端口 另有linux本身防火墙请参考： 【Linux】防火墙命令 需安装.Net SDK和Asp .Net Runtime 注意： 1、sdk也要不只是runtime 2、是Asp .Net Runtime不是.Net Runtime …
阅读更多...
Linux socketcan应用编程

Linux socketcan应用编程

一、基本步骤 1、打开并绑定到 CAN 套接字 在执行任何操作之前，第一步是创建一个套接字。此函数接受三个参数 – 域/协议系列 （PF_CAN）、套接字类型（原始或数据报）和套接字协议。如果成功，该函数将返回文件…
阅读更多...
游戏AI的创造思路-技术基础-tanh函数详解

游戏AI的创造思路-技术基础-tanh函数详解

又来搞事情，总想着把sigmoid函数替换成其他函数作为激活函数，或者找到更合适某一段训练的函数，所以今天来聊聊tanh函数（谁让咱当年差点去了数学系，结果还是在数学系转过去计算机的） 目录 3.9. tanh函数详解…
阅读更多...
Springboot整合Redis以及业务工具类示例

Springboot整合Redis以及业务工具类示例

docker安装Redis参考我另一篇博客Docker安装Redis及持久化 一、Get-Started 依赖 <!-- https://mvnrepository.com/artifact/org.springframework.boot/spring-boot-starter-data-redis --> <dependency><groupId>org.springframework.boot</groupId>…
阅读更多...
轻松创建对象——简单工厂模式（Python实现）

轻松创建对象——简单工厂模式（Python实现）

1. 引言 大家好&#xff0c;又见面了&#xff01;今天我们要聊的是设计模式中的“万能钥匙”——简单工厂模式。想象一下&#xff0c;如果每次你都得亲自动手创建各种对象&#xff0c;不仅累得像个陀螺&#xff0c;还可能搞得一团糟。别怕&#xff0c;简单工厂模式来拯救你&am…
阅读更多...
nextTick实现原理及使用场景

nextTick实现原理及使用场景

1.定义&#xff1a; nextTick是一个在Vue.js中常见的异步更新DOM的机制&#xff0c;它利用JavaScript的事件循环机制以及浏览器的渲染流程来实现延迟执行DOM更新操作。nextTick方法能够将回调函数延迟到下一个DOM更新循环之后执行&#xff0c;确保在DOM更新完成后执行某些操作…
阅读更多...
【Linux系统】CUDA的安装

【Linux系统】CUDA的安装

今天在安装环境时遇到报错&#xff1a; The detected CUDA version (10.1) mismatches the version that was used to compile PyTorch (11.8). Please make sure to use the same CUDA versions. 报错原因&#xff1a;安装的cuda版本不对应&#xff0c;我需要安装cuda的版本…
阅读更多...
宠物空气净化器哪个品牌性价比高？宠物空气净器Top3品牌推荐

宠物空气净化器哪个品牌性价比高？宠物空气净器Top3品牌推荐

养猫确实给家庭带来了无尽的欢乐&#xff0c;但猫毛无处不在的问题确实让不少猫主人感到头疼。不论是长毛猫还是短毛猫&#xff0c;它们掉落的浮毛飘浮在空气中&#xff0c;不仅影响家居环境的整洁度&#xff0c;还可能成为过敏的源头。因此&#xff0c;如何高效地处理这些猫浮…
阅读更多...
多模态融合 + 慢病精准预测

多模态融合 + 慢病精准预测

多模态融合 慢病精准预测 慢病预测算法拆解子解法1&#xff1a;多模态数据集成子解法2&#xff1a;实时数据处理与更新子解法3&#xff1a;采用大型语言多模态模型&#xff08;LLMMs&#xff09;进行深度学习分析 慢病预测更多模态 论文&#xff1a;https://arxiv.org/pdf/2406…
阅读更多...
创新校园服务模式 跑腿小程序平台源码构建与实践 前后端分离 带完整的安装代码包以及部署教程

创新校园服务模式 跑腿小程序平台源码构建与实践 前后端分离 带完整的安装代码包以及部署教程

系统概述 本项目是一个集任务发布、接单、支付、评价于一体的跑腿服务小程序平台&#xff0c;专为高校校园设计。系统采用前后端分离架构&#xff0c;前端负责用户界面展示和交互逻辑&#xff0c;后端处理业务逻辑、数据存取等&#xff0c;两者通过API接口进行通信&#xff0c…
阅读更多...
『手撕Vue-CLI』 添加自定义指令

『手撕Vue-CLI』 添加自定义指令

添加 create 指令 在 vue-cli 中&#xff0c;create 指令是用来创建一个新的项目的&#xff0c;我实现的 nue --help 的帮助信息中只有 --version&#xff0c;--help 这两个指令&#xff0c;所以当用户使用我的 nue-cli 时&#xff0c;并不知道有 create 这个指令&#xff0c;所…
阅读更多...
Conan安装与C++第三方环境配置保姆级图文教程(附速查字典)

Conan安装与C++第三方环境配置保姆级图文教程(附速查字典)

目录 1 什么是Conan&#xff1f;2 Conan安装与配置3 Conan的常见操作3.1 搜索指定包3.2 安装指定包3.3 本地包管理3.4 查看项目依赖 4 Conan构建项目案例 1 什么是Conan&#xff1f; Conan是一个开源的C/C包管理器&#xff0c;用于管理和构建C/C项目所需的依赖库。传统上&…
阅读更多...
BIOS设置与系统分区

BIOS设置与系统分区

&#x1f4d1;打牌 &#xff1a; da pai ge的个人主页 &#x1f324;️个人专栏 &#xff1a; da pai ge的博客专栏 ☁️宝剑锋从磨砺出&#xff0c;梅花香自苦寒来 目录 一BIOS 1破解密码的前提 2B…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023