小白带你学习linux的mysql服务（主从mysql服务和读写分离三十一）

news2025/1/21 3:04:48

目录

二、MySQL Replication优点：

三、MySQL复制类型

1、异步复制（Asynchronous repication）

2、全同步复制（Fully synchronous replication）

3、半同步复制（Semisynchronous replication）

四、MySQL支持的复制方式

1、基于SQL语句的复制：

2、基于行的复制：

3、混合模式复制：

4、复制的工作过程

5、复制过程的限制

1、MySQL5.6

2、所有MySQL服务器的版本都要高于3.2

3、配置主MySQL Master服务器

 4、在/etc/my.cnf中修改或者增加如下内容：

五、基于Amoeba读写分离

1、基于程序代码内部实现

2、基于中间代理层实现

3、在主机Amoeba上安装java环境

4、在主机Amoeba上安装java环境

5、安装并配置Amoeba

在Client上进行访问测试

通过代理访问MySQL

主服务器操作

在client测试机上第1次查询结果

操作验证 - 写（读写分离）

一、MySQL Replication概述

MySQL Replication俗称MySQL AB复制、主从复制、主从同步，是MySQL官方推荐的数据同步技术。数据同步基本过程为从数据库会实时去读取主数据库的二进制日志文件，按照日志中记录对从库进行同样的操作，以达到数据同步效果。

二、MySQL Replication优点：

1、通过增加从服务器来提高数据库平台的可靠性。在主服务器上执行写入和更新，在从服务器上向外提供读功能，可以动态地调整从服务器地数量，从而调整数据库平台地高性能。

2、提高数据安全性，因为数据已复制到从服务器，主数据库异常时，可以将从服务器复制进程终止来达到保护数据完整性地特点。

3、在主服务器上生成实时数据，而在从服务器上分析这些数据，从而缓解主服务器地性能压力。

三、MySQL复制类型

1、异步复制（Asynchronous repication）

MySQL默认地复制是异步地，主库在执行完客户端提交地事务后会立刻将结果返回给客户端，并不关心从库是否已经接受并处理了事务，这样就会有一个问题，主库如果down掉了，此时主上已经提交地事务可能没有传到从库服务器上，如果此时，强制将从提升为主，可能会导致新主上的数据不完整。默认情况下MySQL5.5/5.6/5.7和mariaDB10.0/10.1的复制功能是异步的。

2、全同步复制（Fully synchronous replication）

指当主库执行完一个事务，所有的从库都执行了该事务才返回给客户端。因为需要等待所有从库执行完该事务才能返回，所以全同步复制的性能必然会收到严重的影响，返回客户端的响应速度也会被拖慢。

3、半同步复制（Semisynchronous replication）

MySQL由Google贡献的补丁才开始支持半同步复制模式，介于异步复制和全同步复制之间，主库在执行完客户端提交的事务后不是立刻返回给客户端，而是等待至少一个从库接受到并写到relay log中才返回给客户端。相对于异步复制，半同步复制提高了数据的安全性，同时它也造成了一定程度的延迟，这个延迟最少是一个TCP/IP往返的时间。所以，半同步复制最好在低延时的网络中使用。当出现超时情况时，源主服务器会暂时切换到异步复制模式，直到至少有一台设置为半同步复制模式的从服务器及时收到信息为止。

半同步复制模式在主服务器和从服务器同时启用，否则主服务器默认使用异步复制模式

四、MySQL支持的复制方式

1、基于SQL语句的复制：

在主服务器上执行的SQL语句，在从服务器上执行同样的SQL语句，效率比较高。

2、基于行的复制：

主服务器把表的行变化作为事件写入到二进制日志中，主服务器把代表了行变化的事件复制到从服务器中。

3、混合模式复制：

先采用基于语句的复制，一旦发现基于语句无法精确复制时，再采用行。

4、复制的工作过程

 

⑴在每个事务更新完成数据之前，Master会在二进制日志中记录这些数据的语句，当MySQL将事务串行的写入二进制日志完成后，Master通知存储引擎提交事务并将数据写入磁盘

⑵Slave开启一个I/O工作线程，在Master之间建立一个连接，然后开始Binlog dump process，Binlog dump process会从Master的二进制日志中读取操作事件，如果已经跟Master达到一致状态，它会催眠并等待Master产生新的操作事件，I/O线程将这些改变数据的事件写入自己的中继日志。

⑶SQL Slave Thread（SQL工作线程）是处理MySQL Replication过程的最后一步。SQL线程从中继日志读取操作事件，重放其中的事件从而更新Slave服务器的数据，使slave与Master中的数据保持一致，只要该线程与I/O线程保持一致，中继日志通常会在OS的缓存中，所以中继日志的开销很小。

5、复制过程的限制

1、MySQL5.6

之前的版本复制操作在slave上执行的是串行化的，也就是Master上的并行更新会导致数据复制延迟

2、所有MySQL服务器的版本都要高于3.2

还有一个基本的原则就是从服务器的数据库版本可以高于主服务器数据库的版本，但是不可以低于主服务器的数据库版本。

MySQL Master IP：192.168.200.111

MySQL Slave1 IP：192.168.200.112

MySQL Slave2 IP：192.168.200.113

3、配置主MySQL Master服务器

统一关闭防火墙和宽容模式，安装好mysql数据库如果选择克隆记的删除一个文件

 4、在/etc/my.cnf中修改或者增加如下内容：

 重启MySQL服务器

 创建Replication用户

grant replication slave on *.* to 'myslave'@'192.168.28.%' identified by '123L.com';

 flush privileges;

获得Master DB的相关信息

供slave连接使用，记录下File和Position的值。

备份Master原有数据

如果在生产环境中Master服务器已经运行一段时间，或者Master服务器上已经存在数据，为了保证所有数据的一致性，需要先将Master目前已有的数据全部导给Slave服务器。

备份的方法有很多，可以直接备份数据文件，也可以使用mysqldump工具。全新搭建的环境不存在数据备份问题。

mysqldump -uroot -p --all-databases > /root/alldbbackup.sql

scp /root/ alldbbackup.sql root@192.168.28.131:/root/

scp /root/ alldbbackup.sql root@192.168.28.132:/root/

 在MySQL Slave1上的配置

导入Master的备份脚本

 从库连接主库进行测试，如果连接成功说明主库配置成功

 mysql -u myslave -p123L.com -h 192.168.28.128

 修改MySQL配置文件

vim /etc/my.cnf

配置多个从服务器时依次设置server-id号 

修改完后重启数据

在Slave服务器授权，启动从库，进行主从库数据同步 

[root@localhost ~]# mysql

MariaDB [(none)]>  stop slave;

MariaDB [(none)]> CHANGE MASTER TO MASTER_HOST='192.168.200.111',MASTER_USER='myslave',MASTER_PASSWORD='123456',MASTER_LOG_FILE='mysql-binlog.000003',MASTER_LOG_POS=1464;

MariaDB [(none)]> start slave;

MariaDB [(none)]> show slave status\G

参数说明：

CHANGE MASTER TO

MASTER_HOST='master_host_name', #主服务器的IP地址

MASTER_USER='replication_user_name', #主服务器授权的用户

MASTER_PASSWORD='replication_password', #主服务器授权的密码

MASTER_LOG_FILE='recorded_log_file_name', #主服务器二进制日志的文件名

MASTER_LOG_POS=recorded_log_position; #日志文件的开始位置

测试复制是否成功

在Master服务器上创建一个数据库或者表，到Slave服务器上查看，如果配置成功就可以成功同步。

主库查看当前存在的库

 从库查看当前存在库

 主库服务器创建库和表：

 从库验证：

 说明主从数据库创建成功。

报以下错误的解决方法：

五、基于Amoeba读写分离

在实际的生产环境中，如果对数据库的读和写都在同一个数据库服务器中操作，无论是安全性，高可用还是并发等各个方面都不能完全满足实际需求的，因此一般来说都是通过主从复制的方式来同步数据，再通过读写分离来提供数据的高并发负载能力这样的方案来进行部署。

简单来说，读写分离就是只在主服务器上写，只在从服务器上读，基本的原理是让主数据库处理事务性查询，而从数据库处理select查询，数据库复制被用来把事务性查询导致的改变更新同步到集群中的从数据库。

目前最常见的MySQL读写分离方案有两种：

1、基于程序代码内部实现

在代码中根据select，insert进行路由分类，这类方法也是目前大型生产环境应用最广泛的，优点是性能最好，因为在程序代码中实现，不需要增加额外的设备作为硬件开支，缺点是需要开发人员来实现，运维人员无从下手

2、基于中间代理层实现

代理一般位于客户端和数据库服务器之间，代理服务器接到客户端请求后通过判断转发到后端数据库，代表性程序：

（1）mysql-proxy为mysql

开发早期开源项目，通过其自带的lua脚本进行SQL判断，虽然是mysql的官方产品，但是mysql官方不建议将其应用到生产环境。

（2）Amoeba（变形虫）

该程序由java语言及逆行开发，阿里巴巴将其应用于生产环境，它不支持事物和存储过程。

3、在主机Amoeba上安装java环境

因为Amoeba是基于jdk1.5版本开发的，所以官方推荐使用1.5或者1.6版本，高版本不建议使用。

4、在主机Amoeba上安装java环境

查看现有Java环境

java -version

移除过高版本Java

which java

rm -rf /usr/bin/java

chmod +x jdk-6u14-linux-x64.bin
./jdk-6u14-linux-x64.bin

 把安装包拖进主机

根据提示按键

把包放在指定目录

vim /etc/profile在底部插入语言

export JAVA_HOME=/usr/local/jdk1.6

export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib

export PATH=$PATH:$JAVA_HOME/lib:$JAVA_HOME/jre/bin:$HOME/bin

export AMOEBA_HOME=/usr/local/amoeba

export PATH=$PATH:$AMOEBA_HOME/bin

source /etc/profile

java -version

 注：因为Amoeba是基于jdk1.5版本开发的，所以官方推荐使用1.5或者1.6版本，高版本不建议使用。

5、安装并配置Amoeba

mkdir /usr/local/amoebatar

xf amoeba-mysql-binary-2.2.0.tar.gz -C /usr/local/amoeba/

chmod -R 755 /usr/local/amoeba/

编辑amoeba.xml配置文件

 vim /usr/local/amoeba/conf/amoeba.xml 

编辑dbServer.xml配置文件

 vim /usr/local/amoeba/conf/dbServers.xml

 

 配置Amoeba读写分离，两个Slave读负载均衡

在Master、Slave1、Slave2服务器中配置Amoeba的访问授权

grant all on *.* to 'test'@'192.168.28.%' identified by '123L.com';

flush privileges;

配置无误后，启动Amoeba软件，默认端口是TCP协议8066

 amoeba start &

netstat -lnpt | grep 8066

netstat -anpt | grep 3306

 测试

在Client上进行访问测试

通过代理访问MySQL

mysql -uamoeba -p123L.com  -h 192.168.28.135  -P 8066

验证步骤就是在MySQL主服务器上创建一个表，会自动同步到各个从服务器上，然后关掉各个服务器上的Slave功能，在分别插入语句测试。

注：此处命令中的IP是amoeba服务器的IP。

主服务器操作

  主服务器1创建库和表输入数据

create database File;

use File;

create table student (id int(10),name varchar(10),address varchar(20));

 分别在两台从服务器上操作

show databases;

use Rich;

 从Master输入数据

insert into student values('1','Rich','this_is_master');

 从slave1输入数据

insert into student values('2','Rich','this_is_slave1');

 从slave2输入数据

insert into student values('3','Rich','this_is_slave2');

 操作验证 - 读（负载均衡）

在client测试机上第1次查询结果

use File;

select * from student;

 在测试机上第2次查询结果

 在测试机上第3次查询结果

操作验证 - 写（读写分离）

 从服务器都停止

 客户端写入数据并查看数据

在Client上查询不到

 主服务器查看说明写入没有问题，最终只有在Master上才能看到这条语句内容，说明写操作在master服务器上写入成功。

  从服务器开启复制

     client查看

说明读写已经分离        

主服务器进行写入

从服务器进行读取

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/813102.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

用pip给python安装第三方包

用pip给python安装第三方包

2023年7月30日，周日晚上 目录 搜索包安装包升级包卸载包查看安装了哪些包查看指定的包的详细信息查看pip把某个包安装到了哪里 搜索包 现在只能去专门的网站搜索python的第三方包了 Search results PyPI 安装包 通过下面这条指令就可以安装包 pip install pac…
阅读更多...
【数据分享】1999—2021年地级市工业企业资产情况和主要财务指标（Excel/Shp格式）

【数据分享】1999—2021年地级市工业企业资产情况和主要财务指标（Excel/Shp格式）

在之前的文章中，我们分享过基于2000-2022年《中国城市统计年鉴》整理的1999-2021年地级市的人口相关数据、各类用地面积数据、污染物排放和环境治理相关数据、房地产投资情况和商品房销售面积、社会消费品零售总额和年末金融机构存贷款余额、地方一般公共预算收支状…
阅读更多...
Prometheus中的关键设计

Prometheus中的关键设计

1、标准先行，注重生态 Prometheus 最重要的规范就是指标命名方式，数据格式简单易读。比如，对于应用层面的监控，可以要求必须具备这几个信息。 指标名称 metric Prometheus 内置建立的规范就是叫 metric（即 __name__…
阅读更多...
RedLock + Redisson

RedLock + Redisson

目录 2.9 RedLock2.9.1 上述实现的分布式锁在集群状态下失效的原因2.9.2 解决方式-RedLock 2.10 redisson中的分布式锁简单使用redisson中的锁Redisson常用配置2.10.1 Redisson可重入锁实现原理2.10.2 公平锁（Fair Lock） 2.9 RedLock 2.9.1 上述实现的分…
阅读更多...
FLinkCDC读取MySQl时间戳时区相关问题解决汇总

FLinkCDC读取MySQl时间戳时区相关问题解决汇总

FlinkCDC时间问题timestamp等https://blog.csdn.net/qq_30529079/article/details/127809317 FLinkCDC读取MySQl中的日期问题https://blog.csdn.net/YPeiQi/article/details/130265653 关于flink1.11 flink sql使用cdc时区差8小时问题https://blog.csdn.net/weixin_44762298/…
阅读更多...
Redis以及Java使用Redis

Redis以及Java使用Redis

一、Redis的安装 Redis是一个基于内存的 key-value 结构数据库。 基于内存存储，读写性能高 适合存储热点数据（热点商品、资讯、新闻） 企业应用广泛 官网：https://redis.io 中文网：https://www.redis.net.cn/ Redis…
阅读更多...
vuejs源码阅读之代码生成器

vuejs源码阅读之代码生成器

代码生成器是模版编译的最后以后，它的作用是将AST转换成渲染函数中的内容，这个内容可以称为代码字符串。 代码字符串可以被包装在函数中执行，这个函数就是我们通常说的渲染函数。 渲染函数被执行之后，可以生成一份VNode&#xf…
阅读更多...
kettle 学习笔记

kettle 学习笔记

kettle 学习笔记 个人理解下载 / 安装kettle及测试环境准备kattle下载安装JDK安装配置MySQL安装配置 使用练习创建数据库连接转换练习 个人理解 ETL工具的一种，作用是将数据进行抽取，转换，应该是数据中心类型的项目用的比较多，将…
阅读更多...
在Word中快速输入方框对号

在Word中快速输入方框对号

在Word中输入方框对号播报文章 先输入“2611”，然后同时按ALTX， 插入 符号 其他符号
阅读更多...
C++ 哈希的应用【布隆过滤器】

C++ 哈希的应用【布隆过滤器】

✨个人主页： 北 海 🎉所属专栏： C修行之路 🎃操作环境： Visual Studio 2022 版本 17.6.5 文章目录 🌇前言🏙️正文1、字符串比较2、布隆过滤器的概念3、布隆过滤器的实现3.1、基本结构3.2、插入…
阅读更多...
谈谈网络端口的概念、分类，以及常见的端口号

谈谈网络端口的概念、分类，以及常见的端口号

作者：Insist-- 个人主页：insist--个人主页 作者会持续更新网络知识和python基础知识，期待你的关注 目录 一、网络端口的概念 二、网络端口的分类 1、公认端口 2、注册端口 3、动态和私有端口 三、网络端口的作用 四、常见的端口号 1、…
阅读更多...
7.7 SpringBoot实战 管理员借阅审核列表 --分页和枚举的使用

7.7 SpringBoot实战 管理员借阅审核列表 --分页和枚举的使用

文章目录 前言一、需求二、定义接口 BookAdminController三、核心实现 BookBorrowService新建 BookBorrowService 接口定义如下：新建 BookBorrowServiceImpl 类，核心实现逻辑：新建 BookBorrowBO 四、图书借阅状态枚举 BookBorrowStatusEnum五…
阅读更多...
orm（连接MySQL，增删改，创建表，样例）

orm（连接MySQL，增删改，创建表，样例）

1.启动数据库 mysql -u root -p password:(输入密码)2.创建数据库 create database stu DEFAULT CHARSET utf8 COLLATE utf8_general_ci;3.更改Django中settings.py文件配置 Django连接数据库： DATABASES {default: {ENGINE: django.db.backends.mysql,NAME: st…
阅读更多...
NICE-SLAM代码复现和解析（解决使用yaml文件配置conda环境时下载慢的问题）

NICE-SLAM代码复现和解析（解决使用yaml文件配置conda环境时下载慢的问题）

代码运行 代码地址：https://github.com/cvg/nice-slam/tree/master 环境配置 下载压缩包，打开environment.yaml文件 向yaml文件中添加如下代码 - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/ - https://mirrors.ustc.edu.cn/anacon…
阅读更多...
docker中涉及的挂载点总结

docker中涉及的挂载点总结

文章目录 1.场景描述2. 容器信息在主机上位置3. 通过docker run 命令4、通过Dockerfile创建挂载点5、容器共享卷（挂载点）6、最佳实践：数据容器 1.场景描述 在介绍VOLUME指令之前，我们来看下如下场景需求： 1&#xff…
阅读更多...
关于OAuth2.0的一些基本知识

关于OAuth2.0的一些基本知识

本文记录下关于OAuth2.0的一些基本知识 文章目录 什么是 OAuth2.0OAuth2.0 架构术语介绍Web 服务器用户代理本机应用程序本文小结 什么是 OAuth2.0 OAuth 是一种开放的授权协议，它是目前最流行的授权机制。它允许将存储在一个站点上的资源共享到另一个站点&#xff…
阅读更多...
享元模式——实现对象的复用

享元模式——实现对象的复用

1、简介 1.1、概述 当一个软件系统在运行时产生的对象数量太多，将导致运行代价过高，带来系统性能下降等问题。例如，在一个文本字符串中存在很多重复的字符，如果每个字符都用一个单独的对象来表示，将会占用较多的内存…
阅读更多...
打印Winform控件实现简陋版的分页打印(C#)

打印Winform控件实现简陋版的分页打印(C#)

本文的代码可以从这里获取：winformDemo.rar 张祥裕/分享的资源名称 - Gitee.com 作者的水平有限，如有错误，望指正。 为了简单起见，纸张大小，打印机等信息按照默认的来，本文的实现方案是：打印Pa…
阅读更多...
超全整理，Jmeter性能测试-常用Jmeter第三方插件详解（超细）

超全整理，Jmeter性能测试-常用Jmeter第三方插件详解（超细）

目录：导读 前言一、Python编程入门到精通二、接口自动化项目实战三、Web自动化项目实战四、App自动化项目实战五、一线大厂简历六、测试开发DevOps体系七、常用自动化测试工具八、JMeter性能测试九、总结（尾部小惊喜） 前言 Jmeter作为一个开…
阅读更多...
【回眸】备考PMP考点汇总 三（距离考试还有20天）

【回眸】备考PMP考点汇总 三（距离考试还有20天）

目录 前言 【回眸】备考PMP考点汇总 三（距离考试还有20天） 29、管理质量 30、获取资源 31、建设团队 32、管理团队 33、管理沟通 34、实施风险应对 35、实施采购 36、管理相关方参与 37、监控项目工作（10%） 38、实施整…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023