MySQL学习笔记24

news2024/12/26 22:10:24

MySQL的物理备份：

xtrabackup备份介绍：

xtrabackup优缺点：

优点：

1、备份过程快速、可靠（因为是物理备份）；直接拷贝物理文件。

2、支持增量备份，更为灵活；

3、备份过程不会打断正在执行的事务；

4、能够支持压缩功能节约磁盘空间和流量；

5、自动实现备份检验；

6、还原速度快；

缺点：

1、只能对innodb表增量备份，myisam表增量备份时是全备；

2、innobackupex备份MyISAM表之前要对全库进行READ LOCK，阻塞操作，若备份是在从库上进行的话会影响主从同步，造成延迟。对innodb表备份不会阻塞读写。

xtrabackup备份原理

  1. innobackupex首先会==启动==一个==xtrabackup_log后台检测的进程，实时检测mysql的==redo log==的变化，一旦发现redo有新的日志写入，立刻将日志写入到日志文件==xtrabackup_log==中。

  2. ==物理==拷贝==innodb的数据文件和系统表空间文件idbdata1==到对应的以默认时间戳为备份目录的地方

  3. 复制结束后，执行==flush table with read lock==操作进行全库锁表准备备份非InnoDB文件

  4. 物理复制.frm .myd .myi等非InnoDB引擎文件到备份目录

  5. 查看二进制日志的位置

  6. 解锁表unlock tables

  7. ==停止==xtrabackup_log进程

innodb引擎，如果对数据进行了增删修操作，那么这个日志发生了变化。就把获取的内容写到xtrabackup log中。

innodb的数据文件就是.frm和idb两个数据文件。系统表空间文件就是ibdata1文件。

innodb的数据备份好了之后，那还有一些MyISAM引擎的文件也需要进行处理。那这个时候就要进行flush table with read lock操作。

然后开始复制.frm .myd .myi这些MyISAM文件。

然后还要查看二进制文件的位置。--master-data。备份二进制文件。

然后要解锁unlock tables。

最后再把xtrabackup log进程停止掉。

 

redo log日志：

 

 

事务日志或称redo日志。在mysql中默认以ib_logfile0, ib_logfile1的名称存在。

 

xtrabackup备份恢复原理： 

说明：就是开始备份，将之前的数据进行备份。那么备份期间这段时间产生的新数据也进行下备份，这样才是一个完整的备份。这是这个软件高级的地方。

具体文字描述如下（了解）：

  • 在InnoDB内部会维护一个redo日志文件，我们也可以叫做事务日志文件。事务日志会存储每一个InnoDB表数据的记录修改。当InnoDB启动时，InnoDB会检查数据文件和事务日志，并执行两个步骤：它应用（前滚）已经提交的事务日志到数据文件，并将修改过但没有提交的数据进行回滚操作。

  • xtrabackup在启动时会记住log sequence number（LSN），并且复制所有的数据文件。复制过程需要一些时间，所以这期间如果数据文件有改动，那么将会使数据库处于一个不同的时间点。这时，xtrabackup会运行一个后台进程，用于监视事务日志，并从事务日志复制最新的修改。xtrabackup必须持续的做这个操作，是因为事务日志是会轮转重复的写入，并且事务日志可以被重用。所以xtrabackup自启动开始，就不停的将事务日志中每个数据文件的修改都记录下来。

  • 上面就是xtrabackup的备份过程。接下来是准备（prepare）过程。在这个过程中，xtrabackup使用之前复制的事务日志，对各个数据文件执行灾难恢复（就像MySQL刚启动时要做的一样）。当这个过程结束后，数据库就可以做恢复还原了。

  • 以上的过程在xtrabackup的编译二进制程序中实现。程序innobackupex可以允许我们备份MyISAM表和frm文件从而增加了便捷和功能。Innobackupex会启动xtrabackup，直到xtrabackup复制数据文件后，然后执行FLUSH TABLES WITH READ LOCK来阻止新的写入进来并把MyISAM表数据刷到硬盘上，之后复制MyISAM数据文件，最后释放锁。

  • 备份MyISAM和InnoDB表最终会处于一致，在准备（prepare）过程结束后，InnoDB表数据已经前滚到整个备份结束的点，而不是回滚到xtrabackup刚开始时的点。这个时间点与执行FLUSH TABLES WITH READ LOCK的时间点相同，所以MyISAM表数据与InnoDB表数据是同步的。类似Oracle的recover和restore，InnoDB的prepare过程可以称为recover（恢复），MyISAM的数据复制过程可以称为restore（还原）。

  • ==Mysql5.7.3以后开启二进制日志需要加上server-id选项，不然报错==

获取xtrabackup备份工具：

我这边还是使用老师提供的版本：

依赖库和软件包。

xtrabackup软件的安装：

第一步：上传软件包和依赖库：

第二步：安装软件包：

[root@mysql-server ~]# rpm -ivh libev-4.15-3.el7.x86_64.rpm
warning: libev-4.15-3.el7.x86_64.rpm: Header V3 RSA/SHA256 Signature, key ID 352c64e5: NOKEY
Preparing...                          ################################# [100%]
Updating / installing...
   1:libev-4.15-3.el7                 ################################# [100%]
[root@mysql-server ~]# rpm -ivh percona-xtrabackup-24-2.4.7-2.el7.x86_64.rpm
warning: percona-xtrabackup-24-2.4.7-2.el7.x86_64.rpm: Header V4 DSA/SHA1 Signature, key ID cd2efd2a: NOKEY
error: Failed dependencies:
        perl(DBD::mysql) is needed by percona-xtrabackup-24-2.4.7-2.el7.x86_64
        perl(Digest::MD5) is needed by percona-xtrabackup-24-2.4.7-2.el7.x86_64

 出现这个问题。

那么，我们可以直接使用yum来进行安装，解决依赖的问题。

[root@mysql-server ~]# rpm -ql percona-xtrabackup-24
/usr/bin/innobackupex
/usr/bin/xbcloud
/usr/bin/xbcloud_osenv
/usr/bin/xbcrypt
/usr/bin/xbstream
/usr/bin/xtrabackup
/usr/share/doc/percona-xtrabackup-24-2.4.7
/usr/share/doc/percona-xtrabackup-24-2.4.7/COPYING
/usr/share/man/man1/innobackupex.1.gz
/usr/share/man/man1/xbcrypt.1.gz
/usr/share/man/man1/xbstream.1.gz
/usr/share/man/man1/xtrabackup.1.gz

 innobackupex和xtrabackup是两个核心的工具。

xtrabackup全库备份与恢复：

备份核心思路：

1）使用innobackupex对数据库中的所有库进行全量备份（物理文件拷贝），备份完成之后，其不能立即进行数据恢复。（数据不完整，还缺少12:00~12:30这个过程中的数据。）

2）预备阶段，备份过程中产生的xtrabackup log应用到全量备份集。整合到全量备份集中。

3）模拟故障（删除数据） rm -rf data/*

4）动员运维工程师进行全库恢复。

5）再测试验证。

第一步：准备数据：

mysql> create database db_itheima default charset=utf8;
Query OK, 1 row affected (0.00 sec)

mysql>
mysql> use db_itheima;
Database changed
mysql>
mysql> create table t1(
    -> id int,
    -> name varchar(10)
    -> )engine=myisam;
Query OK, 0 rows affected (0.00 sec)

mysql> insert into t1 values(1, '吕布');
Query OK, 1 row affected (0.00 sec)

mysql>
mysql> create table t2(
    -> id int,
    -> name varchar(10)
    -> )engine=innodb;
Query OK, 0 rows affected (0.02 sec)

mysql>
mysql> insert into t2 values(1, '貂蝉');
Query OK, 1 row affected (0.00 sec)

第二步：专门准备一个数据库备份账号，开通相应权限。

创建备份用户admin，并授予相应权限
mysql> grant reload,process,lock tables,replication client on *.* to 'admin'@'localhost' identified by '123';
mysql> flush privileges;

说明：
在数据库中需要以下权限：
RELOAD和LOCK TABLES权限:为了执行FLUSH TABLES WITH READ LOCK
REPLICATION CLIENT权限：为了获取binary log位置
PROCESS权限：显示有关在服务器中执行的线程的信息（即有关会话执行的语句的信息），允许使用SHOW ENGINE
mysql> grant reload,lock tables,process,replication client on *.* to 'admin'@'localhost' identified by '123';
Query OK, 0 rows affected, 1 warning (0.00 sec)

mysql> flush privileges;
Query OK, 0 rows affected (0.00 sec)

第三步：使用innobackupex工具进行全库备份。

把数据导出备份到/full_xtrabackup目录。

遇到这个错误，不能连接到/var/lib/mysql/mysql.sock。

目前，我们的mysql.sock是在/tmp/mysql.sock这个地方。我们有两种方法来解决：

1）软链接；

2）-S /tmp/mysql.sock。

第四步：预备阶段，把备份这段时间内产生的日志整合到全量备份中。

[root@mysql-server ~]# cd /full_xtrabackup/
[root@mysql-server full_xtrabackup]# ll
total 0
drwxr-x--- 2 root root   6 Sep 29 18:50 2023-09-29_18-50-24
drwxr-x--- 6 root root 241 Sep 29 18:52 2023-09-29_18-52-20
[root@mysql-server full_xtrabackup]#
[root@mysql-server full_xtrabackup]# innobackupex --user=admin --password=123 --apply-log /full_xtrabackup/2023-09-29_18-52-20

--apply-log  应用这个日志。

第五步：模拟数据故障：

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1051080.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

【数据结构】——顺序表详解

【数据结构】——顺序表详解

大家好！当我们学习了动态内存管理后，就可以写一个管理数据的顺序表了！！！ 顺序表的理解： 线性表是最基本、最简单、也是最常用的一种数据结构。线性表（linear list）是数据结构的一种…
阅读更多...
self-attention、transformer、bert理解

self-attention、transformer、bert理解

参考李宏毅老师的视频 https://www.bilibili.com/video/BV1LP411b7zS?p2&spm_id_frompageDriver&vd_sourcec67a2725ac3ca01c38eb3916d221e708 一个输入，一个输出，未考虑输入之间的关系！！！ self-attention…
阅读更多...
CSS详细基础（三）复合选择器

CSS详细基础（三）复合选择器

前两章介绍了CSS中的基础属性，以及一些基础的选择器，本贴开始介绍复合选择器的内容~ ​ 在 CSS 中，可以根据选择器的类型把选择器分为基础选择器和复合选择器，复合选择器是建立在基础选择器之上，对基本选择器进行组合形…
阅读更多...
c语言练习70:反转两次的数字

c语言练习70:反转两次的数字

反转两次的数字 题⽬描述： 反转 ⼀个整数意味着倒置它的所有位。 例如，反转 2021 得到 1202 。反转 12300 得到 321 ，不保留前导零 。 给你⼀个整数 num ，反转 num 得到 reversed1 ，接着反转 reversed1 得到 revers…
阅读更多...
使用KEIL自带的仿真器仿真遇到问题解决

使用KEIL自带的仿真器仿真遇到问题解决

*** error 65: access violation at 0x40021000 : no read permission 修改debug选项设置为下方内容。
阅读更多...
Java之多线程的生产者消费者问题的详细解析

Java之多线程的生产者消费者问题的详细解析

3.生产者消费者 3.1生产者和消费者模式概述【应用】 概述 生产者消费者模式是一个十分经典的多线程协作的模式，弄懂生产者消费者问题能够让我们对多线程编程的理解更加深刻。 所谓生产者消费者问题，实际上主要是包含了两类线程： 一类是生产者…
阅读更多...
MJ 种的摄影提示词关键字

MJ 种的摄影提示词关键字

景别 Front view photo 正面照 Front view photo of a Boston Terrier with smileSide view photo 侧身照 Side view photo of a Boston Terrier with smileBack view photo 背影照 Back view photo of a Boston TerrierFull body 全身照 Full body photo of a Boston Ter…
阅读更多...
electron之快速上手

electron之快速上手

前一篇文章已经介绍了如何创建一个electron项目，没有看过的小伙伴可以去实操一下。 接下来给大家介绍一下electron项目的架构是什么样的。 electron之快速上手 electron项目一般有两个进程：主进程和渲染进程。 主进程：整个项目的唯一入口&…
阅读更多...
2.物联网射频识别，RFID通信原理，RFID读写器与标签无线交互方式、数据反馈方式，RFID调制与解调、编码方式，不同RFID标签与读写器

2.物联网射频识别，RFID通信原理，RFID读写器与标签无线交互方式、数据反馈方式，RFID调制与解调、编码方式，不同RFID标签与读写器

一。RFID无线识别的原理 1.RFID系统无线通信基本原理 如下图所示，左边是读写器（刷卡器），右边是标签（卡），中间通过无线通信方式。 标签：（卡） 读写器&#xff…
阅读更多...
Sound/播放提示音, Haptics/触觉反馈, LocalNotification/本地通知 的使用

Sound/播放提示音, Haptics/触觉反馈, LocalNotification/本地通知 的使用

1. Sound 播放提示音 1.1 音频文件: tada.mp3， badum.mp3 1.2 文件位置截图: 1.3 实现 import AVKit/// 音频管理器 class SoundManager{// 单例对象 Singletonstatic let instance SoundManager()// 音频播放var player: AVAudioPlayer?enum SoundOption: Stri…
阅读更多...
python二维码识别tesseract

python二维码识别tesseract

window安装tesseract 下载路径： https://digi.bib.uni-mannheim.de/tesseract/ 选择 双击安装在D:\sore\teeseract-OCR后： 配置环境变量 配置环境变量Path：D:\sore\teeseract-OCR 配置语言包的环境变量TESSDATA_PREFIX： D:\s…
阅读更多...
搭建自己的搜索引擎之五

搭建自己的搜索引擎之五

一、前言 接上文 搭建自己的搜索引擎之四，下面继续介绍茴香豆茴字的另外两种写法。 二、Jest Jest是ES的Java Http Rest客户端，它主要是为了弥补以前ES自有API缺少HttpRest接口客户端的不足，但因为现在ES官方已经提供了RestClient ,该项目已…
阅读更多...
Dynamic CRM开发 - 实体窗体（二）主窗体

Dynamic CRM开发 - 实体窗体（二）主窗体

主窗体是功能最丰富，使用场景最多的窗体。 主窗体界面如下图： 下面按照图中的序号，简述一下窗体的主要功能： 0、窗体的主要布局部分，即用户看到的内容，可以拖动右侧的字段到窗体中想要放置的地方。 默认有标题、常规（选项卡）、页脚三部分，常规处于高亮状态，即可以…
阅读更多...
第十二章 类和对象

第十二章 类和对象

C面向对象的三大特性为：封装、继承、多态 C认为万事万物都皆为对象，对象上有其属性和行为 例如： 人可以作为对象，属性有姓名、年龄、身高、体重...，行为有走、跑、跳、吃饭、唱歌... 车也可以作为对象，…
阅读更多...
docker安装apisix全教程包含windows和linux

docker安装apisix全教程包含windows和linux

docker安装apisix 一、Windows安装1、首先需要安装docker和docker compose，如果直接安装docker desktop，会自动安装docker compose。2、重新启动电脑3、访问 Docker 的下载（[https://www.docker.com/products/docker-desktop](https://www.do…
阅读更多...
RocketMQ 版本升级测试

RocketMQ 版本升级测试

一、背景 RocketMQ 版本升级，3.6.4升级到5.1.3。 二、机器资源 应用端： 10.XX.67.249【机器 1】 cd /home/product/logs/dolphin_task_test_logs/ vim info.logMQ 服务端： 旧MQ 10.XX.108.249 broker-001。用于测试升级NameServer【机器 2…
阅读更多...
react库的基础学习

react库的基础学习

React介绍 React.js是前端三大新框架：Angular.js、React.js、Vue.js之一，这三大新框架的很多理念是相同的，但是也有各自的特点。 React起源于Facebook的内部项目，因为该公司对市场上所有 JavaScript MVC 框架，都不满…
阅读更多...
【数据库】形式化关系查询语言（一）：关系代数Relational Algebra

【数据库】形式化关系查询语言（一）：关系代数Relational Algebra

目录 一、关系代数Relational Algebra 1. 基本运算 a. 选择运算（Select Operation） b. 投影运算（Project Operation） 组合 c. 并运算（Union Operation） d. 集合差运算（Set Difference Op…
阅读更多...
【C++】vector基本接口介绍

【C++】vector基本接口介绍

vector接口目录： 一、vector的初步介绍 1.1vector和string的联系与不同 1.2 vector的源码参数 二、vector的四种构造（缺省填充元素迭代器拷贝构造） 三、vecto的扩容操作与机制 3.1resize（老朋友了，不会就去看str…
阅读更多...
Linux文件查找，别名，用户组综合练习

Linux文件查找，别名，用户组综合练习

1.文件查看: 查看/etc/passwd文件的第5行 [rootserver ~]# head -5 /etc/passwd root:x:0:0:root:/root:/bin/bash bin:x:1:1:bin:/bin:/sbin/nologin daemon:x:2:2:daemon:/sbin:/sbin/nologin adm:x:3:4:adm:/var/adm:/sbin/nologin lp:x:4:7:lp:/var/spool/lpd:/sbin/nologi…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023