第87讲：XtraBackup备份工具的核心技术要点及全库备份、恢复案例

news2024/9/24 12:23:56

文章目录

    • 1.XtraBackup备份工具的简介
    • 2.XBK备份工具的安装
    • 3.XBK备份工具的使用语法
    • 4.XBK备份前的准备
    • 5.使用XBK对全库进行备份
      • 5.1.XBK备份全库数据的语法格式
      • 5.2.使用XBK进行全库备份
      • 5.3.查看XBK备份的数据文件
      • 5.4.备份过程中生产的XBK文件
    • 6.模拟故障案例并使用XBK恢复备份的数据
      • 6.1.模拟故障导致数据库损坏
      • 6.2.从XBK备份中恢复数据
    • 7.自主定义XBK备份文件的名称

1.XtraBackup备份工具的简介

XtraBackup是Percona公司开源的一款MySQL InnoDB（包括XtraDB，MyISAM）数据库备份工具，基于InnoDB的崩溃恢复功能，由于支持不锁表的在线物理热备而被广泛应用于生产环境。

XBK备份恢复原理：

XtraBackup备份执行的瞬间，会立即触发checkpoint机制，将已提交事务的脏页数据从内存刷新到磁盘中，并记录此时日志序列号（LSN号），此时触发备份，然后复制磁盘中的数据页以及数据文件到备份路径，在备份过程中可能会有新的数据变化、新的事物提交，XBK还会将备份过程中产生的Redo log和Undo log一并备份，并且提取Redo Log中最后的LSN号，也就是checkpoint机制刷新到磁盘时记录的LSN之后，产生的Redo log和Undo log。

XtraBackup备份时会对非InnoDB引擎的表进行锁表，实现温备，对InnoDB引擎的表不进行锁表，直接复制InnoDB数据页及数据文件到备份路径中。

XBK的恢复过程就是模拟InnoDB的自动故障恢复（CSR）的过程，将Redo Log与Undo log进行应用，对比Redo log中最后的LSN号和备份前记录时的LSN号，既要保证备份数据的恢复，又要保证备份时产生的新数据的恢复，备份时产生的新数据就是从备份时的LSN号到Redo中的LSN之间的数据，这些数据如果是提交的那么就用备份的Redo文件恢复，如果是未提交的数据则使用备份的Undo文件进行恢复，恢复就是将备份的数据文件cp还原到原数据目录下。

XBK热备理念就是将备份触发之前的数据都备份，对于备份过程中的新数据也会备份下来，备份过程中的新数据就是Redo Log和Undo Log了，XBK在备份触发的时候会通过CKPT机制刷新脏页数据到磁盘，此时会记录LSN号，而Redo Log中也有对应的LSN号，当我们要恢复数据时，假如说备份时的LSN号是101，备份完后Redo Log中的LSN号是110，那么102-110之间的LSN号对应的事务就是备份过程中产生的新数据，对于新数据已经提交的数据用备份的Redo文件恢复，未提交的数据用Undo文件进行回滚恢复，保证数据的一致性。

XBK备份需要依赖MySQL的主配置文件/etc/my.cnf，如果配置文件不在这个路径需要单独指定。

2.XBK备份工具的安装

1.安装依赖的软件
[root@mysql ~]# yum -y install perl perl-devel libaio libaio-devel perl-Time-HiRes perl-DBD-MySQL

2.安装xbk
[root@mysql ~]# wget https://www.percona.com/downloads/XtraBackup/Percona-XtraBackup-2.4.12/binary/redhat/7/x86_64/percona-xtrabackup-24-2.4.12-1.el7.x86_64.rpm
[root@mysql ~]# yum -y install percona-xtrabackup-24-2.4.12-1.el7.x86_64.rpm

3.XBK备份工具的使用语法

XBK备份语法格式：innobackupex [--defaults-file=#] [OPTIONS] 备份路径

参数：

  • --defaults-file：指定MySQL配置文件的路径。
  • --apply-log：整理备份，将redo log进行重做，将已提交的事务写到备份的数据文件，对未提交的事务使用undo回滚掉，模拟了CSR的过程，这个参数就是将备份过程中产生的新数据一并写入到备份文件中，保证数据的一致性。
  • --redo-only：这个参数需要配合--apply-log这个参数一起使用，表示在整理备份数据时只执行redo前滚操作，不执行undo回滚操作。
  • --copy-back：恢复数据。
  • -S：指定MySQL socket文件。
  • --stream=tar：开启流备份，备份成tar包。
  • --user-memory=256M：为xbk分配256M的内存进行备份。
  • --parallel=8：并发处理数，一般都是CPU核数的一半。

4.XBK备份前的准备

XBK备份前我们需要进行一些配置，否则备份会失败。

首先要确保MySQL主配置文件在/etc/my.cnf里，如果不在这个路径，备份时需要指定配置文件的路径，如以下所示：通过--defaults-file参数指定配置文件的路径。

[root@mysql ~]# innobackupex --defaults-file=/etc/my.cnf --user=root --password=123456  /data/dbbackup/

另外还需要在MySQL的主配置文件中指定客户端使用的MySQL socket文件，否则XBK备份时会报错，提示找不到socket文件。

[root@mysql ~]# vim /etc/my.cnf
[client]
socket=/tmp/mysql.sock

如果不想在主配置文件中指定client的socket文件，那么可以在备份命令中通过-S参数指定socket文件的路径。

[root@mysql ~]# innobackupex --user=root --password=123456 -S /tmp/mysql.sock /data/dbbackup/

5.使用XBK对全库进行备份

5.1.XBK备份全库数据的语法格式

innobackupex --user=数据库账号 --password=数据库密码 --defaults-file=配置文件路径 -S socket文件路径 备份路径

5.2.使用XBK进行全库备份

[root@mysql ~]# innobackupex --user=root --password=123456 /data/dbbackup/

当看到 completed OK! 一行就表示备份成功了。

image-20220703105846689

5.3.查看XBK备份的数据文件

XBK备份结束后，会在指定的备份路径生成一个当前时间命名的目录，在这个目录中存放了备份数据库的数据文件。

image-20220703110021558

XBK备份出来的就是数据库的数据文件，可以和数据库数据路径的文件进行对比，几乎就是完完全全的cp过来的，除了数据库的备份外，还产生了四个XBK生成的文件。

image-20220703110221097

5.4.备份过程中生产的XBK文件

使用XBK备份完成后，会生产四个关于XBK的文件，用于记录一些配置信息。

-rw-r----- 1 root root       63 7月   3 10:58 xtrabackup_binlog_info
-rw-r----- 1 root root      113 7月   3 10:58 xtrabackup_checkpoints
-rw-r----- 1 root root      542 7月   3 10:58 xtrabackup_info
-rw-r----- 1 root root     2560 7月   3 10:58 xtrabackup_logfile

1）xtrabackup_binlog_info

该文件会记录备份时刻Binlog的状态信息，包括备份时最近的GTID号以及事件的Position标识位号，可以用来截取Binlog日志。

[root@mysql 2022-07-03_10-58-17]# cat xtrabackup_binlog_info 
mysql-bin.000013	344	e0a2c0cc-f835-11ec-8a3c-005056b791aa:1-79

334就是事件的Position号。

2）xtrabackup_checkpoints

记录XBK备份触发时的checkpoints机制信息。

[root@mysql 2022-07-03_10-58-17]# cat xtrabackup_checkpoints 
backup_type = full-backuped
from_lsn = 0					#上次所到达的LSN号(对于全备就是从0开始,对于增量有别的显示方法)
to_lsn = 6136767				#备份开始时间(ckpt)点数据页的LSN号
last_lsn = 6136776				#备份结束后，redo日志最终的LSN
compact = 0
recover_binlog_info = 0

这个文件非常重要。
（1）备份时刻，立即将已经commit过的，内存中的数据页刷新到磁盘(CKPT).开始备份数据，数据文件的LSN会停留在to_lsn位置。
（2）备份时刻有可能会有其他的数据写入，已备走的数据文件就不会再发生变化了。
（3）在备份过程中，备份软件会一直监控着redo的undo，如果一旦有变化会将日志也一并备走，并记录LSN到last_lsn。
从to_lsn ----> last_lsn 就是备份过程中产生的数据变化.

3）xtrabackup_info

XBK备份时的一些参数信息。

image-20220703111144658

4）xtrabackup_logfile

日志文件。

6.模拟故障案例并使用XBK恢复备份的数据

6.1.模拟故障导致数据库损坏

将db_1、db_2、db_3的数据文件删除，然后从XBK备份中恢复数据。

[root@mysql ~]# rm -rf /data/mysql/db_1/
[root@mysql ~]# rm -rf /data/mysql/db_2/
[root@mysql ~]# rm -rf /data/mysql/db_3/

6.2.从XBK备份中恢复数据

1）对redo log进行重做

将redo log进行重做，将已提交的事务写到备份的数据文件，对未提交的事务使用undo回滚掉，模拟了CSR的过程，这一步就是将备份过程中产生的新数据一并写入到备份文件中，保证数据的一致性。

[root@mysql ~]# innobackupex --apply-log /data/dbbackup/2022-07-03_10-58-17/

2）恢复数据

恢复数据非常简单，只需要通过cp命令将数据文件拷贝到数据库目录即可。

[root@mysql ~]# \cp -ra /data/dbbackup/2022-07-03_10-58-17/* /data/mysql/
[root@mysql ~]# chown -R mysql. /data/mysql/
[root@mysql ~]# systemctl restart mysqld

7.自主定义XBK备份文件的名称

在前面看到XBK备份出来的目录是以时间戳定义的，精确到了时分秒，其实也不太友好。

我们可以通过--no-timestamp参数跳过XBK默认的备份文件名，我们自定义XBK的备份文件名称。

[root@mysql ~]# innobackupex --user=root --password=123456  --no-timestamp /data/dbbackup/all_bak_`date +%F`

image-20220703112713170

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1380575.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

驾驭数字孪生：智慧水利的未来之路

驾驭数字孪生：智慧水利的未来之路

一、数字孪生技术的原理与实践 随着科技的不断进步，数字孪生技术作为一项创新的技术应用，正在逐渐改变我们的生活和工作方式。特别是在工业领域，数字孪生技术被视为实现智能制造、提升生产效率和产品质量的重要手段。本章节将深入探讨数字孪…
阅读更多...
git修改最新提交(commit)信息

git修改最新提交(commit)信息

一、修改最近一次commit信息 1、首先通过git log查看commit信息 2、使用命令git commit --amend进入命令命令模式，按i进入编辑模式，修改好commit信息后按Esc键退出编辑模式，然后输入:wq保存编辑信息（注意使用英文输入法&#xf…
阅读更多...
[Vulnhub靶机] DriftingBlues: 7

[Vulnhub靶机] DriftingBlues: 7

[Vulnhub靶机] DriftingBlues: 7靶机渗透思路及方法（个人分享） 靶机下载地址： https://download.vulnhub.com/driftingblues/driftingblues7_vh.ova 靶机地址：192.168.67.27 攻击机地址：192.168.67.3 一、信息收集 …
阅读更多...
[C#]使用winform部署PP-MattingV2人像分割onnx模型

[C#]使用winform部署PP-MattingV2人像分割onnx模型

【官方框架地址】 https://github.com/PaddlePaddle/PaddleSeg 【算法介绍】 PP-MattingV2是一种先进的图像和视频抠图算法，由百度公司基于PaddlePaddle深度学习框架开发。它旨在提供更精准和高效的图像分割功能，特别是在处理图像中的细微部分&#xf…
阅读更多...
Kubernetes (十一) 存储——Secret配置管理

Kubernetes (十一) 存储——Secret配置管理

一. 简介 从文件创建 echo -n admin > ./username.txt echo -n westos > ./password.txt kubectl create secret generic db-user…
阅读更多...
2023年全国职业院校技能大赛软件测试赛题—单元测试卷⑥

2023年全国职业院校技能大赛软件测试赛题—单元测试卷⑥

单元测试 一、任务要求 题目1：根据下列流程图编写程序实现相应分析处理并显示结果。返回结果“ax：”（x为2、3或4）；其中变量x、y均须为整型。编写程序代码，使用JUnit框架编写测试类对编写的程序代码进行测试…
阅读更多...
【python】进阶---＞MySQL数据库（二）

【python】进阶---＞MySQL数据库（二）

一、sql语句(结构化查询语言) 要和数据库进行交互,需要使用到数据库认识的语言 : sql语句 是关系型数据库都需要遵循的规范。不同数据库都支持sql语句,但是都有特有内容。 二、sql语句分类 数据定义语言 : 用来定义数据库–数据库,表,列. 数据操作语言 : 对数据库表中的记录进…
阅读更多...
蓝桥杯回文日期判断

蓝桥杯回文日期判断

思想：对于回文数的判断方法，最快的就是取其中一半的字符串长度，为s，然后将其进行翻转为s’ ，再把两者进行拼接即可保证是回文数，这样子就解决了枚举所有回文数的问题。 注意点： 要求必须是有效…
阅读更多...
交叉编译ARM64架构electron详解

交叉编译ARM64架构electron详解

基本介绍 本文主要参考Electron官方文档中 构建说明 和 构建步骤（Linux） 在amd64环境内构建arm64的electron包。 如果是arm64环境请查看文章arm64架构编译electron长征路 一、环境说明 操作系统版本：统信1060 操作系统架构：amd64 内存：32G 如下图： electron版本：v25…
阅读更多...
k8s 部署Jenkins项目

k8s 部署Jenkins项目

1、基于helm 部署jenkins 要求：当前集群配置了storageClass，并已指定默认的storageClass，一般情况下，创建的storageClass即为默认类 指定默认storageClass的方式 # 如果是新创建默认类： apiVersion: storage.k8s.io/v1…
阅读更多...
图像异或加密及唯密文攻击

图像异或加密及唯密文攻击

异或加密 第一种加密方式为异或加密，异或加密的原理是利用异或的可逆性质，原始图像的像素八位bit分别与伪随机二进制序列异或，得到的图像就为加密图像。如下图对lena图像进行加密。 伪随机序列为一系列二进制代码，它受加密秘钥控…
阅读更多...
数据结构入门到入土——栈(Stack)和队列(Queue)

数据结构入门到入土——栈(Stack)和队列(Queue)

目录 一，栈（Stack） 1.1 概念 1.2 栈的使用 1.3 栈的模拟实现 1.4 栈的应用场景 1.5 栈，虚拟机栈，栈帧有什么区别？ 二，队列（Queue） 2.1 概念 2.2 队列的使用 2.3 …
阅读更多...
Jenkins实现基础CI操作配合python

Jenkins实现基础CI操作配合python

条件： gitlab准备好 jenkins准备好 (不会java项目, 故跳过Maven打jar包) jenkins配置 在配置里通过插件Git Parameter配置Git，以便于从gitlab 拉去代码到Jenkins r容器内 /var/jenkins_home/ 刚接触python 项目好像不需要构建，直接推送到远…
阅读更多...
桌面显示器type-c接口方案6020

桌面显示器type-c接口方案6020

TYPE-C接口桌面显示器，与传统的显示器不同的是 新一类的显示器不仅仅支持视频传输，还可以利用显示器的DC电源转成PD协议充电给设备端（笔记本，任天堂等HOST设备）充电。 这种新型的TYPE-C接口桌面显示器，不仅…
阅读更多...
vue实现导航里面锚点定位和滚动监听功能

vue实现导航里面锚点定位和滚动监听功能

需求 我们在开发过程中有时候会遇到左侧导航菜单栏数据需要监听和右侧顶部导航菜单联动效果。这里我们通常使用锚点定位和滚动监听方法实现。这里我们使用两种方案解决，第一是常规的出来方法，第二是通过uniapp里面的scroll-view进行处理 具体实现方案如…
阅读更多...
三种方法实现获取链表中的倒数第ｎ个元素

三种方法实现获取链表中的倒数第ｎ个元素

文章目录 先放初始代码方式1方式2方式3 先放初始代码 节点类 public class HeroNode {public int no;public String name;public HeroNode next; //指向下一个节点public HeroNode(int no, String name, HeroNode next) {this.no no;this.name name;this.next next;}Overr…
阅读更多...
C语言——内存函数【memcpy,memmove,memset,memcmp】

C语言——内存函数【memcpy,memmove,memset,memcmp】

📝前言： 在之前的文章C语言——字符函数和字符串函数（一）中我们学习过strcpy和strcat等用来实现字符串赋值和追加的函数，那么除了字符内容，其他的数据（例如整型）能否被复制或者移动呢…
阅读更多...
Linux centos stream9 parted

Linux centos stream9 parted

在Linux中，常用的磁盘管理工具包括 fdisk、parted、gdisk 等。它们可以用于创建、删除、调整分区、查看分区表等操作。 传统的MBR分区表(即主引导记录)大家都很熟悉，是过去我们使用windows时常见的。所支持的最大卷2T，且对分区有限制&#x…
阅读更多...
微信号一天能加多少个好友？

微信号一天能加多少个好友？

微信的风控措施日益严格，因其本身是一款社交软件，却因流量巨大而被用于营销。若借助微信进行营销，仅依靠一个微信号，每日发送好友验证上限仅为20个（针对老号），最佳数量控制在15个以内&#xff0…
阅读更多...
DolphinScheduler伪集群部署

DolphinScheduler伪集群部署

一.伪集群部署 伪集群部署目的是在单台机器部署 DolphinScheduler 服务，该模式下master、worker、api server、logger server都在同一台机器上。单机版本稳定性较差，官方建议20个以下流程使用。 二.前置需求 １、２.０.…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023