MySQL数据库-备份恢复

一、MySQL日志管理

1.为什么需要日志

用于排错
用来做数据分析
了解程序的运行情况，了解MySQL的性能

2.日志作用

在数据库保存数据时，有时候不可避免会出现数据丢失或者被破坏，这样情况下，就必须保证数据的安全性和完整性，则需要使用日志来查看或者恢复数据。

3.数据丢失或被破坏的原因

误删数据库
数据库工作时，意外断电或程序意外终止
由于病毒造成的数据库损坏或丢失
文件系统损坏后，系统进行自检操作
升级数据库时，命令语句不严格
设备故障等等

4.日志文件查看方法

由于多种安装mysql的方法可能导致文件存储位置和名称不同，需要先通过mysql配置文件确定错误日志文件位置及名称

通过mysql配置文件my.ini中查看：C:\ProgramData\MySQL\MySQL Server 8.0\my.ini

datadir=C:/ProgramData/MySQL/MySQL Server 8.0\Data    


log-error="LEGION.err"

位置：C:\ProgramData\MySQL\MySQL Server 8.0\Data\LEGION.err

5.常见日志类型之错误日志

错误日志记录以下信息：

服务器启动和关闭过程中的信息
服务器运行过程中的错误信息
事物调度器运行一个时间时产生的信息
在服务器上启动从服务器进程时产生的信息

查看本机错误日志（查看错误日志位置及文件名，一般以主机名.err方式命名）：

mysql> show variables like 'log_error';
+---------------+-----------------------+
| Variable_name | Value                 |
+---------------+-----------------------+
| log_error     | .\DESKTOP-2V2B7B2.err |
+---------------+-----------------------+
1 row in set, 1 warning (0.02 sec)

错误日志信息需要注意三类：[System]、[Warning]、[Error]

注意：my.ini中可以用log-error=file_name 选项来指定mysqld保存错误日志文件的位置。

6.常见日志类型之通用查询日志

由于数据库一般有多条连接，不一定是本地连接，所以需要记录每个连接客户端的所有操作，包括启动和关闭 MySQL 服务、更新语句和查询语句等，从而产生查询日志。

查看设置状态：

mysql> show global variables like '%general_log%';
+------------------+---------------------+
| Variable_name    | Value               |
+------------------+---------------------+
| general_log      | OFF                 |    # 默认关闭
| general_log_file | DESKTOP-2V2B7B2.log |    # 存储位置
+------------------+---------------------+
2 rows in set, 1 warning (0.01 sec)

启动记录查询日志：

mysql> set global general_log=on;
Query OK, 0 rows affected (0.02 sec)

mysql> show global variables like '%general_log%';
+------------------+---------------------+
| Variable_name    | Value               |
+------------------+---------------------+
| general_log      | ON                  |
| general_log_file | DESKTOP-2V2B7B2.log |
+------------------+---------------------+
2 rows in set, 1 warning (0.00 sec)

# 注意这是临时更改，若永久更改则在my.ini中配置general-log=1，并重启服务
# 注意可以在my.ini中设置general_log_file=路径/文件名 的形式设置永久更改存储位置

设置日志记录类型（表/文本文件/空）：

mysql> show variables like '%log_output%';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| log_output    | FILE  |
+---------------+-------+
1 row in set, 1 warning (0.00 sec)

# 注意可以在my.ini中设置log-output={TABLE|FILE|NONE}类型

关闭查询日志：

mysql> set global general_log=0;
Query OK, 0 rows affected (0.01 sec)

mysql> show global variables like "%general_log%";
+------------------+---------------------+
| Variable_name    | Value               |
+------------------+---------------------+
| general_log      | OFF                 |
| general_log_file | DESKTOP-2V2B7B2.log |
+------------------+---------------------+
2 rows in set, 1 warning (0.00 sec)

注意：

要启用通用查询日志，需要至少配置general-log=1，log-output={TABLE|FILE}
general_log_file如果没有指定，默认名是：主机名.log
默认通用查询日志是不开启的，因为会消耗大量的磁盘空间、CPU以及内存，所以当需要通过查询日志还原操作场景准确定位问题时可以短时间开启

7.常见日志类型之慢查询日志

慢日志记录所有执行时间超过long_query_time秒的所有查询或不使用索引的查询

解释：若某条查询语句的执行时间过长，超过了设定的阈值则就会记录到慢日志中，可以对其进行后期 select 语句的优化

查看慢查询日志状态：

mysql> show global variables like "%slow_query_log%";
+---------------------+--------------------------+
| Variable_name       | Value                    |
+---------------------+--------------------------+
| slow_query_log      | ON                       |
| slow_query_log_file | DESKTOP-2V2B7B2-slow.log |
+---------------------+--------------------------+
2 rows in set, 1 warning (0.00 sec)

开启慢查询日志：

mysql> set global slow_query_log=1; # 0为关闭

C:\ProgramData\MySQL\MySQL Server 8.0\Data\LEGION-slow.log

# 注意：为了服务器调优，建议开启

慢日志的时间阈值：

mysql> show global variables like "long_query_time";
+-----------------+-----------+
| Variable_name   | Value     |
+-----------------+-----------+
| long_query_time | 10.000000 |    # 默认10秒最小为0,精度可以到微秒
+-----------------+-----------+
1 row in set, 1 warning (0.00 sec)

8.*常见日志类型之二进制日志

（1）二进制日志作用：

记录所有更改数据的语句（insert、update、delete等），不记录查询语句
用于主从复制，因为从服务器需要到主服务器里拷贝二进制日志，然后根据二进制日志的内容去执行 SQL语句，从而达到主从服务器里的数据一模一样
用于恢复数据
日志审计的场景：用户可以通过二进制日志中的信息来进行审计，判断是否有对数据库进行注入攻击（mysql注入攻击：黑客可以提交一段数据库查询代码，根据程序返回的结果，获得某些想要得到的数据）

（2）查看二进制日志状态

mysql> show variables like "%log_bin%";

（3）日志查看：

# 查看有哪些二进制日志文件：
mysql> show binary logs;     # 显示名称、容量单位字节、加密与否

# 查看当前正在使用的是哪一个二进制日志文件
mysql> show master status;

# 查看二进制日志内容：
mysql> show binlog events in "DESKTOP-2V2B7B2-bin.000001";


# 使用命令mysqlbinlog查看二进制日志内容
# 打开命令提示符
C:\Users\Administrator>cd C:\ProgramData\MySQL\MySQL Server 8.0\Data

C:\ProgramData\MySQL\MySQL Server 8.0\Data>mysqlbinlog DESKTOP-2V2B7B2-bin.000001 >
test.sql

（4）日志刷新：

作用：通过刷新日志进行更新日志，对缓存数据进行磁盘I/O，并强制 mysqld来关闭和重新打开日志文件（或者在某些情况下切换到一个新的日志）

由于日志的记录不是直接写入日志文件中而是使用日志缓存的方式，当频繁执行多条修改的sql语句时，为了避免对磁盘频繁I/O，会将日志记录写入到内存的特殊空间即日志缓存中，之后每隔一个固定时间间隔将缓存的日志写入到磁盘文件中

刷新日志命令格式：

mysql> flush logs # 会产生新日志文件
mysql> show master status;

# 在shell中，通过mysqladmin命令执行日志刷新：
mysqladmin flush-logs -u 账户名 -p
mysqladmin refresh -u 账户名 -p

（5）二进制日志是记录执行的语句还是执行后的结果数据呢？分为三种情况：

假如一个表有10万行数据，而现在要执行一个如下语句将amount字段的值全部在原来的基础上增加 1000：

 UPDATE sales.january SET amount=amount+1000;

此时如果要记录执行后的结果数据的话，日志会非常大。因此在这种情况下应记录执行语句。这种方式就是基于语句的二进制日志。

如果向某个字段插入的是当前的时间呢？如下：

INSERT INTO tb SET Birthdate=CURRENT_TIME();

此时就不能记录语句了，因为不同时间执行的结果是不一样的。此时应该记录这一行的值，这种就是基于行（row）的二进制日志。

在有些情况，可能会结合两种方式来记录，这种叫做混合方式的二进制日志。

（6）删除二进制日志文件：

二进制日志文件不能直接删除的，如果使用 rm 等命令直接删除日志文件，可能导致数据库的崩溃。必须使用命令 PURGE 删除日志，语法如下：

PURGE { BINARY | MASTER } LOGS { TO 'log_name' | BEFORE datetime_expr }

9.常见日志类型之事物日志

作用：记录InnoDB等支持事务的存储引擎执行事务时产生的日志。

事务：是一种机制，一个操作序列，它包含了一组数据库操作命令，并且把所有的命令作为一个整体一起向系统提交或撤销操作请求。要么都执行，要么都不执行。

解释：比如在区块链技术中，支出时本地账本会记录同时同步全网，收入时也会记录并同步，若执行支出时系统崩溃则会出现问题，采用事务日志记录见执行的事务以便与数据回滚等操作.

二、MySQL备份

1.备份类型

根据服务器状态，可以分为热备份、温备份、冷备份：

热备份：读、写不受影响
温备份：仅可以执行读操作
冷备份：离线备份；读、写操作均中止

从对象来分，可以分为物理备份与逻辑备份：

物理备份：复制数据文件
逻辑备份：将数据导出至文本文件中

从数据收集来分，可以完全备份、增量备份、差异备份：

完全备份：备份全部数据
增量备份：仅备份上次完全备份或增量备份以后变化的数据
差异备份：仅备份上次完全备份以来变化的数据

2.逻辑备份优缺点

在备份速度上两种备份要取决于不同的存储引擎：

（1）物理备份的还原速度非常快。但是物理备份的最小粒度只能做到表。

（2）逻辑备份保存的结构通常都是纯ASCII的，所以我们可以使用文本处理工具来处理

（3）逻辑备份有非常强的兼容性，而物理备份则对版本要求非常高

（4）逻辑备份也对保持数据的安全性有保证

逻辑备份的缺点：

逻辑备份要对RDBMS产生额外的压力，而裸备份无压力
逻辑备份的结果可能要比源文件更大。所以很多人都对备份的内容进行压缩
逻辑备份可能会丢失浮点数的精度信息

3.备份内容

数据文件
日志文件（比如事务日志，二进制日志）
存储过程，存储函数，触发器
配置文件（十分重要，各个配置文件都要备份）
用于实现数据库备份的脚本，数据库自身清理的Crontab等……

4.备份工具

MySQL自带的备份工具--mysqldump，是mysql数据库管理系统，自带的逻辑备份工具，支持完全备份+增加备份，速度相对较慢，适合中小型数据库支持所有引擎，备份策略：第一次完全备份，每天一次增量备份，每周再做一次完全备份，如此一直重复

全备语法：

mysqldump -u用户名 --password=密码 -A > 绝对路径\备份文件.sql

备份库和表语法：

mysqldump -u用户名 --password=密码 数据库名 表1 表2 > 绝对路径\备份文件.sql

示例1：使用mysqldump工具实现全量备份

# 原理：必须先做全量备份，使得数据库有一个基准还原点，在做增量备份，还原差异数据

# 注意：在命令提示符中处理，不要在powershell中

# 切换到命令提示符终端，完成全备
C:\Users\Administrator> mysqldump -u root --password=123456 -A > C:\back1.sql
mysqldump: [Warning] Using a password on the command line interface can be
insecure. # 警告表示将密码显示在屏幕上不安全，备份的盘符一定要和MySQL安装目录在同一个盘符中，
要不然会提示：拒绝访问

# 切换终端到mysql
C:\Users\Administrator> mysql -uroot -p
Enter password: ******

mysql> drop database mydb1_test; # 删库跑路

mysql> drop database mydb2_stuinfo;
……

mysql> show databases; # 查看数据库

mysql> source C:\back1.sql # 全库恢复

示例2：局部备份恢复

# 切换到命令提示符终端，完成全备
C:\Users\Administrator> mysqldump -u root --password=123456 -B mydb1_test >
C:\back2.sql

# 切换终端到mysql
C:\Users\Administrator> mysql -uroot -p
Enter password: ******

mysql> drop database mydb1_test; # 删库跑路

mysql> drop database mydb1_test;

# 开始恢复
mysql> create database mydb1_test; # 需要先创建待恢复的数据库

mysql> use mydb1_test;

mysql> source C:\back2.sql

mysql> show tables; # 查看，已还原

mysql> select * from t1 ; # 查看表

文件系统备份工具：

cp命令，冷备份，支持所有引擎，复制命令，只能实现冷备，物理备份。使用归档工具，cp命令，对其进行备份的，备份速度快，还原速度几乎最快，但是灵活度很低，可以跨系统，但是跨平台能力很差。
lvm 几乎是热备份，支持所有引擎，基于快照(LVM，ZFS)的物理备份，速度非常快，几乎是热备。只影响数据几秒钟而已。但是创建快照的过程本身就影响到了数据库在线的使用，所以备份速度比较快，恢复速度比较快，没有什么弹性空间，而且LVM的限制：不能对多个逻辑卷同一时间进行备份，所以数据文件和事务日志等各种文件必须放在同一个LVM上。而ZFS则非常好的可以在多逻辑卷之间备份。

其它工具：