MySQL数据库日志管理、备份与恢复

news2024/11/23 15:52:56

目录

一、MySQL 日志管理

 二、数据备份的重要性

 造成数据丢失的原因

三、数据库备份的分类

1 、从物理与逻辑的角度

(1)备份划分

(2) 物理备份方法

2、 从数据库的备份策略角度

 四、常见的备份方法

1、物理冷备

2、专用备份工具mydump或mysqlhotcopy

3、启用二进制日志进行增量备份

4、第三方工具备份

五、MySQL 完全备份

1、优点

2、 缺点

3 、数据库完全备份分类

(1)物理冷备份与恢复

(2) mysqldump备份与恢复

 六、MySQL完全备份与恢复

1、 MySQL 完全备份

(1)物理冷备份与恢复

 2、 mysqldump 备份与恢复

(1)完全备份一个或多个完整的库(包括其中所有的表)

 (2)完全备份MySQL服务器中所有的库

 (3)完全备份指定库中的部分表

(4)查看备份文件

 2、MySQL 完全备份恢复

(1)恢复数据库

(2)恢复数据表

  七、MySQL 增量备份与恢复

1、MySQL 增量备份

(1)开启二进制日志功能

​(2) 可每周对数据库或表进行完全备份

(3) 可每天进行增量备份操作,生成新的二进制日志文件(例如mysql-bin.000002)

 (4)插入新数据,以模拟数据的增加或变更

(5) 再次生成新的二进制日志文件(例如mysql -bin.000003)

(6)查看二进制日志文件的内容

2、 MySQL增量恢复

2.1 一般恢复

(1)模拟丢失更改的数据的恢复步骤

 (2)模拟丢失所有数据的恢复步骤

2.2  断点恢复

 (1)基于位置恢复

(2)基于时间点恢复

总结


一、MySQL 日志管理

MySQL的日志默认保存位置为/usr/local/mysql/data

vim /etc/my.cnf 
[mysqld]
......


systemctl restart mysql

1、错误日志,用来记录当MySQL启动、停止或运行时发生的错误信息,默认已开启

log-error=/usr/local/mysql/data/mysql_error.log     #指定日志的保存位置和文件名

2、通用查询日志,用来记录MySQL的所有连接和语句,默认是关闭的

general_log=ON
general_log_file=/usr/local/mysql/data/mysql_general.log

3、二进制日志(binlog),用来记录所有更新了数据或者已经潜在更新了数据的语句,记录了数据的更改,可用于数据恢复,默认已开启

log-bin=mysql-bin 
或
log_bin=mysql-bin

4、慢查询日志,用来记录所有执行时间超过long_query_time秒的语句,可以找到哪些查询语句执行时间长,以便于优化,默认是关闭的

slow_query_log=ON
slow_query_log_file=/usr/local/mysql/data/mysql_slow_query.log    #指定文件路径和名称
long_query_time=5          #设置执行超过5秒的语句会被记录,缺省时为10秒

mysql -u root -p
show variables like 'general%';    #查看通用查询日志是否开启
show variables like 'log_bin%';     #查看二进制日志是否开启
show variables like '%slow%';    #查看慢查询日功能是否开启
show variables like ' long_query_time';    #查看慢查询时间设置
set global slow_query_log=ON;    #在数据库中设置开启慢查询的方法


xxx%	以slow开头的字段
%xxx	以slow结尾的字段
%xxx% 	只要出现slow字段的都会显示出来
xxx		精准查询

 二、数据备份的重要性

备份的主要目的是灾难恢复
在生产环境中,数据的安全性至关重要
任何数据的丢失都可能产生严重的后果

 造成数据丢失的原因

1、程序错误
2、人为操作错误
3、运算错误
4、磁盘故障
5、灾难(如火灾、地震)和盗窃

三、数据库备份的分类

1 、从物理与逻辑的角度

(1)备份划分

物理备份:对数据库操作系统的物理文件(如数据文件、日志文件等)的备份
逻辑备份:对数据库逻辑组件(如:表等数据库对象)的备份

(2) 物理备份方法

冷备份(脱机备份):是在关闭数据库的时候进行的
热备份(联机备份):数据库处于运行状态,依赖于数据库的日志文件
温备份:数据库锁定表格(不可写入但可读)的状态下进行备份操作

2、 从数据库的备份策略角度

备份可分为

完全备份:每次对数据库进行完整的备份
差异备份:备份自从上次完全备份之后被修改过的文件
增量备份:只有在上次完全备份或者增量备份后被修改的文件才会被备份

 

 四、常见的备份方法

1、物理冷备

备份时数据库处于关闭状态,直接打包数据库文件
备份速度快,恢复时也是最简单的

2、专用备份工具mydump或mysqlhotcopy

mysqldump常用的逻辑备份工具
mysqlhotcopy仅拥有备份MyISAM和ARCHIVE表

3、启用二进制日志进行增量备份

进行增量备份,需要刷新二进制日志

4、第三方工具备份

免费的MySQL热备份软件Percona XtraBackup
 

五、MySQL 完全备份

是对整个数据库、数据库结构和文件结构的备份
保存的是备份完成时刻的数据库
是差异备份与增量备份的基础

1、优点

备份与恢复操作简单方便

2、 缺点

数据存在大量的重复
占用大量的备份空间
备份与恢复时间长

3 、数据库完全备份分类

(1)物理冷备份与恢复

关闭MySQL数据库
使用tar命令直接打包数据库文件夹
直接替换现有MySQL目录即可

(2) mysqldump备份与恢复

MySQL自带的备份工具,可方便实现对MySQL的备份
可以将指定的库、表导出为SQL脚本
使用命令mysql导入备份的数据

 六、MySQL完全备份与恢复

use xyw;
create table if not exists info1 (
id int(4) not null auto_increment,
name varchar(10) not null,
sex char(10) not null,
hobby varchar(50),
primary key (id));
insert into info1 values(1,'user1','male','running');
insert into info1 values(2,'user2','female','singing');

1、 MySQL 完全备份

InnoDB存储引擎的数据库在磁盘上存储成三个文件:db.opt (表属性文件)、表名. frm(表结构文件)、表名.ibd (表数据文件)。

(1)物理冷备份与恢复

systemctl stop mysqld
yum -y install xz    (一种压缩工具,详单与gzip,bz2)
#压缩备份
tar Jcvf /opt/mysql_all_$(date +%F).tar.xz /usr/local/mysql/data/
#解压恢复
tar Jxvf /opt/mysql_all_2020-02-09.tar.xz -C /usr/local/mysql/data

 2、 mysqldump 备份与恢复

(1)完全备份一个或多个完整的库(包括其中所有的表)

mysqldump -u root -p[密码] --databases 库名1 [库名2] ... > /备份路径/备份文件名.sql     #导出的就是数据库脚本文件
例:
mysqldump -u root -p --databases xyw > /opt/xyw.sql
mysqldump -u root -p --databases mysql xyw > /opt/mysql-xyw.sql
#备份的库文件会包含创建数据库的信息

 (2)完全备份MySQL服务器中所有的库

mysqldump -u root -p[密码] --all-databases > /备份路径/备份文件名.sql
例:
mysqldump -u root -p --all-databases > /opt/all.sql
#备份的库文件会包含创建数据库的信息

 (3)完全备份指定库中的部分表

mysqldump -u root -p[密码]库名[表名1] [表名2] ... > /备份路径/备份文件名.sql
例:
mysqldump -u root -p [-d] xyw abc info > /opt/abc_info.sql
#使用“-d”选项,说明只保存数据库的表结构
#不使用“-d”选项,说明表数据也进行备份
#表的备份文件不包含数据库的创建信息,只包含标的创建信息,回复表时,需在mysql数据库中创建新的数据库或旧的数据库,use 数据库名 进入数据库中,方可进行表的回复

(4)查看备份文件

grep -v "^--" /opt/abc_info.sql | grep -v "^/" | grep -v "^$"

 2、MySQL 完全备份恢复

systemctl start mysqld

(1)恢复数据库

mysql -u root -p -e 'drop database xyw;'
#“-e”选项,用于指定连接MySQL后执行的命令,命令执行完后自动退出
mysql -u root -p -e ' SHOW DATABASES;'

mysql -u root -p < /opt/xyw.sql
mysql -u root -p -e 'SHOW DATABASES;'

(2)恢复数据表

当备份文件中只包含表的备份,而不包含创建的库的语句时,执行导入操作时必须指定库名,且目标库必须存在。

mysqldump -u root -pabc123 xyw abc info > /opt/abc_info.sql

mysql -u root -p -e 'drop table xyw.abc;'
mysql -u root -p -e 'show tables from xyw;'

mysql -u root -p xyw < /opt/abc_info.sql
mysql -u root -p -e 'show tables from xyw;'
#回复表时,先创建数据库,进入数据库后,再进行标的回复才不会报错

  七、MySQL 增量备份与恢复

1、MySQL 增量备份

(1)开启二进制日志功能

vim /etc/my.cnf
[mysqld]
log-bin=mysql-bin
binlog_format = MIXED    #可选,指定二进制日志(binlog)的记录格式为MIXED
server-id = 1

没听到#二进制日志(binlog)有3种不同的记录格式: STATEMENT (基于SQL语句)、ROW(基于行)、MIXED(混合模式),默认格式是STATEMENT

systemctl start mysqld
ls -l /usr/local/mysql/data/mysql-bin.*

 (2) 可每周对数据库或表进行完全备份

mysqldump -u root -p xyw info > /opt/xyw_info_$(date +%F).sql
mysqldump -u root -p --all-databases xyw > /opt/xyw_$(date +%F).sql

(3) 可每天进行增量备份操作,生成新的二进制日志文件(例如mysql-bin.000002)

mysqladmin -u root -p flush-logs

 (4)插入新数据,以模拟数据的增加或变更

use xyw;
insert into info1 values(3,'user3','male','game');
insert into info1 values(4,'user4','female','reading');

(5) 再次生成新的二进制日志文件(例如mysql -bin.000003)

mysqladmin -u root -p flush-logs
#之前的步骤4的数据库操作会保存到mysql-bin.00002文件中,之后数据库数据再发生变化则保存在mysq1--bin.00003文件中

(6)查看二进制日志文件的内容

cp /usr/local/mysql/data/mysql-bin.000002 /opt/
mysqlbinlog --no-defaults --base64-output=decode-rows -v /opt/mysql-bin.000002
#--base64-output=decode-rows:使用64位编码机制去解码并按行读取
#-v:显示详细内容

 

2、 MySQL增量恢复

2.1 一般恢复

(1)模拟丢失更改的数据的恢复步骤

use xyw;
delete from info where id=3;
delete from info where id=4;

mysqlbinlog --no-defaults /opt/mysql-bin.000011 | mysql -u root -p

 

 (2)模拟丢失所有数据的恢复步骤

use xyw;
drop table info1;

mysql -u root -p xyw < /opt/xyw_2021-02-10.sql
mysqlbinlog --no-defaults /opt/mysql-bin.000002 | mysql -u root -p

 

2.2  断点恢复

mysqlbinlog --no-defaults --base64-output=decode-rows -v /opt/mysql-bin.000002

例:
# at 302

#201122 16:41:16
插入了"user3"的用户数据
# at 623
#201122 16:41:24
插入了"user4"的用户数据

 (1)基于位置恢复

#仅恢复到操作ID为“623"之前的数据,即不恢复“user4"的数据
mysqlbinlog --no-defaults --stop-position='623' /opt/mysql-bin.000002 | mysql -uroot -p
#仅恢复"user4"的数据,跳过"user3"的数据恢复
mysqlbinlog --no-defaults --start-position='623' /opt/mysql-bin.000002 | mysql -uroot -p

(2)基于时间点恢复

#仅恢复到16:41:24 之前的数据,即不恢复"user4"的数据
mysqlbinlog --no-defaults --stop-datetime='2020-11-22 16:41:24' /opt/mysql-bin.000002 | mysql -uroot -p
#仅恢复"user4"的数据,跳过"user3"的数据恢复
mysqlbinlog --no-defaults--start-datetime='2020-11-22 16:41:24' /opt/mysql-bin.000002 | mysql -uroot -p

如果恢复某条SQL语之前的所有数据,就stop在这个语句的位置节点或者时间点
如果恢复某条SQL语句以及之后的所有数据,就从这个语句的位置节点或者时间点star|

总结

数据库备份

备份方法
物理备份:直接对数据库的数据文件或者日志文件进行备份
逻辑备份:对数据库的库或表对象进行备份


备份策略
完全备份:每次备份都备份完整的数据库
差异备份:只备份上一次完全备份后的更新数据
增量备份:每次备份只备份上一次完全备份或增量备份后的最新数据

压缩文件

tar zcvf  归档文件   原数据文件/目录       gzip
     jcvf                                                      bzip2
     Jcvf                                                     xz
                                                                 zip
                                            
数据迁移  

 体量小          物理冷备        打包备份+恢复
 体量中等        DTS
 体量超大        数据魔方
            
完全备份
物理冷备:先关闭mysqld服务,使用tar 命令打包备份数据库的数据目录/文件  /usr/local/mysql/data/

mysqldump、xtrabackup等工具来逻辑备份
mysqldump -uXXX -pXXX --databases 库1 [库2] ... >  XXX.sql     备份单库或多库
mysqldump -uXXX -pXXX --all-databases > XXX.sql                备份所有的库
mysqldump -uXXX -pXXX 库名 表1 表2 ... > XXX.sql               备份库中的一个或多个表数据(不包含创建库的操作)
mysqldump -uXXX -pXXX 库名 > XXX.sql                           备份库中的所有表数据(不包含创建库的操作)

完全恢复
先登录到mysql,再执行 source XXX.sql(注:如果XXX.sql是表数据文件那么需要先自行创建库并use切换库)

mysql -uXXX -pXXX [库名] < XXX.sql
cat XXX.sql | mysql -uXXX -pXXX [库名]


增量备份
查看二进制日志文件
mysqlbinlog --no-defaults --base64-output=decode-rows -v  二进制日志文件

刷新二进制日志
mysqladmin -uXXX -pXXX flush-logs

使用二进制日志实现增量恢复
mysqlbinlog --no-defaults 二进制日志文件 | mysql -uXXX -pXXX
 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/663739.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

天气热了,三叔请你吃瓜

目录 前言预备知识画一个完整的西瓜加些纹路切西瓜参考资料前言 六月份转眼就过去一半了,气温逐渐走高,每次经过小区门口的时候都会被那家水果店铺的吆喝声吸引住,“正宗南汇8424西瓜只要3元一斤啦”,每每都想冲进店里抱一个回来,可碍于囊中羞涩,只好作罢,晚餐过后闲暇…

Postman | 一分钟掌握Pre-request Script | 外部库的使用

简介 Postman内部提供了13种外部库&#xff0c;可以直接在前置请求脚本和后置请求脚本中使用&#xff0c;如果需要其他外部库&#xff0c;只需要使用如下方式引入即可&#xff1a; require(moduleName:String):function → * 一些内部库使用的例子 postman可用的外部库官网列…

[第一章 web入门]afr

afr_1 题目开头已经提示说是任意文件读取漏洞 所以这里还需要复习一下php伪协议php://filter 的作用 读取源代码并进行base64编码输出&#xff0c;不然传入的参数会直接当做php代码执行就看不到源代码内容了。php://filter即使在allow_url_fopen和allow_url_include双off情况下…

Day21 实战篇——Jmeter接口测试之案例实战——添加线程组、添加HTTP请求、获取所有学生接口

Day21 实战篇——Jmeter接口测试之案例实战——添加线程组、添加HTTP请求、获取所有学生接口 文章目录 Day21 实战篇——Jmeter接口测试之案例实战——添加线程组、添加HTTP请求、获取所有学生接口1、添加线程组2、添加HTTP请求3、获取所有学生接口3.1 Jmeter察看结果树中乱码:…

03_运行时数据区

目录 一、概述二、线程1、JVM系统线程 一、概述 二、线程 1、JVM系统线程

调用万维易源API实现天气预测

目录 1. 作者介绍2. 关于理论方面的知识介绍2.1 天气预测简介2.2 预测方法 3. 代码实现3.1 需要安装的包3.2 部分代码3.3 实验结果 1. 作者介绍 房庚晨&#xff0c;男&#xff0c;西安工程大学电子信息学院&#xff0c;22级研究生 研究方向&#xff1a;机器视觉与人工智能 电子…

【数据库四】MySQL备份与恢复

MySQL备份与恢复 1.数据库备份的分类1.1 数据备份的重要性1.2 数据库备份的分类1.3 常见的备份方法 2.MySQL完全备份与恢复2.1 MySQL完全备份2.2 数据库完全备份分类2.3 MySQL物理冷备份及恢复2.4 数据迁移DST2.5 mysqldump进行逻辑备份2.5.1 mysqldump备份数据库2.5.2 mysqldu…

基于卡尔曼滤波进行四旋翼动力学建模(SimulinkMatlab)

&#x1f4a5;&#x1f4a5;&#x1f49e;&#x1f49e;欢迎来到本博客❤️❤️&#x1f4a5;&#x1f4a5; &#x1f3c6;博主优势&#xff1a;&#x1f31e;&#x1f31e;&#x1f31e;博客内容尽量做到思维缜密&#xff0c;逻辑清晰&#xff0c;为了方便读者。 ⛳️座右铭&a…

下载routeview网站上的BGP更新数据

需求 给出起始时间和终止时间&#xff0c;从routeview网站上&#xff0c;下载在这两者之间的所有数据到本机&#xff0c;以便于进行后续的分析工作。 例如&#xff1a;2022.2.23 - 2022.2.26 主要流程 主流程在遍历每个月中实现 当月份小于10时&#xff0c;前面加‘0’&am…

算力军备竞赛白热化 “卖铲人”联想集团竞争力如何?

继微软通过OpenAI推出GPT系列、谷歌推出Bard和PaLM-E2之后&#xff0c;国内AI大模型也呈百家争鸣态势&#xff0c;年初至今&#xff0c;国内科技巨头几乎都发布了自研AI大模型产品&#xff0c;AI竞赛全面升级的背后&#xff0c;是全球科技巨头们对算力的争夺&#xff0c;作为算…

【kali学习笔记】利用第三方服务对目标进行被动信息收集

一、被动信息收集 1、概念&#xff1a; 信息收集的方式分为两种&#xff1a;被动收集和主动收集。被动信息收集方式是指利用第三方的服务对目标进行访问了解&#xff0c;比如Google搜索。主动信息收集方式&#xff1a;通过直接访问、扫描网站&#xff0c;这种流量流经网站的行…

Qt 中动态加载窗口(C++)

在编程中&#xff0c;我经常会遇见要根据用户触发按钮&#xff0c;动态生成窗口的情况。在此有两种方法可以动态生成窗口&#xff1a;一&#xff1a;直接在槽函数中调用窗口类。二&#xff1a;将 **.ui 添加到资源文件&#xff0c;通过 QUiLoader 加载。 现将两种方法介绍如下…

redhat 6.4安装oracle11g RAC (二)

创建一个asm Disk Group Name 组&#xff0c;并给一个名称ORC&#xff0c;并选择下面的三块盘&#xff0c;然后 Next错误的原因是由于磁盘数和冗余层级不匹配&#xff1a; 如果创建用来存放OCR和VOTEDISK的ASM磁盘组&#xff0c;那么External、Normal、High三种冗余级别对应的…

企业文件安全必知!掌握低代码平台的应用,事半功倍保障文件安全

在数字时代的今天&#xff0c;企业档案的安全变得比以往任何时候都更加重要。这些文件可能包含有关客户的敏感信息或必须始终保护的专有业务数据。但是&#xff0c;保护这些文件可能是一个复杂且耗时的过程&#xff0c;对于没有专门IT团队的公司来说尤其如此。这就是低代码平台…

组合式API【Vue3】

Vue3组合式API体验 通过一个 Counter&#xff08;自增&#xff09;案例 体验Vue3新引入的组合式API Vue2的代码&#xff1a; <template><button click"addCount">{{count}}</button> </template> <script> export default {data(){r…

SynchronousQueue的TransferQueue源码分析

QNode的源码信息分析 一行一行的分析大概内容&#xff1b;下面会省略大量的CAS操作当前节点可以获取到的next节点item在生产者和消费者下有所不同。生产者是有数据。消费者为null。waiter为当前线程isData属性是用来区分消费者和生产者的属性。值得一提的是最终生产者需要将it…

2023年我国省市县的高新技术企业数量(Excel/Shp格式)

企业是经济活动的参与主体。一个城市的企业数量决定了这个城市的经济发展水平&#xff01;比如一个城市的金融企业较多&#xff0c;那这个城市的金融产业肯定比较发达&#xff1b;一个城市的制造业企业较多&#xff0c;那这个城市的制造业肯定比较发达。 目前&#xff0c;在城…

Android 13(T) - Media框架 - 异步消息机制

由于网上已经有许多优秀的博文讲解了Android的异步消息机制&#xff08;ALooper/AHandler/AMessage那一套&#xff09;&#xff0c;而且流程也不是很复杂&#xff0c;所以这里将不会去讲代码流程。本篇将会记录学习过程中的疑问以及自己的解答&#xff0c;希望可以帮助有同样疑…

机器学习——感知机模型(手动代码)

感知机&#xff0c;应该是很简单的模型了 1. 建立模型 感知机的模型&#xff0c;是一种多元线性回归符号函数的二分类模型。 多元线性回归函数&#xff1a;【Z &#xfeff;&#xfeff;&#xfeff; W T X W^{T}X WTX】 符号函数&#xff1a; y sign(Z) 1&#xff0c;当y…

vulhub-struts2-S2-008 远程代码执行漏洞复现

漏洞描述 影响版本: 2.1.0 - 2.3.1 漏洞原理 S2-008 涉及多个漏洞&#xff0c;Cookie 拦截器错误配置可造成 OGNL 表达式执行&#xff0c;但是由于大多 Web 容器&#xff08;如 Tomcat&#xff09;对 Cookie 名称都有字符限制&#xff0c;一些关键字符无法使用使得这个点显得…