PostgreSQL 数据备份恢复

news2024/11/24 2:37:34

文章目录

  • PostgreSQL 备份方式
    • SQL备份(逻辑备份)
    • 文件系统备份(物理备份)
    • 归档备份(物理备份)
  • 逻辑备份&恢复
  • 物理备份&恢复(全量)
    • 备份
    • 恢复
  • 物理备份&恢复(某个时间点)
    • 场景
    • 具体操作

PostgreSQL 备份方式

防止数据丢失的第一道防线就是备份。数据丢失有的是硬件损坏,还有人为的误删之类的,也有BUG的原因导致误删数据。在PostgreSQL中,有三种备份方式。

SQL备份(逻辑备份)

SQL备份(逻辑备份) :利用数据库自带的类似dump的命令,或者是用图形化界面执行导入导出时,底层就是基于这个dump命令实现的。

  • 优点:简单,方便操作,有手就行,还挺可靠。
  • 缺点:数据数据量比较大,这种方式巨慢,可能导出一天,都无法导出完所有数据。

文件系统备份(物理备份)

文件系统备份(物理备份) :找到当前数据库数据文件在磁盘存储的位置,将数据文件直接复制一份或多份,存储在不同的物理机上。

  • 优点:相比逻辑备份,恢复的速度快。
  • 缺点:在备份数据时,可能数据还正在写入,一定程度上会丢失数据。 在恢复数据时,也需要注意数据库的版本和环境必须保持高度的一致。如果是线上正在运行的数据库,这种复制的方式无法在生产环境实现。

如果说要做数据的迁移,这种方式还不错滴。

归档备份(物理备份)

先了解几个概念,在PostgreSQL有多个子进程来辅助一些操作

  • BgWriter进程:BgWriter是将内存中的数据写到磁盘中的一个辅助进程。当向数据库中执行写操作后,数据不会马上持久化到磁盘里。这个主要是为了提升性能。BgWriter会周期性的将内存中的数据写入到磁盘。但是这个周期时间,长了不行,短了也不行。如果快了,IO操作频繁,效率慢。如果慢了,有查询操作需要内存中的数据时,需要BgWriter现把数据从内存写到磁盘中,再提供给查询操作作为返回结果。会导致查询操作效率变低。
    考虑一个问题: 事务提交了,数据没落到磁盘,这时,服务器宕机了怎么办?

  • WalWriter进程:WAL就是write ahead log的缩写,对应MYSQL的redo log。数据还在内存中时,其实已经写入到WAL日志中一份,这样一来,即便BgWriter进程没写入到磁盘中时,数据也不会存在丢失的问题。

  • PgArch进程:WAL日志会循环使用,数据会丢失。没关系,还有一个归档的进程,会在切换wal日志前,将WAL日志备份出来。PostgreSQL也提供了一个全量备份的操作。可以根据WAL日志,选择一个事件点,进行恢复。

查看WAL日志:
image.png
这些就是归档日志
> wal日志的名称,是三块内容组成,
>
> 每8个字符分成一组,用16进制标识的
>
> 00000001 00000000 0000000A
>
> 时间线 逻辑id 物理id

查询当前库用的是哪个wal日志

-- 查看当前使用的wal日志  查询到的lsn:0/47233270
select pg_current_wal_lsn();
-- 基于lsn查询具体的wal日志名称  000000010000000000000047
select pg_walfile_name('0/47233270');

归档默认不是开启的,需要手动开启归档操作,才能保证wal日志的完整性

修改postgresql.conf文件

# 开启wal日志的内容,注释去掉即可
wal_level = replica
fsync = on

image.png

# 开启归档操作
archive_mode = on
# 修改一小下命令,修改存放归档日志的路径
archive_command = 'test ! -f /archive/%f && cp %p /archive/%f'

image.png

修改完上述配置文件后,记得重启postgreSQL进程,才会生效!!!!

归档操作执行时,需要保证/archive存在,并且postgres用户有权限进行w操作

构建/archive路径

# postgres没有权限在/目录下构建目录
# 切换到root,构建目录,将目录的拥有者更改为postgres
mkdir /archive
chown -R postgres. archive

在当前库中做大量写操作,接入到wal日志,重置切换wal日志,再查看归档情况

发现,将当前的正在使用的wal日志和最新的上一个wal日志归档过来了,但是之前的没归档,不要慌,后期备份时,会执行命令,这个命令会直接要求wal日志立即归档,然后最全量备份。

逻辑备份&恢复

PostgreSQL提供了pg_dump以及pg_dumpall的命令来实现逻辑备份。 pg_dump这种备份,不会造成用户对数据的操作出现阻塞。

image.png

  • 连接的信息,指定连接哪个库,用哪个用户。
  • option的信息有就点多,查看官网。
  • 备份的数据库名称。

恢复直接导入或者执行SQL就行。

物理备份&恢复(全量)

备份

需要基于前面的文件系统的备份和归档备份实现最终的操作,不推荐单独使用文件系统的方式,毕竟数据会丢失。

通过PostgreSQL提供的pg_basebackup命令来实现,pg_basebackup会做两个事情:

  • 会将内存中的脏数据落到磁盘中,然后将数据全部备份。
  • 会将wal日志直接做归档,然后将归档也备走。

image.png

一个pg_basebackup的备份命令

# -D 指定备份文件的存储位置
# -Ft 备份文件打个包
# -Pv 输出备份的详细信息
# -U 用户名(要拥有备份的权限)
# -h ip地址  -p 端口号
# -R 复制写配置文件
pg_basebackup -D /pg_basebackup -Ft -Pv -Upostgres -h 192.168.11.32 -p 5432 -R

pg_basebackup命令执行前准备

  • 创建/pg_basebackup目录并赋予postgres用户权限。
    mkdir /pg_basebackup
    chown -R postgres. /pg_basebackup/
    
  • 给postgres用户提供replication的权限,修改pg_hba.conf,记得重启生效。image.png
  • 执行备份image.png
    备份结果
    image.png

恢复

模拟数据库崩盘,先停止postgresql服务,然后直接删掉data目录下的全部内容

image.png

将之前备份的两个文件准备好,一个base.tar,一个pg_wal.tar。

第一步:将base.tar中的内容,全部解压到 12/data 目录下

第二步:将pg_wal.tar中的内容,全部解压到 /archive 目录下

image.png

第三步:在postgresql.auto.conf文件中,指定归档文件的存储位置,以及恢复数据的方式image.png

第四步:启动postgresql服务

systemctl start postgresql-12

第五步:启动后,发现查询没问题,但是执行写操作时出错,不让写。需要执行一个函数,取消这种恢复数据后的状态,才允许正常的执行写操作。

select pg_wal_replay_resume();

物理备份&恢复(某个时间点)

场景

场景:每天凌晨02:00,开始做全备,到了第二天,如果有人14:00分将数据做了误删,希望将数据恢复到14:00分误删之前的状态

  1. 恢复全备数据,使用全备数据恢复到凌晨02:00的数据。(数据会丢失很多)
  2. 归档恢复:备份中的归档,有02:00~14:00之间的额数据信息,可以基于归档日志将数据恢复到指定的事务id或者是指定时间点,从而实现数据的完整恢复。

具体操作

1、构建一张t3表查询一些数据

-- 构建一张表
create table t3 (id int);
insert into t3 values (1);
insert into t3 values (11);

2、模拟凌晨2点开始做全备操作

pg_basebackup -D /pg_basebackup -Ft -Pv -Upostgres -h 192.168.11.32 -p 5432 -R

3、再次做一些写操作,然后误删数据

-- 凌晨2点已经全备完毕
-- 模拟第二天操作
insert into t3 values (111);
insert into t3 values (1111);
-- 误删操作  2023年3月20日20:13:26
delete from t3;

4、恢复数据(确认有归档日志)

将当前服务的数据全部干掉,按照之前的全备恢复的套路先走着

image.png

然后将全备的内容中的base.tar扔data目录下,归档日志也扔到/archive位置。

5、查看归档日志,找到指定的事务id

查看归档日志,需要基于postgresql提供的一个命令

# 如果命令未找到,说明两种情况,要么没有这个可执行文件,要么是文件在,没设置环境变量
# 咱们这是后者
pg_waldump
# 也可以采用全路径的方式
/usr/pgsql-12/bin/pg_waldump

image.png

image.png

6、修改data目录下的恢复数据的方式

修改postgresql.auto.conf文件,将之前的最大恢复,更换为指定的事务id恢复

image.png

修改postgresql.auto.conf文件指定好事务ID

image.png

7、启动postgreSQL服务,查看是否恢复到指定事务ID

image.png

8、记得执行会后的函数,避免无法执行写操作

select pg_wal_replay_resume();

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1010021.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Linux高并发服务器开发第四章:Linux网络编程

1. 网络结构模式 C/S结构 简介 服务器 - 客户机,即 Client - Server(C/S)结构。C/S 结构通常采取两层结构。服务器负责数据的管理,客户机负责完成与用户的交互任务。客户机是因特网上访问别人信息的机器,服务器则是…

HDMI字符显示实验

FPGA教程学习 第十五章 HDMI字符显示实验 文章目录 FPGA教程学习前言实验原理程序设计像素点坐标模块字符叠加模块 实验结果知识点总结 前言 在HDMI输出彩条的基础上输出osd叠加信息。 实验原理 实验通过字符转换工具将字符转换为 16 进制 coe 文件存放到单端口的 ROM IP 核…

【Flink】FlinkCDC获取mysql数据时间类型差8小时时区解决方案

1、背景: 在我们使用FlinkCDC采集mysql数据的时候,日期类型是我们很常见的类型,但是FlinkCDC读取出来会和数据库的日期时间不一致,情况如下 FlinkCDC获取的数据中create_time字段1694597238000转换为时间戳2023-09-13 17:27:18 而数据库中原始数据如下,并没有到下午5点…

AndroidStudio 编译输出中文乱码

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 文章目录 前言现象如何解决 前言 Android studio 编译输出乱码 现象 如何解决 在弹出的 studio64.exe.vmoptions 文件中 , 输入如下内容 : -Dfile.encodingUTF-8上述文件配…

【iOS】UIViewController的生命周期

文章目录 前言一、UIViewController生命周期有关函数二、执行顺序注意点loadview: 前言 在iOS开发中UIViewController扮演者非常重要的角色,它是视图view和数据model的桥梁,通过UIViewController的管理有条不紊的将数据展示在视图上。作为UI…

CRC校验原理及实现

文章目录 前言一、CRC校验原理二、CRC实现1.verilog实现2.模块仿真3.仿真波形前言 现代数据通信要求信息传输具有高度可靠性 ,即误码率要足够低 。 然而 ,数据信号在传输过程中不可避免地会受到噪声干扰 ,或者信道不理想 ,从而造成的码间干扰而产生差错 ,即出现误码。 我…

测试架构师的职责及困境

架构师 架构师来自于建筑学,英文是Architect。建筑工程中的架构师是负责整体建筑的架构设计。因此从宏观上看,软件行业的架构师也类似,是负责整体架构的设计。 在软件工程中架构师是一个团队的技术的领头者。主要工作内容除去对项目的整体设…

基于matlab如何判断闰年方法

一、闰年概念 闰年是历法中的一种年份计算方式,是为了平衡地球的公转时间与我们所使用年份中的关系。在农历中有闰月的年份就是闰年。 普通闰年:公历年份是4的倍数且不是100的倍数为普通闰年(如2004、2020年就是闰年)。 世纪闰…

echarts静态饼图

<div class"cake"><div id"cakeChart"></div></div> import * as echarts from "echarts";mounted() {this.$nextTick(() > {this.getCakeEcharts()})},methods: {// 饼状图getCakeEcharts() {let cakeChart echart…

麒麟v10安装mysql(ARM架构)

下载MYSQL安装包 华为开源镜像站_软件开发服务_华为云 上面的选择一个下载 或者用命令下载 wget https://repo.huaweicloud.com/kunpeng/yum/el/7/aarch64/Packages/database/mysql-5.7.27-1.el7.aarch64.rpm 检查是否已经安装MySQL rpm -qa | grep mysql将包卸载掉 rpm -…

GIS地图服务数据可视化

GIS地图服务数据可视化 OSM&#xff08;Open Street Map&#xff0c;开放街道地图&#xff09;Bing地图&#xff08;必应地图&#xff09;Google地图&#xff08;谷歌地图&#xff09; 地图服务数据可视化是根据调用的地图服务请求Web服务器端的地图数据&#xff0c;实现地图数…

Java经典问题解答(9题)

文章目录 1、通关jwt靶场的其中任意两关&#xff08;该题与Java无关&#xff09;启动环境第4关第5关第7关 2、java是如何跨平台通信的3、java为什么需要类名和文件名一致4、main函数的作用是什么5、.class文件和.java是什么关系6、java在编写函数的时候void是什么意思7、java声…

LLM在电商推荐系统的探索与实践

本文对LLM推荐的结合范式进行了梳理和讨论&#xff0c;并尝试将LLM涌现的能力迁移应用在推荐系统之中&#xff0c;利用LLM的通用知识来辅助推荐&#xff0c;改善推荐效果和用户体验。 背景 电商推荐系统&#xff08;Recommend System&#xff0c;RecSys&#xff09;是一种基于用…

微信小程序与idea后端如何进行数据交互

交互使用的其实就是调用的req.get(url)方法 进行路径访问&#xff0c;你要先保证自己的springboot项目已经成功运行了&#xff1a; 如下&#xff1a; 如何交互的&#xff1f; 微信小程序&#xff1a;如下为index.js页面 在onLoad()事件中调用方法Project.findAllCities() 要…

C++面试记录之中望软件

上次面试体验不好&#xff0c;记录了&#xff0c;这次同样记录一次体验不好的面试&#xff0c;中望软件…直接写了名字&#xff0c;因为真的很无语&#x1f613; 记录一下我不知道的问题 忘记录音了&#x1f622; 1. main函数之前做了什么&#xff1f; 我&#xff1a;实话我…

java使用itext生成pdf

效果&#xff1a; maven依赖 <!--PDF处理--><!-- https://mvnrepository.com/artifact/com.itextpdf/itextpdf --><dependency><groupId>com.itextpdf</groupId><artifactId>itextpdf</artifactId><version>5.5.13.3</vers…

SpringMVC:从入门到精通,7篇系列篇带你全面掌握--七.自定义注解

目录 &#x1f973;&#x1f973;Welcome Huihuis Code World ! !&#x1f973;&#x1f973; 一.Java注解简介 1.原生注解的分类 &#xff08;1&#xff09;JDK基本注解 ①Override ②SuppressWarnings(value "unchecked") &#xff08;2&#xff09;JDK元注解…

Golang goroutine MPG模式浅析

协程是通过使用关键字 go 调用&#xff08;或执行&#xff09;一个函数或者方法来实现的&#xff08;也可以是匿名函数&#xff09;。 Go 语言在语言层面上支持了并发&#xff0c;goroutine是Go语言提供的一种用户态线程&#xff0c;有时我们也称之为协程。 所谓的协程&#x…

Generative Adversarial Nets

Author:龙箬 Computer Application Technology Change the World with Data and Artificial Intelligence ! CSDNweixin_43975035 生命不息&#xff0c;折腾不止 Reference&#xff1a; [1] Goodfellow, I, Pouget-Abadie, J, Mirza, M, Xu, B, Warde-Farley, D, Ozair, S, Co…

《优化接口设计的思路》系列:第一篇—接口参数的一些弯弯绕绕

大家好&#xff01;我是sum墨&#xff0c;一个一线的底层码农&#xff0c;平时喜欢研究和思考一些技术相关的问题并整理成文&#xff0c;限于本人水平&#xff0c;如果文章和代码有表述不当之处&#xff0c;还请不吝赐教。 作为一名从业已达六年的老码农&#xff0c;我的工作主…