现场工程师日记-MSYS2迅速部署PostgreSQL主从备份数据库

news2024/11/13 11:19:58

文章目录

    • 一、概要
    • 二、整体架构流程
      • 1. 安装 MSYS2 环境
      • 2. 安装postgresql
    • 三、技术名词解释
      • 1.MSYS2
      • 2.postgresql
    • 四、技术细节
      • 1. 创建主数据库
      • 2.添加从数据库复制权限
      • 3. 按需修改参数
        • (1)WAL保留空间
        • (2)监听地址
      • 4. 启动主服务器
      • 5. 复制主节点到从节点
      • 6. 启动从节点
    • 五、小结与测试

一、概要

目前对于小型的高可用应用,用一主一从两个PostgreSQL实例,基于默认的WAL replica 是最简单的方式。本次,我们主库位于192.168.101.79,从库位于192.168.101.80,全部使用msys2 ucrt64 postgresql。

二、整体架构流程

1. 安装 MSYS2 环境

在Windows下安装和配置MSYS2环境可以按照以下骤进行:

  1. 下载MSYS2安装程序:访问MSYS2官方网站(https://www.msys2.org/)下载最新的MSYS2安装程序。也可以直接去清华,中科大下载,更快。

  2. 运行安装程序:双击下载的安装程序,按照提示选择安装路径和其他选项。建议选择默认选项进行安装。

  3. 替换源:MSYS2替换国内源,清华,中科大

2. 安装postgresql

启动 ucrt64

#更新数据包
$ pacman -Syu --overwrite=* --overwrite=*.*  --noconfirm -d
#安装postgresql
$ pacman -S ucrt64/mingw-w64-ucrt-x86_64-postgresql

三、技术名词解释

1.MSYS2

MSYS2 是一个为Windows操作系统提供类Unix环境的软件包管理器和工具集。它的目标是为开发人员提供一个在Windows上进行软件开发的便捷环境。MSYS2环境包括以下主要组件:

  • MinGW系列环境:一个用于Windows的开发工具集,包括GCC编译器和一系列常用的开发库,可以用于编译和构建各种开源软件。
  • Pacman:一个类似于Linux的软件包管理器,可以方便地安装、更新和卸载软件包。
  • MSYS2 Shell:一个基于Bash的命令行终端,提供了一系列常用的Unix命令和工具,使开发人员可以在Windows上进行类Unix环境下的操作。
  • MSYS2 Runtime:提供了一些必要的运行时库和工具,使得在MSYS2环境下编译的程序可以在Windows上正常运行。

通过安装MSYS2环境,开发人员可以在Windows上使用类Unix环境下的工具和命令,方便地进行软件开发和调试。同时,MSYS2还提供了一些常用的开发库和工具,可以帮助开发人员更高效地进行开发工作。

2.postgresql

PostgreSQL是一种开源的对象关系型数据库管理系统(ORDBMS),以其强大的数据完整性、灵活性、高级查询能力和支持标准SQL而闻名。它支持事务处理,拥有复杂的数据类型,如数组和JSON,还提供地理空间数据的支持。其优势包括跨平台兼容、高可用性和安全性,以及高度的可扩展性,适合大规模数据存储和高性能分析应用。

四、技术细节

1. 创建主数据库

$ psql --version
psql (PostgreSQL) 17.0

$ initdb -A trust -D /d/database/master -E utf-8 --locale=C -U postgres -W
属于此数据库系统的文件宿主为用户 "Administrator".
此用户也必须为服务器进程的宿主.

数据库集簇将以区域环境设置 "C" 进行初始化.
默认的文本搜索配置将被设为 "english".

禁止为数据页生成校验和.

输入新的超级用户密码:
再输入一遍:

正在修复已存在目录 D:/database/master 的权限 ... 成功
正在创建子目录 ... 成功
正在选择动态共享内存实现 ... windows
正在选择默认最大连接数 (max_connections) ... 100
正在选择默认共享缓冲区 (shared_buffers) ... 128MB
正在选择默认时区 ... Asia/Shanghai
正在创建配置文件 ... 成功
正在运行启动脚本 ... 成功
正在执行启动脚本后续初始化 ... 成功
正在同步数据到磁盘 ... 成功

成功。你现在可以用下面的命令开启数据库服务器:

    pg^_ctl -D D:/database/master start

2.添加从数据库复制权限

现在新版的PostgreSQL默认开启了replica, 配置非常简单。第一步,就是给另一台备份机器的IP添加权限,打开 pg_hba.conf,添加对备份机器IP的权限。

$ vim /d/database/master/pg_hba.conf

# TYPE  DATABASE        USER            ADDRESS                 METHOD

# "local" is for Unix domain socket connections only
local   all             all                                     trust
# IPv4 local connections:
host    all             all             127.0.0.1/32            trust
host    all             all             192.168.101.80/32       trust

# IPv6 local connections:
host    all             all             ::1/128                 trust
# Allow replication connections from localhost, by a user with the
# replication privilege.
local   replication     all                                     trust
host    replication     all             127.0.0.1/32            trust
host    replication     all             ::1/128                 trust
host    replication     all             192.168.101.80/32       trust

3. 按需修改参数

(1)WAL保留空间

对默认的 WAL replication,是依靠WAL文件来同步的。当从节点关机一段时间后,主节点的WAL记录可能被删除了。此时,即使重启从节点,也无法继续追赶。为了不发生这样的事情,需要提高WAL保留的天数,或者文件个数。一般超过网管巡视的周期2-3倍即可。如果想在从数据库掉线很久时,WAL依旧可用, 就要使用槽(slot).使用槽可以保证WAL一直不被删除.但是这样的代价是万一忘记查看从数据库的状态,主库可能被撑爆. 本案例里, 我们采用控制WAL大小的方法,不设置专门的复制槽.

$ vim /d/database/master/postgresql.conf
wal_keep_size = 102400		# in megabytes; 0 disables

保留102GB的空间,这样即使从节点废了,过了1天再开机,也能赶上(主机WAL还没被清理)。注意,这个值不能设置太大,否则WAL占用空间就过大了。对应我们服务器16TB的空间,设置100GB还行。

(2)监听地址
$ vim /d/database/master/postgresql.conf
listen_addresses = '*'

4. 启动主服务器

$ pg_ctl -D D:/database/master  start
等待服务器进程启动 ....2024-11-08 19:32:49.380 CST [11544] LOG:  starting PostgreSQL 17.0 on x86_64-windows, compiled by gcc-14.2.0, 64-bit
....2024-11-08 19:32:54.108 CST [11544] LOG:  listening on IPv6 address "::", port 5432
2024-11-08 19:32:54.109 CST [11544] LOG:  listening on IPv4 address "0.0.0.0", port 5432
2024-11-08 19:32:54.377 CST [13172] LOG:  database system was shut down at 2024-11-08 19:31:17 CST
.2024-11-08 19:32:54.635 CST [11544] LOG:  database system is ready to accept connections
 完成
服务器进程已经启动

5. 复制主节点到从节点

复制主节点的服务到从节点,要登入到另一台机器 192.168.101.80上。查看 pg_basebackup的用法:

$ pg_basebackup --help
pg_basebackup 在运行的PostgreSQL服务器上执行基础备份.

使用方法:
  pg_basebackup [选项]...

控制输出的选项:
  -D, --pgdata=DIRECTORY 接收基础备份到指定目录
  -F, --format=p|t       输出格式 (纯文本 (缺省值), tar压缩格式)
  -i, --incremental=OLDMANIFEST
                         take incremental backup
  -r, --max-rate=RATE    传输数据目录的最大传输速率
                         (单位 kB/s, 也可以使用后缀"k""M")
  -R, --write-recovery-conf
                         为复制写配置文件
  -t, --target=TARGET[:DETAIL]
                         backup target (if other than client)
  -T, --tablespace-mapping=OLDDIR=NEWDIR
                         将表空间由 OLDDIR 重定位到 NEWDIR
      --waldir=WALDIR    预写日志目录的位置
  -X, --wal-method=none|fetch|stream
                         按指定的模式包含必需的WAL日志文件
  -z, --gzip             对tar文件进行压缩输出
  -Z, --compress=[{client|server}-]METHOD[:DETAIL]
                         compress on client or server as specified
  -Z, --compress=none    do not compress tar output

一般选项:
  -c, --checkpoint=fast|spread
                         set fast or spread (default) checkpointing
  -C, --create-slot      创建复制槽
  -l, --label=LABEL      设置备份标签
  -n, --no-clean         出错后不清理
  -N, --no-sync          不用等待变化安全的写入磁盘
  -P, --progress         显示进度信息
  -S, --slot=SLOTNAME    用于复制的槽名
  -v, --verbose          输出详细的消息
  -V, --version          输出版本信息, 然后退出
      --manifest-checksums=SHA{224,256,384,512}|CRC32C|NONE
                         use algorithm for manifest checksums
      --manifest-force-encode
                         hex encode all file names in manifest
      --no-estimate-size do not estimate backup size in server side
      --no-manifest      suppress generation of backup manifest
      --no-slot          防止创建临时复制槽
      --no-verify-checksums
                         不验证校验和
      --sync-method=METHOD
                         set method for syncing files to disk
  -?, --help             显示帮助, 然后退出

联接选项:
  -d, --dbname=CONNSTR   连接串
  -h, --host=HOSTNAME    数据库服务器主机或者是socket目录
  -p, --port=PORT        数据库服务器端口号
  -s, --status-interval=INTERVAL
                         发往服务器的状态包的时间间隔 (以秒计)
  -U, --username=NAME    指定连接所需的数据库用户名
  -w, --no-password      禁用输入密码的提示
  -W, --password         强制提示输入密码 (应该自动发生)

Report bugs to <pgsql-bugs@lists.postgresql.org>.
PostgreSQL home page: <https://www.postgresql.org/>

执行:

$ pg_basebackup -D /d/database/follower -Fp -R -v -P -h192.168.101.79 -U postgres
pg_basebackup: 开始基础备份,等待检查点完成
pg_basebackup: 已完成检查点
pg_basebackup: 预写日志起始于时间点: 0/2000028, 基于时间轴1
pg_basebackup: 启动后台 WAL 接收进程
pg_basebackup: 已创建临时复制槽"pg_basebackup_7264"
23235/23235 kB (100%), 1/1 表空间
pg_basebackup: 预写日志结束点: 0/2000158
pg_basebackup: 等待后台进程结束流操作...
pg_basebackup: 同步数据到磁盘...
pg_basebackup: renaming backup_manifest.tmp to backup_manifest
pg_basebackup: 基础备份已完成

这里的参数-R会生成用于恢复的配置文件。

注意,如果主库里已经有很多很多东西,这一步会执行很久。此时,要确保WAL的保留大小足够大(3.1节),以至于备份了1天后,等人回来了,备份起点的WAL日志还在。

6. 启动从节点

$ pg_ctl -D D:/database/follower  start
.2024-11-08 19:41:29.418 CST [13876] LOG:  starting PostgreSQL 17.0 on x86_64-windows, compiled by gcc-14.2.0, 64-bit
2024-11-08 19:41:29.419 CST [13876] LOG:  listening on IPv6 address "::", port 5433
2024-11-08 19:41:29.420 CST [13876] LOG:  listening on IPv4 address "0.0.0.0", port 5433
2024-11-08 19:41:29.682 CST [5560] LOG:  database system was interrupted; last known up at 2024-11-08 19:37:30 CST
2024-11-08 19:41:29.832 CST [5560] LOG:  starting backup recovery with redo LSN 0/2000028, checkpoint LSN 0/20000B8, on timeline ID 1
2024-11-08 19:41:29.833 CST [5560] LOG:  entering standby mode
2024-11-08 19:41:29.840 CST [5560] LOG:  redo starts at 0/2000028
2024-11-08 19:41:29.841 CST [5560] LOG:  completed backup recovery with redo LSN 0/2000028 and end LSN 0/2000158
2024-11-08 19:41:29.841 CST [5560] LOG:  consistent recovery state reached at 0/2000158
2024-11-08 19:41:29.841 CST [13876] LOG:  database system is ready to accept read-only connections
 完成
服务器进程已经启动
2024-11-08 19:41:30.053 CST [13924] LOG:  started streaming WAL from primary at 0/3000000 on timeline 1

至此,两个数据库已经同步,对主库的操作会全部带到从库。

五、小结与测试

msys2 的 postgresql 又新鲜又好吃。使用有限的步骤,就完成了主从备份。要注意的是WAL的保留周期。这个配置很多网上的资料都没有讲。

实际效果可以用 dbeaver测试
dbEaver

  1. 根据官方文档介绍:如果在主节点创建数据库、表空间,从节点应该有对应的表空间的位置。

  2. dbeaver默认只显示主数据库,要看到所有数据库,要选择右键“显示所有数据库”。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2237508.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

第二届计算机网络技术与电子信息工程国际学术会议(CNTEIE 2024,12月6-8日)

第二届计算机网络技术与电子信息工程国际学术会议&#xff08;CNTEIE 2024&#xff09; 2024 2nd International Conference on Computer Network Technology and Electronic and Information Engineering 重要信息 会议官网&#xff1a;www.cnteie.org 2024 2nd Internation…

Git 入门篇(一)

前言 操作系统&#xff1a;win11 64位 与gitee搭配使用 Git 入门篇&#xff08;一&#xff09; Git 入门篇&#xff08;二&#xff09; Git 入门篇&#xff08;三&#xff09; 目录 git下载、安装与配置 下载 安装 配置 git下载、安装与配置 下载 官网&#xff1a;git-…

WPS文档中的“等线”如何删除

如何删除“等线”占用的行如何删除表格之间的空行WPS文档中的“等线”是什么如果删除脚注文本占用的行 如下这种&#xff0c;在文档中添加了表格和脚注&#xff0c;发现上下表格之间有多行空行&#xff0c;鼠标选中&#xff0c;显示是“等线”&#xff0c;那么如何去除等线占用…

题目讲解15 合并两个排序的链表

原题链接&#xff1a; 合并两个排序的链表_牛客题霸_牛客网 思路分析&#xff1a; 第一步&#xff1a;写一个链表尾插数据的方法。 typedef struct ListNode ListNode;//申请结点 ListNode* BuyNode(int x) {ListNode* node (ListNode*)malloc(sizeof(ListNode));node->…

计算机网络基本概念总结

IP地址 概念 使网络中的设备都有唯一的地址标识&#xff0c;用于表示其在网络中的位置。 格式 IP地址是一个32位的二进制数&#xff0c;通常被分割为4个8位二进制数&#xff08;也就是4个字节&#xff09;&#xff0c;如&#xff1a;01100100.00001000.00001010.00000110。通常…

Pandas | 特征列大量数据异常需要填充数据时注意事项

问题描述 一组数据如下&#xff1a; df.isnull().sum()城市 0 名称 0 星级 1529 评分 0 价格 1 销量 1 省/市/区 0 坐标 0 简介 41 是否免费 0 具体地址 3 dtype: int64df[星级]0…

Science Robotics 综述揭示演化研究新范式,从机器人复活远古生物!

在地球46亿年的漫长历史长河中&#xff0c;生命的演化过程充满着未解之谜。如何从零散的化石证据中还原古生物的真实面貌&#xff1f;如何理解关键演化节点的具体过程&#xff1f;10月23日&#xff0c;Science Robotics发表重磅综述&#xff0c;首次系统性提出"古生物启发…

[编译报错]ImportError: No module named _sqlite3解决办法

1. 问题描述&#xff1a; 在使用python进行代码编译时&#xff0c;提示下面报错&#xff1a; "/home/bspuser/BaseTools/Source/Python/Workspace/WorkspaceDatabase.py", line 18, in <module>import sqlite3File "/usr/local/lib/python2.7/sqlite3/_…

EasyExcel的AbstractColumnWidthStyleStrategy注入CellStyle不生效

设置背景色 CellStyle style workbook.createCellStyle();style.setFillForegroundColor(IndexedColors.RED.getIndex()); // 是设置前景色不是背景色style.setFillPattern(FillPatternType.SOLID_FOREGROUND)EasyExcel.writerTable(0).head(Head1.class).registerWriteHandl…

iphone怎么删除重复的照片的新策略

Phone用户常常面临存储空间不足的问题&#xff0c;其中一个主要原因是相册中的重复照片。这些重复项不仅占用了大量的存储空间&#xff0c;还会影响设备的整体性能。本文将向您展示iphone怎么删除重复的照片的方法&#xff0c;包括一些利用工具来自动化这个过程的创新方法。 识…

AI4SCIENSE(鄂维南院士:再谈AI for Science)

鄂维南院士&#xff1a;再谈AI for Science_哔哩哔哩_bilibili 以往处理高维问题 量子力学&#xff1a;单变量乘积 统计学&#xff1a;旋转 AI4S 处理数据 蛋白质折叠&#xff1f; 不是纯粹的数据驱动 物理学等学科基本原理 例&#xff1a;分子动力学 数据模型 流程图 这…

learn C++ NO.31——类型转换

C语言中的类型转换 在C语言中&#xff0c;当赋值符号两边的类型不匹配的时候&#xff0c;或者是形参类型和实参类型不匹配时&#xff0c;返回值类型与接受返回值类型不匹配时&#xff0c;都会需要类型转换。C语言的类型转换有两种&#xff1a;显示类型转换和隐式类型转换。 显…

基于Spring Boot的养老保险管理系统的设计与实现,LW+源码+讲解

摘 要 如今社会上各行各业&#xff0c;都喜欢用自己行业的专属软件工作&#xff0c;互联网发展到这个时候&#xff0c;人们已经发现离不开了互联网。新技术的产生&#xff0c;往往能解决一些老技术的弊端问题。因为传统养老保险管理系统信息管理难度大&#xff0c;容错率低&a…

w029基于springboot的网上购物商城系统研发

&#x1f64a;作者简介&#xff1a;拥有多年开发工作经验&#xff0c;分享技术代码帮助学生学习&#xff0c;独立完成自己的项目或者毕业设计。 代码可以查看文章末尾⬇️联系方式获取&#xff0c;记得注明来意哦~&#x1f339;赠送计算机毕业设计600个选题excel文件&#xff0…

Unet++改进8:添加SpatialGroupEnhance||空间群智能增强:改进卷积网络中的语义特征学习

本文内容:添加SpatialGroupEnhance 论文简介 卷积神经网络(Convolutional Neural Networks, cnn)通过收集分层的、不同部分的语义子特征来生成复杂对象的特征表示。这些子特征通常以分组的形式分布在每一层的特征向量中[43,32],代表各种语义实体。然而,这些子特征的激活往往…

十八:Spring Boot 依赖(3)-- spring-boot-starter-data-jpa 依赖详解

目录 1. 理解 JPA&#xff08;Java Persistence API&#xff09; 1.1 什么是 JPA&#xff1f; 1.2 JPA 与 Hibernate 的关系 1.3 JPA 的基本注解&#xff1a;Entity, Table, Id, GeneratedValue 1.4 JPA 与数据库表的映射 2. Spring Data JPA 概述 2.1 什么是 Spring Dat…

MQTT协议解析 : 物联网领域的最佳选择

1. MQTT协议概述 1.1 MQTT协议是什么 MQTT : Message Queuing Telemetry Transport 模式 : 发布 / 订阅主题优点 : 代码量小、低带宽、实时可靠应用 : 物联网、小型设备、移动应用MQTT 常用端口 : 1883 MQTT是一个网络协议&#xff0c;和HTTP类似&#xff0c;因为轻量简单&…

Pytorch实现transformer语言模型

转载自&#xff1a;| 03_language_model/02_Transformer语言模型.ipynb | 从头训练Transformer语言模型 |Open In Colab | Transformer语言模型 本节训练一个 sequence-to-sequence 模型&#xff0c;使用pytorch的 nn.Transformer <https://pytorch.org/docs/master/nn.ht…

ElasticSearch向量检索技术方案介绍

1、背景 在人工智能快速发展的今天&#xff0c;推荐技术、以文搜图、以文搜视频、以图搜图等技术已经得到了广泛的应用&#xff0c;在百度、小红书、抖音、快手等app上随便输入一段文本&#xff0c;搜索结果已不像早些年那么单一&#xff1a;只有一些文字信息&#xff0c;现在的…

算法(第一周)

一周周五&#xff0c;总结一下本周的算法学习&#xff0c;从本周开始重新学习许久未见的算法&#xff0c;当然不同于大一时使用的 C 语言以及做过的简单题&#xff0c;现在是每天一题 C 和 JavaScript&#xff08;还在学&#xff0c;目前只写了一题&#xff09; 题单是代码随想…