文章目录
- 一、概要
- 二、整体架构流程
- 1. 安装 MSYS2 环境
- 2. 安装postgresql
- 三、技术名词解释
- 1.MSYS2
- 2.postgresql
- 四、技术细节
- 1. 创建主数据库
- 2.添加从数据库复制权限
- 3. 按需修改参数
- (1)WAL保留空间
- (2)监听地址
- 4. 启动主服务器
- 5. 复制主节点到从节点
- 6. 启动从节点
- 五、小结与测试
一、概要
目前对于小型的高可用应用,用一主一从两个PostgreSQL实例,基于默认的WAL replica 是最简单的方式。本次,我们主库位于192.168.101.79,从库位于192.168.101.80,全部使用msys2 ucrt64 postgresql。
二、整体架构流程
1. 安装 MSYS2 环境
在Windows下安装和配置MSYS2环境可以按照以下骤进行:
-
下载MSYS2安装程序:访问MSYS2官方网站(https://www.msys2.org/)下载最新的MSYS2安装程序。也可以直接去清华,中科大下载,更快。
-
运行安装程序:双击下载的安装程序,按照提示选择安装路径和其他选项。建议选择默认选项进行安装。
-
替换源:MSYS2替换国内源,清华,中科大
2. 安装postgresql
启动 ucrt64
#更新数据包
$ pacman -Syu --overwrite=* --overwrite=*.* --noconfirm -d
#安装postgresql
$ pacman -S ucrt64/mingw-w64-ucrt-x86_64-postgresql
三、技术名词解释
1.MSYS2
MSYS2 是一个为Windows操作系统提供类Unix环境的软件包管理器和工具集。它的目标是为开发人员提供一个在Windows上进行软件开发的便捷环境。MSYS2环境包括以下主要组件:
- MinGW系列环境:一个用于Windows的开发工具集,包括GCC编译器和一系列常用的开发库,可以用于编译和构建各种开源软件。
- Pacman:一个类似于Linux的软件包管理器,可以方便地安装、更新和卸载软件包。
- MSYS2 Shell:一个基于Bash的命令行终端,提供了一系列常用的Unix命令和工具,使开发人员可以在Windows上进行类Unix环境下的操作。
- MSYS2 Runtime:提供了一些必要的运行时库和工具,使得在MSYS2环境下编译的程序可以在Windows上正常运行。
通过安装MSYS2环境,开发人员可以在Windows上使用类Unix环境下的工具和命令,方便地进行软件开发和调试。同时,MSYS2还提供了一些常用的开发库和工具,可以帮助开发人员更高效地进行开发工作。
2.postgresql
PostgreSQL是一种开源的对象关系型数据库管理系统(ORDBMS),以其强大的数据完整性、灵活性、高级查询能力和支持标准SQL而闻名。它支持事务处理,拥有复杂的数据类型,如数组和JSON,还提供地理空间数据的支持。其优势包括跨平台兼容、高可用性和安全性,以及高度的可扩展性,适合大规模数据存储和高性能分析应用。
四、技术细节
1. 创建主数据库
$ psql --version
psql (PostgreSQL) 17.0
$ initdb -A trust -D /d/database/master -E utf-8 --locale=C -U postgres -W
属于此数据库系统的文件宿主为用户 "Administrator".
此用户也必须为服务器进程的宿主.
数据库集簇将以区域环境设置 "C" 进行初始化.
默认的文本搜索配置将被设为 "english".
禁止为数据页生成校验和.
输入新的超级用户密码:
再输入一遍:
正在修复已存在目录 D:/database/master 的权限 ... 成功
正在创建子目录 ... 成功
正在选择动态共享内存实现 ... windows
正在选择默认最大连接数 (max_connections) ... 100
正在选择默认共享缓冲区 (shared_buffers) ... 128MB
正在选择默认时区 ... Asia/Shanghai
正在创建配置文件 ... 成功
正在运行启动脚本 ... 成功
正在执行启动脚本后续初始化 ... 成功
正在同步数据到磁盘 ... 成功
成功。你现在可以用下面的命令开启数据库服务器:
pg^_ctl -D D:/database/master start
2.添加从数据库复制权限
现在新版的PostgreSQL默认开启了replica, 配置非常简单。第一步,就是给另一台备份机器的IP添加权限,打开 pg_hba.conf,添加对备份机器IP的权限。
$ vim /d/database/master/pg_hba.conf
# TYPE DATABASE USER ADDRESS METHOD
# "local" is for Unix domain socket connections only
local all all trust
# IPv4 local connections:
host all all 127.0.0.1/32 trust
host all all 192.168.101.80/32 trust
# IPv6 local connections:
host all all ::1/128 trust
# Allow replication connections from localhost, by a user with the
# replication privilege.
local replication all trust
host replication all 127.0.0.1/32 trust
host replication all ::1/128 trust
host replication all 192.168.101.80/32 trust
3. 按需修改参数
(1)WAL保留空间
对默认的 WAL replication,是依靠WAL文件来同步的。当从节点关机一段时间后,主节点的WAL记录可能被删除了。此时,即使重启从节点,也无法继续追赶。为了不发生这样的事情,需要提高WAL保留的天数,或者文件个数。一般超过网管巡视的周期2-3倍即可。如果想在从数据库掉线很久时,WAL依旧可用, 就要使用槽(slot).使用槽可以保证WAL一直不被删除.但是这样的代价是万一忘记查看从数据库的状态,主库可能被撑爆. 本案例里, 我们采用控制WAL大小的方法,不设置专门的复制槽.
$ vim /d/database/master/postgresql.conf
wal_keep_size = 102400 # in megabytes; 0 disables
保留102GB的空间,这样即使从节点废了,过了1天再开机,也能赶上(主机WAL还没被清理)。注意,这个值不能设置太大,否则WAL占用空间就过大了。对应我们服务器16TB的空间,设置100GB还行。
(2)监听地址
$ vim /d/database/master/postgresql.conf
listen_addresses = '*'
4. 启动主服务器
$ pg_ctl -D D:/database/master start
等待服务器进程启动 ....2024-11-08 19:32:49.380 CST [11544] LOG: starting PostgreSQL 17.0 on x86_64-windows, compiled by gcc-14.2.0, 64-bit
....2024-11-08 19:32:54.108 CST [11544] LOG: listening on IPv6 address "::", port 5432
2024-11-08 19:32:54.109 CST [11544] LOG: listening on IPv4 address "0.0.0.0", port 5432
2024-11-08 19:32:54.377 CST [13172] LOG: database system was shut down at 2024-11-08 19:31:17 CST
.2024-11-08 19:32:54.635 CST [11544] LOG: database system is ready to accept connections
完成
服务器进程已经启动
5. 复制主节点到从节点
复制主节点的服务到从节点,要登入到另一台机器 192.168.101.80上。查看 pg_basebackup的用法:
$ pg_basebackup --help
pg_basebackup 在运行的PostgreSQL服务器上执行基础备份.
使用方法:
pg_basebackup [选项]...
控制输出的选项:
-D, --pgdata=DIRECTORY 接收基础备份到指定目录
-F, --format=p|t 输出格式 (纯文本 (缺省值), tar压缩格式)
-i, --incremental=OLDMANIFEST
take incremental backup
-r, --max-rate=RATE 传输数据目录的最大传输速率
(单位 kB/s, 也可以使用后缀"k" 或 "M")
-R, --write-recovery-conf
为复制写配置文件
-t, --target=TARGET[:DETAIL]
backup target (if other than client)
-T, --tablespace-mapping=OLDDIR=NEWDIR
将表空间由 OLDDIR 重定位到 NEWDIR
--waldir=WALDIR 预写日志目录的位置
-X, --wal-method=none|fetch|stream
按指定的模式包含必需的WAL日志文件
-z, --gzip 对tar文件进行压缩输出
-Z, --compress=[{client|server}-]METHOD[:DETAIL]
compress on client or server as specified
-Z, --compress=none do not compress tar output
一般选项:
-c, --checkpoint=fast|spread
set fast or spread (default) checkpointing
-C, --create-slot 创建复制槽
-l, --label=LABEL 设置备份标签
-n, --no-clean 出错后不清理
-N, --no-sync 不用等待变化安全的写入磁盘
-P, --progress 显示进度信息
-S, --slot=SLOTNAME 用于复制的槽名
-v, --verbose 输出详细的消息
-V, --version 输出版本信息, 然后退出
--manifest-checksums=SHA{224,256,384,512}|CRC32C|NONE
use algorithm for manifest checksums
--manifest-force-encode
hex encode all file names in manifest
--no-estimate-size do not estimate backup size in server side
--no-manifest suppress generation of backup manifest
--no-slot 防止创建临时复制槽
--no-verify-checksums
不验证校验和
--sync-method=METHOD
set method for syncing files to disk
-?, --help 显示帮助, 然后退出
联接选项:
-d, --dbname=CONNSTR 连接串
-h, --host=HOSTNAME 数据库服务器主机或者是socket目录
-p, --port=PORT 数据库服务器端口号
-s, --status-interval=INTERVAL
发往服务器的状态包的时间间隔 (以秒计)
-U, --username=NAME 指定连接所需的数据库用户名
-w, --no-password 禁用输入密码的提示
-W, --password 强制提示输入密码 (应该自动发生)
Report bugs to <pgsql-bugs@lists.postgresql.org>.
PostgreSQL home page: <https://www.postgresql.org/>
执行:
$ pg_basebackup -D /d/database/follower -Fp -R -v -P -h192.168.101.79 -U postgres
pg_basebackup: 开始基础备份,等待检查点完成
pg_basebackup: 已完成检查点
pg_basebackup: 预写日志起始于时间点: 0/2000028, 基于时间轴1
pg_basebackup: 启动后台 WAL 接收进程
pg_basebackup: 已创建临时复制槽"pg_basebackup_7264"
23235/23235 kB (100%), 1/1 表空间
pg_basebackup: 预写日志结束点: 0/2000158
pg_basebackup: 等待后台进程结束流操作...
pg_basebackup: 同步数据到磁盘...
pg_basebackup: renaming backup_manifest.tmp to backup_manifest
pg_basebackup: 基础备份已完成
这里的参数-R会生成用于恢复的配置文件。
注意,如果主库里已经有很多很多东西,这一步会执行很久。此时,要确保WAL的保留大小足够大(3.1节),以至于备份了1天后,等人回来了,备份起点的WAL日志还在。
6. 启动从节点
$ pg_ctl -D D:/database/follower start
.2024-11-08 19:41:29.418 CST [13876] LOG: starting PostgreSQL 17.0 on x86_64-windows, compiled by gcc-14.2.0, 64-bit
2024-11-08 19:41:29.419 CST [13876] LOG: listening on IPv6 address "::", port 5433
2024-11-08 19:41:29.420 CST [13876] LOG: listening on IPv4 address "0.0.0.0", port 5433
2024-11-08 19:41:29.682 CST [5560] LOG: database system was interrupted; last known up at 2024-11-08 19:37:30 CST
2024-11-08 19:41:29.832 CST [5560] LOG: starting backup recovery with redo LSN 0/2000028, checkpoint LSN 0/20000B8, on timeline ID 1
2024-11-08 19:41:29.833 CST [5560] LOG: entering standby mode
2024-11-08 19:41:29.840 CST [5560] LOG: redo starts at 0/2000028
2024-11-08 19:41:29.841 CST [5560] LOG: completed backup recovery with redo LSN 0/2000028 and end LSN 0/2000158
2024-11-08 19:41:29.841 CST [5560] LOG: consistent recovery state reached at 0/2000158
2024-11-08 19:41:29.841 CST [13876] LOG: database system is ready to accept read-only connections
完成
服务器进程已经启动
2024-11-08 19:41:30.053 CST [13924] LOG: started streaming WAL from primary at 0/3000000 on timeline 1
至此,两个数据库已经同步,对主库的操作会全部带到从库。
五、小结与测试
msys2 的 postgresql 又新鲜又好吃。使用有限的步骤,就完成了主从备份。要注意的是WAL的保留周期。这个配置很多网上的资料都没有讲。
实际效果可以用 dbeaver测试
-
根据官方文档介绍:如果在主节点创建数据库、表空间,从节点应该有对应的表空间的位置。
-
dbeaver默认只显示主数据库,要看到所有数据库,要选择右键“显示所有数据库”。