PostgreSQL从小白到专家,是从入门逐渐能力提升的一个系列教程,内容包括对PG基础的认知、包括安装使用、包括角色权限、包括维护管理、、等内容,希望对热爱PG、学习PG的同学们有帮助,欢迎持续关注CUUG PG技术大讲堂。
第35讲:中间件PgBouncer部署
11月25日(周六)19:30-20:30,往期公开课的文档及视频,联系CUUG
内容1 : PgBouncer 简介
内容2 : PgBouncer 安装
内容3 : PgBouncer 启动与关闭
内容4 : 通过PgBouncer 连接到数据库
PgBouncer简介
· PgBouncer 是 PostgreSQL的轻量的连接池,支持三种模式
->Session pooling/会话连接池
最礼貌的方法。在客户端连接的时候,在它的连接生命期内,会给它赋予一个服务器连接。在客户端断开的时候,服务器连接会放回到连接池中。
->Transaction pooling/事务连接池
服务器连接只有在一个事务里的时候才赋予客户端。在 PgBouncer 注意到事务结束的时候,服务器将会放回连接池中。这是一个 hack,因为它打破了应用对后端连接的看法。只有在应用配合这样的使用模式,没有使用会破坏这种使用模式的时候才能用这个连接方式。
->Statement pooling/语句连接池 最激进的模式。这是事务连接池的一个扭曲的变种 - 不允许多语句的事务。这就意味着是在客户端强制 “autocomit”模式,主要是给 PL/Proxy 用的。
· PgBouncer 特点
内存需求低(缺省的时候每个连接 2k)。
它不是和单个后端服务器绑定的,目标数据库可以位于不同的主机上。
对大多数设置,都支持在线的重新配置,无需重启。
支持在线的重启/升级,而不会退出客户端的连接。
应用程序如果直接与PostgreSQL连接,每次连接pg都会克隆出一个服务进程来为应用程序提供服务,关闭连接后pg会自动将服务进程给停掉.频繁的创建和销毁进程,会消耗比较多的系统资源,pgbouncer会将与pg的连接缓存住,当有请求进来,只是分配一个空闲的连接,这样降低了系统资源的消耗。
使用pgbouncer可以控制住数据库上的活动连接,一般配置为CPU核数的1.5-2.5倍之间。
pgbouncer使用libevent进行socket通信,效率很高。
PgBouncer部署
· Pgbouncer 安装
1、安装libevent(root用户):
/soft/libevent-2.1.12-stable
./configure --prefix=/usr/local/libevent
make
makeinstall
2、安装pgbouncer (postgres用户)
export PKG_CONFIG_PATH=/usr/local/libevent/lib/pkgconfig
cd /soft/pgbouncer-1.17.0
./configure --prefix=/usr/local/pgbouncer
make && make install
· Pgbouncer 配置
1、创建/usr/local/pgbouncer/conf目录,把pgbouncer.ini文件放在此目录下
2、复制模板文件
cp /usr/local/pgbouncer/share/doc/pgbouncer/pgbouncer.ini /usr/local/pgbouncer/conf/pgbouncer.ini
3、编辑pgbouncer.ini文件
logfile = /var/log/pgbouncer/pgbouncer.log #目录需要root用户创建,然后授权
pidfile = /var/run/pgbouncer/pgbouncer.pid #目录需要root用户创建,然后授权
listen_addr = *
listen_port = 6432
auth_type = md5
auth_file = /etc/pgbouncer/userlist.txt
admin_users = postgres
stats_users = hr
编辑/etc/pgbouncer/userlist.txt文件
该文件包含将来通过中间件连接到数据库的用户名和密码,登录时需要用它来验证,如果修改,需要重启pgbouncer生效。
1)、先查询密码:
select usename, passwd from pg_shadow order by 1;
2)、编辑userlist.txt
"hr" "md5e661e439b4757f4595b811b4a196182d"
"postgres" "md53175bce1d3201d16594cebf9d7eb3f9d“
"c1" "md574fc5f6f852574d24cbca8153258784c"
Pgbouncer 启动与关闭
· 启动pgbouncer
/usr/local/pgbouncer/bin/pgbouncer -d /usr/local/pgbouncer/conf/pgbouncer.ini
· 关闭pgbouncer
目前pgbouncer还没有自主停止的脚本或者命令,只能通过kill命令来停止。格式是:
cat /var/run/pgbouncer/pgbouncer.pid | xargs kill -9
· 重启pgbouncer
/usr/local/pgbouncer/bin/pgbouncer -R -d /usr/local/pgbouncer/conf/pgbouncer.ini
参数:
-d :后台运行
-R :重启进程
Pgbouncer 连接
· 登录pgbouncer
pgbouncer对外提供了一个虚拟数据库pgbouncer,之所以成为虚拟数据库,是因为它可以提供像PostgreSQL那样的数据库操作界面,但是这个数据库却并不是真实存在的。而是pgbouncer虚拟出来的一个命令行界面。
$ psql -p 6432 -d pgbouncer -U postgres
帮助命令,用show命令查看当前的配置
Show help;
pgbouncer.ini配置文件详解
· 配置主要分为两部分:
第一部分是[databases]区域,是用来配置数据库连接相关信息的。
第二部分是[pgbouncer],是pgbouncer自身的配置。
· [databases]部分的配置
它的基本格式是:
对外提供的数据库名 = host=主机IP port=端口 user=用户 password=密码
其他的规则都类似,数据库名后面的等号旁边要有空格隔开,后面每个成对的数值之间用空格隔开。这里面的主机和端口指的是PostgreSQL监听的地址和端口,而用户和密码就是用来连接PostgreSQL数据库的用户名和密码。
testdb = host=127.0.0.1 port=1922 user=hr password=hr connect_query='SELECT 1 '
pool_size 用来配置连接池的大小。如果没有这个值则使用[pgbouncer]部分的default_pool_size的值。
connect_query :后面跟一个SQL语句字符串,用于探测这个连接是否正常,如果执行SQL语句出错,则换一个连接。
client_encoding:指定连接的客户端使用的字符集编码
datestyle:指定日期类型
timezone:指定时区。
· 使用中间件来连接到testdb数据库
$ psql -p 6432 -d testdb -U hr
-p :指定pgbouncer监听的端口
-d :指定在配置文件中声明的数据库,如果要切换到其它数据库,则需要在配置文件中声明。
· [pgbouncer]部分的配置
logfile:指定日志文件,默认值是/var/log/pgbouncer/pgbouncer.log
pidfile:指定pid文件位置,默认值是/var/run/pgbouncer/pgbouncer.pid
listen_addr:监听的地址,默认值是127.0.0.1,可以使用*号表示监听所有IP地址。
listen_port:监听的端口,默认值是6432
unix_socket_dir:指定unix socket文件的目录,默认为/tmp目录
unix_socket_mode:指定unix socket文件的权限,默认值为0777
unix_socket_group:指定unix socket文件的组,默认无
user:指定启动PgBouncer的用户名,windows系统不支持此设置
auth_type:认证的类型,默认是trust,其他值包括md5,crypt,plain,any。用得较多的是md5
auth_file:认证文件的位置,默认值是/etc/pgbouncer/userlist.txt
pool_mode:指定池的模式,默认是session模式,还可以是transaction和statement
max_client_conn:允许的最大连接数
default_pool_size:默认的池大小,默认值20
min_pool_size:最小的池大小,每个连接池至少会向后端数据库保持多少个连接
reserve_pool_size:连接池的保留连接数
reserve_pool_timeout:保留连接的超时时间
· 日志配置项:
syslog:是否打开syslog,windows下打开eventlog,默认值为0,表示不打开。
syslog_ident:默认为PgBouncer
syslog_facility
log_connections:是否记录连接成功的日志,默认值为1,表示记录
log_disconnection:是否记录断开连接的日志,默认值为1,表示记录
log_pooler_errors:连接池法网客户端的错误是否记录在日志中,默认值为1,表示记录
stats_period:把汇总的统计信息写入日志的时间周期,默认是60s
· 控制界面访问控制配置项:
admin_users:管理用户名,默认值是postgres
stats_users:允许连接到控制界面,查看连接池只读信息的用户列表。可以执行除“SHOW FDS”以外的其他“SHOW”命令
server_reset_query
server_check_delay:空闲的连接多长时间进行一次健康检测,判断连接是否可用。如果设置为0,则立即检测,默认值为30s
server_check_query:进行健康检查的SQL语句,如果为0,表示不检测,默认值为“select 1;”
server_lifetime:连接的存活时间,连接超过这个时间就会被关闭,默认为3600,设置为0表示只使用一次。
server_idle_timeout:连接的idle时间,超过此时间,连接会被关闭。默认为600
server_connect_timeout:后端数据库的login时间超过这个值就会被关闭。默认为15s
server_login_retry:传送到后端数据库的连接失败后,等多长时间后重试,默认为15s
client_login_timeout:客户端与PgBouncer建立连接后,如果无法在这段时间内完成登录,那么连接会断开,默认为60s
· 危险超时配置项:
指的是为防止一些未知错误或者原因导致系统卡住的针对性配置。
query_timeout:允许超过该时间值的SQL会被断开,应该比SQL实际的执行时间稍长,也需要比数据库的statement_timeout参数值更大。为了应付一些未知的网络问题。默认为0.0,禁止使用
query_wait_timeout:请求在队列中等待被执行的最长时间,如果超过该时间还没有分配到连接,就会断开。默认为0,禁止使用。
client_idle_timeout:客户端连接空闲,超过该时间,则断开连接。默认值为0,禁止使用
idle_transaction_timeout:客户端启动事务后,超过这个时间没有结束事务,则关闭这个客户端连接。默认值为0,禁止使用。
· 底层网络连接配置:
pkt_buf:用于网络包的内部缓冲区大小,会影响发出的TCP包的大小即内存的使用,默认值为2048,一般保持默认值。
max_packet_size:通过PgBouncer最大的包大小,包可以是一个SQL,也可以是返回的结果,默认值是2147483647。
listen_backlog:TCP监听函数listen的Backlog参数,默认值为128。
sbuf_loopcnt:处理过程中,每个连接处理多少数据就切换到下一个连接。默认为5,如果设置为0,表示不限制。不限制时,一个连接发送大量数据,另外的连接可能就会空闲,导致被结束掉。
tcp_defer_accept:linux下,默认为45,其他平台为0。tcp_socket_buffer 默认没有设置。
tcp_keepalive:是否以操作系统的默认值打开基本的keepalive 设置,在linux下,操作系统的keepalive里,默认值是tcp_keepidle=7200, tcp_keepintvl-75,tcp_keepcnt=9,其他操作系统类型,默认值为1
tcp_keepcnt:默认未设置。
tcp_keepidle:默认未设置。
tcp_keepintvl:默认未设置。
CUUG PostgreSQL技术大讲堂系列公开课,往期视频及文档,请联系CUUG客服。