postgresql_internals-14 学习笔记(三)冻结、rebuild

news2024/12/23 4:50:07

一、 Freezing 冻结

1. 引入原因

      简单说来就是目前pg事务id只有32位,大业务量下很可能用完,触发事务id回卷(循环使用)。而pg是根据事务id大小判断可见性的,如果新事务却使用了小id,旧事务将可以看到新事务数据,新事务又看不到旧事务数据,打破数据一致性。

详情参考:pg事务篇(二)—— 事务ID回卷与事务冻结(freeze)_Hehuyi_In的博客-CSDN博客_vacuum_freeze_min_age

2. 冻结原理

      pg将超出database horizond的事务id做一个特殊标记,即进行冻结(源码中是将其事务id设为2)。被冻结的事务被认为比所有事务都要旧,这样即便事务id回卷,只要旧事务id已被冻结,小的事务id也可以看到它(正常事务id3开始),符合数据一致性。

3. 测试案例

先更新下老朋友heap_page函数,查看更多信息

CREATE FUNCTION heap_page(
relname text, pageno_from integer, pageno_to integer
)
RETURNS TABLE(
ctid tid, state text,
xmin text, xmin_age integer, xmax text
) AS $$
SELECT (pageno,lp)::text::tid AS ctid,
CASE lp_flags
WHEN 0 THEN 'unused'
WHEN 1 THEN 'normal'
WHEN 2 THEN 'redirect to '||lp_off
WHEN 3 THEN 'dead'
END AS state,
t_xmin || CASE
WHEN (t_infomask & 256+512) = 256+512 THEN ' f'
WHEN (t_infomask & 256) > 0 THEN ' c'
WHEN (t_infomask & 512) > 0 THEN ' a'
ELSE ''
END AS xmin,
age(t_xmin) AS xmin_age,
t_xmax || CASE
WHEN (t_infomask & 1024) > 0 THEN ' c'
WHEN (t_infomask & 2048) > 0 THEN ' a'
ELSE ''
END AS xmax
FROM generate_series(pageno_from, pageno_to) p(pageno),
heap_page_items(get_raw_page(relname, pageno))
ORDER BY pageno, lp;
$$ LANGUAGE sql;

       创建测试表,fillfactor = 10是为了使每页可容纳元组数变小(例如案例中仅为每页只能存2个元组)。

CREATE TABLE tfreeze(id integer,s char(300)) WITH (fillfactor = 10, autovacuum_enabled = off);
INSERT INTO tfreeze(id, s) SELECT id, 'FOO'||id FROM generate_series(1,100) id;

VACUUM tfreeze;
SELECT * FROM generate_series(0,1) g(blkno),pg_visibility_map('tfreeze',g.blkno) ORDER BY g.blkno;

SELECT * FROM heap_page('tfreeze',0,1);

xmin_age为1因为我们是当前db中最新的事务

4. 冻结相关参数

  • vacuum_freeze_min_age:自上次冻结后,经过多少元组年龄(t_xmin-pg_class.relfrozenxid)会触发下次冻结,考虑vm文件。默认值为5000万。
  • vacuum_freeze_table_age:自上次冻结后,经过多少表年龄(表中最新xid- pg_class.relfrozenxid)达到该值会触发表 aggressive freezing,不考虑vm文件。默认值为1.5亿。
  • autovacuum_freeze_max_age:自上次冻结后,经过多少元组年龄(t_xmin-pg_class.relfrozenxid),元组对应表会强制触发autovacuum(即便设置为off)。默认值为2亿。
  • vacuum_failsafe_age:pg 14新参数,当出现事务id回卷风险(元组年龄大于vacuum_failsafe_age)时,以最快速度完成冻结操作。默认值为16亿,pg假设此变量值大于autovacuum_freeze_max_age。

1)vacuum_freeze_min_age

为了方便观察,我们把vacuum_freeze_min_age改为1(测试完记得改回来)

ALTER SYSTEM SET vacuum_freeze_min_age = 1;
-- 反向操作
-- alter system reset vacuum_freeze_min_age;
SELECT pg_reload_conf();

UPDATE tfreeze SET s = 'BAR' WHERE id = 1;
SELECT * FROM heap_page('tfreeze',0,1);

可以看到xmin_age已经大于1,但并不会自动触发冻结

SELECT * FROM generate_series(0,1) g(blkno),pg_visibility_map('tfreeze',g.blkno) ORDER BY g.blkno;

update后0号页在vm映射中并非完全可见,会被vacuum处理。

执行vacuum触发冻结

VACUUM tfreeze;
SELECT * FROM heap_page('tfreeze',0,1);

       (0,1)是第一个元组,被保留并重定向;(0,2) xmin_age=2,被冻结;(0,3) xmin_age=1,不需要处理。1号页的元组因为vm中完全可见,会被vacuum跳过。

SELECT * FROM generate_series(0,1) g(blkno),pg_visibility_map('tfreeze',g.blkno) ORDER BY g.blkno;

冻结后0号页的元组也变为vm中完全可见

2)vacuum_freeze_table_age

       如上面实验,vacuum_freeze_min_age会考虑vm文件,如果这些页一直可见,其中元组事务id就一直不会被冻结。

       因此,我们引入一个新参数vacuum_freeze_table_age,它无视vm文件,只要表年龄达到一定值,表中的页就会被冻结(专有名词,aggressive freezing)。

3)autovacuum_freeze_max_age

       前面两个参数针对的都是vacuum操作,如果关闭了表的autovacuum设置而又不手动执行vacuum,长此以往会遇到问题,另外一些系统库例如template0也不能手动vacuum。因此pg引入了本参数,当元组年龄达到时强制触发autovacuum(即便设置为off)

       默认值为2亿,最大值为20亿,这考虑了事务id最大为42亿,保证在两次freeze之间,txid的增长肯定不会超过20亿。

       autovacuum_freeze_max_age参数值也会影响CLOG,因为没有必要记录已冻结事务的状态,小于datfrozenxid的事务对应的CLOG将会被autovacuum删除。

对于上面提到的3个参数,表级也有对应autovacuum参数

  • autovacuum_freeze_min_age and toast.autovacuum_freeze_min_age
  • autovacuum_freeze_table_age and toast.autovacuum_freeze_table_age
  • autovacuum_freeze_max_age and toast.autovacuum_freeze_max_age

4)vacuum_failsafe_age

       pg 14新参数,当出现事务id回卷风险(元组年龄大于vacuum_failsafe_age)时,触发全速vacuum模式,忽略autovacuum_vacuum_cost_delay 和vacuum_cost_delay参数,跳过索引vacuum,以最快速度完成冻结操作。

5. 手动冻结

  • vacuum freeze命令:冻结所有可见元组而不管它们的age,相当于vacuum_freeze_min_age = 0
  • 导入数据时冻结:COPY tfreeze FROM stdin WITH FREEZE;

未完待续...

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/87354.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

win下 conda 虚拟环境没有名字怎么进入

本文主要介绍windows下,在conda 虚拟环境名字消失后的解决办法。主要介绍两种解决方案。 文章目录前言解决方案一:往.condarc文件中添加envs_dirs1. 设置envs_dirs2. 重新查看虚拟环境解决方案二:直接通过path 激活虚拟环境总结前言 我们都知…

Grafana 监控大屏可视化图表

Grafana 系列文章,版本:OOS v9.3.1 Grafana 的介绍和安装Grafana监控大屏配置参数介绍(一)Grafana监控大屏配置参数介绍(二)Grafana监控大屏可视化图表 前面我们以Time series 图表为例,学习了面…

每天投递一两个公司,我连续投了三个月

作者:阿秀校招八股文学习网站:https://interviewguide.cn你好,我是阿秀。阿秀以前在秋招的时候投递过八九十份简历,当时还没有简历一键上传功能,很多时候都需要自己去那些公司注册账号,然后找到校园招聘模块…

手机备忘录误删恢复的操作方法

手机备忘录在使用的过程中,会有多种不同的操作,通过不同的操作来实现不同的效果。对于有的内容来说,是可以过期删除的,但是在删除这个操作的过程当中,如果不小心把有用的东西误删了,那么恢复误删内容的操作…

行内块元素因换行带来的间隔问题及解决方法

行内块元素因换行带来的间隔问题 先看一个案例所展示的行内块元素因换行带来的间隔问题,俺直接上截图 再来一张截图可以更加清楚地看见行内块元素之间因换行而带来的间隔 从上方所有图片可以看出,行内块元素之间一行并排放置时编译器中的换行操作会在浏览器渲染时带来行内块元…

鸡汤来了

这几天,网上铺天盖地都是各种感染新冠的消息,连我一直关注的和菜头也感染上了,关键是连怎么感染的都不知道。他写道:我也很委屈。自从北京开始比拼首阳之后,我的确是缩在家里,想着越晚感染越好。为了达到这…

基于STM32单片机和RFID的智能考勤系统设计

提示:记录2022年4月做的毕设 文章目录前言一、任务书1.1设计(研究)目标:1.2设计(研究)内容:二、思路三、硬件3.1RFID模块3.2 时钟模块四、联系我五、代码以及框图等资料喜欢请点赞哦!前言 基于STM32的考勤系统,主控使用STM32F103ZET6&#x…

代码随想录算法训练营第四十八天|198.打家劫舍、213.打家劫舍II、337.打家劫舍 III

198.打家劫舍 当前房屋偷与不偷取决于 前一个房屋和前两个房屋是否被偷了。 所以这里就更感觉到,当前状态和前面状态会有一种依赖关系,那么这种依赖关系都是动规的递推公式。 动规五部曲分析如下: 确定dp数组以及下标的含义 dp[i]&#xf…

华为的 HCIE 和 HCIP 的发展趋势如何

华为认证: 华为认证是华为基于“平台生态”战略,围绕“云-管-端”协同的新ICT技术架构,打造的业界覆盖ICT领域最广的认证体系,华为认证覆盖ICT领域,致力于提供领先的人才培养体系和认证标准,培养数字化时代…

基于51单片机的DS12C887电子钟万年历带农历温度

基于51单片机的DS12C887电子钟万年历( proteus仿真程序讲解视频) 仿真图proteus 7.8及以上 程序编译器:keil 4/keil 5 编程语言:C语言 设计编号:S0028 资料下载链接(可点击): 讲解视频 基…

通信协议综述-第2讲 | 网络分层的真实含义是什么?

长时间从事计算机网络相关的工作,我发现,计算机网络有一个显著的特点,就是这是一个不仅需要背诵,而且特别需要将原理烂熟于胸的学科。很多问题看起来懂了,但是就怕往细里问,一问就发现你懂得没有那么透彻。 我们上一节列了之后要讲的网络协议。这些协议本来没什么稀奇,每…

微服务框架 SpringCloud微服务架构 分布式缓存 41 Redis 持久化 41.2 RDB 持久化【底层原理】

微服务框架 【SpringCloudRabbitMQDockerRedis搜索分布式,系统详解springcloud微服务技术栈课程|黑马程序员Java微服务】 分布式缓存 文章目录微服务框架分布式缓存41 Redis 持久化41.2 RDB 持久化【底层原理】41.2.1 RDB41.2.2 总结41 Redis 持久化 41.2 RDB 持…

【IDEA】解决IDEA插件使用Lombok找不到符号问题

1.概述 今天合并了有冲突的代码,合并完毕后,发现运行的时候找不到符号。类似如下报错 java: 找不到符号* 符号: 方法 setData(java.lang.String)* 位置: 类型为com.fastjson.demo.lombok.

Vue渲染器(三):简单diff算法

渲染器(三):简单diff算法 我们将介绍渲染器的核心Diff算法。简单来说就是当新旧vnode的子节点都是一组节点时,为了以最小的性能开销完成更新操作,需要比较两组子节点。 1.减少DOM操作的性能开销: 核心Di…

第46篇 进阶(六) 国际化

导语 在第2篇中讲述如何显示中文时,曾提到使用QTextCodec和tr()的方式直接显示中文,其实这只是一种临时的方法,方便我们快速完成程序,显示效果。当真正要发布一个程序时,最好的方式是在程序中使用英文字符串&#xff…

四、函数基础、函数种类、形实参和映射关系

四、函数基础、函数种类、形实参和映射关系 编程基本原则:高内聚、低耦合。 我总结: 模块自身,要求高内聚:模块中代码相关性变强,代码紧密联系程度变高,希望它能独立完成一个功能。模块之间,…

【20221213】【每日一题】零钱兑换II

给你一个整数数组 coins 表示不同面额的硬币,另给一个整数 amount 表示总金额。 请你计算并返回可以凑成总金额的硬币组合数。如果任何硬币组合都无法凑出总金额,返回 0 。 假设每一种面额的硬币有无限个。 题目数据保证结果符合 32 位带符号整数。 …

新课程导学杂志新课程导学杂志社新课程导学编辑部2022年第30期目录

前沿《新课程导学》投稿:cn7kantougao163.com 贵州四条线路入选“稻花香里说丰年”全国乡村旅游精品线路 邓小青; 1 基地 梯云村落,晒秋人家——用绚烂色调谱写秋意之诗 邓小青; 2-9 分享 走进“那”文化回归稻香梦聆听丰收声——2022年顶蛳…

Redis 7 新特性之 自定义Functions

Redis 7 新特性之 自定义Functions Redis Functions(函数)是用于管理服务端执行代码的API。在Redis 7中出现,旨在取代之前版本的EVAL函数,是Redis 7新特性之一。 Eval 脚本的缺点 Redis 7之前的版本通过Eval执行脚本&#xff0…

流媒体协议介绍(RTP/RTCP/RTSP/RTMP/MMS/HLS/HTTP/ HTTP-FLV(HDL) /SDP)

流媒体协议介绍(RTP/RTCP/RTSP/RTMP/MMS/HLS/HTTP/ HTTP-FLV(HDL) /SDP) 一、RTP:实时传输协议(Real-time Transport Protocol) RTP是一种基于包的传输协议,它用来传输实时数据。在网络上传输数据包的延迟…