PgSQL-内核特性-TupleTableSlotOps

news2025/1/20 10:58:57

PgSQL-内核特性-TupleTableSlotOps

执行器中表达式结果、函数结果、投影结果等,各种结果都需要以元组的形式返回,所以PgSQL引入了一种通用格式保存数据:TupleTableSlot。PgSQL执行器将记录存储到“元组表”中在各个算子之间进行传递,元组表是独立TupleTableSlot的链表。而TupleTableSlot又分为多种,以减少解析和构建开销。

1、介绍

存储模块提供了元组(HeapTuple)的定义和操作接口,但这些接口针对物理元组,解析和构造开销比较大,不能满足执行器对性能要求。执行器在进行投影和选择操作时,需要快速获取元组属性;缓存元组时又希望元组尽可能小,以节省空间。所以PgSQL定义了多种TupleTableSlotOps。

1.1 内置的slot类型

按照分配的成员函数TupleTableSlotOps进行区分:

1)磁盘缓冲页的物理元组(TTSOpsBufferHeapTuple)

2)在分配的内存中构造的物理元组(TTSOpsHeapTuple)

3)在分配的内存中构造的“最小化”物理元组(TTSOpsMinimalTuple)

4)由Datum/isnull数组组成的“虚拟”元组(TTSOpsVirtual)

说明

1)前面两个都是处理“物化”的元组,只是资源管理方式不同。

2)对于磁盘页上的元组,需要pin住对应的buffer,直到TupleTableSlot上元组的引用被删除

3)对于分配的内存中的元组,通常在TupleTableSlot上元组的引用被删除时释放内存。

4)对于“最小化”的元组,处理方式与分配的内存中的元组类似。目前最小化元组不会存储在缓冲区上,并且没有“系统列”,实际上有OID,但是我们不需要访问。

5)“虚拟”元组是一种优化,以最小化计划节点之间物理数据拷贝。“虚拟”元组只有values和NULL的bitmap组成的虚拟元组。Slot中指向存储的Datums指针和TupleTableSlot直接关联,直到物化后才会关联。通常情况下指向子节点返回输出TupleTableSlot的元组存储部分,或者函数在执行计划节点的per-tuple econtext中构建的结果。执行计划节点确保“虚拟”元组只有非法或者不是物化的时候才释放资源。需要注意,“虚拟”元组没有任何系统列。

6)TupleTableSlot中的Datum/isnull数组有双重作用:对于“虚拟”slots,这就是全部的数据,其他类型的slot需要从tuple中提取。(注意,物理元组的values的里面有很多传引用的值,真正的值记录在物理元组中,这里只是记录了引用指针)

7)TupleTableSlot中的tts_flags标签TTS_FLAG_EMPTY时表示该slot为空,即没有实际元组值。TTS_FLAG_EMPTY是新创建slot还没分配tuple描述符的唯一状态。这种状态下不能设置TTS_SHOULDFREE标记,tts_tuple必须为NULL ,tts_nvalid必须是0。SHOULDFREE设置后,物理tuple被slot拥有,当slot的引用删除后,需要释放。

8)tupleDescriptor 只是由 TupleTableSlot 代码引用,而不是复制。 ExecSetSlotDescriptor() 的调用者负责提供一个描述符,该描述符的生命周期必须与slot一样长。

1.2 TupleTableSlot结构

/* base tuple table slot type */
typedef struct TupleTableSlot
{
  NodeTag    type;
#define FIELDNO_TUPLETABLESLOT_FLAGS 1
  uint16    tts_flags;    /* Boolean states */
#define FIELDNO_TUPLETABLESLOT_NVALID 2
  AttrNumber  tts_nvalid;    /* # of valid values in tts_values */
  const TupleTableSlotOps *const tts_ops; /* implementation of slot */
#define FIELDNO_TUPLETABLESLOT_TUPLEDESCRIPTOR 4
  TupleDesc  tts_tupleDescriptor;  /* slot's tuple descriptor */
#define FIELDNO_TUPLETABLESLOT_VALUES 5
  Datum     *tts_values;    /* current per-attribute values */
#define FIELDNO_TUPLETABLESLOT_ISNULL 6
  bool     *tts_isnull;    /* current per-attribute isnull flags */
  MemoryContext tts_mcxt;    /* slot itself is in this context */
  ItemPointerData tts_tid;  /* stored tuple's tid */
  Oid      tts_tableOid;  /* table oid of tuple */
} TupleTableSlot;

1.3 TupleTableSlotOps类型关系

fd5d8fe357bfb54ed84ce2819998a07f.png

这四种基本都是从TupleTableSlot衍生而来。

2、以SeqScan算子为例

8982befa7176e95c9d552380746e3746.png

ExecInitSeqScan初始化了两个TupleTableSlot:ss_ScanTupleSlot和ps_ResultTupleSlot。分别用于保存从存储扫描上来的记录和投影的结果。其中ss_ScanTupleSlot为TTSOPSBufferHeapTuple类型,ps_ResultTupleSlot为TTSOpsVirtual类型。

b31776e74d9a79fe37d625aa87936cd7.png

我们看下算子的执行。首先需要从底层存储读取记录:

1)ExecSeqScan->SeqNext从底层读取记录,可以看到物理页上的记录通过指针保存到HeapTuple

2)HeapTuple通过tts_buffer_heap_store_tuple函数保存到BufferHeapTupleTableSlot的base.tuple中

3)返回的是BufferHeapTupleTableSlot,作为TupleTableSlot地址转换后返回

接着再看下投影操作:

1)其实是BufferHeapTupleTableSlot放到econtext->ecxt_scantuple,然后进行表达式计算(投影操作通过表达式计算完成)

2)投影结果保存到ps_ResultTupleSlot中,他是TTSOpsVirtual类型。

3)由此从底层存储的TTSOPSBufferHeapTuple转换成TTSOpsVirtual类型。

3、总结

9b83587566e780796456be482cbdec7a.png

四种类型关系如上图所示。

1)TupleTableSlot本身带了tts_values、tts_isnull能存数据。

2)TupleTableSlot的衍生结构【HeapTupleTableSlot】多了个物理tuple的指针,能挂一个物理tuple,用的时候解开到tts_values、tts_isnull中。

3)HeapTupleTableSlot的衍生结构【BufferHeapTupleTableSlot】又多了个buffer,他会和buffer关联起来,释放或materialize后时候需要把buffer释放掉。

4)TupleTableSlot的衍生结构【MinimalTupleTableSlot】在基类的基础上了记录了物理元组tuple和mintuple,mintuple表示物理元组去掉HeapTuple头和HeapTupleHeader头之后剩下的部分:isnull/dataums,纯数据部分。

5)TupleTableSlot的衍生结构【VirtualTupleTableSlot】就比较简单的了,只多了个char *data,用于记录任何数据,可以满足各种场景的需求。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1051586.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Spring修炼之路(2)依赖注入(DI)

一、概念 依赖注入(Dependency Injection,DI)。 测试pojo类 : Address.java 依赖 : 指Bean对象的创建依赖于容器 . Bean对象的依赖资源 . 注入 : 指Bean对象所依赖的资源 , 由容器来设置和装配 . 二、 注入方式 2.1构造器注入 我们在之前的案例已经…

8章:scrapy框架

文章目录 scrapy框架如何学习框架?什么是scarpy?scrapy的使用步骤1.先转到想创建工程的目录下:cd ...2.创建一个工程3.创建之后要转到工程目录下4.在spiders子目录中创建一个爬虫文件5.执行工程setting文件中的参数 scrapy数据解析scrapy持久…

开源Windows12网页版HTML源码

开源Windows12网页版HTML源码,无需安装就能用的Win12网页版来了Windows12概念版(PoweredbyPowerPoint)后深受启发,于是通过使用HTML、CSS、js等技术做了这样一个模拟板的Windows12系统,并已发布至github进行开源。 这…

蓝牙设备在智能家居控制系统中的应用

随着科技的发展和普及,智能家居已经成为一种新兴的生活方式。所谓智能家居,可以远程控制灯何时打开和关闭、植物何时浇水、加湿器和空调何时打开,甚至人睡觉时听什么。现在越来越多的人开始享受到智能家居带来的便利和舒适。其中,…

FreeRTOS入门教程(空闲任务和钩子函数及任务调度算法)

文章目录 前言一、空闲任务概念二、钩子函数概念三、任务调度算法四、任务调度算法实验1.实验代码2.是否抢占3.时间片是否轮转4.空闲任务让步 总结 前言 本篇文章将带大家学习一下什么是空闲任务以及钩子函数,以及学习FreeRTOS中的任务调度算法,了解在F…

常见的7种分布式事务解决方案(2pc,3pc,Tcc,Seta、本地事务....)

一 分布式事务 1.1 分布式事务 在分布式系统中一次操作需要由多个服务协同完成,这种由不同的服务之间通过网络协同完成的事务称为分布式事务。 1.首先满足事务特性:ACID 2.而在分布式环境下,会涉及到多个数据库 总结:分布式事务…

Makefile快速上手

Makefile学习 https://maxwell-lx.vip/basic-usage-make/ https://zhuanlan.zhihu.com/p/92010728 https://zhuanlan.zhihu.com/p/350297509 一、是什么 可以理解为一个自动化的编译脚本,避免繁琐的手动编译过程。有点类似shell脚本。 1.1 从小例子入手 &…

B058-SpringBoot

目录 springboot概念与作用入门案例springboot运行方式热部署配置文件Profile多环境支持整合测试-springboot-testSpringboot-web1.返回json数据2.返回页面(模板技术)thymeleaf1.导入thymeleaf依赖2.模板文件3.controller4.启动类 SSM整合1.导包2.项目目…

【Excel】快速提取某个符号前面的数据内容

【问题描述】 在使用excel整理数据过程中,经常与需要调整数据后,进行使用。 例如凭证导出后,科目列是包含科目编码和科目名称的。 但由于要将数据复制到其他的导入模板上使用,对应的模板只需要科目编码,不需要科目名称…

【管理运筹学】第 5 章 | 整数规划(4,指派问题)

系列文章 【管理运筹学】第 5 章 | 整数规划 (1,问题提出与分支定界法) 【管理运筹学】第 5 章 | 整数规划 (2,割平面法及 0-1 变量的特性) 【管理运筹学】第 5 章 | 整数规划 (3,隐…

Win10怎样取消自动固定到快速访问?

双击桌面上此电脑在菜单栏点击查看在弹出的选项里边选择选项在打开文件资源管理器那里把快速访问改成此电脑在下面隐私部分选择快速访问中显示最近使用文件在快速访问中显示常用文件夹并且清除文件资源管理器记录就行。

调度器/调度程序

一、调度对象 1.让谁运行-调度算法 闲逛进程:无其他就绪进程时,运行闲逛进程;优先级最低,能耗低。 2.运行多长时间-时间片大小 二、调度产生时机 1.创建新进程与进程退出 2.运行进程阻塞 3.I/O中断发生,可能唤醒…

lv5 嵌入式开发-8 信号机制(上)

目录 1 信号机制 2 信号的产生 3 常用信号 4 相关命令 4.1 信号相关命令 kill / killall 4.2 信号发送 – kill / raise 4.3 定时器函数相关函数 – alarm /ualarm/ pause 4.4 信号捕捉:设置信号响应方式 – signal /sigaction,闹钟实现 4.5 子…

CCF CSP认证 历年题目自练Day14

CCF CSP认证 历年题目自练Day14 题目一 小明今天生日,他有n块蛋糕要分给朋友们吃,这n块蛋糕(编号为1到n)的重量分别为a1, a2, …, an。小明想分给每个朋友至少重量为k的蛋糕。小明的朋友们已经排好队准备领蛋糕,对于…

【进阶C语言】动态内存分配

本章大致内容介绍: 1.malloc函数和free函数 2.calloc函数 3.realloc函数 4.常见错误案例 5.笔试题详解 6.柔性数组 一、malloc和free 1.malloc函数 (1)函数原型 函数参数:根据用户的需求需要开辟多大的字节空间&#xff…

nodejs+vue 网上招聘系统elementui

第3章 系统分析 5 3.1 需求分析 5 3.2 系统可行性分析 5 3.2.1技术可行性:技术背景 5 3.2.2经济可行性 6 3.2.3操作可行性: 6 3.3 项目设计目标与原则 6 3.4系统流程分析 7 3.4.1操作流程 7 3.4.2添加信息流程 8 3.4.3删除信息流程 9 第4章 系统设计 11 …

【PyTorch实战演练】使用Cifar10数据集训练LeNet5网络并实现图像分类(附代码)

文章目录 0. 前言1. Cifar10数据集1.1 Cifar10数据集下载1.2 Cifar10数据集解析 2. LeNet5网络2.1 LeNet5的网络结构2.2 基于PyTorch的LeNet5网络编码 3. LeNet5网络训练及输出验证3.1 LeNet5网络训练3.2 LeNet5网络验证 4. 完整代码4.1 训练代码4.1 验证代码 0. 前言 按照国际…

Spring Boot 常用注解详解:全面指南

Spring Boot 中有许多常用的注解,这些注解用于配置、管理和定义 Spring Boot 应用程序的各个方面。以下是这些注解按大类和小类的方式分类,并附有解释和示例。 一、Spring Boot 核心注解 SpringBootApplication 解释:这是一个组合注解&a…

反射学习笔记

反射学习笔记 一、反射入门案例 在反射中,万物皆对象,方法也是对象。反射可以在不修改源码的情况下,只需修改配置文件,就能实现功能的改变。 实体类 /*** 动物猫类*/ public class Cat {private String name;public void hi()…

openGauss学习笔记-84 openGauss 数据库管理-内存优化表MOT管理-内存表特性-MOT部署服务器优化:x86

文章目录 openGauss学习笔记-84 openGauss 数据库管理-内存优化表MOT管理-内存表特性-MOT部署服务器优化:x8684.1 BIOS84.2 操作系统环境设置84.3 网络 openGauss学习笔记-84 openGauss 数据库管理-内存优化表MOT管理-内存表特性-MOT部署服务器优化:x86 …