KaiwuDB 时序引擎数据存储内存对齐技术解读

news2024/11/24 20:05:05

一、理论

1、什么是内存对齐

现代计算机中内存空间都是按照 byte 划分的,在计算机中访问一个变量需要访问它的内存地址,从理论上看,似乎对任何类型的变量的访问都可以从任何地址开始。

但在实际情况中,通常在特定的内存地址才能访问特定类型变量,这就需要对数据在内存中存放的位置有限制。各种类型不是按照顺序排放,它们需要根据一定的规则在空间上排列,这就是对齐。

2、为什么需要内存对齐

(1)移植原因:

不是所有的硬件平台都能访问任意地址上的任意数据的,各个硬件平台对存储空间的处理上有很大的不同,部分平台对某些特定类型的数据只能从某些特定地址开始存取。

比如,市面上有些架构的 CPU 在访问一个没有进行对齐的变量时会发生错误,这时 CPU 会进入异常处理状态并且通知程序不能继续执行。

举个例子,在 ARM 硬件平台上,当操作系统被要求存取一个未对齐数据时会默认给应用程序抛出硬件异常。所以,如果不进行内存对齐,代码就不具有移植性,而且难以开展在很多平台上的开发工作。

(2)性能原因:

尽管内存是以字节为单位,但是大部分处理器并不是按字节块来存取内存的。它一般会以双字节、4 字节、8 字节、16 字节甚至 32 字节为单位来存取内存,我们将上述这些存取单位称为内存存取粒度。

如果变量的地址没有对齐,可能需要多次访问才能完整读取到变量内容,而对齐后可能就只需要一次内存访问。因此,内存对齐可以减少 CPU 访问内存的次数,提高 CPU 访问内存的吞吐量。

举个例子,考虑 4 字节存取粒度的处理器访问 int 类型变量,该处理器只能从地址为 4 的倍数的内存地址开始读取数据。如果未经过内存对齐,获取该 int 类型的数据需要进行两次内存访问,最后再进行数据整理得到完整数据:

如果经过内存对齐,一次内存访问就能得到完整数据,减少了一次内存访问:

CPU 读取内存是高耗时的指令,内存对齐是在内存的使用量和 CPU 计算间的居中的优化策略。这种策略是由编译器和 CPU 共同决定,并且程序员可以设置对齐的长度。

通过上述介绍的内存对齐的必要性,我们可以知道,如果不理解内存对齐,在编程时就可能产生下面的问题:

(1) 程序运行速度变慢;

(2) 应用程序产生死锁;

(3) 操作系统崩溃;

(4) 程序会毫无征兆的出错,产生错误的结果。

但是,我们在写程序时一般无需考虑对齐,通常是依赖编译器来为我们选择适合的对齐策略。

1、内存对齐规则

在学习内存对齐规则前,我们先一起了解下四个重要的基本概念:

  • 指定对齐值:

#pragma pack (n) 时指定的对齐值 n;

  • 基本数据类型的自身对齐值:

基本数据类型自身占用的存储空间大小,如 char 类型为 1,short 类型为 2,int 类型为 4,double 类型为 8 等;

  • 结构体或类类型的自身对齐值:

结构体或类的成员中自身对齐值最大的值,如 struct a 中有 char、int 和 double 共 3 个类型的数据成员,那么 struct a 的自身对齐值是 8 字节;

  • 数据成员、结构体和类的有效对齐值:

自身对齐值或指定对齐值中的较小值。


了解上述概念后,我们一起来了解具体的内存对齐规则。

内存地址对齐包含了两种相互独立又相互关联的部分:基本数据对齐和结构体数据对齐。

基本数据对齐比较简单,其自身对齐值就等于自身占用的存储空间大小,可以通过 alignof 获取一个类型的对齐值。

结构体数据对齐需要保证结构体的数据成员对齐以及结构体的整体对齐:

(1)数据成员对齐规则:

第一个数据成员放在 offset 为 0 的地方,也就是结构体变量本身的起始地址,以后每个数据成员的偏移为其有效对齐值的整数倍;

(2)结构体整体对齐规则:

在数据成员完成各自对齐后,结构体本身也要进行对齐,对齐会将结构体的大小增加为该结构体有效对齐值的整数倍,如有需要编译器会在最末成员后加上填充字节。

二、应用

1、前提介绍

在 KaiwuDB 时序引擎中,一条时序数据由不同的列数据组成,其中每列都对应一种数据类型。在存储的代码实现中,每条时序数据都存放在一块连续的内存空间里,不同列的数据按照列的顺序连续紧邻的排放,如下图所示:

值得一提的是,上图示例中的 char 类型,并非是一个字符,而是代表一个不定长的字符数组,也就是说这条数据的第二列,存放的是一个长度为 3 的 char 数组。另外,TIMESTAMP 的类型是 uint64_t,长度为 8 字节;Bitmap 的类型也是 char 数组,长度不定。

显然,这种存放方式并不满足内存对齐的要求,会对我们的程序产生两种可能的影响:

(1)在不同硬件平台上的程序 crash;

(2)降低存取效率。

由于我们的程序需要在 ARM 平台上运行,而且会有高密集地进行内存访问,所以时序数据存放满足内存对齐要求是十分必要的。

2、使用内存对齐生成存储格式

存储记录的数据类型可以分类为两种:

(1)定长:

TIMESTAMP、SMALLINT、INT、BIGINT、FLOAT、DOUBLE、BOOL、BINARY,长度包括 8、4、2、1 字节,都属于基本数据类型。前文介绍过,基本数据类型的对齐系数等于自身的类型长度。

(2)不定长:

char、Bitmap,这两种类型都是不定长的 char 数组,基本组成元素都是 char 类型,因此它们的对齐系数都为 1。

由上可知,目前存储中存放的都是一些基本数据类型记录,不存在结构体或类类型。在这个条件下,一条时序数据的格式满足内存对齐的要求就相对而言比较简单了,存储格式生成方案如下:

对于定长的数据类型对应的列,按类型长度降序排列,先存放 8 字节的列、再存放 4 字节的列、再存放 2 字节和 1 字节的列,这样就可以满足内存对齐的要求。

存放完定长的列后,char 和 Bitmap 都是 char 数组,对齐系数都为 1,所以可以直接存放在定长的列之后,先存放 char 类型,最后存放 Bitmap。

通过上述内存对齐的存储格式生成方案生成的一条时序数据的格式如下:

3、测试

通过编写一个简单的测试,验证一下内存对齐对存取效率的影响。

测试场景:

内存对齐系数为 8 字节,申请 10K 内存空间,在内存对齐和非内存对齐的情况下,分别写入数据 1G 次并且读取数据 1G 次。写入的数据类型均为 uint64_t,长度 8 字节,内存写满后循环使用。分别统计其耗时并进行对比,测试代码和测试结果如下:

测试结果显示,在只进行读写操作的情况下,进行 1G 次读写操作,非内存对齐要比内存对齐的耗时多 24.3% 左右。

END

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/401603.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

并发编程---java锁

java锁一 多线程锁synchronized案例分析1.1synchronized介绍1.2 synchronized案例分析1.2.1.标准访问,请问先打印邮件还是短信?1.2.2.邮件⽅法暂停4秒钟,请问先打印邮件还是短信?分析1.2.3.新增⼀个普通⽅法hello(&…

Django系统开发

Django系统开发 1.新建项目 创建Django项目 删除templates目录 删除settings.py里templates -> DIRS的列表数据 2.创建app 在Pycharm中 注册app 在settings.py中找到 INSTALLED_APPS 加入对应路径 app01.apps.App01Config 3.表结构 from django.db import modelsclas…

32位处理器AM6528BACDXEA、AM6548BACDXEAF基于Arm Cortex-A53内核【工业4.0嵌入式产品应用】

AM6528BACDXEA、AM6548BACDXEAF 处理器是专为满足工业4.0嵌入式产品对处理性能的复杂需求而设计的Arm应用处理器。AM654x和AM652x器件将四个或两个Arm Cortex-A53内核与一个双Arm Cortex-R5F MCU子系统结合在一起。这些包含的功能旨在帮助客户实现终端产品的功能安全目标。它还…

绘制CSP的patterns矩阵图

最近在使用FBCSP处理数据,然后就想着看看处理后的样子,用地形图的形式表现出来,但是没有符合自己需求的函数可以实现,就自己尝试的实现了一下,这里记录一下,方便以后查阅。 绘制CSP的patterns矩阵图 对数据做了FBCSP处理,但是想画一下CSP计算出来的patterns的地形图,并…

成功的项目管理策略:减少成本,提高质量

项目管理是一项具有挑战性的任务,项目团队需要合理的规划和策略,以确保项目的成功和达成预期。为了实现项目的成功,项目经理必须采用正确的策略,才能以最大限度地减少成本并提高项目质量。本文将探讨成功的项目管理策略&#xff0…

Django实践-05Cookie和Session

文章目录Django实践-05Cookie和SessionDjango实践-05Cookie和Session用户登录的准备工作1. 创建用户模型。2. 正向工程生成数据库表3.写utils.py文件,密码转md54.给数据表tb_user中插入测试数据5.编写用户登录的视图函数和模板页。6.编写urls.py。6.增加login.html模…

数据仓库相关概念的解释

数据仓库相关概念的解释 文章目录数据仓库相关概念的解释1 ETL是什么?ETL体系结构2 数据流向何为数仓DW3 ODS 是什么?4 数据仓库层DWDWD 明细层DWD 轻度汇总层(MID或DWB,data warehouse basis)DWS 主题层(D…

MySQL8读写分离集群

文章目录前言MySQL读写分离原理搭建MySQL读写分离集群MySQL8.0之前MySQL8.0之后后记前言 上一期介绍并实现了MySQL的主从复制,由于主从复制架构仅仅能解决数据冗余备份的问题,从节点不对外提供服务,依然存在单节点的高并发问题 所以在主从复…

【Vue】10分钟带你读懂Vue的过滤器

一、什么是过滤器?过滤器提供给我们的一种数据处理方式。过滤器功能不是必须要使用的,因为它所实现的功能也能用计算属性或者函数调用的方式来实现。Vue.js 允许你自定义过滤器,可被用于一些常见的文本格式化。二、过滤器声明与使用过滤器应该…

重构SeleniumeDownloader底层浏览器驱动

一、解决bug:Selenium with PhantomJS,重构SeleniumeDownloader底层浏览器驱动 0、小背景: 想爬取外网steam的数据,但是steam官网在海外,加上steam处于反爬考虑,对于异步数据-json数据进行处理&#xff0…

三天吃透RabbitMQ面试八股文

本文已经收录到Github仓库,该仓库包含计算机基础、Java基础、多线程、JVM、数据库、Redis、Spring、Mybatis、SpringMVC、SpringBoot、分布式、微服务、设计模式、架构、校招社招分享等核心知识点,欢迎star~ Github地址:https://github.com/…

51驱动NRF24L01通信,NRF24L01与TTL转NRF24L01模块通信

51驱动NRF24L01通信,NRF24L01与TTL转NRF24L01模块通信NRF24L01一、简介二、引脚功能描述程序设计一、对 24L01 的程序编程的基本思路如下:二、Tx 与 Rx 的配置过程1、Tx 模式初始化过程:2、Rx 模式初始化过程:三、基本程序函数通信…

五分钟了解支付、交易、清算、银行等专业名词的含义?

五分钟了解支付、交易、清算、银行等专业名词的含义?1. 支付类名词01 支付应用02 支付场景03 交易类型04 支付类型(按通道类型)05 支付类型(按业务双方类型)06 支付方式07 支付产品08 收银台类型09 支付通道10 通道类型…

LeetCode-416. 分割等和子集

目录题目分析回溯法动态规划动态规划(压缩)题目来源 416. 分割等和子集 题目分析 这道题目是要找是否可以将这个数组分割成两个子集,使得两个子集的元素和相等。 那么只要找到集合里能够出现 sum / 2 的子集总和,就算是可以分割成两个相同元素和子集了…

使用 ONLYOFFICE 宏借助 ChatGPT 生成文章

AI 技术在过去几年中得到了显著提升,同时也成为了我们日常生活中必不可少的一部分。现在,我们会将这种高科技功能纳入到文档撰写过程。在本文中,我们将展示如何构建一个宏来使用 ChatGPT API 生成文章。 关于 ChatGPT ChatGPT 是由 OpenAI 开…

html2canvas和jspdf导出pdf,每个页面模块占一页,在pdf中垂直居中显示

需求:html页面转换pdf,页面有多个模块,页面中有文本、echarts、表格等模块,一个模块占一页,因为模块高度不够,所以需要垂直居中 通过html2canvas和jspdf实现,html2canvas用于将页面元素生成canv…

以java编写员工管理系统(测试过 无问题)

一、系统结果的部分展示 二、题目以及相关要求 三、组成 1.该系统由 Employee 类 、commonEmployee类、Testemd类和managerEmployee类组成 2.Employee实现的代码 public class Employee {private String id;private String name;private String job;private int holiday…

弱监督参考图像分割:Learning From Box Annotations for Referring Image Segmentation论文阅读笔记

弱监督参考图像分割:Learning From Box Annotations for Referring Image Segmentation论文阅读笔记一、Abstract二、引言三、相关工作A、全监督参考图像分割B、基于 Box 的实例分割C、带有噪声标签的学习四、提出的方法A、概述B、伪标签生成目标轮廓预测Proposal 选…

exe打包工具:advanced installer介绍(一)

前言近年来,web服务逐渐走向云端部署浏览器化、去APP化,然而exe安装仍有着举足轻重的地位,其好处不言而喻,拿到exe安装包后,基本就可以傻瓜安装和操作了,十分便捷。业务场景通过各种IDE/QT/C#/Java等开发工…

项目的生命周期与成本、风险、变更的关系

成本与人力投入水平 项目成本的投入在初始阶段逐渐增加,在执行的中间阶段达到顶峰,在项目收尾阶段逐渐下降。成本的投入趋势如下图所示: 初始阶段:从人力成本来看,信息系统开发团队在前期制定项目管理章程及项目管理…