【C++】空间配置器 allocator：原理及底层解析

news2024/9/29 15:35:18

文章目录

  • 空间配置器
    • 一级空间配置器
    • 二级空间配置器
      • 1. 内存池
      • 2. SGI-STL中二级空间配置器设计 - - 哈希桶
      • 3. 二级空间配置器的空间申请
    • 空间配置器的默认选择
    • 空间配置器的在封装：添加了数据类型大小
    • 空间配置器对象的构造与析构
  • 容器中的 allocator

空间配置器

提到空间配置，难免让人联想到 malloc 系列函数。malloc 可以设定用户自己需要的类型为其开辟空间，而空间配置器是专门为 STL 容器进行空间配置的。

空间配置器 allocator：为各个容器进行高效的空间管理 - - 空间的申请与回收。

如果我们用 new 自己设计空间管理，容易因为 频繁向系统申请小块内存而造成内存碎片、影响程序运行效率。而 SGI-STL以128作为小块内存与大块内存的分界线，将空间配置器其分为两级结构，一级空间配置器处理大块内存，二级空间配置器处理小块内存。

一级空间配置器

一级空间配置器原理非常简单，直接对malloc与free进行了封装，并增加了C++中 set_new_handle 思想。

template <int inst>
class __malloc_alloc_template
{
private:
	static void *oom_malloc(size_t);
public:
// 对malloc的封装
	static void * allocate(size_t n)
	{
		// 申请空间成功，直接返回，失败交由oom_malloc处理
		void *result = malloc(n);
		if (0 == result) 
			result = oom_malloc(n);
		return result;
	}
// 对free的封装
	static void deallocate(void *p, size_t /* n */)
	{ free(p);}
	// 模拟set_new_handle
	// 该函数的参数为函数指针，返回值类型也为函数指针
	// void (*   set_malloc_handler( void (*f)() ) )()
	static void (* set_malloc_handler(void (*f)()))()
	{
		void (* old)() = __malloc_alloc_oom_handler;
		__malloc_alloc_oom_handler = f;
		return(old);
	}
};

// malloc申请空间失败时代用该函数
template <int inst>
void * __malloc_alloc_template<inst>::oom_malloc(size_t n)
{
	void (* my_malloc_handler)();
	void *result;
	for (;;) 
	{
		// 检测用户是否设置空间不足应对措施，如果没有设置，抛异常，模式new的方式
		my_malloc_handler = __malloc_alloc_oom_handler;
		if (0 == my_malloc_handler)
		{
			__THROW_BAD_ALLOC; 
		}
		
		// 如果设置，执行用户提供的空间不足应对措施
		(*my_malloc_handler)();
		
		// 继续申请空间，可能就会申请成功
		result = malloc(n);
		if (result)
		return(result);
	}
}
typedef __malloc_alloc_template<0> malloc_alloc;

二级空间配置器

二级空间配置器专门负责处理小于 128 字节的小块内存。SGI-STL 采用了 内存池 的技术来提高申请空间的速度以及减少额外空间的浪费，采用 哈希桶 的方式来提高用户获取空间的速度与高效管理。

1. 内存池

内存池就是：先申请一块比较大的内存块已做备用，当需要内存时，直接到内存池中去去，当池中空间不够时，再向内存中去取，当用户不用时，直接还回内存池即可。避免了频繁向系统申请小块内存所造成的效率低、内存碎片以及额外浪费的问题。

2. SGI-STL中二级空间配置器设计 - - 哈希桶

内存池的空间是以哈希桶结构管理的，这里的哈希桶是以 8 字节 的 整数倍 进行设置的， 如果用户所需内存块不是8的整数倍，向上对齐到8的整数倍。原因有两个：

  1. 因为用户申请的空间基本都是4的整数倍，其他大小的空间几乎很少用到。

  2. 每个桶下面悬挂一个个的未被分配的空间，他们的首部 4/8 个字节 储存的都是下一块空间的地址（或者 nullptr），而 64 位空间下的地址就是 8 字节。

在这里插入图片描述

小于 128 的小块内存申请和释放，在哈希桶中以头删和头插的方式实现。

3. 二级空间配置器的空间申请

申请空间：

  • 申请空间大于 128 一级 allocator 进行分配
  • 小于 128 去找相应大小的桶，如果下面有悬挂内存，就把第一个给用户
  • 如果桶下没有内存，去找内存池索要（见下），并将第一个内存块返回给用户

在这里插入图片描述

// 函数功能：向空间配置器索要空间
// 参数n: 用户所需空间字节数
// 返回值：返回空间的首地址
static void * allocate(size_t n)
{
    obj * __VOLATILE * my_free_list;
    obj * __RESTRICT result;
    // 检测用户所需空间释放超过128(即是否为小块内存)
    if (n > (size_t) __MAX_BYTES)
   {
        // 不是小块内存交由一级空间配置器处理
        return (malloc_alloc::allocate(n));
   }
    
    // 根据用户所需字节找到对应的桶号
    my_free_list = free_list + FREELIST_INDEX(n);
    result = *my_free_list;
    
    // 如果该桶中没有内存块时，向该桶中补充空间
    if (result == 0)
   {
        // 将n向上对齐到8的整数被，保证向桶中补充内存块时，内存块一定是8的整数倍
        void *r = refill(ROUND_UP(n));
        return r;
   }
    
    // 维护桶中剩余内存块的链式关系
    *my_free_list = result -> free_list_link;
    return (result);
};

填充内存块：

  • 用户申请空间桶下没有空闲空间，于是需要向 内存池申请空间（见下）
  • 一次申请 nobjs(20) 个小块内存，按用户需要分配，剩余的挂在桶下
    在这里插入图片描述
// 函数功能：向哈希桶中补充空间
// 参数n：小块内存字节数
// 返回值：首个小块内存的首地址
template <int inst>
void* __default_alloc_template<inst>::refill(size_t n)
{
	// 一次性向内存池索要20个n字节的小块内存
	int nobjs = 20;
	char * chunk = chunk_alloc(n, nobjs);
	
	obj ** my_free_list;
	obj *result;
	obj *current_obj, *next_obj;
	int i;
	// 如果只要了一块，直接返回给用户使用
	if (1 == nobjs) 
		return(chunk);
	
	// 找到对应的桶号
	my_free_list = free_list + FREELIST_INDEX(n);
	
	// 将第一块返回值用户，其他块连接在对应的桶中
	// 注：此处代码逻辑比较简单，标准库实现更复杂一些
	result = (obj *)chunk;
	*my_free_list = next_obj = (obj *)(chunk + n);
	for (i = 1; ; i++) 
	{
		current_obj = next_obj;
		next_obj = (obj *)((char *)next_obj + n);
		if (nobjs - 1 == i) 
		{
			current_obj -> free_list_link = 0;
			break;
		} 
		else
		{
			current_obj -> free_list_link = next_obj;
		}
	}
	return(result);
}

向内存池中索要空间：

  • 桶下无可使用空间，向内存池接着索要 nobjs（20） 个 n 字节小块，需要计算内存池剩余空间是否足够给出
  • 如果剩余空间足够，就给出空间
  • 如果剩余空间不够 20 块，就把能分配整数块空间一块一块的先切割出去
    • 不足一块时，将剩余内存挂接到链表中，通过系统堆向内存池中补充内存
    • 如果补充成功正常使用
    • 如果补充失败，从哈希表中找到比请求空间更大的内存块进行补充
      • 如果补充成功正常使用
      • 如果再次补充失败，向一级空间配置器申请补充
        在这里插入图片描述
template <int inst>
char* __default_alloc_template<inst>::chunk_alloc(size_t size, int&
nobjs)
{
	// 计算nobjs个size字节内存块的总大小以及内存池中剩余空间总大小
	char * result;
	size_t total_bytes = size * nobjs;
	size_t bytes_left = end_free - start_free;
	// 如果内存池可以提供total_bytes字节，返回
	if (bytes_left >= total_bytes) 
	{
		result = start_free;
		start_free += total_bytes;
		return(result);
	} 
	else if (bytes_left >= size)
	{
		// nobjs块无法提供，但是至少可以提供1块size字节内存块，提供后返回
		nobjs = bytes_left/size;
		total_bytes = size * nobjs;
		result = start_free;
		start_free += total_bytes;
		return(result);
	} 
	else
	{
		// 内存池空间不足，连一块小块村内都不能提供
		// 向系统堆求助，往内存池中补充空间
		// 计算向内存中补充空间大小：本次空间总大小两倍 + 向系统申请总大小/16
		size_t bytes_to_get = 2 * total_bytes + ROUND_UP(heap_size >> 4);
		
		// 如果内存池有剩余空间(该空间一定是8的整数倍)，将该空间挂到对应哈希桶中
		if (bytes_left > 0) 
		{
			// 找对用哈希桶，将剩余空间挂在其上
			obj ** my_free_list = free_list +
			FREELIST_INDEX(bytes_left);
			((obj *)start_free) -> free_list_link = *my_free_list;
			*my_ree_list = (obj *)start_free;
		}
		
		// 通过系统堆向内存池补充空间，如果补充成功，递归继续分配
		start_free = (char *)malloc(bytes_to_get);
		if (0 == start_free) 
		{
			// 通过系统堆补充空间失败，在哈希桶中找是否有没有使用的较大的内存块
			int i;
			obj ** my_free_list, *p;
			for (i = size; i <= __MAX_BYTES; i += __ALIGN)
			{
				my_free_list = free_list + FREELIST_INDEX(i);
				p = *my_free_list;
				
				// 如果有，将该内存块补充进内存池，递归继续分配
				if (0 != p)
				{
					*my_free_list = p -> free_list_link;
					start_free = (char *)p;
					end_free = start_free + i;
					return(chunk_alloc(size, nobjs));
				}
			}
			
			// 山穷水尽，只能向一级空间配置器求助
			// 注意：此处一定要将end_free置空，因为一级空间配置器一旦抛异常就会出
			问题
			end_free = 0;
			start_free = (char *)malloc_alloc::allocate(bytes_to_get);
		}
		
		// 通过系统堆向内存池补充空间成功，更新信息并继续分配
		heap_size += bytes_to_get;
		end_free = start_free + bytes_to_get;
		return(chunk_alloc(size, nobjs));
	}
}

SGI-STL 二级空间配置器之空间回收：

  • 和申请一样，以 128 为分界线
  • 大于 128 交给 一级空间配置器来释放
  • 小与 128 则找到对应的哈希桶，头插 到其中
    在这里插入图片描述
// 函数功能：用户将空间归还给空间配置器
// 参数：p空间首地址   n空间总大小
static void deallocate(void *p, size_t n)
{
	obj *q = (obj *)p;
	obj ** my_free_list;
	// 如果空间不是小块内存，交给一级空间配置器回收
	if (n > (size_t) __MAX_BYTES)
	{
		malloc_alloc::deallocate(p, n);
		return;
	}
	// 找到对应的哈希桶，将内存挂在哈希桶中
	my_free_list = free_list + FREELIST_INDEX(n);
	q -> free_list_link = *my_free_list;
	*my_free_list = q;
}

空间配置器的默认选择

SGI-STL 使用一级还是二级空间配置器，通过 USE_MALLOC 宏进行控制：

#ifdef __USE_MALLOC
typedef malloc_alloc alloc;
typedef malloc_alloc single_client_alloc;
#else
	// 二级空间配置器定义
#endif

在 SGI_STL 中该宏没有定义，故，默认情况下 SGI_STL 使用二级空间配置器

空间配置器的在封装：添加了数据类型大小

// T: 元素类型
// Alloc: 空间配置器
// 注意：该类只负责申请与归还对象的空间，不否则空间中对象的构造与析构
template<class T, class Alloc>
class simple_alloc
{
public:
	// 申请n个T类型对象大小的空间
	static T *allocate(size_t n)
	{ 
		return 0 == n? 0 : (T*) Alloc::allocate(n * sizeof (T)); 
	}
	// 申请一个T类型对象大小的空间
	static T *allocate(void)
	{ 
		return (T*) Alloc::allocate(sizeof (T));
	}
	// 释放n个T类型对象大小的空间
	static void deallocate(T *p, size_t n)
	{ 
		if (0 != n) 
		Alloc::deallocate(p, n * sizeof (T));
	}
	// 释放一个T类型对象大小的空间
	static void deallocate(T *p)
	{ 
		Alloc::deallocate(p, sizeof (T)); 
	}
};

空间配置器对象的构造与析构

SGI-STL 对于空间申请释放和对象的构造析构的两个过程，是分离开的。

因为有些对象的构造不需要调用构造函数，销毁时不需要调用析构函数，将该过程分离开可以提高程序的性能。

// 归还空间时，先先调用该函数将对象中资源清理掉
template <class T>
inline void destroy(T* pointer)
{
	pointer->~T();
}
// 空间申请好后调用该函数：利用placement-new完成对象的构造
template <class T1, class T2>
inline void construct(T1* p, const T2& value) 
{
	new (p) T1(value);
}
  • 在释放对象时，需要根据对象的类型确定是否调用析构函数（类型萃取）
  • 对象的类型可以通过迭代器萃取到

容器中的 allocator

展示 vector 的部分源码：

template <class T, class Alloc = alloc>
class list
{
	// ...
	// 实例化空间配置器
	typedef simple_alloc<list_node, Alloc> list_node_allocator;
	// ...
	protected:
	link_type get_node()
	{
		// 调用空间配置器接口先申请节点的空间
		return list_node_allocator::allocate(); 
	}
	// 将节点归还给空间配置器
	void put_node(link_type p) 
	{
		list_node_allocator::deallocate(p);
	}
	// 创建节点：1. 申请空间 2. 完成节点构造
	link_type create_node(const T& x)
	{
		link_type p = get_node();
		construct(&p->data, x);
		return p;
	}
	// 销毁节点： 1. 调用析构函数清理节点中资源 2. 将节点空间归还给空间配置器
	void destroy_node(link_type p)
	{
		destroy(&p->data);
		put_node(p);
	}
	// ...
	iterator insert(iterator position, const T& x)
	{
		link_type tmp = create_node(x);
		tmp->next = position.node;
		tmp->prev = position.node->prev;
		(link_type(position.node->prev))->next = tmp;
		position.node->prev = tmp;
		return tmp;
	}
	iterator erase(iterator position) 
	{
		link_type next_node = link_type(position.node->next);
		link_type prev_node = link_type(position.node->prev);
		prev_node->next = next_node;
		next_node->prev = prev_node;
		destroy_node(position.node);
		return iterator(next_node);
	}
	// ...
};

🥰如果本文对你有些帮助，请给个赞或收藏，你的支持是对作者大大莫大的鼓励！！(✿◡‿◡) 欢迎评论留言~~

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1073206.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

移动办公管理系统低代码解决方案

移动办公管理系统低代码解决方案

随着企业数字化转型的加速&#xff0c;人工智能、云计算、大数据等技术应用的愈加广泛&#xff0c;数字化的办公系统在企事业内部编织起一套高效、畅通的信息互联体系&#xff0c;极大推动了企事业单位生产力的发展。 但与此同时&#xff0c;由于需要依赖固定的办公场所和固定…
阅读更多...
最值得收藏的顶级专业数据恢复软件列表 [持续更新]

最值得收藏的顶级专业数据恢复软件列表 [持续更新]

互联网上充斥着很多的数据恢复软件&#xff0c;每个软件都声称自己是最好的。现在该同意谁的观点呢&#xff1f;我们创建了 2023 年顶级专业数据恢复软件列表。下载顶级一流数据恢复专业软件的免费试用版&#xff0c;我们强烈建议用户评估演示版本&#xff0c;然后选择付费版本…
阅读更多...
Python 樱花

Python 樱花

Python实现樱花 效果图 &#xff08;源码在下面&#xff09; 源码&#xff1a; from turtle import * from random import * from math import *def tree(n, l):pd() # 下笔# 阴影效果t cos(radians(heading() 45)) / 8 0.25pencolor(t, t, t)pensize(n / 3)forward(l…
阅读更多...
面试经典 150 题 1 —（数组 / 字符串）— 88. 合并两个有序数组

面试经典 150 题 1 —（数组 / 字符串）— 88. 合并两个有序数组

88. 合并两个有序数组 方法一&#xff1a; class Solution { public:void merge(vector<int>& nums1, int m, vector<int>& nums2, int n) {for(int i 0; i<n;i){nums1[mi] nums2[i];}sort(nums1.begin(),nums1.end());} };方法二&#xff1a; clas…
阅读更多...
CRMEB 标准版商城系统新增主题风格颜色【超级完整教程】

CRMEB 标准版商城系统新增主题风格颜色【超级完整教程】

一、后台 1.新增主题图片 assets/images/brown.jpg和assets/images/brownsign.png 2.修改admin/src/pages/setting/themeStyle/index.vue 3.修改admin/src/pages/marketing/sign/index.vue 4.修改admin/src/pages/system/group/visualization.vue &#xff08;第三步和第四步…
阅读更多...
Rust专属开发工具——RustRover发布

Rust专属开发工具——RustRover发布

JetBrains最近推出的Rust集成开发工具——RustRover已经发布&#xff0c;官方网站&#xff1a;RustRover: Rust IDE by JetBrains JetBrains出品过很受欢迎的开发工具IntelliJ IDEA、PyCharm等。 RustRover优势 Rust集成环境&#xff0c;根据向导可自动下载安装rust开发环境提…
阅读更多...
企业APP混乱繁杂？WorkPlus助您实现统一入口管理

企业APP混乱繁杂？WorkPlus助您实现统一入口管理

在现代企业中&#xff0c;随着移动应用的不断发展和应用&#xff0c;公司内部往往存在着各种各样的APP。这些APP不仅需要单独下载和安装&#xff0c;而且管理起来也显得非常繁琐。为了解决这一问题&#xff0c;公司统一APP入口逐渐成为了企业的追求。而在众多选择中&#xff0c…
阅读更多...
充电保护芯片TP4054国产替代完全兼容DP4054DP4054H 锂电充电芯片

充电保护芯片TP4054国产替代完全兼容DP4054DP4054H 锂电充电芯片

■产品概述 DP4054H是-款完整的采用恒定电流/恒定电压单节锂离子电池充电管理芯片。其SOT小封装和较少的外部元件数目使其成为便携式应用的理想器件&#xff0c;DP4054H可 以适合USB电源和适配器电源工作。 由于采用了内部PMOSFET架构&#xff0c;加上防倒充电路,所以不需要外…
阅读更多...
一文图解Golang管道Channel

一文图解Golang管道Channel

在 Go 语言发布之前&#xff0c;很少有语言从底层为并发原语提供支持。大多数语言还是支持共享和内存访问同步到 CSP 的消息传递方法。Go 语言算是最早将 CSP 原则纳入其核心的语言之一。内存访问同步的方式并不是不好&#xff0c;只是在高并发的场景下有时候难以正确的使用&am…
阅读更多...
CTF | CTF比赛题解分享

CTF | CTF比赛题解分享

本文由掌控安全学院 - sbhglqy 投稿 前言&#xff1a;由于此次比赛的题目较多&#xff0c;所以这是这个比赛的第一篇wp&#xff0c;共20题&#xff0c;先记录一下&#xff0c;防止忘记。里面有些题目是新手题较为简单&#xff0c;但也有许多有意思的题目&#xff0c;真的是做的…
阅读更多...
N个元素进栈 出栈情况种数

N个元素进栈 出栈情况种数

文章目录 1.逐一求解2.卡特兰数的引入3.得出结论 1.逐一求解 面对此类问题 我们无法直接分析元素个数 为N的情况 通常我们都会逐一分析 设定一个函数 f(N):N为元素个数 f(N)为出栈顺序种数 显然: f(1) 1:af(2) 2:a,b b,af(3) 5:a,b,c a,c,b b,a,c b,c,a /*c,a,b*/ …
阅读更多...
【血压仪器】开发血压计方案pcba电路板

【血压仪器】开发血压计方案pcba电路板

血压计方案测量准确&#xff0c;语音播报结果&#xff0c;大屏幕&#xff0c;显示更清晰&#xff0c;算法经过大量临床测试&#xff0c;更稳定等特点&#xff0c;另外对于此类方案&#xff0c;由于已经拥有成熟方案&#xff0c;可配合客户需求开发设计&#xff0c;可以在短时间…
阅读更多...
opencv-phase 函数

opencv-phase 函数

计算梯度强度和方向 梯度的方向与边缘的方向总是垂直的。图像中的边缘可以指向各个方向&#xff0c;通常会取水平&#xff08;左、右&#xff09;、垂直&#xff08;上、下&#xff09;、对角线&#xff08;左上、右上、左下、右下&#xff09;等八个不同的方向计算梯度。 角度…
阅读更多...
gds/网表导入virtuoso注意事项

gds/网表导入virtuoso注意事项

我正在「拾陆楼」和朋友们讨论有趣的话题，你⼀起来吧？拾陆楼知识星球入口 gds和网表导入到virtuoso中都需要添加参考库，这里需要注意的是如果上层模块/顶层调用下层模块时参考库时，需要把library中的模块cell的单独copy到新的库中，模块的via layout或module schematic和sy…
阅读更多...
将一个shapefile 由地理坐标系统投影到投影坐标系统

将一个shapefile 由地理坐标系统投影到投影坐标系统

如题&#xff1a; 所需数据&#xff1a; idll.shp&#xff0c;一个以十进制度表示经纬度数值的shapefile&#xff0c;为Idaho 州的轮廓图。 任务要求: 定义idll.shp空间参考为地理坐标系North American Datum 1927&#xff0c;并将idll.shp 投影到Idaho 州横轴墨卡托&#xf…
阅读更多...
桶装水一键订水系统，支持通过手机端一键订水票；

桶装水一键订水系统，支持通过手机端一键订水票；

桶装水一键订水系统&#xff0c;支持通过手机端一键订水票、模版消息推送送水状态&#xff0c;支持门店送水员一键接单送水&#xff0c;上门核销完成送水过程的专业送水(订水)系统&#xff1b; 桶装水订水送水系统&#xff08;多门店版&#xff09; 1、专属门店 在线建立专属门…
阅读更多...
MATLAB算法实战应用案例精讲-【图像处理】SLAM技术详解

MATLAB算法实战应用案例精讲-【图像处理】SLAM技术详解

目录 前言 几个高频面试题目 SLAM和路径规划对比 算法原理 SLAM组成 常用的SLAM传感器 常用的两种地图类型 SLAM算法实现4要素 主流SLAM算法 2D激光SLAM算法 1. Gmapping 2. Hector slam 3. KartoSLAM 4. LagoSLAM 5. CoreSLAM 3D激光SLAM算法对比 测试的SLAM…
阅读更多...
SpringBoot项目整合

SpringBoot项目整合

一、创建项目 IDEA中采用spring initialzer...创建&#xff0c;jdk选择8&#xff0c;maven,jar。。。springboot版本2.5.0&#xff08;稳定&#xff09; 项目依赖&#xff1a; 二、项目结构&#xff1a; 原始pom.xml文件 <?xml version"1.0" encoding"UT…
阅读更多...
Java基础篇 数组

Java基础篇 数组

✅作者简介&#xff1a;大家好&#xff0c;我是Leo&#xff0c;热爱Java后端开发者&#xff0c;一个想要与大家共同进步的男人&#x1f609;&#x1f609; &#x1f34e;个人主页&#xff1a;Leo的博客 &#x1f49e;当前专栏&#xff1a; Java从入门到精通 ✨特色专栏&#xf…
阅读更多...
[VC++]圆形进度条

[VC++]圆形进度条

[VC]圆形进度条 源码开发环境&#xff1a;VC6.0 WIN10 64位下编译通过利用绘制饼图的原理&#xff0c;来制作的圆形进度条&#xff0c;可以显示百分比。软件运行截图如下&#xff1a; 附件源码下载(点击下载&#xff09;
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023