什么是内存?什么是内存逃逸?怎么做内存逃逸分析

news2024/11/25 7:03:22

内存

  • 平时我们在电脑上听歌,聊天,或者启动某个程序,那么这个启动过程,其实就是把程序从硬盘读入到内存中去。就像安卓手机,内存不够了很卡,杀掉几个软件,内存就升上来了。但也不是所有的程序都会一次性的读入内存,为了节省内存空间和提高效率,程序是可用分段或者分页的加载,比如一个2k内存的机器读一个2m的文件。

什么是内存呢

我们知道,CPU计算很快,但是磁盘的IO实在是太慢了。解决CPU和磁盘之间速度的鸿沟,我们引入了内存。其实在CPU内部还有一部分缓存。我们先来看一下计算机的存储设备有哪些。
在这里插入图片描述
我们再量化一下这些存储设备的速度,大概是这样

  • CPU : 每个指令大概需要 0.38ns,以此作为对比的基本单位 1s
  • 一级缓存:读取时间大约为 0.5ns,对比 CPU 的时间大约是 1.3s
  • CPU 分支预测错误: 耗时为 5ns,对比 CPU 的时间大约是 13s
  • 二级缓存:读取时间大约为 7ns,对比 CPU 的时间大约是 18.2s(与一级缓存相差了一个数量级)
  • 锁:互斥锁的加锁和解锁大约需要 25ns,对比 CPU 的时间大约是 65s(一分钟)。所以说,在并发编程中,锁是一个很耗时的操作
  • 内存:每次内存寻址需要 100ns,对比 CPU 的时间大约是 260s(四分钟,又提升了一个数量级)。CPU 和内存之间的瓶颈被称为冯诺依曼瓶颈
  • 一次 CPU 上下文切换:大约耗时为 1500ns,对比 CPU 的时间大约是 65 分钟(一个小时)。在上下文切换的时间内,CPU 没有做任何有用的计算,只是切换了两个不同进程的寄存器和内存状态。
  • 在 1Gbps 的网络上传输 2k 的数据需要 20us,对比 CPU 的时间大约是 14.4 个小时(理论值,实际中可能更久),可以看到网络上非常少的数据传输对于 CPU 来说已经很漫长了
  • SSD 随机读取耗时为 150us,对比 CPU 的时间为 4.5 天。SSD 的速度已经比机械硬盘快很多了,但对于 CPU 来说速度就想乌龟一样。所以应该少写 I/O 设备读取的代码,把常用的数据放到内存中作为缓存。
  • 从内存中读取1MB 的连续数据,耗时大约是 250us,对比 CPU 的时间是 7.5 天
  • 同一个数据中心网络上跑一个来回需要 0.5ms,对比 CPU 的时间大约是 15 天(半个月)。
  • 从 SSD 读取 1MB 的顺序数据,大约学院 1ms,对比 CPU 的时间大约是一个月
  • 磁盘寻址时间是 10ms,对比 CPU 的时间是 10 个月
  • 从磁盘读取 1MB 的连续数据需要 20ms,对比 CPU 的时间是 20 个月。所以说IO 设备是计算机系统的瓶颈
  • 从世界上不同城市的网络上走一个来回,平均需要 150ms,对比 CPU 的时间是 12.5 年。所以程序和架构都会尽量避免不同城市或者是跨国家的网络访问
  • 虚拟机重启一次需要 4s 的时间,对比 CPU 的时间是三百多年,
  • 物理服务器重启一次的时间是5min,对比 CPU 的时间是2万5千年

那么为什么我们不能全部用最高速的存储设备呢?因为越靠近 CPU 速度越快,容量越小,价格越贵。哈哈。
另外每一种存储器设备只和它相邻的存储设备打交道。比如,CPU Cache 是从内存里加载而来的,或者需要写回内存,并不会直接写回数据到硬盘,也不会直接从硬盘加载数据到 CPU Cache 中,而是先加载到内存,再从内存加载到 Cache 中。

  • 在linux下,我们可以通过以下命令查看高速缓存的大小
# cat /sys/devices/system/cpu/cpu0/cache/index0/size
32K
# cat /sys/devices/system/cpu/cpu0/cache/index1/size
32K
# cat /sys/devices/system/cpu/cpu0/cache/index2/size
4096K

内存逃逸

  • go程序中的数据和变量都会被分配到程序所在拥有的内存中。而内存中有两个重要的区域,就是栈区(Stack)和堆区(Heap)。

栈区的内存一般由编译器自动进行分配和释放,其中存储着函数的入参以及局部变量,这些参数会随着函数的创建而 创建,函数的返回而消亡,一般不会在程序中长期存在,这种线性的内存分配策略有着极高地效率,但是工程师也往 往不能控制栈内存的分配,这部分工作基本都是由编译器自动完成的。

一般来讲堆是人为手动进行管理,手动申请、分配、释放。一般硬件内存有多大堆内存就有多大。适合不可预知大小的内存分配,分配速度较慢,而且会形成内存碎片。C++ 等编程语言会由工程师主动申请和释放内存,Go 以及 Java 等编程语言 会由工程师和编译器共同管理,堆中的对象由内存分配器分配并由垃圾收集器回收。

什么是内存逃逸

当编译器无法保证一个变量的生命周期只在函数内部时,它就会认为这个变量逃逸了,需要在堆上分配内存。这样可以保证变量在函数返回后仍然有效,不会被栈回收。简单来说,局部变量通过堆分配和回收,就叫内存逃逸。在程序中,每个函数块都会有自己的内存区域用来存自己的局部变量(内存占用少)、返回地址、返回值之类的数据,这一块内存区域有特定的结构和寻址方式,寻址起来十分迅速,开销很少。这一块内存地址称为栈。栈是线程级别的,大小在创建的时候已经确定,当变量太大的时候,会"逃逸"到堆上,这种现象称为内存逃逸。

内存逃逸的影响

通过前面讲解的堆栈,我们知道堆分配昂贵,栈分配廉价,在go中所有内存优先栈分配。而堆是一块没有特定结构,也没有固定大小的内存区域,可以根据需要进行调整。全局变量,内存占用较大的局部变量,函数调用结束后不能立刻回收的局部变量都会存在堆里面。变量在堆上的分配和回收都比在栈上开销大的多。对于 go 这种带 GC 的语言来说,会增加 gc 压力,同时也容易造成内存碎片。

go中内存逃逸的现象举例

  • 局部变量x在函数结束后还被其他地方调用
func Foo()func(){
	x:=5
	return func(){
		x+=1
	}
}

func main(){
	foo:=Foo()
	foo()
}

我们使用go build -gcflags '-m -l' main.go 来查看内存逃逸的情况,

  • -m 会打印出逃逸分析的优化策略,实际上最多总共可以用 4 个 -m,但是信息量较大,一般用 1 个就可以了
  • -l 会禁用函数内联,在这里禁用掉 inline 能更好的观察逃逸情况,减少干扰。

或者通过反编译命令go tool compile -S main.go 更底层,更硬核,更准确的方式来判断一个对象是否逃逸

在这里插入图片描述
其中move to heap 是在代码生成阶段发生的,它是编译器根据逃逸分析的结果,为变量生成在堆上分配内存的代码。escapes to heap 是在逃逸分析阶段发生的,它是编译器判断一个变量是否需要在堆上分配内存的过程。

  • 像下面这种指针类型的值,都会被存储到堆上面,因为是指针类型,编译器不知道在函数运行结束后,外部还是否会用到它,所以不能对它进行回收,它就会认为这个变量逃逸了,就会在堆上分配内存。这样可以保证变量在函数返回后仍然有效,不会被栈回收。
    在这里插入图片描述
    同理,下面这种也是内存逃逸,因为切片s1指向的是底层数组,没有发生逃逸,切片里面元素x发生了逃逸
    在这里插入图片描述
  • 还有一种情况,就是数据量太大,栈放不下了。也会发生逃逸,比如下面这个切片,大小是10000 * 8 = 80000字节 = 80KB,而切片的预估容量是64k,所以发生内存逃逸。当然,在32位操作系统中,超过32k就会发生内存逃逸。
    在这里插入图片描述
  • 还有像 interface 类型上调用方法,接口在编译的时候不知道foofunc怎么实现的。只有运行的时候才知道,所以interface变量使用堆分配。
    在这里插入图片描述

如何避免内存逃逸

  • 尽量减少外部指针引用,必要的时候可以使用值传递;
  • 对于自己定义的数据大小,有一个基本的预判,尽量不要出现栈空间溢出的情况;
  • Golang中的接口类型的方法调用是动态调度,如果对于性能要求比较高且访问频次比较高的函数调用,应该尽量避免使用接口类型;
  • 尽量不要写闭包函数,可读性差且发生逃逸。

总结

  • 逃逸分析在编译阶段确定哪些变量可以分配在栈中,哪些变量分配在堆上
  • 逃逸分析减轻了GC压力,提高程序的运行速度
  • 栈上内存使用完毕不需要GC处理,堆上内存使用完毕会交给GC处理
  • 函数传参时对于需要修改原对象值,或占用内存比较大的结构体,选择传指针。对于只读的占用内存较小的结构体,直接传值能够获得更好的性能
  • 根据代码具体分析,尽量减少逃逸代码,减轻GC压力,提高性能

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/460108.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

产品经理需要了解api接口的哪些东西

一、作为产品经理,需要了解API接口的以下方面: 功能:API接口的功能是指它提供的业务功能,包括数据查询、修改、增加、删除、计算等等,根据产品的需求确定需要调用哪些API接口。请求方式和传参:API接口的请…

致力提供一站式数据可视化解决方案,支持报表、图表、大屏

一、开源项目简介 Davinci是一个DVAAS(Data Visualization as a Service)平台解决方案。 Davinci面向业务人员/数据工程师/数据分析师/数据科学家,致力于提供一站式数据可视化解决方案。既可作为公有云/私有云独立使用,也可作为…

Linux进程通信:信号

1. 信号的概念 Linux进程间通信的方式之一。信号也称为“软件中断”。 信号特点: 简单;携带信息有限;满足特定条件才发送信号;可进行用户空间和内核空间进程的交互; 2. 信号的编号 kill -l // 查看信号编号 POS…

ModelArts的使用

完整流程第一个实例:AI初学者:使用订阅算法构建模型实现花卉识别_AI开发平台ModelArts_最佳实践_模型训练(预置算法-新版训练)_华为云 一、支持的模型 可以在gitee上下载标准网络模型: models: Models of MindSpore …

Prometheus优化及高可用

Prometheus优化及高可用 概述 Prometheus几乎已成为监控领域的事实标准,它自带高效的时序数据库存储,可以让单台 Prometheus 能够高效的处理大量的数据,还有友好并且强大的 PromQL 语法,可以用来灵活的查询各种监控数据以及配置…

使用 chat_flutter 进行聊天记录展示

前言 最近需要实现一个聊天记录的页面展示,在网上发现没有适合自己的,于是自己就造了一个,总体感觉还不赖。 下面奉上地址、效果图和教程。 效果图 地址 github: https://github.com/xiaorui-23/chat_fluttergitee: https://gitee.com/xi…

搭建微型服务器(node express框架)

目录 一:打包(npm run build) 二:变成合法的包(新建server文件夹) 三:一路回车 四:新建服务器主文件 五:编辑server.js 六:node server启动服务器 七&a…

第十二章 享元模式

文章目录 前言一、享元模式基本介绍二、享元模式解决网站展现项目完整代码WebSite 抽象网站类User 外部状态用户内部状态网站 ConcreteWebSite网站工厂产生网站和负责共享(池) WebSiteFactoryClint 测试 三、享元模式在JDK-Interger的应用源码分析四、享…

NFS部署

共享/webdata/目录; ~ 用于存储 AppSrv 主机的 WEB 数据; ~ 仅允许 AppSrv 主机访问该共享; ~ 考虑安全,不论登入 NFS 的使用者身份为何,都将其设置为匿名用 户访问 StorageSrv和AppSrv nfs共享 1.安装nfs(App…

pdf怎么删除其中一页?

pdf怎么删除其中一页?大家都应该知道,PDF是一种实用性非常强且非常便携文件格式,许多用户对其非常熟悉。不管是工作还是学习中,都会下载或者使用到pdf文件。pdf文件具有非常好的兼容性,F可以将各种图片、文字内容整合在…

根据cadence设计图学习硬件知识day05 了解一些芯片

1.NXS0102DC (2位双电源转换收发器) 1.NXS0102DC 介绍 NXS0102是一款2位双电源转换收发器,具有自动方向感测功能,可实现双向电压电平转换。它具有两个2位输入输出端口(An和Bn)、一个输出使能输入&#xf…

Transformer 原理及代码详细解析

Transformer 原理及代码详细解析 文章目录 Transformer 原理及代码详细解析一、Transformer 背景介绍1.1 Transformer 的诞生1.2 Transformer 的优势1.3 Transformer 的市场 二、Transformer架构解析2.1 认识 Transformer 架构2.1.1 Transformer模型的作用2.1.2 Transformer 总…

k8s优雅终止pod

k8s优雅终止pod 概述 Pod 销毁时,会停止容器内的进程,通常在停止的过程中我们需要执行一些善后逻辑,比如等待存量请求处理完以避免连接中断,或通知相关依赖进行清理等,从而实现优雅终止目的。本文介绍在 Kubernetes …

深度学习—入门

深度学习与机器学习的区别 深度学习由机器学习中的神经网络发展而来,机器学习多用于处理数值数据,而深度学习还可处理图片、音频等数据。 特征提取方面 机器学习的特征工程步骤需要靠手动完成,需要大量专业领域知识。深度学习通常由多个层组…

Mysql8.0 包学包会!一篇文章解决Mysql

基于尚硅谷的Mysql8.0视频,修修改改。提取了一些精炼的内容。 首先需要在数据库内引入一张表。链接地址如下。 链接:https://pan.baidu.com/s/1DD83on3J1a2INI7vrqPe4A 提取码:68jy 会进行持续更新。。 1. Mysql目录结构 Mysql的目录结构…

传感器-红外接收,NodeMCU,arduino实现红外接收,4.x版本的irRemote库的使用

一&#xff0c;常见视频和搜索到接收红外的代码 发送参考&#xff0c;接收参考 这里只是看arduino中的接收程序&#xff0c; #include <IRremote.h> int RECV_PIN 5; /红外接收模块的s引脚 IRrecv irrecv(RECV_PIN); decode_results results; void setup() {Serial.b…

复现Apache HTTPD 换行解析漏洞(CVE-2017-15715)

影响版本 2.4.0~2.4.29都有可能存在该漏洞 原理分析 进入容器 docker exec -it 容器ID /bin/bash 该程序是采用黑名单的形式&#xff0c;如果文件后缀名不在名单内即可上传&#xff0c;所以 a.php\x0A不在黑名单列表中&#xff0c;可以上传。但是x0A是换行符&#xff0c;所…

Cahpter 3 : Defining Clocks(ug903:Vivado using constraints

1、About Clocks 在数字设计中&#xff0c;时钟代表了从寄存器到寄存器可靠传输数据的时间基准。XilinxVivado集成设计环境&#xff08;IDE&#xff09;时序引擎使用时钟特性来计算时序路径要求&#xff0c;并通过松弛计算报告设计时序裕度。必须正确定义时钟&#xff…

本原数据:回归数据库技术本原,做难而正确的事

数据库技术是信息科技领域的最为重要的技术之一。随着科技的不断进步&#xff0c;数据库技术得到了迅速的发展&#xff0c;应用范围也越来越广泛。 与此同时&#xff0c;在数据量持续高速增长的情况下&#xff0c;企业对数据库也提出了更高的要求&#xff0c;例如数据存储越来…

海尔智家:智慧场景掌握「主动」权,用户体验才有话语权

2023年1月&#xff0c;《福布斯》AI专栏作家Rob Toews发布了年度AI发展预测&#xff0c;指出人工智能的发展将带来涉及各行业、跨学科领域的深远影响。变革将至&#xff0c;全球已掀起生成式AI热&#xff0c;以自然语言处理为代表的人工智能技术在快速进化&#xff0c;积极拥抱…