- 一、内存的基础知识
- 二、内存管理的概念
- 2.1 **内存空间的扩充技术**
- 2.2 内存空间的分配与回收
- 2.2.1 连续分配管理方式
- 2.2.2 动态分区分配算法
- 2.2.3 非连续分配管理方式
- 2.2.3.1 **基本分页存储管理**
- 2.2.3.2 基本地址变换结构
- 2.2.3.3 具有快表的地址变换机构
- 2.2.3.4 俩级页表
- 2.2.3.5 基本分段存储管理
- 2.2.3.6 段页式管理方式
- 2.2.3 虚拟内存
- 2.2.3.1 请求分页存储管理
- 2.2.3.2 页面置换算法
- 2.2.3.3 页面分配策略
- 三、内存映射文件
一、内存的基础知识
什么是内存,有何作用?
内存可存放数据。程序执行前需要先放到内存中才能被CPU处理–缓和CPU与硬盘之间的速度矛盾
几个常用的数量单位
B = 字节
b = 比特位
1B = 8b
指令的工作原理
高级语言代码经过编译之后会生成对应的若干条指令,每一条指令可以理解为CPU做的一件事情【以下例子的指令是瞎写的,理解意思即可。】
一条指令通常包含 操作码和地址码组成。操作码就是CPU执行的操作,地址码则是指明操作数的存储地址。
对于第一条指令来说就是:将地址为79的数据10传送到地址为3的寄存器中。
执行指令二,执行加法操作,对地址为3的寄存器中值10加1
执行指令三,将地址3的寄存器中的值传送到地址为79的存储地址中。
可见,我们写的代码要翻译成CPU能识别的指令。这些指今会告诉CPU应该去内存的哪个地址读/写数据这个数据应该做什么样的处理。
程序经过编译、链接后生成的指令中指明的是逻辑地址(相对地址),即: 相对于进程的起始地址而言的地址
逻辑地址和物理地址的转换
绝对装入: 在编译时,如果知道程序将放到内存中的哪个位置,编译程序将产生绝对地址的目标代码装入程序按照装入模块中的地址,将程序和数据装入内存。
Eg:如果知道装入模块要从地址为 100 的地方开始存放…
只适合单道程序环境
静态重定位: 又称可重定位装入。编译、链接后的装入模块的地址都是从0开始的,指令中使用的地址、数据存放的地址都是相对于起始地址而言的逻辑地址。可根据内存的当前情况,将装入模块装入到内存的适当位置。装入时对地址进行“重定位”,将逻辑地址变换为物理地址(地址变换是在装入时一次完成的)。
动态重定位: 又称动态运行时装入。编译、链接后的装入模块的地址都是从0开始的。装入程序把装入模块装入内存后,并不会立即把逻辑地址转换为物理地址,而是把地址转换推迟到程序真正要执行时才进行。因此装入内存后所有的地址依然是逻辑地址。这种方式需要一个重定位寄存器的支持。
**从写程序到程序运行 **
编译: 由编译程序将用户源代码编译成若干个日标模块(编译就是把高级语言翻译为机器语言)
链接: 由链接程序将编译后形成的一组目标模块,以及所需库函数链接在一起,形成一个完整的装入模块装入(装载):由装入程序将装入模块装入内存运行
总结
二、内存管理的概念
操作系统作为系统资源的管理者,当然也需要对内存进行管理,要管些什么呢?
- 操作系统负责 内存空间的分配与回收
- 操作系统需要提供某种技术从逻辑上对内存空间进行扩充
- 操作系统需要提供地址转换功能,负责程序的逻辑地址与物理地址的转换
- 操作系统需要提供 内存保护功能。保证各进程在各自存储空间内运行,互不干扰
三种转换装入的方式:
内存保护
总结
2.1 内存空间的扩充技术
覆盖技术
早期的计算机内存很小,比如 IBM 推出的第一台PC机最大只支持 1MB 大小的内存。因此经常会出现内存大小不够的情况。
后来人们引入了覆盖技术,用来解决“程序大小超过物理内存总和”的问题
程序A 一开始被调用,因此放入固定去,剩下的只需要在使用的调入内存即可。
这种结构的调用,操作系统是不知道的,必须由程序员声明覆盖结构,操作系统完成自动覆盖。缺点: 对用户不透明,增加了用户编程负担,只在早期的单到操作系统中。
交换技术
交换(对换)技术的设计思想 :
内存空间紧张时,系统将内存中某些进程暂时换出外存,把外存中某些已具备运行条件的进程换入内存(进程在内存与磁盘间动态调度)
内存紧张时,可将内存中的某些进程放到外存中,但是PCB会存在内存中,因为PCB需要记录进程的位置以及一些信息。
中级调度 (内存调度),就是要决定将哪个处于挂起状态的进程重新调入内存。
1、应该在外存(磁盘) 的什么位置保存被换出的进程?
2、什么时候应该交换?
3、应该换出哪些进程?
总结
2.2 内存空间的分配与回收
2.2.1 连续分配管理方式
连续分配:指为用户进程分配的必须是一个连续的内存空间
单一连续分配
固定分区分配
动态分区分配
系统使用什么样的数据结构记录内存的使用情况?
当很多个空闲分区都能满足需求时,应该选择哪个分区进行分配?
如何进行分区的分配和回收?
分配
假如要给进程5分配空间,按照动态分区分配算法,找到第一个分区,将空闲分区表中的分区的大小和起始地址修改即可。
如果分区的大小正好等于进程的所需要的大小,在分区表中删掉此分区的记录
回收
当回收区前后有相邻的空闲分区时,会将空闲分区进行合并。如果没有就在表中新增一个分区
动态分区分配又称为可变分区分配。这种分配方式不会预先划分内存分区,而是在进程装入内存时根据进程的大小动态地建立分区,并使分区的大小正好适合进程的需要。因此系统分区的大小和数目是可变的。
动态分区分配没有内部碎片,但是有外部碎片。
内部碎片,分配给某进程的内存区域中,如果有些部分没有用上
外部碎片,是指内存中的某些空闲分区由于太小而难以利用。
如果内存中空闲空间的总和本来可以满足某进程的要求但由于进程需要的是一整块连续的内存空间,因此这些“碎片”不能满足进程的需求。可以通过紧凑(拼凑,Compaction) 技术来解决外部碎片。
总结
2.2.2 动态分区分配算法
首次适应算法
算法思想: 每次都从低地址开始查找,找到第一个能满足大小的空闲分区。
如何实现 : 空闲分区以地址递增的次序排列。每次分配内存时顺序查找空闲分区链(或空闲分区表),找到大小能满足要求的第一个空闲分区。
为进程 6 分配内存空间,从分区链首端查找,发现第二个分区满足。将进程6放入第二个分区中。并修改大小和起始位置。
最佳适应算法
算法思想:由 于动态分区分配是一种连续分配方式,为各进程分配的空间必须是连续的一整片区域。因此为了保证当“大进程”到来时能有连续的大片空问,可以尽可能多地留下大片的空闲区即,优先使用更小的空闲区。
如何实现:空闲分区按容量递增次序链接。每次分配内存时顺序查找空闲分区链(或空闲分区表),找到大小能满足要求的第一个空闲分区。
分配完之后,需要对分区链重新排序
缺点: 每次都选最小的分区进行分配,会留下越来越多的、很小的、难以利用的内存块。因此这种方法会产生很多的外部碎片
最坏适用算法
与最佳适用算法正好相反
又称 最大适应算法 (Largest Fit)
算法思想:为了解决最佳适应算法的问题–即留下太多难以利用的小碎片,可以在每次分配时优先使用最大的连续空闲区,这样分配后剩余的空闲区就不会太小,更方便使用。
如何实现:空闲分区按容量递减次序链接。每次分配内存时顺序查找空闲分区链(或空闲分区表),找到大小能满足要求的第一个空闲分区。
分配完 ,重新排序
缺点:每次都选最大的分区进行分配,!虽然可以让分配后留下的空闲区更大,更可用,但是这种方式会导致较大的连续空闲区被迅速用完。如果之后有“大进程”到达,就没有内存分区可用了
邻近适用算法
算法思想:首次适应算法每次都从链头开始查找的。这可能会导致低地址部分出现很多小的空闲分区,而每次分配查找时,都要经过这些分区,因此也增加了查找的开销。如果每次都从上次查找结束的位置开始检索,就能解决上述问题。
如何实现: 空闲分区以地址递增的顺序排列 (可排成一个循环链表)。每次分配内存时从上次杏找结束的位置开始查找空闲分区链(或空闲分区表),找到大小能满足要求的第一个空闲分区。
下次查找的位置会从 第二个分区查找。
总结
2.2.3 非连续分配管理方式
非连续分配: 为用户进程分配的可以是一些分散的内存空间。
2.2.3.1 基本分页存储管理
什么是分页存储?
页表 : 记录页框和页面的对应关系
为了能知道进程的每个页面在内存中存放的位置,操作系统要为每个进程建立一张页表
注:页表通常存在PCB
(进程控制块)中
第一个问题:
页号不占用空间,页号是隐藏的,可以计算出来。
注意:
页表记录的只是内存块号,而不是内存块的起始地址
J 号内存块的起始地址 = J * 内存块大小
第二个问题 :
在连续存储时,只需要将内存的起始地址+偏移地址即可。
总结
2.2.3.2 基本地址变换结构
用于实现逻辑地址到物理地址转换的一组硬件机构
基本地址变换机构可以借助进程的页表将逻辑地址转换为物理地址
通常会在系统中设置一个页表寄存器 (PTR),存放页表在内存中的起始地址F 和页表长度M。
进程未执行时,页表的始址 和 页表长度 放在进程控制块 (PCB) 中,当进程被调度时,操作系统内核会把它们放到页表寄存器中。
总结
2.2.3.3 具有快表的地址变换机构
快表,又称联想寄存器 (TLB,translation lookaside buffer ),是一种访问速度比内存快很多的高速缓存 (TLB不是内存!),用来存放最近访问的页表项的副本,可以加速地址换的速度与此对应,内存中的责表常称为慢表。
既然高速缓存速度要比内存快很多,为什么不把数据都放在缓存中呢?
其实也不难理解,存储速度越快成本也会比较高,价格比较贵。
在第一次访问页表项时,快表中并没有数据,因此会从内存中的页表(慢表)中查找,访问完,会复制到快表中。
当第二次访问页号为0的页面时,此时在快表中已经记录了页号0对应的内存块号,因此无需查询慢表。
引入快表后,地址的变换过程
1、CPU给出逻辑地址,由某个硬件算得页号、页内偏移量,将页号与快表中的所有页号进行比较。
2、如果找到匹配的页号,说明要访问的页表项在快表中有副本,则直接从中取出该页对应的内存块号,再将内存块号与页内偏移量拼接形成物理地址,最后,访问该物理地址对应的内存单元,因此若快表命中,则访问某个逻辑地址仅需一次访存即可。
3、如果没有找到匹配的页号,则需要访问内存中的页表,找到对应页表项,得到页面存放的内存块号,再将内存块号与页内偏移量拼接形成物理地址,最后,访问该物理地址对应的内存单元。因此,若快表未命中,则访问某个逻辑地址需要两次访存 (注意:在找到页表项后,应同时将其存入快表以便后面可能的再次访问。但若快表已满,则必须按照一定的算法对旧的页表项进行替换)
由于查询快表的速度比查询页表的速度快很多,因此只要快表命巾,就可以节省很多时间。
因为局部性原理,一般来说快表的命中率可以达到 90% 以上。
局部性原理
总结
2.2.3.4 俩级页表
单级页表存在的问题
问题一: 页表必须连续存放,因此当页表很大时,需要占用很多个连续的页框。
**问题二:**没有必要让整个页表常驻内存,因为进程在一段时间内可能只需要访问某几个特定的页面
解决第一个问题
在之前解决进程在内存中必须连续存储的问题时,是将进程地址空间分页,建立一张页表。
同样在解决这个问题时,可以将必须连续存放的页表再次分页。
另外,要为离散分配的页表在建立一张页表,称为页目录表,或称外层页表,或称顶层页表。
一个页面大小为4KB,页表项大小为4B,因此一个页面可以存储1024个页表项,就可以以 1024 进行分组,每1024个页表项为一组。
为了记录页表和内存号的关系,在建立一张表—— 页目录表,从这张表中可以清晰的看到页表存储在内存中的位置。
如何实现地址转换
解决第二个问题
可以在需要访问页面时才把页面调入内存(虚拟存储技术) 。可以在页表项中增加一个标志位,用于表示该页面是否已经调入内存
在后面会详细解释——虚拟存储技术
需要注意的细节
总结
2.2.3.5 基本分段存储管理
什么是分段?
分段的逻辑地址结构:
段号的位数决定了每个进程最多可以分几个段
段内地址位数决定了每个段的最大长度是多少
段表
问题:程序分多个段,各段离散地装入内存,为了保证程序能正常运行,就必须能从物理内存中找到各个逻辑段的存放位置。为此,需为每个进程建立一张段映射表,简称**“段表”**。
地址变换
分段、分页管理的对比
总结
2.2.3.6 段页式管理方式
分页、分段的优缺点分析
分段管理中产生的外部碎片也可以用“紧凑”来解决,只是需要付出较大的时间代价
段页式管理方式
段页式管理的逻辑地址结构
“分段”对用户是可见的,程序员编程时需要显式地给出段号、段内地址。而将各段“分页”对用户是不可见的。系统会根据段内地址自动划分页号和页内偏移量。因此段页式管理的地址结构是二维的
段表、页表
地址转换
总结
2.2.3 虚拟内存
传统存储管理方式的特征、缺点
局部性原理和特征
时间局部性: 如果执行了程序中的某条指令,那么不久后这条指令很有可能再次执行:如果某个数据被访问过,不久之后该数据很可能再次被访问。 (因为程序中存在大量的循环)
空间局部性:一旦程序访问了某个存储单元,在不久之后,其附近的存储单元也很有可能被访问。(因为很多数据在内存中都是连续存放的,并且程序的指令也是顺序地在内存中存放的)
虚拟内存有一下三个主要特征:
多次性: 无需在作业运行时一次性全部装入内存,而是允许被分成多次调入内存。
对换性: 在作业运行时无需一直常驻内存,而是允许在作业运行过程中,将作业换入、换出。
虚拟性: 从逻辑上扩充了内存的容量,使用户看到的内存容量,远大于实际的容量
如何实现虚拟内存技术
虚拟内存技术,允许一个作业分多次调入内存。如果采用连续分配方式,会不方便实现。因此,虚拟内存的实现需要建立在离散分配的内存管理方式基础上。
总结
2.2.3.1 请求分页存储管理
页表机制
缺页中断机构
如果内存中有空闲块的时候,根据页表将所缺页面装入该内存块。
如果内存中没有空闲块的时候,需要通过置换算法将一个页面块淘汰,并将新的页面状态内存块。
地址变换机构
请求分页地址变换过程:
2.2.3.2 页面置换算法
最佳置换算法 OPT
最佳置换算法 (OPT,Optima): 每次选择淘汰的页面将是以后永不使用,或者在最长时间内不再被访问的页面,这样可以保证最低的缺页率。
最佳置换算法可以保证最低的缺页率,但实际上,只有在进程执行的过程中才能知道接下来会访问到的是哪个页面。操作系统无法提前预判页面访问序列。因此,最佳置换算法是无法实现的。
先进先出置换算法 FIFO
先进先出置换算法(FIFO): 每次选择淘汰的页面是最早进入内存的页面
实现方法:把调入内存的页面根据调入的先后顺序排成一个队列,需要换出页面时选择队头页面即可队列的最大长度取决于系统为进程分配了多少个内存块。
最近最久未使用置换算法 LRU
最近最久未使用置换算法(LRU,least recently used): 每次淘的页面是最近最久未使用的页面
实现方法: 赋予每个页面对应的页表项中,用访问字段记录该页面自上次被访问以来所经历的时间t。当需要淘汰一个页面时,选择现有页面中t值最大的,即最近最久未使用的页面。
该算法的实现需要专门的硬什支持,虽然算法性能好,但是实现困难,开销大
时钟置换算法 CLOCK
最佳置换算法性能最好,但无法实现;先进先出置换算法实现简单,但算法性能差;最近最久未使用置换算法性能好,是最接近OPT算法性能的,但是实现起来需要专门的硬件支持,算法开销大。
时钟置换算法是一种性能和开销较均衡的算法,又称CLOCK算法,或最近未用算法 (NRU,NotRecently Used)
简单的CLOCK 算法实现方法: 为每个页面设置一个访问位,再将内存中的页面都通过链接指针链接成-个循环队列。当某页被访问时,其访问位置为1。当需要淘汰一个页面时,只需检查页的访问位。如果是0,就选择该页换出:如果是1,则将它置为0,暂不换出,继续检查下一个页面,若第一轮扫描中所有页面都是1,则将这些页面的访问位依次置为0后,再进行第二轮扫描(第二轮扫描中一定会有访问位为0的页面,因此简单的CLOCK 算法选择一个淘汰页面最多会经过两轮扫描)
改进型的时钟置换算法
简单的时钟置换算法仅考虑到一个页面最近是否被访问过。事实上,如果被淘汰的页面没有被修改过,就不需要执行VO操作写回外存。只有被淘汰的页面被修改过时,才需要写回外存。
因此,除了考虑一个页面最近有没有被访问过之外,操作系统还应考虑页面有没有被修改过。在其他条件都相同时,应优先淘汰没有修改过的页面,避免/O操作。这就是改进型的时钟置换算法的思想。修改位=0,表示页面没有被修改过;修改位=1,表示页面被修改过。为方便讨论,用**(访问位,修改位)** 的形式表示各页面状态。如(1,1) 表示一个页面近期被访问过且被修改过。
总结
2.2.3.3 页面分配策略
驻留集: 指请求分页存储管理中给进程分配的物理块的集合。
在采用了虚拟存储技术的系统中,驻留集大小·般小于进程的总大小。
若驻留集太小,会导致缺页频繁,系统要花大量的时间来处理缺页,实际用于进程推进的时间很少;驻留集太大,又会导致多道程序并发度下降,资源利用率降低。所以应该选择一个合适的驻留集大小。
固定分配: 操作系统为每个进程分配一组固定数目的物理块,在进程运行期间不再改变。即,驻留集大小不变
可变分配:先为每个进程分配·定数目的物理块,在进程运行期间,可根据情况做适当的增加或减少即,驻留集大小可变
局部置换: 发生缺贞时只能选进程自己的物理块进行置换。
全局置换: 可以将操作系统保留的空闲物理块分配给缺页进程,也可以将别的进程持有的物理块置换
调入页面时机
何处调入页面
系统拥有足够的对换区空间:页面的调入、调出都是在内存与对换区之间进行,这样可以保证页面的调入、调出速度很快。在进程运行前需将进程相关的数据从文件区复制到对换区。
系统缺少足够的对换区空间: 凡是不会被修改的数据都直接从文件区调入,由于这些页面不会被修改,因此换出时不必写回磁盘,下次需要时再从文件区调入即可。对于可能被修改的部分,换出时需写回磁盘对换区,下次需要时再从对换区调入。
UNIX 方式: 运行之前进程有关的数据全部放在文件区,故未使用过的页面,都可从文件区调入。若被使用过的页面需要换出,则写回对换区,下次需要时从对换区调入。
抖动/颠簸现象
工作集
三、内存映射文件
内存映射文件一一操作系统向上层程序员提供的功能(系统调用)
- 方便程序员访问文件数据
- 方便多个进程共享同一个文件
传统的文件访问方式:
- open系统调用–打开文件
- seek 系统调用一将读写指针移到某个位置
- read 系统调用–从读写指针所指位置读入若干数据(从磁盘读入内存)
- write 系统调用一一将内存中的指定数据,写回磁盘(根据读写指针确定要写回什么位置)
内存映射文件访问方式: