APP优化 —— MMAP内存映射

mmap

一种内存映射文件的方法

mmap将一个文件或者其它对象映射进内存。文件被映射到多个页上，如果文件的大小不是所有页的大小之和，最后一个页不被使用的空间将会清零。mmap在用户空间映射调用系统中作用很大。

头文件 <sys/mman.h>

函数原型

void* mmap(void* start,[size_t](https://baike.baidu.com/item/size_t/8101179?fromModule=lemma_inlink) length,int prot,int flags,int fd,off_t offset);

int [munmap](https://baike.baidu.com/item/munmap/4568227?fromModule=lemma_inlink)(void* start,size_t length);

映射条件

mmap()必须以PAGE_SIZE为单位进行映射，而内存也只能以页为单位进行映射，若要映射非PAGE_SIZE整数倍的地址范围，要先进行内存对齐，强行以PAGE_SIZE的倍数大小进行映射。

mmap基础概念

mmap是一种内存映射的方法，这一功能可以用在文件的处理上，即将一个文件或者其它对象映射到进程的地址空间，实现文件磁盘地址和进程虚拟地址空间中一段虚拟地址的一一对映关系。在编程时可以使某个磁盘文件的内容看起来像是内存中的一个数组。如果文件由记录组成，而这些记录又能够用结构体来描述的话，可以通过访问结构数组来更新文件的内容。

内存映射原理

mmap是一种内存映射文件的方法，它将一个文件映射到进程的地址空间中，实现文件磁盘地址和进程虚拟地址空间中一段虚拟地址的一一对映关系。

当磁盘地址和进程虚拟地址建立关系后，进程就可以采用指针的方式读写操作这一段内存，而系统会自动回写数据到磁盘上，即直接完成了对文件的操作而不必在调用read/write等系统调用函数。同样的如果磁盘中内容有修改，也会直接反映到用户空间其数据改变了。

所以通过mmap映射方式可以使不同进程间共享磁盘文件，其共享对象可为普通文件或匿名文件

映射内存的分配

mmap映射区域大小必须是物理页大小(page_size)的整倍数（在Linux中内存页通常是4k）。因为内存的最小粒度是页，而进程虚拟地址空间和内存的映射也是以页为单位。为了匹配内存的操作，mmap从磁盘到虚拟地址空间的映射也必须是页。

例如，有一个文件的大小是5K，mmap函数从文件的起始位置映射5K到虚拟内存中，由于内存物理页是4K，虽然映射的文件只有5K，但是实际上映射到内存区域的内存是8K，以便满足物理页大小的整数倍。映射后对5~8K的内存区域用零填充，对这部分的操作不会报错也不会写入到原文件中。

传统I/O读写流程

用户进程发起文件数据的读请求
内核通过查找进程文件符表，定位内核已打开文件集上的文件信息，从而找到文件inode
inode在address_space上查找要请求的文件页是否已缓存在页缓存中
如已在缓存页中，则直接返回这片文件页上的内容
如不在缓存页上，就会引发缺页中断。当发生缺页中断时，内核则调用nopage函数把所缺的页从磁盘装入到内存内核中及Page Cache中。接着再发起读页面过程，从而将数据从页缓存中拷贝到用户空间中

特点：

常规文件操作为了读写效率和保护磁盘，使用了页缓存机制页缓存处在内核空间中，不能直接被用户进程直接寻址，需要将数据从页缓存中拷贝到主内存

mmap读写流程

用户进程调用进程内存映射函数库mmap，当前进程在线程虚拟地址空间中寻找一段空闲的满足要求的虚拟地址。

在当前进程的虚拟地址空间中，寻找一段满足要求的虚拟地址
为此虚拟地址分配一个虚拟内存区域，vm_area_struct结构
初始化该虚拟内存区域
插入该虚拟内存区域到进程的虚拟地址区域链表中

内核同样收到请求后会调用内核的mmap函数，实现地址映射关系配对，即进程虚拟地址空间<< >>文件磁盘地址关系映射，该映射与内核内存没有任何关联

进程调用mmap函数，内核同样会得到消息，最终内核调用自身的系统调用函数mmap。(两mmap函数不一样)
内核mmap函数通过虚拟文件系统定位到文件磁盘物理地址。
通过remap_pfn_range()建立页表，实现了文件地址和虚拟地址区域的映射关系。

进程的读/写操作访问虚拟地址空间这一段地址，如果读写操作该改变了虚拟地址空间内容，则一段时间后系统会自动回写脏页面到对应的磁盘地址中，即完成了写入文件的操作。

修改的脏页面不会立即更新，而是有延时，可以通过msync()来强制同步。通过此法能将所写的内容立即保存到磁盘中

特点：

用户空间与内核空间磁盘块通过映射直接交互，不在间接通过页缓存。
文件读写操作跨过了页缓存，数据拷贝次数减少为只需一次
借助硬盘的大空间，对于大规模数据的读写避免对页内存空间大小的依赖，提高操作效率。

mmap数据读写的性能提升就在于对数据的读写拷贝次数，mmap只需要一次系统调用（一次拷贝），后续操作不需要系统调用。并且访问的数据不需要在page cache和用户缓冲区之间拷贝。

mmap读写优势

对文件的读取操作跨过了页缓存，减少了数据的拷贝次数，用内存读写取代I/O读写，提高了文件读取效率。
实现了用户空间和内核空间的高效交互方式。两空间的各自修改操作可以直接反映在映射的区域内，从而被对方空间及时捕捉。
提供进程间共享内存及相互通信的方式。不管是父子进程还是无亲缘关系的进程，都可以将自身用户空间映射到同一个文件或匿名映射到同一片区域。从而通过各自对映射区域的改动，达到进程间通信和进程间共享的目的。

如果进程A和进程B都映射了区域C，当A第一次读取C时通过缺页从磁盘复制文件页到内存中；但当B再读C的相同页面时，虽然也会产生缺页异常，但是不再需要从磁盘中复制文件过来，而可直接使用已经保存在内存中的文件数据。

可用于实现高效的大规模数据传输。内存空间不足，是制约大数据操作的一个方面，解决方案往往是借助硬盘空间协助操作，补充内存的不足。但是进一步会造成大量的文件I/O操作，极大影响效率。但凡是需要用磁盘空间代替内存的时候，mmap都可以发挥其功效。

mmap的使用

mmap的函数位于内核的<sys/mman.h> 头文件中，与其相关的几个函数也列出如下：

// 用户进程调用，    函数用于将文件映射到内存
void* mmap(void addr, size_t length, int prot, int flags, int fd, off_t offset);

// 函数用于取消映射，进程在映射空间对共享内容的改变并不直接写回到磁盘文件中，往往在调用munmap() 后才执行该操作。
int munmap(void *addr, size_t length);
// 函数用于实现磁盘文件内容与共享内存区中的内容一致，即同步操作。
// 除了调用munmap取消映射，我们也可以调用msync()实现磁盘上文件内容与内核内存的内容一致
int msync(void * addr, size_t len, int flags);