03_008内存映射原理_虚拟内存区域vm_area_struct详解,和mmap系统钓调用完全分析

前言

上一个记录中的虚拟地址里的虚拟内存区域没有说的很完全
这次补充一下同时记录一些物理地址空间内存映射原理最后直接通过进程使用函数完成虚拟空间到物理空间的映射

物理地址空间

物理地址是处理器在系统总线上看到的地址。使用RISC的处理器通常只实现一个物理地址空间,外围设备和物理内存使用统一的物理地址空间。有些处理器架构把分配给外围设备的物理地址区域称为设备内存。
处理器通过外围设备控制器的寄存器访问外围设备，寄存器分为控制寄存器，状态寄存器和数据寄存器三大类。
外围设备的寄存器通常被连续地编址，处理器对外围设备寄存编址方式分为两种: I/O映射方式(I/O-mapped) ，内存映射方式(memory-mapped).
举个例子
Io映射x86上给io专门分配了空间访问要啥in out指令之类的
内存映射是使用risc 实现一个物理地址空间外围设备和物理内存使用统一的物理地址空间
处理器可以像访问一个内存单元这样一样访问外围设备不需要提供专门的io指令
进程这些程序只能通过虚拟地址访问外设所以内核需要提供一些接口把这些外围设备的物理地址映射到虚拟地址空间中 ----> ioremaap
感觉是这个样子
在这里插入图片描述
ARM64架构分为两种内存类型:
正常内存(Normal Memory) :包括物理内存和只读存在器(ROM) ;
设备内存(Device Memory) :指分配给外围设备寄存器的物理地址区域;
当把这两种内存都映射到虚拟空间的时候需要用 vm_area_struct 来描述
应用程序只能通过虚拟地址访问外设寄存器，内核提供API函数来把外设寄存器的物理地址映射
到虚拟地址空间。

内存映射原理

下面这一段简单描述
创建内存映射时，在进程的用户虚拟地址空间中分配一个虚拟内存区域 vm_area_struct 。
内核采用延迟分配物理内存的策略,在进程第一-次访问虚拟页的时候，产生缺页异常。如果是文件映射,那么分配物理页，把文件指定区间的数据读到物理页中，然后在页表中把虚拟页映射到物理页。
如果是匿名映射，就分配物理页,然后在页表中把虚拟页映射到物理页。(就像映射iic的控制器地址)

下面这一段具体一点描述有点绕 ,哪天被绕晕了没事下面还有实例
进程启动后在虚拟地址空间给映射创建映射区先在用户空间调用mmp 在这个进程的虚拟地址空间中找一段空闲满足要求的连续虚拟地址作为内存虚拟映射区对这个区域初始化插入这个进程的虚拟区域链表vm_area_struct
比如进程在读写这块虚拟地址去查询这个页表发现这一段内存并不在物理页上因为虽然建立了映射关系但是还没有把这个文件从磁盘中移到内存当中所以这次就发生了缺页异常中断内存就请求磁盘调度到这个页面

调页过程: 先在交换缓存空间 switch chache当中进行查找如果没有就通过not_page()这个函数把这个缺页从磁盘调入内存之后进程就对它进行读写操作如果在读写操作中改变页面内容了一段时间后系统会自动回写一些脏页面到磁盘中
后面继续讲解比如修改后的脏页面不会立刻更新到文件当中我们可以调用ms_sync()强制进行回写

vm_area_struct结构体分析

对一个vm_area区域进行描述有成员标志位用来表示该虚拟区域是否能可读可写是否支持共享
有file_operation成员用来表示对这个区域的操作函数

struct vm_ area_ struct {

//这两个成员分别用来保存该虚拟内存空间的首地址和末地址后第--个字节的地址。
unsigned long vm_ start;
unsigned long vm_ end;

struct vm_ area_ struct *vm_ next, *vm_ prev;
//^分别VMA链表的前后成员连接操作
//如果采用链表组织化，会影响到它搜索速度问题，解决此问题采用红黑树(每个进程结构体mm_struct中都
//创建一棵红黑树，将VMA作为一个节点加入到红黑树中，这样可以提升搜索速度)
struct rb_ node vm_ _rb;
/*
Largest free memory gap in bytes to the left of this VMA.
Either between this VMA and vma->vm_ prev, or between
one of the
x VMAs below us in the VMA rbtree and its ->vm_ prev. This helps
x get_ unmapped_ area find a free area of the right size.
unsigned long rb_ subtree_ gap;
/* Second cache line starts here. */
struct mm_ struct *vm_ mm;
//指向内存描述符，即虚拟内存区域所属的用户虚拟地址空间
pgprot_ t Vm_ page_ prot; 
保护位，即访问权限
/*标志
#define VM_ READ
0x00000001
#define VM_ WRITE
0x00000002
#define VM_ EXEC
0x00000004
#define VM_ _SHARED 00000008 */
unsigned long Vm_ flags;
/*上面的宏为了支持查询一个文件区间被映射到哪些虚拟内存区域，把--个文件映射到的所有虚拟内存区域加入该文件地地址空间结构
address_ space的成员i_ _mmap指 向的区域树*/
struct {
    struct rb_ node rb;
    unsigned long rb_ subtree_ last;
    } shared;

/*把虚拟内存区域关联的所有anon__vma实例串联起来，一个虚拟内存区域会关联到父进程的anon__vma实例和自己的anon__vma实例*/
struct list_ head anon_ vma_ chain;
/*指向一个anon__vma实例，结构anon__vma用来组织匿名页被映射到的所有的虚拟地址空间*/
struct anon_ vma *anon vma; /* Serialized by page_ table_ lock 
/*
虚拟内存操作集合  fileoperation下面的各种操作函数
struct vm_ operations_ struct{
void (*open) (struct vm_ area_ struct *area); // 在创建虚拟内存区域时调用open方法
void (*close) (struct vm_ area_ struct *area); //在删除虛拟内存区域时调用close方法
int (*mremap) (struct vm_ area_ struct*area); //使用系统调用mremap移动虚拟内存区域时调用mremap方法
int (*fault) (struct vm_ fault *vmf); //访问文件映射的虛拟页时，如果没有映射到物理页，生成缺页异常，
异常处理程序调用fault就去来把文件的数据读到文件页缓存当中
. //与fault类似， 区别是huge_ fault方法针对使用透明巨型页的文件映射
int (*huge_ fault) (struct vm_ fault *vmf, enum page_ entry_ size pe_ size) ;
读文件映射的虚拟页时，如果没有映射到物理页，生成缺页异常，异常处理程序除了读入正在访问的文件页，
还会预读后续的文件页，调用map_ pages方法在文件的页缓存中分配物理页
void (*map_ pages) (struct vm_ fault *vmf,
pgoff_ _t start_ pgoff, pgoff_ t end_ pgoff);
//第一次写私有的文件映射时，生成页错误异常，异常处理程序执行写时复制，
调用page_ mkwrite 方法以通知文件系统页即将变成可写，以便文件系统检查是否允许写，或者等待页进入合适的状态。
int (*page_ mkwrite) (struct vm_ fault *vmf) ; .
*/
const struct Vm_ operations_ struct *vm_ ops;
/* Information about our backing store: */
unsigned long vm_ pgoff;
//文件偏移，单位是页
struct file * vm_ file;
//文件，如果是私有的匿名映射，该成员是空指针。
void * Vm_ private_ data;
//指向内存区的私有数据
}

系统调用实战

先分清c库提供的mmap()函数是在应用层使用的
内核层是linux内核提供的mmap()函数不要搞混了

函数介绍 c库mmap

1、mmap0----创建内存映射
#include <sys/mman.h>
void *mmap(void *addr，size_ t length, int prot, int flags, int fd, off t offset);
为什么要使用mmap映射呢直接读写文件不香吗???
1.系统调用mmap():进程创建匿名的内存映射，把内存的物理页映射到进程的虚拟地址空间。
2.进程把文件映射到进程的虚拟地址空间，可以像访问内存一样访问文件,不需要调用系统调用read()/write()访问文件,
从而避免用户模式和内核模式之间的切换，提高读写文件速度。
3.两个进程针对同一个文件创建共享的内存映射,实现共享内存。

代码

进程1 映射磁盘的文件从物理空间到虚拟空间给里面写入一堆结构体people
过15秒再读一下这个文件

#include <sys/mman.h>
#include <sys/types.h>
#include <fcntl.h>
#include <string.h>
#include <stdio.h>
#include <unistd.h>
#include <errno.h>

typedef struct 
{
    /* data */
    char name[4];
    int age;
}people;


void main(int argc,char**argv)
{
    int fd,i;
    people *p_map;
    char temp;
    fd=open(argv[1],O_CREAT|O_RDWR|O_TRUNC,00777);

    lseek(fd,sizeof(people)*5-1,SEEK_SET);
    write(fd,"",1);

    p_map=(people*)mmap(NULL,sizeof(people)*10,PROT_READ|PROT_WRITE,MAP_SHARED,fd,0);
    if(p_map==(void*)-1)
    {
        fprintf(stderr,"mmap : %s \n",strerror(errno));
        return ;
    }
    close(fd);

    temp='A';
    for(i=0;i<10;i++)
    {
        temp=temp+1;
        (*(p_map+i)).name[1]='\0';
        memcpy((*(p_map+i)).name,&temp,1);
        (*(p_map+i)).age=30+i;
    }

    printf("Initialize.\n");

    sleep(15);

    munmap(p_map,sizeof(people)*10);

    printf("UMA OK.\n");

}
进程2 也映射相同的物理地址到进程2的虚拟地址空间 修改这个空间的值 然后ummmap 再退出

```c
#include <sys/mman.h>
#include <sys/types.h>
#include <fcntl.h>
#include <string.h>
#include <stdio.h>
#include <unistd.h>
#include <errno.h>

typedef struct 
{
    /* data */
    char name[4];
    int age;
}people;

void main(int argc,char**argv)
{
    int fd,i;
    people *p_map;

    fd=open(argv[1],O_CREAT|O_RDWR,00777);
    p_map=(people*)mmap(NULL,sizeof(people)*10,PROT_READ|PROT_WRITE,MAP_SHARED,fd,0);
    if(p_map==(void*)-1)
    {
        fprintf(stderr,"mmap : %s \n",strerror(errno));
        return ;
    }

    for(i=0;i<10;i++)
    {
        printf("name:%s age:%d\n",(*(p_map+i)).name,(*(p_map+i)).age);
    }

    munmap(p_map,sizeof(people)*10);   

}