6.s081/6.1810（Fall 2022）Lab5: Copy-on-Write Fork for xv6

news2025/1/18 20:09:06

前言

本来往年这里还有个Lazy Allocation的，今年不知道为啥直接给跳过去了。.

其他篇章

环境搭建
Lab1: Utilities
Lab2: System calls
Lab3: Page tables
Lab4: Traps
Lab5: Copy-on-Write Fork for xv6

参考链接

官网链接
xv6手册链接，这个挺重要的，建议做lab之前最好读一读。
xv6手册中文版，这是几位先辈们的辛勤奉献来的呀！再习惯英文文档阅读我还是更喜欢中文一点，开源无敌！
个人代码仓库
官方文档

1. 简单分析

写时拷贝（Copy On Write）技术之前在15445也写过了，这里再简单介绍一下。我们知道，fork的过程有一条就是子进程会拷贝父进程的内存空间，但是这个拷贝是有一定开销的，尤其是在需要拷贝的东西多的时候更明显。但是这就引出了一个问题——我们真的需要去拷贝吗？很显然，从逻辑上来看，只有父进程或子进程对内存空间有修改时，这种拷贝才是有意义的，否则只是徒增开销而已。依此便提出了COW思想——我们将拷贝的时机推迟到某个进程修改内存的时候，这样就可以优化掉很多无必要的开销。

落实到实现策略上，Lab文档为我们描述了一种方案——平时fork我们只需要为父子进程添加一个指向原始页面的指针即可，这个页面将被标记为只读。这样当父进程或子进程尝试写入页面时，就会触发page fault（这应该算异常吧），这个时候再由内核去重新分配内存空间，为进程提供一个可写的页面，处理结束，至此我们就基本实现了这个COW。

不过这么写产生了一个问题，即是内存释放，本来我们页面的释放是随着进程释放同步进行的，但是上面描述的策略中的进程不再持有真实的内存页面，而仅仅是一个引用，为了处理释放，我们可以采用引用计数的方法——我们可以在内存页的元信息（meta data）中单独保存一个值用于计数，当我们的进程释放时，递减引用计数，然后当计数为0时再调用内存的释放。

需要注意的是，这个过程描述起来非常简单，在xv6上的实现也不太困难，但是在实际的大型内核中总会有各种各样的细节问题，Lab提供了一个探讨COW存在的问题的链接，可以参考一下。
在这里插入图片描述
根据上面的分析，我们可以将这个Lab分为三个部分做：

  1. 在fork时造成内存复制的假象
  2. 处理page fault，在写时真实复制内存
  3. 使用引用计数管理内存释放

下面我们就来实现吧！

2. 在fork时实现页面复用而非复制

根据我们之前lab的经验以及lab中的hint，fork中执行页面复制的操作是在vm.c下的uvmcopy完成的：

int
uvmcopy(pagetable_t old, pagetable_t new, uint64 sz)
{
  pte_t *pte;
  uint64 pa, i;
  uint flags;
  char *mem;

  for(i = 0; i < sz; i += PGSIZE){
    // 检查页表合法性
    if((pte = walk(old, i, 0)) == 0)
      panic("uvmcopy: pte should exist");
    if((*pte & PTE_V) == 0)
      panic("uvmcopy: page not present");

    pa = PTE2PA(*pte);
    flags = PTE_FLAGS(*pte);
    if((mem = kalloc()) == 0) // 没有空闲内存
      goto err;
    memmove(mem, (char*)pa, PGSIZE);  // 拷贝内存
    if(mappages(new, i, PGSIZE, (uint64)mem, flags) != 0){
      kfree(mem);
      goto err;
    }
  }
  return 0;

 err:
  uvmunmap(new, 0, i / PGSIZE, 1);
  return -1;
}

可以看到，整体的流程是先分配一个mem，然后将父进程的pa拷贝到mem中去，然后把这个mem映射到子进程上，因此我们可以直接把pa映射过去即可：

int
uvmcopy(pagetable_t old, pagetable_t new, uint64 sz)
{
  pte_t *pte;
  uint64 pa, i;
  uint flags;

  for(i = 0; i < sz; i += PGSIZE){
    // 检查页表合法性
    if((pte = walk(old, i, 0)) == 0)
      panic("uvmcopy: pte should exist");
    if((*pte & PTE_V) == 0)
      panic("uvmcopy: page not present");

    *pte &= ~PTE_W; // 取消写权限
    pa = PTE2PA(*pte);
    flags = PTE_FLAGS(*pte);
    if(mappages(new, i, PGSIZE, pa, flags) != 0){
      goto err;
    }
  }
  return 0;

 err:
  uvmunmap(new, 0, i / PGSIZE, 1);
  return -1;
}

3. 处理page fault

触发page fault就会trap，而trap我们知道是在trap.c下的usertrap完成，而处理fault需要判断fault的类型，这在xv6里面是一个选择结构，通过r_scause()的值来判断，在去年其实有一个Lazy Allocation的Lab的，里面有告诉我们r_scause()值为13或15为页面错误，其中13为读错误，15为写错误，因此此处我们只需要处理值为15时的情况：

  else if (r_scause() == 15) {
    uint64 stval = r_stval();
    if (is_cow_fault(p->pagetable, stval)) {
      if (handle_cow_fault(p->pagetable, stval) < 0) {
        printf("usertrap(): alloc failed!\n"); 
        p->killed = 1;   // 当内存分配完，直接kill
      }
    }
    else {
      goto unexpected;
    }
  }
  else {
unexpected:
    printf("usertrap(): unexpected scause %p pid=%d\n", r_scause(), p->pid);
    printf("            sepc=%p stval=%p\n", r_sepc(), r_stval());
    setkilled(p);
  }

框架有了，我们怎么来判断一个fault是不是cow导致的呢？我们可以在PTE中用一位标记一下：
在这里插入图片描述
查看参考手册，我们可以看到8-9位是保留位，因此我们可以把第八位用于保存COW：
在这里插入图片描述
并在uvmcopy处置位

    *pte |=  PTE_C; // 设置写时复制标志

然后我们在vm.c实现上面两个函数：

int 
is_cow_fault(pagetable_t pagetable, uint64 va)
{
  if (va >= MAXVA)
    return 0;
  pte_t* pte = walk(pagetable, PGROUNDDOWN(va), 0);
  return pte && (*pte & (PTE_V | PTE_U | PTE_C));
}

int
handle_cow_fault(pagetable_t pagetable, uint64 va)
{
  va = PGROUNDDOWN(va);
  pte_t* pte = walk(pagetable, va, 0);
  if (!pte) {
    return -1;
  }
  uint64 pa = PTE2PA(*pte);
  uint flags = (PTE_FLAGS(*pte) & ~PTE_C) | PTE_W;  // 取消写时复制标志，设置写权限

  char* mem = kalloc();
  if (!mem) {
    return -1;
  }
  memmove(mem, (char*)pa, PGSIZE);
  uvmunmap(pagetable, va, 1, 1);  // 取消映射

  if (mappages(pagetable, va, PGSIZE, (uint64)mem, flags) != 0) {
    kfree(mem);
    return -1;
  }
  return 0;
}

并在defs.h创建声明

int             is_cow_fault(pagetable_t pagetable, uint64 va);
int             handle_cow_fault(pagetable_t pagetable, uint64 va);

4. 引用计数管理内存释放

首先思考一下我们的引用计数怎么实现，hint提示我们可以利用一个数组，直接映射对应页的引用计数，于是我们在kalloc.c中：

// 引用计数的锁和保存值
struct spinlock cow_ref_lock;
int cow_cnt[(PHYSTOP - KERNBASE) / PGSIZE];
#define PA2IDX(pa) (((uint64)(pa) - KERNBASE) / PGSIZE)

初始化锁：

void
kinit()
{
  initlock(&kmem.lock, "kmem");
  initlock(&cow_ref_lock, "cow_ref_lock");  // 初始化引用计数的锁
  freerange(end, (void*)PHYSTOP);
}

然后定义自增操作与自减操作：

void
inc_ref(void* pa) // 自增引用计数
{
  acquire(&cow_ref_lock);
  cow_cnt[PA2IDX(pa)]++;
  release(&cow_ref_lock);
}

void
dec_ref(void* pa) // 自减引用计数
{
  acquire(&cow_ref_lock);
  cow_cnt[PA2IDX(pa)]--;
  release(&cow_ref_lock);
}

完善alloc与free：

void
kfree(void *pa)
{
  dec_ref(r);
  if (cow_cnt[PA2IDX(r)] > 0) // 只有引用计数为1时才释放
    return;

  struct run *r;

  if(((uint64)pa % PGSIZE) != 0 || (char*)pa < end || (uint64)pa >= PHYSTOP)
    panic("kfree");

  // Fill with junk to catch dangling refs.
  memset(pa, 1, PGSIZE);

  r = (struct run*)pa;

  acquire(&kmem.lock);
  r->next = kmem.freelist;
  kmem.freelist = r;
  release(&kmem.lock);
}

// Allocate one 4096-byte page of physical memory.
// Returns a pointer that the kernel can use.
// Returns 0 if the memory cannot be allocated.
void *
kalloc(void)
{
  struct run *r;

  acquire(&kmem.lock);
  r = kmem.freelist;
  if(r)
    kmem.freelist = r->next;
  release(&kmem.lock);

  if(r)
  {
    cow_cnt[PA2IDX(r)] = 1;      // 将引用计数置1
    memset((char*)r, 5, PGSIZE); // fill with junk
  }
  return (void*)r;
}

然后我们思考一下什么时候引用计数需要增加呢？那应该是fork的时候，因此我们需要暴露出inc_ref（略）然后在uvmcopy中调用它：

int
uvmcopy(pagetable_t old, pagetable_t new, uint64 sz)
{
  pte_t *pte;
  uint64 pa, i;
  uint flags;

  for(i = 0; i < sz; i += PGSIZE){
    // 检查页表合法性
    if((pte = walk(old, i, 0)) == 0)
      panic("uvmcopy: pte should exist");
    if((*pte & PTE_V) == 0)
      panic("uvmcopy: page not present");

    if (*pte & PTE_W) // 对于本身可写的页才去取消写权限
    {
      *pte &= ~PTE_W; // 取消写权限
      *pte |= PTE_C; // 设置写时复制标志
    }
    pa = PTE2PA(*pte);
    flags = PTE_FLAGS(*pte);
    if(mappages(new, i, PGSIZE, pa, flags) != 0){
      goto err;
    }
    inc_ref((void*)pa);
  }
  return 0;

 err:
  uvmunmap(new, 0, i / PGSIZE, 1);
  return -1;
}

最后还有个问题，就是对于不会触发trap的页操作，这里没有涉及到，根据提示，我们可以找到vm.c下的copyout，这个函数是通过软件访问页表，我们就仿照trap里为它新增一段逻辑：

int
copyout(pagetable_t pagetable, uint64 dstva, char *src, uint64 len)
{
  uint64 n, va0, pa0;

  while(len > 0){
    va0 = PGROUNDDOWN(dstva);
    if (is_cow_fault(p->pagetable, stval)) {
      if (handle_cow_fault(p->pagetable, stval) < 0) {
        printf("copyout(): alloc failed!\n");
        return -1;
      }
    }
    pa0 = walkaddr(pagetable, va0);
    if(pa0 == 0)
      return -1;
    n = PGSIZE - (dstva - va0);
    if(n > len)
      n = len;
    memmove((void *)(pa0 + (dstva - va0)), src, n);

    len -= n;
    src += n;
    dstva = va0 + PGSIZE;
  }
  return 0;
}

5. 测试

最后运行make grade评分即可，这里说一下我遇到过的错：

  • 终端刚开回车两下就出现 panic: uvmunmap: not aligned :
    原因是va没有对齐，在单独写的那两个函数里对vaa使用va = PGROUNDDOWN(va);即可；
  • Test file测试过不了:
    原因是copyout没有改，改了就行；

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/843271.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

TeeChart NET for MAUI Crack

TeeChart NET for MAUI Crack

TeeChart NET for MAUI Crack 跨平台图表-移动或桌面应用程序的核心图表代码相同。 图表集合-60多种图表类型和50多种财务和统计指标。 图表类型 60多种2D和3D图表类型以及多种组合&#xff0c;包括&#xff1a; 标准&#xff1a;线条(条形)、条形、区域、饼图、快线、点(散点…
阅读更多...
pycharm打开terminal报错

pycharm打开terminal报错

Pycharm打开终端报错如何解决&#xff1f;估计是终端启动conda不顺利&#xff0c;需要重新设置路径。参考以下文章的做法即可。 Windows下Pycharm中Terminal无法进入conda环境和Python Console 不能使用 给pycharm中Terminal 添加新的shell&#xff0c;才可以使用conda环境 W…
阅读更多...
【果树农药喷洒机器人】Part4：果树冠层图像实例分割模型优化

【果树农药喷洒机器人】Part4：果树冠层图像实例分割模型优化

文章目录 一、引言二、数据集制作2.1图像采集2.2图像标注与增强 三、构建柑橘树冠实例分割模型结构3.1优化特征提取网络3.2U-Net替换FCN 一、引言 为准确获取柑橘树冠的生长信息&#xff0c;实现果树喷药机器人的精准喷施&#xff0c;对处于多种生长阶段的柑橘树冠进行图像分割…
阅读更多...
职责链模式（C++）

职责链模式（C++）

定义 使多个对象都有机会处理请求&#xff0c;从而避免请求的发送者和接收者之间的耦合关系。将这些对象连成一条链&#xff0c;并沿着这条链传递请求&#xff0c;直到有一个对象处理它为止。 应用场景 在软件构建过程中&#xff0c;一个请求可能被多个对象处理&#xff0c;…
阅读更多...
防火墙第二次作业

防火墙第二次作业

一、什么是防火墙&#xff1f; 百度给出个一个定义&#xff1a;防火墙技术是通过有机结合各类用于安全管理与筛选的软件和硬件设备&#xff0c;帮助计算机网络于其内、外网之间构建一道相对隔绝的保护屏障&#xff0c;以保护用户资料与信息安全性的一种技术。 通俗的来讲&#…
阅读更多...
wordpress 打开缓慢处理

wordpress 打开缓慢处理

gravatar.com 头像网站被墙 追踪发现请求头像时长为21秒 解决方案一 不推荐&#xff0c;容易失效&#xff0c;网址要是要稳定为主&#xff0c;宁愿头像显示异常&#xff0c;也不能网址打不开 网上大部分搜索到的替换的CDN网址都过期了&#xff0c;例如&#xff1a;gravatar.du…
阅读更多...
2023眼瞅着过半了，外包到底有没有前途？进来看看

2023眼瞅着过半了，外包到底有没有前途？进来看看

讲一下我的故事和想法&#xff0c;你们自己寻思一下 我25岁&#xff0c;中级测试&#xff0c;外包&#xff0c;薪资13.5k&#xff0c;人在上海。 内卷什么的就不说了&#xff0c;而且人在外包那些高级精英年薪大几十的咱也接触不到&#xff0c;就说说外包吧。 假设以我为界限…
阅读更多...
SpringCloud整体架构概览

SpringCloud整体架构概览

什么是SpringCloud 目标 协调任何服务&#xff0c;简化分布式系统开发。 简介 构建分布式系统不应该是复杂的&#xff0c;SpringCloud对常见的分布式系统模式提供了简单易用的编程模型&#xff0c;帮助开发者构建弹性、可靠、协调的应用程序。SpringCloud是在SpringBoot的基…
阅读更多...
GPU显存泄露/显存溢出/显存爆炸 解决方案

GPU显存泄露/显存溢出/显存爆炸 解决方案

问题描述 最近在跑一个基于pytorch的强化学习代码&#xff0c;在训练过程中显存增大非常明显&#xff0c;迭代不到200个iteration就可以占据70G的显存。由于博主是第一次在pytorch实现的强化学习算法上加入自己的实现&#xff0c;很没有应对经验&#xff0c;现将调试过程记录下…
阅读更多...
Docker制作SpringBoot镜像

Docker制作SpringBoot镜像

Dcokerfile目录 编写Dockerfile FROM openjdk:8 #发布到网上时只会把jar包和Dockerfile发布上去RUN mkdir -p /opt/javaCOPY app.jar /opt/java/app.jar #地址映射 #CMD ["--server.port8080"] #对外暴露端口(可以任意修改) EXPOSE 15009 #执行命令 #ENTRYPOINT [&q…
阅读更多...
linux系统为什么需要mount

linux系统为什么需要mount

mount 命令用来挂载文件系。 根据百度百科&#xff1a;mount是Linux下的一个命令&#xff0c;它可以将分区挂接到Linux的一个文件夹下&#xff0c;从而将分区和该目录联系起来&#xff0c;因此我们只要访问这个文件夹&#xff0c;就相当于访问该分区了。 比如我在NAND FLASH上…
阅读更多...
微信小程序开发【从0到1~入门篇】2023.08

微信小程序开发【从0到1~入门篇】2023.08

一个小程序主体部分由三个文件组成&#xff0c;必须放在项目的根目录&#xff0c;如下&#xff1a; 文件必须作用app.js是小程序逻辑app.json是小程序公告配置app.wxss否小程序公告样式表 3. 小程序项目结构 一个小程序页面由四个文件组成&#xff0c;分别是&#xff1a; 文…
阅读更多...
FL Studio Producer Edition 21 v21.0.3 Build 3517 Windows/mac官方中文版

FL Studio Producer Edition 21 v21.0.3 Build 3517 Windows/mac官方中文版

FL Studio Producer Edition 21 v21.0.3 Build 3517 Windows FL Studio Producer Edition 21 v21.0.3 Build 3517 Windows/mac官方中文版是一个完整的软件音乐制作环境或数字音频工作站&#xff08;DAW&#xff09;。它代表了 25 多年的创新发展&#xff0c;将您创作、编曲、录…
阅读更多...
Spring Boot通过切面实现方法耗时情况

Spring Boot通过切面实现方法耗时情况

Spring Boot通过切面实现方法耗时情况 依赖 <dependency><groupId>org.aspectj</groupId><artifactId>aspectjweaver</artifactId><version>1.9.9.1</version></dependency>自定义注解 package com.geekmice.springbootself…
阅读更多...
【广州华锐视点】海上石油钻井VR在线实训平台

【广州华锐视点】海上石油钻井VR在线实训平台

随着科技的不断发展&#xff0c;VR元宇宙平台已经成为了越来越多领域的培训工具。在海上石油钻井实训中&#xff0c;VR元宇宙平台也能够发挥重要的作用&#xff0c;为学员提供更加真实、直观的培训体验。 首先&#xff0c;VR元宇宙平台可以模拟真实的海上钻井作业环境。通过VR眼…
阅读更多...
项目出bug,找不到bug,如何拉回之前的版本

项目出bug,找不到bug,如何拉回之前的版本

1.用gitee如何拉取代码 本文为转载于「闪耀太阳a」的原创文章原文链接&#xff1a;https://blog.csdn.net/Gufang617/article/details/119929145 怎么从gitee上拉取代码 1.首先找到gitee上想要拉取得代码URL地址 点击复制这里的https地址 1 ps:&#xff08;另外一种方法&…
阅读更多...
C++/Qt读写ini文件

C++/Qt读写ini文件

今天介绍C/Qt读写ini文件&#xff0c;ini文件一般是作为配置文件来使用&#xff0c;比如一些程序的一些默认参数会写在一个ini文件中&#xff0c;程序运行时会进行对应的参数读取&#xff0c;详细可以查看百度ini文件的介绍。https://baike.baidu.com/item/ini%E6%96%87%E4%BB%…
阅读更多...
Linux命令200例：sed对文本进行修改、替换和删除等操作的强大工具（常用）

Linux命令200例：sed对文本进行修改、替换和删除等操作的强大工具（常用）

&#x1f3c6;作者简介&#xff0c;黑夜开发者&#xff0c;全栈领域新星创作者✌。CSDN专家博主&#xff0c;阿里云社区专家博主&#xff0c;2023年6月csdn上海赛道top4。 &#x1f3c6;数年电商行业从业经验&#xff0c;历任核心研发工程师&#xff0c;项目技术负责人。 &…
阅读更多...
Framework才是Android 开发的热门技术~

Framework才是Android 开发的热门技术~

相信大家都有感觉到今年的市场竞争的激烈&#xff0c;投出简历并不像往年一样立马就有回应&#xff0c;大多是这种情况&#xff1a;投出简历没有停歇&#xff0c;状态却是70%未读&#xff0c;30%已读。 这种情况并不是说市场落寞了&#xff0c;不招人了&#xff0c;而是经过了…
阅读更多...
Windows下调试UEFI程序：Visual Studio调试

Windows下调试UEFI程序：Visual Studio调试

以edk2\MdeModulePkg\Application\HelloWorld这个项目作为调试目标。 1. 使用VS2017建立Makefile工程 VS2017, 新建 project&#xff0c;取名X64dbg_vs。 Visual C > Other > Makefile Project, 注意项目路径为HelloWord程序路径。 随便填写config中的字符串&#xff…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023