文件管理

文件的属性

文件所包含的属性：

1. 文件名：由创建文件的用户决定文件名，主要为了方便用户找到文件，同一目录下不允许有重名文件。
2. 标识符：一个系统内的各文件标识符唯一，对用户来说毫无可读性，因此标识符只是操作系统用于区分各个文件的一种内部名称。
3. 类型：指明文件的类型。
4. 位置：文件存放的路径(让用户使用)、在外存中的地址(操作系统使用，对用户不可见)。
5. 大小：指明文件大小。
6. 保护信息：对文件进行保护的访问控制信息。

文件分为两种，一种是无结构文件(如文本文件)，即由一些二进制或字符流组成，又称为“流式文件”。另一种是有结构文件(如数据库)，由一组相似的记录组成，又称为“记录式文件”。

用户可以自己创建一层一层的目录，各层目录中存放相应的文件。系统中的各个文件就通过一层一层的目录合理有序的组织起来。目录(即文件夹)其实也是一种特殊的有结构文件(由记录组成)。

逻辑结构

所谓的“逻辑结构”，就是指在用户看来，文件内部的数据应该是如何组织起来的。而“物理结构”指的是在操作系统看来，文件的数据是如何存放在外存中的。

顺序文件

顺序文件:文件中的记录一个接一个地顺序排列(逻辑上)，记录可以是定长的或可变长的。各个记录在物理上可以顺序存储或链式存储。

索引文件

对于可变长记录文件，可以建立一张索引表以加快文件检索速度。每条记录对应一个索引项。索引表本身是定长记录的顺序文件。因此可以快速找到第i个记录对应的索引项。

可将关键字作为索引号内容，若按关键字顺序排列，则还可以支持按照关键字折半查找。每当要增加/删除-一个记录时，需要对索引表进行修改。由于索引文件有很快的检索速度，因此主要用于对信息处理的及时性要求比较高的场合。

索引顺序文件是索引文件和顺序文件思想的结合。索引顺序文件中，同样会为文件建立一张索引表，但不同的是:并不是每个记录对应一个索引表项，而是一-组记录对应一个索引表项。

当记录过多时，可以建立多级索引表。

文件目录

物理结构

在内存管理中，进程的逻辑地址空间被分为一个一个页面。同样，在外存管理中，为了方便对文件数据的管理，文件的逻辑地址空间被分为了一个一个的文件块。

于是文件的逻辑地址也可以表示成为(逻辑块号，块内地址)的形式。

文件分配方式

连续分配

连续分配方式要求每个文件在磁盘中占有一组连续的磁盘块。

用户通过逻辑地址来操作自己的文件，操作系统只需要转换块号，快内地址保持不变即可实现逻辑地址到物理地址的映射。

用户给出要访问的逻辑块号，操作系统找到该文件对应的目录项(FCB)，先检查用户提供的逻辑块号是否合法(如果逻辑块号 >= 长度则不合法)。然后通过计算 物理块号 = 起始块号 + 逻辑块号，则可以直接算出逻辑块号对应的物理块号，因此连续分配支持顺序访问和直接访问(即随机访问)。

物理上采用连续分配，存储空间利用率低，会产生难以利用的磁盘碎片。可以利用紧凑来处理碎片，但是需要耗费很大的时间代价。

链接分配

链接分配的目录中记录了文件存放的起始块号和节数块号(也可以增加一个字段来表示文件的长度)。

链接分配采取离散分配的方式，可以为文件分配离散的磁盘块。分为隐式链接和显式连接两种。

隐式链接

除了文件的最后一个磁盘块之外，每个磁盘块中都会保存指向下一个盘块的指针，这些指针对于用户来说是透明的——隐式链接。

用户给出要访问的逻辑块号i,操作系统找到该文件对应的目录项(FCB)…

从目录项中找到起始块号(即0号块)，将0号逻辑块读入内存，由此知道1号逻辑块存放的物理块号，于是读入1号逻辑块，再找到2号逻辑块的存放位…以此类推。

因此，读入i号逻辑块，总共需要i+1次磁盘I/O。

优点：很方便文件拓展，不会有碎片问题，外存利用率高。

缺点：只支持顺序访问，不支持随机访问，查找效率低。另外，指向下一个盘块的指针也需要耗费少量的存储空间。

显示链接

把用于链接文件各物理块的指针显式地存放在一张表中。即文件分配表(FAT, File Allocation Table)

此时目录中只需要记录文件的起始块号即可

注意：一个磁盘仅设置一张FAT。开机时，将FAT读入内存，并常驻内存。

FAT的各个表项在物理上连续存储，且每一个表项长度相同，因此“物理块号”字段可以是隐含的。

用户给出要访问的逻辑块号i，操作系统找到该文件对应的目录项(FCB) …

从目录项中找到起始块号，若i>0，则查询内存中的文件分配表FAT,往后找到i号逻辑块对应的物理块号。逻辑块号转换成物理块号的过程不需要读磁盘操作。

结论：采用链式分配(显式链接)方式的文件，支持顺序访问，也支持随机访问(想访问i号逻辑块时，并不需要依次访问之前的0~i-1号逻辑块)，由于块号转换的过程不需要访问磁盘，因此相比于隐式链接来说，访问速度快很多。

索引分配

索引分配允许文件离散地分配在各个磁盘块中，系统会为每个文件建立一张索引表，索引表中记录了文件的各个逻辑块对应的物理块(索引表的功能类似于内存管理中的页表——建立逻辑页面到物理页之间的映射关系)。索引表存放的磁盘块称为索引块。文件数据存放的磁盘块称为数据块。

目录中需要记录文件的索引块是几号磁盘块。

用户给出要访问的逻辑块号i，操作系统找到该文件对应的目录项(FCB )…

从目录项中可知索引表存放位置，将索引表从外存读入内存，并查找索引表即可只i号逻辑块在外存中的存放位置。

可见，索引分配方式可以支持随机访问。文件拓展也很容易实现(只需要给文件分配一个空闲块，并增加一个索引表项即可)。但是索引表需要占用一定的存储空间。

但是如果一个文件的大小很大，例如每个磁盘块大小为1KB，一个索引表项为4B，则一个磁盘块只能存放256个索引项，但如果一个文件的大小超过了256块，那么一个磁盘块时装不下文件的整张索引表的，索引分配应当如何解决呢？

此时有三种解决方案：① 链接方案 ② 多层索引 ③ 混合索引

链接方案

如果索引表太大，一个索引块装不下，则可以将多个索引块链接起来存放。

还是以刚才的例子为例，假设磁盘块大小为1KB，一个索引表项占4B，则一个磁盘块只能放256个索引项。若这是要将一个大小为64M(256 * 256KB)的文件存入，则该文件共有256 * 256个块，也就是对应256 * 256个索引项，也就是需要256个索引块来存储，这些索引块用链接方式连接起来。

如果想要访问文件的最后一个逻辑块，则必须找到最后一个索引块(第256个索引块)，而各个索引块之间使用指针链接起来，因此必须先顺序读入前255个索引块。

这使得链接方案显得很低效。

多层索引

建立多层索引(原理类似于多级页表)。使第一层索引块指向第二层的索引块。还可根据文件大小的要求再建立第三层、第四层索引块。

依然假设磁盘块大小为1KB，一个索引表项占4B，则一个磁盘块只能存放256个索引项。

若某文件采用两层索引，则该文件的最大长度可以达到256 * 256 * 1KB = 65536KB = 64MB

可以根据逻辑块号算出应该查找索引表中的哪个表项。例如，要访问1026号逻辑块，则可以先将一级索引表调入内存，查询 1026 / 256 = 4号表项，将其对应的二级索引表调入内存，再查询二级索引表的 1026 % 256 = 2号表项即可知道1026号逻辑块存放的磁盘块号。访问目标数据块，需要3次磁盘I/O。

若采用三层索引，则文件的最大长度为 256 * 256 * 256 * 1KB = 16GB….

则采用K层索引结构，且顶级索引表未调入内存，则访问一个数据块只需要 K + 1 次读磁盘操作。

但是这种方式对于小文件不是很友好，例如一个1KB的内容存入一个二级索引表中时，在读取的时候依然需要三次I/O操作。

混合索引

多种索引分配方式的结合。例如，一个文件的顶级索引表中，既包含直接地址索引(直接指向数据块)，又包含一级间接索引(指向单层索引表)、还包含两级间接索引(指向两层索引表)。

则上图结构的索引支持的最大文件长度为65536 + 256 + 8 = 65800KB

若顶级索引表还没读入内存，访问0~7号逻辑块需要两次读取磁盘。访问8~263号逻辑块时需要三次读磁盘，访问264~65799号逻辑块时需要四次读取磁盘。

这种混合索引对于小文件，只需要较少的读磁盘次数就可以访问目标数据块(一般计算机中小文件更多)。

管理存储系统

空闲表法

与内存管理中的动态分区很类似，为一个文件分配连续的存储空间。同样可采用首次适应、最佳适应、最坏适应等算法来决定要为文件分配哪个区间。

与内存管理中的动态分区分配很类似，当回收某个存储区时需要有四种情况——① 回收区的前后没有相邻空闲区;② 回收区的前后都是空闲区;③ 回收区前面是空闲区;④ 回收区后面是空闲区。

空闲链表法

空闲盘区中的第一个盘块内记录了盘区的长度、下一个盘区(连续的空闲盘块组成一个空闲盘区)的指针

操作系统保存着链头、链尾指针。

当某文件申请K个盘块，则从链头开始一次摘下K个盘符进行分配，并修改空闲链的链头指针。可以采用首次适应、最佳适应等算法，从链头开始检索，按照算法规则找到一个大小符合要求的空闲盘区，分配给文件。若没有合适的连续空闲块，也可以将不同盘区的盘块同时分配给一个文件，注意分配之后可能需要修改相应的链指针、盘区大小等数据。

将回收的盘块依次挂到链尾，并且修改空闲链的链尾指针。若回收区和某个空闲盘区相邻，则需要将回收区合并到空闲盘区中。若回收区没有和任何空闲区相邻，将回收区作为单独的一个空闲盘区挂到链尾。

空闲盘块链表法适用于离散分配的物理结构，为文件分配多个盘块可能要重复多次操作。

空闲盘区链表离散分配、连续分配都使用。为一个文件分配多个盘块时效率更高。

位示图法

(字号，位号)=(i , j)的二进制位对应的 盘块号 b = n * i + j(其中n表示一个字的字长，如上图中则为16)

b号盘块对应的字号 i = b/n，位号 j = b % n

若文件需要K个块，先顺序扫描位示图，找到K个相邻或不相邻的“0”。然后根据字号、位号算出对应的盘块号，将相应盘块分配给文件;将相应位设置为“1”。

回收时则根据回收的盘块号计算出对应的字号、位号，将相应二进制位设置为“0”。

成组链接法

空闲表法、空闲链表法不适用于大型文件系统，因为空闲表或空闲链表可能过大。UNIX系统中采用了成组链接法对磁盘空闲块进行管理。

文件卷的目录区中专门用一个磁盘块作为“超级块”，当系统启动时需要将超级块读入内存。并且要保证内存与外存中的“超级块”数据一致。

超级块示意图：

分配策略：

检查第一个分组的块数是否满足需求，如果需求要求的块数远远小于第一个分组的块数，则分配第一个分组中所需要的空闲块数(默认从分组的最后面的盘块开始分配)，并修改相应数据(修改下一组空闲盘块数)。

若需求块数接近或者超过分组的块数，则分配该分组的全部空闲块，但是由于该内存块中存放了下一组的信息，因此需要将该分组的数据复制到超级块中。

回收策略：

与分配策略相似，当第一个分组的块数未满且回收的块数小于分组容量时，则将回收的块放入第一个分组中(默认从分组的最后面的盘块开始)

而当第一个分组满时，或者回收的块数已经超过了第一个分组的容量，则重新设置一个新的分组，将超级块上的数据复制到新回收的块中，并修改超级块的内容，让新回收的块成为第一个分组。

基本操作

文件管理是计算机使用过程中的一个基本任务，它涉及到创建、复制、移动、重命名和删除文件等操作。

创建文件

在日常使用电脑的时候，上图的情景是创建文件最为常用的方式。当点击新建后，图形化交互进程在背后调用了“create 系统调用”。

在进行create系统调用时，需要提供的几个主要参数：

1. 所需的外存空间大小(如：一个盘块，即 1 KB)
2. 文件存放的路径地址(如：E:/操作系统 )
3. 文件名(操作系统会默认取一个名字，如：新建文本文档.txt)

操作系统在处理 create 系统调用时，主要做了两件事情：

1. 在外存中找到文件所需的空间(查找方法如上面的几种方法：空闲链表法、位示图法、成组链接法等管理策略，找到合适的空闲空间)。
2. 根据文件存放路径的信息找到该目录对应的目录文件(这里是 E:/操作系统 目录)，在目录中创建该文件对应的目录项。目录项中包含了文件名、文件在外存中的存放位置等信息。

删除文件

创建文件之后，当然可以删除文件(删除一些垃圾文件，或者以后不会再使用的文件，保持操作系统有足够的存储空间)，当点击“删除”之后，图形化交互进程通过操作系统提供的“删除文件”功能，即delete 系统调用，将文件数据从外存中删除。

进行 Delete 系统调用时，需要提供的几个主要参数：

1. 文件的存放路径
2. 文件名

操作系统在处理 Delete 系统调用时，主要做了以下几件事情：

1. 根据文件存放路径找到相应的目录文件，从目录中找到文件名对应的目录项。
2. 根据该目录项记录的文件在外存的存放位置、文件大小等信息，回收文件占用的磁盘块(回收磁盘块时，依然会根据上面的几种方法等管理策略的不同，做不同的处理)
3. 从目录表中删除文件对应的目录项。

读文件

当用户发出“读文件”的请求之后，操作系统会将文件数据读入内存，才能让CPU处理(以读一个txt文档为例，双击文件后，“记事本”应用程序通过操作系统提供的“读文件”功能，即 read系统调用，将文件数据从外存读入内存，并显示在屏幕上)。

进程使用 read 系统调用完成读操作。需要指明是哪个文件(在支持“打开文件”操作的系统中，只需要提供文件在打开文件表中的索引号即可)，还需要指明要读入多少数据(如，读入 1KB)、指明读入的数据要放在内存中的什么位置。

操作系统在处理 read 系统调用时，会从读指针指向的外存中，将用户指定大小的数据读入用户指定的内存区域中。

写文件

操作系统可以“写文件”，将更改过的文件数据写回外存(例如，在“记事本”中编辑文件内容后，点击“保存”按钮后，“记事本”通过操作系统提供的“写文件”功能，即 write 系统调用，将文件数据从内存写回外存)。

进程使用write系统调用完成写操作，与读操作一样，需要指明是哪个文件，还需要指明要写出多少数据(如，写出 1KB)、写回外存的数据放在内存中的什么位置。

操作系统在处理 write系统调用时，会从用户指定的内存区域中，将指定大小的数据写回写指针指向的外存。

打开文件

在很多操作系统中，在对文件进行操作之前，要求用户先试用 open 系统调用 “打开文件”，需要提供的几个主要参数：

1. 文件存放路径
2. 文件名
3. 对文件的操作类型(操作权限，如：r 为只读，rw 为读写等)

操作系统在处理 open 系统调用时，主要做的几件事情：

1. 根据文件存放路径找到相应的目录文件，从目录中找到文件名对应的目录项，并检查该用户是否有指定的操作权限。
2. 将目录项复制到内存中的“打开文件表”中。并将对应表目录的编号返回给用户。之后用户使用打开文件表的编号来指明要操作的文件。

系统中的打开文件表只有一张，其中有一个打开计数器字段，会记录当前文件被打开的次数，这样可以方便实现某些文件管理的功能。例如：在Windows系统中，我们尝试删除某个txt文件，如果此时该文件已被某个“记事本”进程打开，则系统会提示“暂时无法删除该文件”。其实系统在背后做的事就是先检查了系统打开文件表，确认此时是否有进程正在使用该文件，

在进程的打开文件表中的读/写指针记录了该进程对文件的读/写操作进行到的位置。如果打开文件时声明的是“只读”，则该进程不能对文件进行写操作。

关闭文件

当进程使用完文件后，需要“关闭文件”时，操作系统会处理close系统调用，主要会做几件事情：

1. 将进程的打开文件表相对应表项删除。
2. 回收分配给该文件的内存空间等资源。
3. 系统打开文件表的打开计数器 count 减 1，若 count = 0，则删除对应表项。

文件共享

操作系统为用户提供文件共享功能，可以让多个用户共享地使用同一个文件。

文件的数据，其他用户也可以看到文件数据的变化。与共享容易混淆的是“复制”，如果是多个用户都“复制”了同一个文件，那么系统中会有“好几份”文件数据。其中一个用户修改了自己的那份文件数据，对其他用户的文件数据并没有影响。

基于索引节点的共享方式(硬链接)

索引节点是一种文件目录瘦身策略。由于检索文件时只需用到文件名，因此可以将除了文件名之外的其他信息放到索引节点中。这样目录项就只需要包含文件名、索引结点指针。

索引结点中设置了一个链接计数变量 count，用于表示链接到本索引结点上的用户目录项数。若count = 2时，说明此时有两个用户目录项链接到该索引结点上，或是两个用户正在共享此文件。

若某个用户决定“删除”该文件，则只是要把用户目录中与该文件对应的目录项删掉，且索引结点的 count 值减 1。

若 count > 0，说明还有别的用户要使用该文件，暂时不能把文件数据删掉，否则会导致指针悬空。只有当count = 0时，系统才会负责删除文件。

基于符号链的共享方式(软链接)

Link 类型的文件，记录了文件1的存放路径“C:/User1/aaa”。类似于 Windows 操作系统的“快捷方式”。

假设在上述情况下，当User3访问“ccc”时，操作系统判断文件“ccc”属于Link类型文件，于是会根据其中记录的路径层层查找目录，最终找到 User1 的目录表中的“aaa”表项，于是就找到了文件1的索引结点。

文件保护

即保护文件数据的安全。

口令保护

口令一般存放在文件对应的FCB或索引结点中。用户访问文件前需要先输入“口令”，操作系统会将用户提供的口令与FCB中存储的口令进行对比，如果正确，则允许该用户访问文件。

例如为文件设置一个“口令”(如：123456)，用户请求访问该文件时必须提供口令。

这种方法的优点在于保存口令的空间开销不多，验证口令的时间开销也很小。缺点在于正确的口令是存放在系统内部，这样不够安全。

加密保护

使用某个“密码”对文件进行加密，在访问文件时需要提供正确的“密码”才能对文件进行正确的解密。

例如一个最简单的加密算法——异或加密

假设用于加密/解密的“密码”为“01001”，则加密结果为：

解密结果为：

该方式的优点在于保密性强，不需要在系统中存储“密码”。但是加密/解密需要花费一定时间。

访问控制

在每个文件的FCB(或索引结点)中增加一个访问控制列表(Access-Control List, ACL)，该表中记录了各个用户可以对该文件执行哪些操作。

有的计算机可能会有很多个用户，因此访问控制列表可能会很大，可以用精简的访问列表解决这个问题。精简的访问列表:以“组”为单位，标记各“组”用户可以对文件执行哪些操作。

如:分为系统管理员、文件主、文件主的伙伴、其他用户几个分组。

当某用户想要访问文件时，系统会检查该用户所属的分组是否有相应的访问权限(系统需要管理分组的信息)。

层次结构

用一个例子来辅助记忆文件系统的层次结构:

假设某用户请求删除文件“D:/工作目录/学生信息.xIsx"的最后100条记录。

1. 用户需要通过操作系统提供的接口发出，上述请求——用户接口
2. 由于用户提供的是文件的存放路径， 因此需要操作系统一层一层地查找目录， 找到对应的目录
   项——文件目录系统
3. 不同的用户对文件有不同的操作权限，因此为了保证安全，需要检查用户是否有访问权限——存取控制模块(存取控制验证层)
4. 验证了用户的访问权限之后，需要把用户提供的“记录号”转变为对应的逻辑地址——逻辑文件系统与文件信息缓冲区
5. 知道了目标记录对应的逻辑地址后，还需要转换成实际的物理地址——物理文件系统
6. 要删除这条记录，必定要对磁盘设备发出请求–设备管理程序模块
7. 删除这些记录后，会有-些盘块空闲，因此要将这些空闲盘块回收——辅助分配模块

全局结构

磁盘结构

当磁盘生产出来时并没有划分扇区，第一件事情做的就是将磁盘进行扇区划分(即物理格式化，又叫低级格式化)，这一步是也可以检测是否有坏扇区存在，如果有，则使用备用扇区替换坏扇区。

将磁盘逻辑格式化后，即完成磁盘分区(分卷 Volume)，完成各分区的文件系统初始化。当逻辑格式化之后，灰色部分就有了实际数据，白色部分依旧没有数据。

文件系统在内存中的结构

近期访问过的目录文件会缓存在内存中，不用每次都从磁盘中读入，这样可以加快目录检索速度。

虚拟文件系统

普通的文件系统

从上图可以看出，在普通的文件系统中，用户进程针对每一种文件系统的调用时所执行的方法和传入参数的形式与个数都不一样，这样会导致用户进程每当要与其他文件系统进行交互的时候，就要重新调整调用方法对于上层用户来说是不友好的。

虚拟文件系统

虚拟文件系统与普通文件系统最大的区别就在于，虚拟文件系统向上层用户进程提供统一标准的系统调用的接口，屏蔽底层具体文件系统的实现差异。

虚拟文件系统也要求下层的文件系统必须实现某些规定的函数功能。所以当一个新的文件系统想要在某个操作系统上被使用，就必须满足改操作系统虚拟文件系统的要求。

但是此时还存在一个问题：在不同的文件系统中，表示文件数据结构各不相同。打开文件后，其在内存中的表示就不同。这样也显得很麻烦。

所以每打开一个文件，VFS就会在主存中新建一个vnode，用统一的数据结构表示文件，无论该文件存储在哪个文件系统。

vnode 只存在于主存中，而 inode 既会被调入主存，也会在外存中存储。

打开文件后，创建 vnode，并将文件信息复制到 vnode 中，vnode 的功能指针指向具体文件系统的函数功能。

文件系统挂载

文件系统挂载(mounting)，即文件系统安装/挂载。

文件系统挂载需要做的事情有：

① 在 VFS 中注册新挂载的文件系统。内存中的挂载表(mount table)包含每个文件系统的相关信息，包含文件系统类型、容量大小等。

② 新挂载的文件系统，要向 VFS 提供一个函数地址列表。

③ 将新文件系统加到挂载点(mount point)，也就是将新文件系统挂载在某个父目录下。