上篇博客我们说了内存级文件,就是文件加载到内存中它的一些操作。那么不可能所有文件文件都要加载到内存中,大部分文件都要存在与一种可以永久性存储数据的硬件中,就是我们要说的磁盘。现在的笔记本电脑用的都是硬盘,你可以理解为硬盘比磁盘更先进。但是目前企业级的磁盘仍在被使用,因为更加便宜。下面我们从磁盘的物理结构成谈起,逐步抽象到逻辑上的存储。
磁盘
物理构成
这就是我们平常用的磁盘,它具有如下结构:来回摆动的磁头(摆动是圆心和边缘方向的摆动),光滑的盘片和中间的旋转的马达
通过摆动和旋转就可以实现一个盘片上所有数据的读取或写入。我们见过光盘,那就是一个只能读取的存储设备。当然了,我们展示的仅仅是具有一个盘片,其实一个磁盘可以有多个盘片,并且每个盘片一般有两个磁头,也就是一面一个磁头
物理存储
有了上面的结构基础,我们就可以抽象出磁盘的物理存储了,就是说,每个盘片其实可以看作是有很多个同心圆环构成的,这个同心圆环我们就称为磁道或柱面;每个圆环可以均匀的分成几份,一份就是我们说的扇区,就是磁盘IO的基本单位,一般大小是512字节(硬盘是4kb)。靠近圆心的扇区和靠近边缘的扇区的面积显然是不一样的,但是对于一些较老的磁盘它们存储的内容确实是一样多的,因为存储的密度不同。
于是呢,如果我想定位一个扇区我就可以这样做:首先通过磁头定位到唯一的磁道或者叫柱面(cylinder),然后不是有很多个盘面嘛,再确定用哪个磁头(head),最后确定是在哪一个扇区(sector),这就是CHS定位法。于是这和磁盘的机械运动就联系起来了,磁头摆动就是在确定哪一个磁道,选择盘面就是在选择磁头,旋转就是确定在哪一个扇区。
线性存储
于是我们再进行抽象,将一个磁盘看成一个巨大的数组,每个扇区(512字节)都是这个数组的一个元素,于是,磁盘的存储结构就被抽象成线性的了,就类似于磁带。
并且操作系统认为,一次和一个扇区(512字节)进行数据IO太小了,所以操作系统IO的基本单位是4kb,于是我们可以8个扇区为一组,称为一个数据块,再进行抽象,我们可以抽象成下面的图
这些数据块都会被分一个逻辑地址,于是以后我们就可以通过地址找到对应的数据块,这样的寻址方式我们就称为LBA(Logical Block Addressing,逻辑块寻址)。
文件系统
现在,我们已经将磁盘存储抽象为了线性的,那么磁盘中到底会存着一些什么呢?肯定不止有文件,因为还要对文件以及磁盘空间进行管理。
下面,我们有一个500GB的磁盘,那么我们应该如何管理这500GB呢?我们在windows下会分盘,比如C盘,D盘等等,这个工作其实就叫做分区;比如第一个区150GB,那么下面再对这150GB进行分组,比如每组10GB,于是我们只要管理好这10GB,其实就已经算管好这500个GB了,因为这10GB的管理方法可以用到其他任何10GB中。这其实就是一种分治的思想。我们可以把上面的语言转化为下面的图
那么如何高效的管理这10GB就成为了问题,我们把每10GB看作一组,每一组都由这些部分组成:Super Block,Group Descriptor Table,Block Bitmap,Inode Bitmap,Inode Table,Data Blocks,我们用图来表示一下然后就分别来解释一下这几个模块的功能。
总之,我们管一个10GB叫一个块组(Block Group),每个块组中有下面六个区域。我们可以看到,第0个块组之前还有一个叫Boot Block(引导块)的东西,它其实是跟启动操作系统是有关的,我们先不用管。我们还是要管块组中存在的区域
在谈这几个区域之前,我们先要明白一些基础的概念,文件=内容+属性,并且内容是可变大小,而属性大小是不变的。并且内容和属性是分开存储的。为了表示文件的属性,是有一个struct inode的结构体的,大小是128字节,里面就存储了文件的大小,权限等属性,并且还有一个关键的inode编号,在系统中,就是通过这个编号来唯一确定一个文件,这个编号是在一个分区内唯一确定的。并且文件名因为是可变大小,它不是文件的属性,既不是一个文件的内容,也不是属性,那它在哪存着呢?其实,一个目录也是一个文件,目录的内容中就存着这个目录下文件名和inode的映射关系。
Inode Table中存的就是一个个的struct inode的结构体对象,其实就是128kb的一个个小块,存的就是文件的属性
Inode Bitmap中就是用bit位来表示Inode Table中一个个小块是否可用
Data Blocks中就是用一个个的4kb的小块存文件的内容,struct inode结构体中就存着当前文件在Data Blocks区域的哪个小块中存着
Block Bitmap中就是用比特位存一个个4kb小块是否可用
Group Descriptor Table(组描述符表)存储了文件系统中每个分组(group)的元数据信息。每个分组包含一定数量的数据块和inode(索引节点)。
Group Descriptor Table中的每个条目对应一个分组,包含以下信息:
- 分组的起始数据块号码(block bitmap):用于标记数据块是否被使用。
- 分组的起始inode号码(inode bitmap):用于标记inode是否被占用。
- 分组中inode表的起始块号码(inode table):inode表存储了每个文件和目录的元数据信息。
通过解析Group Descriptor Table,可以确定每个分组的起始位置和相应的元数据信息,从而帮助操作系统有效地管理和访问文件系统中的数据块和inode。
Super Block(超级块)是文件系统中的一个数据结构,用于存储文件系统的元数据信息。它包含了关于文件系统的重要信息,如文件系统类型、总的块数、总的inode数、块大小、inode大小、文件系统挂载时间等。
Super Block中存储的具体信息包括:
- 文件系统的魔数(magic number):用于标识文件系统类型,以确定文件系统的结构和特性。
- 文件系统的状态:如是否已挂载、是否被标记为脏(dirty)等。
- 块大小和块总数:用于确定文件系统的存储空间大小和块的分布。
- inode大小和inode总数:用于确定文件系统中可用的inode数量和每个inode的大小。
- 文件系统的挂载时间和最近一次修改时间:用于记录文件系统的挂载时间和最近一次对文件系统进行的修改操作时间。
- 文件系统的其他特性和选项:包括文件系统的读写权限、用户和组的访问控制列表、磁盘配额等。
总之,Super Block中存储了文件系统的关键信息,用于管理和控制文件系统的操作。并且不是每个块组中都存着这个区域,只有极少部分存着,因为存太多是一种资源浪费,只存一份万一这个区域被损坏就无法弥补,所以几个区域存着如果一个区域被破坏可以及时修复。
其实,上面的一些结构就是属于一种文件系统,拥有了文件系统我们才可以对磁盘的数据进行高效的管理,我们平常在格式化的时候就是在写入全新的文件系统。
上面我们说目录也是一个文件,它也有自己的inode,它的内容就是目录内部的各个文件的文件名和inode的映射关系。所以我们如果没有一个目录的r权限,我们就无法看到它里面的东西;没有w权限,我们就无法创建和删除文件,没有x权限,我们就无法打开目录
软硬链接
我们其实是可以对文件建立软硬链接的,那什么叫软硬链接呢?我们先来实际操作一下来看看建立软硬链接的文件有什么特点
操作
通过这样的操作我们就可以建立软链接,并且通过下面的命令可以看到每个文件唯一的inode
我们可以看到两个文件的inode是不同的,证明它们两个是独立的文件
我们再看硬链接
我么可以看到建立硬链接后两个文件的inode是一样的,这就证明它们就是一个文件,其实在struct inode中还有一个内容就是记录硬链接数,并且我们看第三列,它们两个文件这个数变成的2,这个其实就是硬链接数。
所以硬链接的本质就是在指定的目录下,插入新的文件名和目标文件的映射关系,并让inode的引用计数++
软链接的本质就是一个独立的文件,里面存的是目标文件的路径,就类似于windows下的快捷方式
在Linux中,我们是不能给目录建立硬链接的,因为会出现环路问题,但是操作系统自己可以,比如说..这个隐藏文件,我们说..可以回退,本质上就是进入..就是进入了上一级目录,它们之间就是建立的硬链接,..就是上一级目录。我们可以看到,它们的inode编号是相同的
软硬链接的应用
软链接和硬链接是Unix/Linux系统中两种创建文件链接的方式。
软链接(Symbolic Link,也称为符号链接或软连接)是一个指向另一个文件或目录的特殊文件,类似于Windows系统中的快捷方式。软链接创建了一个新的文件,它包含了指向目标文件的路径信息。软链接可以跨越文件系统边界,并且可以链接到不存在的文件或目录。
软链接的应用场景:
- 创建快捷方式:通过创建软链接可以在不改变原始文件位置的情况下创建快捷方式。
- 简化文件路径:通过创建软链接可以简化文件路径,使得访问文件更方便。
- 软件安装:在安装软件时,可以使用软链接将可执行文件放置在系统的PATH目录下,以便在任何位置都能够访问该软件。
硬链接(Hard Link)是一个指向数据块的目录项,它与原始文件共享相同的inode和数据块。硬链接创建的是同一个文件的多个别名,删除其中一个硬链接不会影响其他硬链接,只有当所有硬链接都被删除时,文件才会被真正删除。
硬链接的应用场景:
- 备份文件:通过创建硬链接,可以在多个位置保存同一份文件的备份,节省存储空间。
- 共享文件:多个用户或进程可以通过硬链接访问同一份文件,实现共享。
- 防止误删除:通过创建硬链接,可以在不小心删除一个硬链接时保留原始文件的备份。
需要注意的是,软链接和硬链接的使用会受到文件系统的限制,一些文件系统可能不支持创建硬链接或者软链接。