Linux的基础IO：文件描述符重定向本质

前言

文件操作的系统调用接口

open函数

close函数

write函数

read函数

注意事项

文件描述符-fd

小补充

重定向

文件描述符的分配原则

系统调用接口-dup2

缓冲区

缓冲区的刷新策略

对于“2”的理解

小补充

前言

在Linux中一切皆文件，打开文件的本质是进程打开了文件，文件没有被打开时一直存放在磁盘中（进程执行时才会打开文件，文件才会从磁盘中拿出），而OS中存在很多进程，即系统中一定存在大量被进程打开的文件，对此OS会采取“先描述再组织”的原则，每个被打开的文件在OS内部都有一个类似PCB的描述文件属性的结构体。

文件 = 属性 + 内容

以w方式打开文件：

文件不存在，则在当前路径下新建指定文件并写入
文件存在，打开文件时会将该文件清空并写入

以a方式打开文件：

文件不存在，则在当前路径下新建指定文件并写入
文件存在，追加写入

>和>>：

> 文件等同于 w 一个文件

>> 文件等同于 a 一个文件

结论：输出重定向一定是文件操作

文件操作的系统调用接口

基本概念：文件在进程未执行时一直放在磁盘中，磁盘是硬件，向文件中写入本质就是向硬件中写入，但是用户没有权利直接向硬件中写入，需要由OS提供访问硬件的系统调用接口，而C/C++等编程语言中提供的对文件的操作接口就是对系统调用的接口的封装

open函数

函数原型：

int open(const char *pathname, int flags);
int open(const char *pathname, int flags, mode_t mode);

包含头文件：

<sys/types.h>
<sys/stat.h>
<fcntl.h>

参数：

const char *pathname：要打开的文件绝对或相对路径
flags：位掩码，指定了打开方式和访问权限等信息
mode：指定新建文档的权限设置

flags的常见取值：

O_RDONLY：以只读模式打开
O_WRONLY：以只写模式打开
O_RDWR：以读写模式打开
O_CREAT：如若目标文档不存在则创建
O_TRUNC：如若目标文档存在则清空
O_APPEND：追加写入

返回值：操作文件成功时返回int类型的文件描述符，失败时返回 -1

功能：打开文件的系统调用函数

close函数

函数原型：int close(int fd);

包含头文件： <unistd.h>

参数：要关闭的目标文件描述符或套接字

返回值：关闭成功时返回 0，失败时返回 -1

功能：关闭指定文件描述符或套接字，并释放与之相关联的资源

write函数

函数原型：ssize_t write(int fd, const void *buf, size_t count);

包含头文件： <unistd.h>

参数：待写入的目标文件描述符或套接字，待写入数据的缓冲区指针，待写入的字节数

返回值：写文件成功时返回实际写入到目标文件中的字节数，失败时返回 -1

功能：将buf指向的内容写入到目标文件描述符或套接字所对应对象中

read函数

函数原型：ssize_t write(int fd, const void *buf, size_t count);

包含头文件： <unistd.h>

参数：待写入的目标文件描述符或套接字，待写入数据的缓冲区指针，待写入的字节数

返回值：写文件成功时返回实际写入到目标文件中的字节数，失败时返回 -1

功能：将buf指向的内容写入到目标文件描述符或套接字所对应对象中

stat、fastat、lasta是三个修改文件属性的调用接口，上面的read、write等是对文件内容修改的调用接口

注意事项

1、文件的权限掩码的采用就近原则，默认为0002，uamsk（0）设置为0后就为0

2、O_RDONLY等位掩码都是类似于下列形式的宏定义（了解）：

3、位掩码不同的组合有不同的效果

O_WRONLY | O_CREAT | O_TRUNC：实现fopen函数w打开文件时的效果
O_WRONLY | O_CREAT | O_APPEND：实现fopen函数a打开文件时的效果
O_WRONLY | O_CREAT：实现fopen函数wa打开文件时的效果

文件描述符-fd

问题一：open函数的返回值是文件描述符，我们创建四个文件并打印它们的文件描述符发现它们分别是3、4、5、6，怎么没有见0、1、2？

原因：C语言在运行时会默认打开三个流，而0、1、2就分别是标准输入流stdin（键盘）、标准输出流stdout（显示器）、标准错误流stderr（显示器）

问题二：为什么可以向1中写？fd的本质是什么

结论：文件描述符的本质是内核的进程的文件映射关系数组的下标

小补充

程序的本质确实是对数据进行处理，并且这些处理过程和结果需要与人类用户进行交互。在Unix/Linux系统中，0、1、2三个文件描述符分别代表标准输入、标准输出和标准错误输出。它们被默认打开并与终端设备关联，以便程序可以通过它们与用户进行交互

问题三：read和write函数如何进行读写文件？

解释：read时将文件存放在内核级缓存中的数据拷贝至上层，如果内核级缓存中没有文件的数据，就将要read的进程挂在磁盘的等待队列中，等待磁盘将相应的文件的数据放入内核级缓存后再唤醒该进程并进行拷贝，write时也是针对文件内核级缓冲区中的数据进行修改，修改后再刷新至磁盘中，因而无论读写都要在合适的时候，让OS将文件的数据读取到文件内核级缓冲区中，读写的对象都是文件内核级缓冲区中的数据，而不是磁盘级的文件数据

问题四：open函数在干什么？

解释：

创建文件
开辟内核级文件缓冲区的空间，加载文件数据（有延后性）
查看进程的文件描述符表（struct file_struct）
获取文件地址，并填入文件描述符表中
返回该文件在文件描述符表中的下标

问题五：为什么0、1、2在程序启动时默认打开？它们对应不应该是硬件吗？

补充：硬件设备也有的struct_file，但是它们的struct_file中除了有硬件设备相关的属性外，还都包含一张指向底层操作方法（对硬件设备的操作接口）的函数指针表（每张表都一样），该表中的函数指针指向的是由硬件生产厂商的开发人员在驱动层已经写好的硬件调用接口，并且一个函数指针可以指向多个不同的硬件操作接口从而产生不同的结果（多态，write函数指针可以指向键盘、鼠标等硬件的write接口，这一功能由厂商实现的）

解释：因为在进程执行时就会将三个硬件的struct_file的地址信息放入进程struct files_struct中，数组下标0、1、2就是它们的文件标识符，而它们的struct_file中又有指向底层操作方法的函数指针，在进程尝试使用硬件设备时会通过它们的文件标识符访问到它们的struct_file进而访问到驱动层的k_read（）等硬件设备操作接口

注意事项：普通文件类型的 struct file 中并不包含指向底层设备接口的函数指针表

struct_file中的文件属性就是类中的数据，操作底层方法的指针表中的函数指针就是类中的方法，所以struct_file也可以视为C语言实现的类，多个struct_file构成了OS中的virtual file system

问题六：如何理解C语言通过FILE* 访问文件？

解释：FILE是一个由文件描述符等内容封装成的结构体，C语言中所有文件操作函数，都是对系统调用接口的封装，fopen函数是对调用接口open的封装，该函数隐式返回了文件描述符给FILE结构体，而fwrite、fread等又是对write、read调用接口的封装，fwrite等可以通过FILE中的fd访问文件

好文章：文件操作的底层原理(文件描述符与缓冲区) - 知乎 (zhihu.com)

重定向

文件描述符的分配原则

基本概念：查自己的文件描述表，分配最小的没有被使用的fd

尝试为一个普通文件分配fd = 1，并调用printf和fprintf函数向显示器上打印内容：

现象：本来应该打印到显示器上的内容，却打印到了一个指定的文件中，这种技术叫重定向

结论：重定向的本质就是在内核中改变文件描述符表特定下标的内容，与上层无关，重定向也可以视为对open和dup2接口的封装：

int fd = open("output.txt", O_WRONLY | O_CREAT | O_TRUNC, 0644);
dup2(fd, STDOUT_FILENO); //原 > 目标

如果想要实现追加重定向>>，那么就只需更改open函数的参数：

int fd = open("output.txt", O_WRONLY | O_CREAT | O_APPEND, 0644);
dup2(fd, STDOUT_FILENO); //原 > 目标

接着尝试注释fflush，注释fflush和close、注释close：

解释：stdin、stdout、stderr的struct_file中除了有_fileno还有语言级别的文件缓冲区，printf和fprintf函数会先将要打印的内容放入stdoutd的struct_file中的文件缓冲区中，由fflush（stdout）指令将该缓冲区中的数据刷新至log.txt的内核文件缓冲区中（因为此时fd = 1指向的是log.txt），最后由OS定期将log.txt内核级文件缓冲区中的数据刷新至磁盘中：注释fflush就会导致stdout的struct_file中的文件缓冲区数据无法刷新至内核级的文件缓冲区并且文件描述符还被关闭了即使在最后操作系统想要帮助刷新也不可能了（如果你没有显式地刷新 stdout 缓存或关闭该进程所占据的资源，则操作系统可能会自动地执行这些操作以确保程序正常结束并释放相关资源，跟\n没关系，即使你这里将\n去除也不会刷新缓冲区只有stdout与显示器关联时才能刷新，\n在这里只有换行作用，本质是行刷新和全缓冲刷新的不同，刷新策略中有解释）

结论：fflush（stdout）是为了将stdout的语言级文件缓冲区中的内容刷新至内核级文件缓冲区中

系统调用接口-dup2

函数原型：int dup2（int oldfd，int newfd）;

包含头文件：<unistd.h>

参数：源文件描述符，目标文件描述符

返回值：成功返回目标文件描述符，失败返回-1

功能：使得目标文件描述符共享源文件描述符所对应的数据

缓冲区

基本概念：缓冲区分为用户级（语言级）缓冲区和内核级缓冲区，是一段内存空间

优点：缓冲区的分级有利于解耦、提高使用者的效率、提高刷新IO效率

问题：为什么C语言可以通过调用接口直接向内核级缓冲区写数据，还要提供对调用接口重新封装后的接口并先将数据写到语言级缓冲区呢？

解释：调用系统接口是有成本的，多次频繁的使用write等系统调用接口向内核级缓冲区中写一些很少的数据会造成资源浪费，而使用了封装后的fwrite接口就可以先将这些内容放入语言级缓冲区中，放入之后就可以结束fwrite进行下一步操作等语言级的缓冲区中的数据达到一定程度时仅调用一次系统调用接口，就可以将多次写入的少量数据一次性的放入内核级缓冲区中并且写入后向磁盘刷新的操作也有OS自行完成不需要用户管，这样就即提高了使用者的效率（把快递交给快递员而不是亲自去送，交给后就不用管了可以去干其它内容），又提高了刷新IO的效率（将一段时间内的所有接收到的快递装车一块去配送，而不是接受一件配送一件，并且应该由专门的快递配送员配送，相比于寄件人他们知道配送的流程，寄件人了乐于有人帮自己干活）