文章目录

前言
一、linux系统中的文件操作以及文件接口
二、文件描述符
- 1.文件描述符的分配规则
- 2.重定向
总结

前言

理解文件原理和操作：

我们先快速回忆下一C语言的文件操作：

首先看一下fopen函数的使用，然后我们写一段简单的C语言打开文件的代码如下图：

#include <stdio.h>
#define LOG "log.txt"
int main()
{
  //默认写方式打开文件，如果文件不存在，就删除它
  FILE* fp = fopen(LOG,"w");
  if (fp==NULL)
  {
    perror("fopen:");
    return 1;
  }
  //正常进行文件操作
  const char* msg = "hello friends\n";
  int cnt = 1;
  while (cnt)
  {
    fputs(msg,fp);
    --cnt;
  }
  fclose(fp);
  return 0;
}

接下来我们运行一下：

通过上图我们可以看到成功将我们的字符串写入文件中，那么这次我们什么都不写再看看：

为什么原先log里的字符串没了呢？因为我们打开的方式是w，文件内容会先被清空再写入。

下面我们再介绍一个接口snprintf:

普通的printf是默认向显示器打印，fprintf是指定文件流向指定文件进行打印，下面我们演示一下：

首先我们修改一下代码，将fputs替换为fprintf函数

int main()
{
  //默认写方式打开文件，如果文件不存在，就删除它
  FILE* fp = fopen(LOG,"w");
  if (fp==NULL)
  {
    perror("fopen:");
    return 1;
  }
 //正常进行文件操作
  const char* msg = "hello friends\n";
  int cnt = 5;
  while (cnt)
  {
   // fputs(msg,fp);
    fprintf(fp,"%s:%d:sxy\n",msg,cnt);
    --cnt;
  }
  fclose(fp);
  return 0;
}

运行结果如上图所示，并且我们不仅可以像文件中打印，也可以在输出流中打印：

我们都知道，一个程序会默认打开以上三个输入输出流，下面我们像stdout打印一下：

运行后我们发现直接就能显示不用再打开log.txt查看了，下面我们再来演示一下snprintf函数：

int main()
{
  //默认写方式打开文件，如果文件不存在，就删除它
  FILE* fp = fopen(LOG,"w");
  if (fp==NULL)
  {
    perror("fopen:");
    return 1;
  }
 //正常进行文件操作
  const char* msg = "hello friends\n";
  int cnt = 5;
  while (cnt)
  {
    char buffer[256];
    snprintf(buffer,sizeof(buffer),"%s:%d:sxy\n",msg,cnt);
    fputs(buffer,fp);
    --cnt;
  }
  fclose(fp);
  return 0;
}

snprintf就是将msg格式化到buffer数组里并且以buffer的大小进行打印，然后将数组中的数据写入文件中。

后面还有a追加写入等的方式我们就不在演示，这些都是我们C语言的时候学过的。

以上都是语言进行文件的操作，下面我们进入今天的正题，在系统层面使用文件操作。

一、linux系统中的文件操作以及文件接口

首先我们看一下系统中文件的接口open：

然后我们再看一下这个接口的返回值是什么：

如果成功返回一个新的文件描述符，否则返回-1，下面我们演示一下这个接口：

首先一定要包头文件：

这个函数的第一个参数与刚刚一样都是文件名，第二个参数其实是用位图实现的，就是用一个标志位充当不同的行为，如下图所示：

在上图中我们就利用位图传不同的flags就能打打印不同的数，并且不仅可以打印一个也可以同时打印多个：

而第二个参数的使用方式与上面演示的一样，都有下面这几种选项：

这些都是宏像我们刚刚演示的#define的那样。下面我们演示这个接口：

//系统层面
#include <stdio.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>
#include <unistd.h>
#define LOG "log.txt"
int main()
{
  int fd = open(LOG,O_WRONLY);
  printf("fd:%d\n",fd);
  close(fd);
  return 0;
}

0_CREAT是如果没有这个文件就给我们创建一个文件，O_WRONLY是只写的意思。

我们先删除原先的log文件，运行后发现返回值为-1，也就是说出错了，那是什么原因呢？我们修改一下代码如果出错就打印一下出错原因：

因为我们要写这个文件，但是这个文件并不存在，所以我们没有的话应该先创建一个文件：

这次我们发现文件创建成功了，错误码为0。我们这里用的是root所以文件的权限没有问题，如果这里是普通用户创建文件的话文件权限是乱码有问题的，如下图：

所以我们一般创建文件用的是三个接口的那个函数，我们演示的这个函数没有提供文件权限的接口。

下面我们用三个接口的open创建一下文件：

我们先删掉之前的文件，然后重新运行一下发现这次文件的权限没有问题是正确的（不是666是因为受umask影响）。所以，一个文件被创建默认权限受umask影响，那么如果想不受umask影响呢？

我们可以直接将所有的权限掩码设置为0：

我们发现这次就不受umask影响了。接下来我们写入文件试试：

关于写入的文件接口的函数为write：

向文件描述符写入一个缓冲区大小为count，返回值是实际写入多少字节，写入失败返回-1.

int main()
{
  umask(0);
  int fd = open(LOG,O_WRONLY | O_CREAT,0666);
  if (fd==-1)
  {
    printf("fd:%d,errno:%d,errstring:%s\n",fd,errno,strerror(errno));
  }
  else printf("fd:%d,errno:%d,errstring:%s\n",fd,errno,strerror(errno));
  printf("fd:%d\n",fd);
  const char* msg = "hello friend";
  int cnt = 5;
  while (cnt)
  {
    char line[128];
    snprintf(line,sizeof(line),"%s,%d\n",msg,cnt);
    write(fd,line,strlen(line));
    --cnt;
  }
  close(fd);
  return 0;
}

接下来我们运行一下：

通过上图我们发现写入成功，其实在我们刚刚strlen的时候发现我们并没有带\0，为什么没有\0也能成功写入呢，因为\0是C语言的标准不是系统的规定，并且\0在系统中写入会变成乱码。

下面我们重新写一下：

在我们重新运行后发现文件中保留了上一次的数据，也就是说O_CREAT | O_WRONLY是不会清空原来的文件再写入的，这个时候我们加上O_TRUNC选项就可以每次写入前先清空文件了：

搞定了写入那么饿追加就不是问题了，追加只需要注意将写入替换为追加，并且我们不希望每次打开文件先清空文件，所以不需要O_TRUNC选项：

为什么我们上面的运行结果不正确呢？因为0_APPEND只是追加不是追加写，所以才没有写入。下面我们修改一下代码：

这样我们就成功的追加了字符串，那么如果是只读呢？其实只读就很简单了，只读只需要调用两个接口的open函数即可，因为只读默认认为是有文件的。

读取的返回值就是当前读取了多少字节，读取到文件结尾就是0，失败就是-1。

int main()
{
  umask(0);
  int fd = open(LOG,O_RDONLY);
  if (fd==-1)
  {
    printf("fd:%d,errno:%d,errstring:%s\n",fd,errno,strerror(errno));
  }
  else printf("fd:%d,errno:%d,errstring:%s\n",fd,errno,strerror(errno));
  char buffer[1024];
  ssize_t n = read(fd,buffer,sizeof(buffer)-1); //使用系统接口来进行IO的时候，一定要注意\0问题。
  if (n>0)
  {
    buffer[n] = '\0';
    printf("%s\n",buffer);
  }
  close(fd);
  return 0;
}

我们在读取的时候为什么-1呢？因为我们不考虑\0的问题，只有当读取的时候返回值大于0我们将\0放到n的位置以字符串的形式打印的时候才需要\0，所以最后需要将\0放到n的位置再打印。

以上就是系统级的文件接口，而入C语言等要进行文件操作都必须调用系统接口。

二、文件描述符

1.0 & 1 & 2

通过对open函数的学习，我们知道了文件描述符就是一个小整数。linux进程默认情况下会有3个缺省打开的文件描述符，分别是标准输入0，标准输出1，标准错误2。0 1 2对应的物理设备一般是：键盘，显示器，显示器，所以输出还可以有以下方式：

下面我们用文件的读写完成简单的输入输出：

#include <stdio.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>
#include <string.h>

int main()
{
  char buf[1024];
  ssize_t s = read(0,buf,sizeof(buf));
  if (s>0)
  {
    buf[s] = 0;
    write(1,buf,strlen(buf));
    write(2,buf,strlen(buf));
  }
  return 0;
}

1和2代表标准输出和标准错误，我们先去读一下缓冲区，当返回值是缓冲区的最后一个字符，我们在这个位置放入\0，然后写入刚刚读取到的字符，下面我们运行一下：

通过这个小例子我们就知道了文件描述符就是从0开始的小整数，当我们打开文件时，操作系统在内存中要创建相应的数据结构来描述目标文件，于是就有了file结构体，表示一个已经打开的文件对象，而进程执行open系统调用，所以必须让进程和文件关联起来，每个进程都有一个指针*files，指向一张表files_struct，该表最重要的部分就是包含一个指针数组，每个元素都是一个指向打开文件的指针！所以，本质上，文件描述符就是该数组的下标。所以，只要拿着文件描述符，就可以找到对应的文件。

文件描述符的分配规则

我们写一个只读的代码来获取文件的fd：

int main()
{
  int fd = open("my.txt",O_RDONLY);
  if (fd<0)
  {
    perror("open");
    return 1;
  }
  printf("fd:%d\n",fd);
  close(fd);
  return 0;
}

我们发现fd是3，那么这个时候我们把0关闭了再看看是什么结果：

int main()
{
  close(0);
  int fd = open("my.txt",O_RDONLY);
  if (fd<0)
  {
    perror("open");
    return 1;
  }
  printf("fd:%d\n",fd);
  close(fd);
  return 0;
}

通过运行结果我们发现，当我们将0关闭后文件描述符立马变成了0，我们再看看把2关闭了如何：

int main()
{
  //close(0);
  close(2);
  int fd = open("my.txt",O_RDONLY);
  if (fd<0)
  {
    perror("open");
    return 1;
  }
  printf("fd:%d\n",fd);
  close(fd);
  return 0;
}

当我们将2关闭后文件描述符又变成了2，这就说明文件描述符的分配规则是：在file_struct数组当中，找到当前没有被使用的最小的一个下标，作为新的文件描述符。

2.重定向

还是刚刚的代码，如果我们将1关闭了会出现什么情况呢？

int main()
{
  //close(0);
  close(1);
  int fd = open("my.txt",O_WRONLY | O_CREAT,00644);
  if (fd<0)
  {
    perror("open");
    return 1;
  }
  printf("fd:%d\n",fd);
  fflush(stdout);
  close(fd);
  exit(0);
}

通过运行结果我们可以发现，本来应该输出到显示器上的内容，输出到了文件中，其中fd=1，这种现象叫做输出重定向，常见的重定向有> >> <。那么重定向的本质是什么呢？我们看下图：

当然对于重定向来说还有一个系统调用接口，这个函数叫dup2:

#include <unistd.h>
int dup2(int oldfd, int newfd);

对于这个函数的参数1来说是被换的那个描述符，参数2是像0,1,2,这样的默认描述符，接下来我们使用这个函数完成以下重定向：

#include <stdio.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>
#include <string.h>
#include <unistd.h>

int main()
{
  int fd = open("my.txt",O_WRONLY | O_CREAT,00644);
  if (fd<0)
  {
    perror("open");
    return 1;
  }
  dup2(fd,1);
  printf("fd:%d\n",fd);
  close(fd);
}

通过上图我们可以看到成功的重定向到文件中。下面我们看看文件缓冲区的概念：

我们先编写一段代码看看现象：

int main()
{
  //c库中的
  fprintf(stdout,"hello fprintf\n");
  //系统调用
  const char* msg = "hello write\n";
  write(1,msg,strlen(msg));
  //fork();
  return 0;
}

可以正常打印，那么我们调用一下子进程会变成什么呢？

我们发现运行结果和刚刚是一样的，难道没有什么用吗？我们接下来重定向到文件中：

这个时候我们发现了，居然会多打印一个fprintf，为什么会出现这样的现象呢？

一般C库函数写入文件时是全缓冲的，而写入显示器是行缓冲。

printf fwrite 库函数会自带缓冲区（进度条例子就可以说明），当发生重定向到普通文件时，数据

的缓冲方式由行缓冲变成了全缓冲。

而我们放在缓冲区中的数据，就不会被立即刷新，甚至fork之后

但是进程退出之后，会统一刷新，写入文件当中。

但是fork的时候，父子数据会发生写时拷贝，所以当你父进程准备刷新的时候，子进程也就有了同样的一份数据，随即产生两份数据。

write 没有变化，说明没有所谓的缓冲

所以：

printf fwrite 库函数会自带缓冲区，而 write 系统调用没有带缓冲区。另外，我们这里所说的缓冲区，都是用户级缓冲区。其实为了提升整机性能，OS也会提供相关内核级缓冲区，不过不再我们讨论范围之内。那这个缓冲区谁提供呢？ printf fwrite 是库函数， write 是系统调用，库函数在系统调用的“上层”，是对系统调用的“封装”，但是 write 没有缓冲区，而 printf fwrite 有，足以说明，该缓冲区是二次加上的，又因为是C，所以由C标准库提供。

行缓冲：碰到\0就刷新缓冲区

全缓冲：缓冲区满了才刷新

显示器采用的刷新策略：行缓冲。普通文件采用的刷新策略：全缓冲

那么缓冲区在哪里呢？在你进行fopen打开文件的时候，你会得到FILE结构体，缓冲区就在这个FILE结构体中。