Linux 缓冲区

news2024/11/23 19:38:26

概念

  • 用于临时存储数据内存区域,目的是优化设备 I/O 操作,以提高传输效率

刷新方式

  1. 无缓冲(立即刷新):write
  2. 行缓冲(行刷新):显示器文件
  3. 全缓冲(缓冲区满刷新):磁盘文件

刷新策略

  1. 强制刷新(fflush)
  2. 进程退出的时候,刷新缓冲区

样例实验

  1 #include <stdio.h>
  2 #include <unistd.h>
  3 #include <string.h>
  4 
  5 const char* str1 = "C library: fputs\n";
  6 const char* str2 = "system call: write\n";
  7 int main()
  8 {
  9     printf("C library: printf\n");
 10     fprintf(stdout, "C library: fprintf\n");
 11     fputs(str1, stdout);
 12     write(1, str2, strlen(str2));
 13     //fork();                                                                                                                                 
 14     return 0;            
 15 } 

无fork

显示器文件打印

  • 缓冲区的刷新方式是:行刷新
  • 前三个C库函数,不停留在C语言的缓冲区,直接出来
  • 所以系统调用接口实在最后呈现

磁盘文件打印

  • 缓冲区的刷新方式是:全刷新
  • 前三个C库函数所打印的内容没有填满C语言缓冲区,所以实在程序结束的时候才刷新缓冲区
  • 系统调用接口不经过C语言缓冲区,导致他先打印在前面

有fork

为什么重定向到磁盘文件的时候会多打印?

磁盘文件里的系统调用那句没有多打印?

是因为fork起作用了?那为什么显示器文件就没有呢?

解决这些问题的关键是打印二字

  • 打印可以理解成一种刷新的方式
  • 打印过程并不是直接程序到文件

  • self buffer:被写入的数据
  • 刷新:C buffer拷贝到文件缓冲区的过程,即:用户到操作系统
  • 调用C库函数的时候,先是拷贝到C buffer里;对应系统调用接口是不经过C buffer,直接拷贝到文件缓冲区里

原理

  • 最根本的还是对fork创建子进程的补充和理解
  • 可能对C buffer不是特别了解;这就是一个内存区域,这个区域的地址通过页表,与虚拟地址空间映射
  • 其实就是子进程也有,于内存上是同一份;但是注意:每个进程都有自己独立的虚拟地址空间和页表,这里他们的内容一样,所以指向同一个缓冲区
  • 那么问题就解决了,子进程结束的时候会刷新缓冲区,所以会有两份;系统调用打印的内容不在C语言缓冲区里,所以子进程没有

问题与补充

1.对printf的理解

  • 边拷贝,边做字符串分析
  • printf封装了write
  • 刷新本质都是通过write实现的
  • printf每次都会往C buffer里写,但并不是每次都刷新,是按照刷新方式来决定是这次printf否调用write

2.对write的理解

  • 不是说write不会将数据放入C语言缓冲区吗?是的,不矛盾
  • C buffer 和self buffer一样都只是一个用于存放数据的内存区域,只不过C buffer 大点,就是为了一次性刷新多点数据,来提高程序的效率
  • 所以说write的本质就是将C buffer 或者 self buffer里的数据直接(不停留的)刷新到文件缓冲区
  • 换句话说write不依赖C buffer,但是write可以刷新C buffer

3.对 “清空” 的理解

  • 缓冲区刷新之后会被清空,清空并不是对物理内存数据的清空
  • 用字段就可以表示当前缓冲区的有效数据长度或当前位置
  • 所以上面的代码,在子进程刷新的时候是发生了写实拷贝的

4.对 “文件缓冲区” 的理解

  • 属于操作系统,不属于进程

5.程序并不知道是否重定向,那么是怎么决定缓冲区的刷新方式的?

  • 当 stdout 被重定向到文件时,C 标准库会自动检测到输出流的目标发生了变化,并根据不同的流类型调整缓冲区的刷新策略

  • 终端检测:标准库通过 isatty() 系统调用来判断标准输出是否连接到终端;如果标准输出是终端设备,则使用行缓冲;如果标准输出被重定向到文件或其他非终端设备,则使用全缓冲

  • 总结:C 标准库在第一次打开或使用流时,通过检测文件描述符 1(即 stdout)对应的文件属性来决定缓冲方式

FILE

 

  • 可以通过FILE对象来找到缓冲区
  • C 语言提供的缓冲区(C buffer)和 FILE 结构体中的缓冲区是一样的,它们指的是同一个概念

用系统调用封装C库函数

main.c

#include "mystdio.h"
#include <stdio.h>
int main()
{
    myFILE* fp = my_fopen("./log.txt", "w");
    if(fp == NULL)
    {
        perror("my_fopen");
        return -1;
    }

    int cnt = 5;
    const char* msg = "abcde\n12345"; 
    while(cnt--)
    {
        my_fwrite(msg, strlen(msg), fp);
        //my_fwrite(msg, sizeof(msg), fp);
        sleep(1);
    } 
    my_fclose(fp);
    return 0;
}

mystdio.h

#pragma once
#include <string.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>
#include <errno.h>
#include <stdlib.h>
#include <unistd.h>
#include <stdio.h>

#define DFL_MODE 0666
#define FFLUSH_LINE 1
#define SIZE_BUFFER 1024

typedef struct _myFILE
{
    int fileno;
    int flag;
    char buffer[SIZE_BUFFER];
    int end;
}myFILE;

myFILE* my_fopen(const char* path, const char* mode);
int my_fwrite(const char* str, int num, myFILE* stream);
int my_fflush(myFILE* stream);
int my_fclose(myFILE* stream);

mystdio.c

#include "mystdio.h"

myFILE* my_fopen(const char* path, const char* mode)
{
    int fd = 0;
    int flags = 0;
    if(strcmp(mode, "r") == 0)
        flags |= O_RDONLY;
    else if(strcmp(mode, "w") == 0)
        flags |= (O_WRONLY | O_TRUNC | O_CREAT);
    else if(strcmp(mode, "a") == 0)
        flags |= (O_APPEND | O_WRONLY | O_CREAT);
    
    if(flags | O_TRUNC)
        fd = open(path, flags, DFL_MODE);
    else fd = open(path, flags);
    
    if(fd < 0)
    {
        errno = 2;
        return NULL;
    }

    myFILE* fp = (myFILE*)malloc(sizeof(myFILE));//自定义类型要加()
    if(fp == NULL)
    {
        errno = 3;
        return NULL;
    }

    fp->fileno = fd;
    fp->flag = FFLUSH_LINE;
    fp->end = 0;
    return fp;
}

int my_fwrite(const char* str, int num, myFILE* stream)
{
    memcpy(stream->buffer + stream->end, str, num);
    //stream->end += num;

    // 判断是否需要刷新, "abcd\nefgh"
    //if((stream->flag & FFLUSH_LINE) && stream->end > 0 && stream->buffer[stream->end-1] == '\n')
    //{
    //    my_fflush(stream);
    //}
    int last_end = 0;//geshu
    if((stream->flag & FFLUSH_LINE) && (num > 0))//问题在这,个数用num
        for(size_t i = stream->end; i < stream->end + num; i++)
           // if(stream->buffer[i] == '\\' && stream->buffer[i + 1] == 'n')
            if(stream->buffer[i] == '\n')
                last_end = i + 1;
    printf("%d\n", last_end);
    stream->end = stream->end + num - last_end;
    printf("%s\n\n", stream->buffer);
    if(last_end)
    {
        write(stream->fileno, stream->buffer, last_end);
        memmove(stream->buffer, stream->buffer + last_end, stream->end);
    }
    return 0;
}

int my_fflush(myFILE* stream)
{
    if(stream->end > 0)
    {
        write(stream->fileno, stream->buffer, stream->end);
        stream->end = 0;
    }
    return 0;
}

int my_fclose(myFILE* stream)
{
    my_fflush(stream);
    return close(stream->fileno);
}

实验目的

  • 模拟缓冲区是怎么刷新的
  • 模拟实现行刷新,解决代码问题和逻辑问题
  • 更好理解缓冲区的实现

函数解释

my_fclose

  • 就是一点:关闭之前,要刷新缓冲区

my_fflush

  • 调用这个函数的时候,如果stream->end不为0,就是缓冲区里有有效值,刷新
  • 刷新之后记得清0 stream->end

my_fwrite

逻辑

  • 将self buffer 拷贝到 C buffer里
  • 检查新拷贝的内容是否有\n
  • 更新stream->end
  • 刷新缓冲区
  • 拷贝没有被刷新的内容

遇到的问题

  1. 遍历:我写的其实不需要num>0这个条件了,因为下面的for循环检查越界了;在此之前我写的是stream->end>0,这就导致第一次的abcde不会输出,因为stream->end这时候为0;bug就在这,我写的这个逻辑中第一次的stream->end并不代表个数
  2. stream->end更新的位置:开始是放在if(last_end)里,这样肯定不对!因为不刷新的时候,stream->end也要更新啊

总结

  • 刷新方式比较重要
  • 弄清楚样例
  • 创建子进程时候,缓冲区是同一个,进程退出时候,会发生写实拷贝
  • FILE结构体有维护缓冲区的字段

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2194506.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Qt_QSS介绍与使用

目录 1、QSS的语法介绍 2、QSS的基本使用 3、QSS的全局设置 4、样式的叠加特性 5、样式的优先级 6、使用Qt Designer设置样式 7、选择器种类介绍 7.1 类选择器 7.2 ID选择器 7.3 并集选择器 8、子控件选择器 9、伪类选择器 10、盒子模型 10.1 设置边框和内…

开源链动2+1模式、AI智能名片与S2B2C商城小程序在精准选品与定位决策中的应用

摘要&#xff1a;在当今竞争激烈的商业环境中&#xff0c;精准把握顾客偏好&#xff0c;实现有效选品与定位决策&#xff0c;已成为企业持续发展的关键。本文旨在探讨如何通过引入开源链动21模式、AI智能名片及S2B2C商城小程序等创新工具&#xff0c;来深度观测销售报表中的销量…

你还在为教学资料转换烦恼吗?4款神器安利给你,PDF转JPG一键搞定

工作或者学习的时候&#xff0c;我们经常得把PDF文件转换成JPG图片。可能是因为在手机上看起来方便&#xff0c;或者是想放到PPT里展示&#xff0c;反正把PDF转JPG的情况挺多的。那有什么好用的软件能做这个转换呢&#xff1f;今天我就给你们介绍几个好用的。 1. 福昕PDF高质量…

目标检测与图像分类:有什么区别?各自的使用场景是什么?

《博主简介》 小伙伴们好&#xff0c;我是阿旭。专注于人工智能、AIGC、python、计算机视觉相关分享研究。 ✌更多学习资源&#xff0c;可关注公-仲-hao:【阿旭算法与机器学习】&#xff0c;共同学习交流~ &#x1f44d;感谢小伙伴们点赞、关注&#xff01; 《------往期经典推…

思维+数论,CF 922C - Cave Painting

目录 一、题目 1、题目描述 2、输入输出 2.1输入 2.2输出 3、原题链接 二、解题报告 1、思路分析 2、复杂度 3、代码详解 一、题目 1、题目描述 2、输入输出 2.1输入 2.2输出 3、原题链接 922C - Cave Painting 二、解题报告 1、思路分析 诈骗题 我们发现 n mo…

配置MySQL8.0允许远程连接

一&#xff1a;打开MySQL 指令控制台 二.设置Mysql远程登陆 输入密码&#xff1a;123456 第一步&#xff1a;登进MySQL 输入指令&#xff1a;use mysql 第二步&#xff1a;更新域属性&#xff0c;%表示允许任意IP地址访问&#xff1a; 输入指令&#xff1a;update user set…

微信小程序开发-调试及配置文件介绍

一&#xff0c;隐藏控制台系统日志 在小程序开发中&#xff0c;如果你想要隐藏控制台中的系统日志&#xff0c;可以通过以下步骤进行操作&#xff1a; 打开小程序的开发工具。在开发工具的控制台(Console)中&#xff0c;找到你想要隐藏的系统日志。右键点击该系统日志条目。在…

who命令:显示当前登录用户名

一、命令简介 ​who​ 命令是一个常用的 Linux 命令&#xff0c;用于显示当前登录到系统上的用户信息。 例如 who它会列出当前登录用户的&#xff1a; 用户名终端登录时间远程主机&#xff08;如果是远程登录的话&#xff09; user1 tty1 Oct 7 08:30 soulio …

深度学习:基于MindSpore实现ResNet50中药分拣

ResNet基本介绍 ResNet&#xff08;Residual Network&#xff09;是一种深度神经网络架构&#xff0c;由微软研究院的Kaiming He等人在2015年提出&#xff0c;并且在ILSVRC 2015竞赛中取得了很好的成绩。ResNet主要解决了随着网络深度增加而出现的退化问题&#xff0c;即当网络…

域名劫持怎么处理?如何判断dns是否被劫持

随着网络环境的日益复杂&#xff0c;网站安全问题也日益凸显。域名劫持怎么处理&#xff1f;域名劫持是网站运营中不容忽视的安全威胁&#xff0c;在遇到域名劫持的时候应该学会应急响应、加强安全防护措施以及持续的安全维护&#xff0c;我们可以有效降低其带来的风险。 域名劫…

AOP 能够取代依赖注入吗?

AOP&#xff08;面向方面编程&#xff09;和依赖注入&#xff08;DI&#xff09;都是面向对象编程中非常重要的设计概念&#xff0c;它们在软件开发中扮演着不同的角色&#xff0c;但常常被用于解决相似的问题&#xff0c;如解耦、提高代码的可维护性和灵活性等。那么&#xff…

双碳平台-企业EMS -能源管理系统-能源在线监测平台

一、介绍 基于SpringCloud的能管管理系统-能源管理平台源码-能源在线监测平台-双碳平台源码-SpringCloud全家桶-能管管理系统源码 二、软件架构 二、功能介绍 三、数字大屏展示 四、数据采集原理 五、软件截图

面试问我LLM中的RAG,秒过!!!

本篇文章涉及了 RAG 流程中的数据拆分、向量化、查询重写、查询路由等等&#xff0c;在做 RAG 的小伙伴一定知道这些技巧的重要性。推荐仔细阅读&#xff0c;建议收藏&#xff0c;多读几遍&#xff0c;好好实践。 本文是对检索增强生成&#xff08;Retrieval Augmented Genera…

matlab碳交易机制下考虑需求响应的综合能源系统优化运行

目录 1 主要内容 架构模型&#xff1a; 需求响应模型&#xff1a; 目标函数&#xff1a; 对比算例设计&#xff1a; 2 部分程序 3 程序结果 4 下载链接 1 主要内容 该程序复现文献《碳交易机制下考虑需求响应的综合能源系统优化运行》&#xff0c;解决碳交易机制下考虑…

大数据新视界 --大数据大厂之 Alluxio 数据缓存系统在大数据中的应用与配置

&#x1f496;&#x1f496;&#x1f496;亲爱的朋友们&#xff0c;热烈欢迎你们来到 青云交的博客&#xff01;能与你们在此邂逅&#xff0c;我满心欢喜&#xff0c;深感无比荣幸。在这个瞬息万变的时代&#xff0c;我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而 我的…

时间序列顶会一网打尽!时间序列基础模型的最新进展!

前言 最近时间序列基础模型领域&#xff0c;迎来了里程碑式的突破。 TimeGPT作为首个原生基础模型&#xff0c;于去年八月问世&#xff0c;一发布就震撼了预测领域。 众多其他基础模型也相继发布&#xff0c;包括但不限于&#xff1a; TimesFM MOIRAI Tiny Time Mixers&am…

Vue83 引入elementUI

笔记 安装插件 安装按需引入插件 代码 ### App.vue <template><div><button>原生的按钮</button><input type"text"><atguigu-row><atguigu-button>默认按钮</atguigu-button><atguigu-button type"pr…

Pikachu-Sql-Inject -基于boolian的盲注

基于boolean的盲注: 1、没有报错信息显示&#xff1b; 2、不管是正确的输入&#xff0c;还是错误的输入&#xff0c;都只显示两种情况&#xff0c;true or false&#xff1b; 3、在正确的输入下&#xff0c;输入and 1 1/and 1 2发现可以判断&#xff1b; 布尔盲注常用函数&…

MySQL连接查询:外连接

先看我的表结构 dept表 emp表 外连接分为 1.左外连接 2.右外连接 1.左外连接 基本语法 select 字段列表 FORM 表1 LEFT [OUTER] JOIN 表2 ON 条件;例子&#xff1a;查询emp表的所有数据&#xff0c;和对应部门的员工信息&#xff08;左外连接&#xff09; select e.*, d.n…

全网最详细大语言模型(LLM)入门学习路线图

Github项目上有一个大语言模型学习路线笔记&#xff0c;它全面涵盖了大语言模型的所需的基础知识学习&#xff0c;LLM前沿算法和架构&#xff0c;以及如何将大语言模型进行工程化实践。这份资料是初学者或有一定基础的开发/算法人员入门活深入大型语言模型学习的优秀参考。这份…