Linux | 文件描述符fd详解及重定向技术的应用

news2024/9/29 1:23:15

多谢梅花,伴我微吟。 - 《高阳台·除夜》(韩疁)

2024.8.23

目录

1、文件描述符fd

文件操作符概念(简单带过)

重点:如何理解文件操作符使得系统实现了设备无关性?(使得操作系统无需关心具体的硬件细节)

示例代码:标准输入、标准输出和标准错误

文件描述符的分配规则

注意

2、重定向

重定向的简单例子

思考

重点:使用dup2函数进行重定向

重定向的重要应用


文件描述符,一个看似简单的整数,实际上是Linux系统中用于标识和访问文件、设备和其他输入输出资源的关键。每个进程在启动时,都会继承一组标准的文件描述符,它们是:标准输入(stdin)、标准输出(stdout)和标准错误(stderr)。这些描述符不仅是进程与外部世界通信的桥梁,更是操作系统抽象硬件细节、实现设备无关性的关键。通过重定向技术,我们可以灵活地改变输出的目的地,无论是将标准输出重定向到文件,还是将错误信息发送到日志系统,甚至是将输入从文件中读取。这种灵活性,正是Linux系统强大功能的一部分。

1、文件描述符fd
文件操作符概念(简单带过)

文件描述符(fd)是一个用于表示打开文件的整数,每个进程在启动时会有三个标准文件描述符:标准输入(0)、标准输出(1)和标准错误(2)。

在Linux系统中,每个进程在启动时都会打开一组标准的文件描述符,它们是:

  • 标准输入(stdin):文件描述符为0,通常关联到键盘输入。
  • 标准输出(stdout):文件描述符为1,通常关联到显示器输出。
  • 标准错误(stderr):文件描述符为2,同样通常关联到显示器,用于输出错误信息。

这些文件描述符允许程序以一种标准和约定的方式来进行输入和输出操作,而无需关心具体的设备细节,实现了设备无关性。

重点:如何理解文件操作符使得系统实现了设备无关性?(使得操作系统无需关心具体的硬件细节)

比如说:3号文件描述符是打印机,4号文件描述符是音响。OK,我执行输出操作的时候操作系统不需要关系你到底是打印机还是音响,我都通过固定的输出接口把数据给到设备,让设备自己处理系统发来的输出数据做处理,处理成设备自己能识别的格式(一般是驱动对数据处理之后发送给设备,所以说驱动是系统和硬件的中间件~~),黑白打印机就识别为黑白像素点,音响就识别为频率振幅等等~~

打印机和音响的输出设备如此,扫描仪和麦克风等输入设备也是一样的~~,设备将数据处理成同一格式再通过唯一的系统输入接口传入电脑。

我的理解:其实,这就是一种“多态”,系统提供固定的输入输出接口,根据设备的不同执行不同的IO细节操作,极大降低了系统和硬件的耦合度!!!(当时还没有提出多态概念,这可能是最早的“多态”,所以说当时写操作系统的大佬思想相当厉害!!! 再次膜拜~)

示例代码:标准输入、标准输出和标准错误
#include <stdio.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>
#include <unistd.h>
#include <string.h>

int main() {
    char buf[1024]; // 定义一个缓冲区用于存储读取的数据
    ssize_t s = read(0, buf, sizeof(buf)); // 从标准输入(键盘)读取数据
                // // 等价于read(stdin, buf, strlen(buf));
    if (s > 0) {
        buf[s] = 0; // 将读取的字符串末尾添加null终止符
        write(1, buf, strlen(buf)); // 将数据写入标准输出(显示器)
        // 等价于write(stdout, buf, strlen(buf));
        write(2, buf, strlen(buf)); // 将数据同时写入标准错误(显示器)
        // 等价于write(stderr, buf, strlen(buf));
    }
    return 0;
}
文件描述符的分配规则

文件描述符本质上是一个小整数,它是一个指向进程打开文件表(files_struct)中特定条目的索引。每个条目都包含了一个指向打开文件的数据结构(如file结构体)的指针。当调用open系统调用时,操作系统会分配一个新的文件描述符,并在这个表中创建一个新的条目。

在files_struct数组当中,找到当前没有被使用的最小的一个下标,作为新的文件描述符。

注意
  • read 函数尝试从文件描述符0(标准输入)读取数据到缓冲区buf中,返回值是实际读取的字节数。
  • 如果read成功,使用write函数将读取的数据写入到文件描述符1(标准输出)和文件描述符2(标准错误)。
  • write函数将数据写入指定的文件描述符,返回值是成功写入的字节数。
  • 如果读取或写入失败,readwrite函数都会返回-1,并设置errno以指示错误类型。
  • buf[s] = 0;这行代码确保了从标准输入读取的字符串是正确终止的,这对于字符串操作是安全的。

2、重定向
重定向的简单例子

根据文件fd的分配规则:在files_struct数组当中,找到当前没有被使用的最小的一个下标,作为新的文件描述符。当我们关闭系统默认开启的、较小的fd操作符,再次分配时就会将新的文件插入分配到此位置。

#include <stdio.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>
#include <stdlib.h>

int main()
{
 close(1);
 int fd = open("myfile", O_WRONLY|O_CREAT, 0644);
 if(fd < 0){
     perror("open");
     return 1;
 }
 printf("fd: %d\n", fd);
 fflush(stdout);
 
 close(fd);
 exit(0);
}

我们发现,新打开的myfile文件在进程中分配的fd果然是我们关闭的1号文件描述符(对应的是stdout向显示器输出)。

思考

结果:printf输出的内容没有出现在显示器上,而是写入了myfile文件中,为什么会这样?

解释:printf默认是向stdout对应的文件操作符(对应的fd是1)执行输出,当我们一关一开1号文件描述符后,1号文件描述符的指向目标已近由显示器改为myfile(重定向到myfile),最后执行printf时,函数向1号文件描述符输出,结果就输出到了myfile文件之中。

重点:使用dup2函数进行重定向

前面,我们演示了重定向的简单例子,通过对系统提供的文件描述符先关闭,再打开文件,重定向了1号文件描述符。上述方式可以进行重定向操作,但是步骤繁琐、容易出错、而且对不了解内部原理的同学不够友好。Linux系统提供了一个系统调用接口dup2来完成重定向操作,dup2 是一个 UNIX 和类 UNIX 系统上的系统调用,用于复制文件描述符。

dup2 函数的原型如下:

#include <unistd.h>

int dup2(int oldfd, int newfd);

dup2 函数有两个参数:

  • oldfd:要复制的原始文件描述符。
  • newfd:复制后新的文件描述符。
  • 通过man手册查这个接口,解释晦涩难懂,必须狠狠吐槽! 我们直接看例子比较清晰。

前文演示的,将myfile重定向为1号文件描述符,等价于:

int myfile_fd = open("myfile", O_WRONLY|O_CREAT, 0644);
dup2(myfile_fd, 1);

如果 newfd 已经打开,dup2 会关闭它并用 oldfd 的副本来替换。newfd 将指向与 oldfd 相同的文件表项,从而共享相同的文件偏移量和文件状态标志。

如果 dup2 成功,它会返回新的文件描述符(即 newfd)。如果调用失败,它会返回 -1 并设置全局变量 errno 以指示错误。

下面是使用 dup2 的一个示例代码:

#include <stdio.h>
#include <unistd.h>
#include <fcntl.h>
#include <errno.h>

int main() {
    int oldfd, newfd;
    const char *filename = "example.txt";

    // 打开一个文件,获取文件描述符
    oldfd = open(filename, O_WRONLY | O_CREAT | O_TRUNC, 0644);
    if (oldfd < 0) {
        perror("open");
        return 1;
    }

    // 使用 dup2 将标准输出重定向到文件
    newfd = dup2(oldfd, 1); // 将文件描述符 1 (stdout) 指向 oldfd
    if (newfd < 0) {
        perror("dup2");
        close(oldfd);
        return 1;
    }

    // 现在 printf 将输出到文件而不是控制台
    printf("Hello, this is a test output to the file.\n");

    // 关闭文件描述符
    close(oldfd);

    return 0;
}

在这个示例中,我们首先打开一个名为 "example.txt" 的文件,并获取它的文件描述符 oldfd。然后,我们使用 dup2 将标准输出(stdout,文件描述符为 1)重定向到这个文件。之后,任何对 printf 的调用都会将输出写入 "example.txt" 而不是显示器。最后,我们关闭文件描述符并退出程序。

重定向的重要应用
  1. 控制输出:重定向允许开发者控制程序输出的目标,例如将输出从控制台重定向到文件中,通过将错误信息重定向到单独的文件,开发者可以更容易地监控和分析程序运行中的错误,而不影响标准输出的清晰度。这对于日志记录、数据收集和后续分析非常有用(将日志持久化保存是重定向的重要应用~~)。

  2. 资源管理:重定向可以用于管理输入和输出资源,例如将一个程序的输出作为另一个程序的输入,实现管道操作。

  3. 测试和调试:在开发过程中,重定向可以帮助开发者将程序的输出保存到文件中,便于后续的测试和调试。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2066652.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

SAP BW:QUERY数据结果写入ADSO

作者 idan lian 如需转载备注出处 如果对你有帮助&#xff0c;请点赞收藏~~~ 需求背景 客户基于QUERY进行报表展示&#xff0c;现需迁移到永洪报表平台&#xff0c;query中的变量参数&#xff0c;公式等无法直接生成视图&#xff0c;query相对复杂&#xff0c;不想直接在视图…

流动会场:便捷、经济与声学效果的理想融合—轻空间

在现代活动策划中&#xff0c;选择合适的场地至关重要。流动会场作为一种新型移动空间&#xff0c;不仅具备便捷性和高性价比&#xff0c;还以其优异的声学效果&#xff0c;成为各类会议、展览、演出等活动的理想选择。 便捷安装&#xff0c;快速搭建 流动会场的模块化设计使其…

P-One如何测试一个场景集包含多个接口

P-One是泽众软件自主研发的一站式性能测试平台&#xff0c;集管理、设计、压测、监控以及分析于一体的全方位性能测试解决方案&#xff0c;适用于各种非功能测试场景&#xff1a;压力测试、负载测试、稳定性测试、可靠性测试、容量测试等。 在实际业务场景中&#xff0c;如电商…

springsecurity 在web中如何获取用户信息(后端/前端)

一、SecurityContextHolder 是什么 是一个安全的上下文对象&#xff0c;用于获取经过身份验证的用户。 二、SecurityContextHolder 是何时被创建的 当我们经过表单UsernamePasswordAuthenticationFilter 过滤器后&#xff0c;会回调父类的AbstractAuthenticationProcessingFilt…

华为自研仓颉编程语言测试版上线,计划持续到10月21号

现如今&#xff0c;编程语言作为构建软件世界的基石&#xff0c;其重要性不言而喻。 而华为&#xff0c;作为全球领先的信息与通信技术&#xff08;ICT&#xff09;解决方案提供商&#xff0c;其在技术创新上的每一步都备受瞩目。最近&#xff0c;华为再次成为焦点&#xff0c…

OpenCompass 评测 InternLM-1.8B 实践

1. 环境安装 conda create -n opencompass python3.10 conda activate opencompass conda install pytorch2.1.2 torchvision0.16.2 torchaudio2.1.2 pytorch-cuda12.1 -c pytorch -c nvidia -y# 注意&#xff1a;一定要先 cd /root cd /root git clone -b 0.2.4 https://gith…

系统编程-lvgl

带界面的MP3播放器 -- lvgl 目录 带界面的MP3播放器 -- lvgl 一、什么是lvgl&#xff1f; 二、简单使用lvgl 在工程中编写代码 实现带界面的mp3播放器 main.c events_init.c events_init.h 补充1&#xff1a;glob函数 补充2&#xff1a;atexit函数 一、什么是lvgl&a…

GPT-4、Claude 3 Opus 和 Gemini 1.0 Ultra 挑战控制工程的新领域

介绍 论文地址&#xff1a;https://arxiv.org/abs/2404.03647 近年来&#xff0c;GPT-4、Claude 3 Opus 和 Gemini 1.0 Ultra 等大规模语言模型&#xff08;LLM&#xff09;迅速发展&#xff0c;展示了它们解决复杂问题的能力。LLM 的这些发展在多个领域都有潜在的应用前景。…

Postman接口测试 —— 设置全局变量、参数传递、断言

在能熟练使用postman运行接口请求后&#xff0c;会遇到一些问题。例如&#xff1a; 我们的web网站一共有几十个接口&#xff0c;测试的时候如果要切换环境&#xff0c;这个时候要每个接口都要修改url的根路径&#xff0c;一个一个的改也太麻烦了&#xff1b; 还有时候我们经常…

八、SPA单页面实现SEO优化之预渲染prerender-spa-plugin

文章目录 一、前言二、prerender-spa-plugin预渲染方式实现SEO插件介绍实现步骤 一、前言 关于SPA和SEO优化、SSR服务器渲染的介绍可以参考这里&#xff1a; 六、什么是SEO优化&#xff08;搜索引擎优化&#xff09;&#xff1f;SPA单页面应用如何实现SEO优化&#xff1f; 通…

C/C++语言基础--字符串(包括字符串与字符数组、字符串与指针、字符串处理函数等),代码均可运行

本专栏目的 更新C/C的基础语法&#xff0c;包括C的一些新特性 前言 无论什么语言&#xff0c;字符串都是最重要、最基础的数据类型&#xff0c;他对二进制有很好的对应关系在C语言中没有提供专门的处理字符串的类型&#xff0c;但是我们可以通过字符数组、开辟内存地址来处理…

Content-Encoding: br

爬虫的时候遇到了 Content-Encoding: br &#xff0c; 这可能会导致返回的数据有乱码&#xff0c;无法解析&#xff0c;也无法解码&#xff0c; 浏览器显示编码 按照这么写&#xff0c;还是乱码 查了很久&#xff0c;需要在请求头 Accept-Encoding 将这个改为gzip&#xff0c…

Swift 6.0 如何更优雅的抛出和处理特定类型的错误

概述 从 Swift 语言诞生那天儿起&#xff0c;它就不厌其烦一遍又一遍地向秃头码农们诉说着自己的类型安全和高雅品味。 不过遗憾的是&#xff0c;作为 Swift 语言中错误处理这最为重要的一环却时常让小伙伴们不得要领、满腹狐疑。 在本篇博文中&#xff0c;您将学到如下内容&…

企业数字化转型会面临哪些挑战,如何解决?

当前&#xff0c;数字技术发展迅速&#xff0c;已迈入 AI 人工智能时代。企业若不进行数字化转型&#xff0c;可能会被用户抛弃、被竞争对手超越。那么&#xff0c;传统企业在转型过程中会遇到哪些挑战呢&#xff1f; 一、企业数字化转型面临的挑战 1、缺乏明确的战略规划和转…

宠物空气净化器除臭吗?性价比高的宠物空气净化器十大排名分享

来来来&#xff0c;先带大家一睹我店里的小可爱们 是不是超级可爱呀~&#xff1f;这样的大卡车猫猫&#xff0c;在我这猫咖里可是还有好几十只&#xff01;作为一位坐拥几十只猫咪的“猫咖掌门”&#xff0c;朋友们总是投来羡慕的目光。但这份光鲜背后&#xff0c;可是有我无数…

轻松制作 GIF 动图,你也可以!

你是否曾为找不到合适的动图而烦恼&#xff1f; 是否羡慕别人能制作出精彩的 GIF 动图&#xff1f; 现在&#xff0c;无需再羡慕&#xff01;因为我们用以下图片中的方法&#xff0c;你自己也能轻松制作 GIF 动图。 这款工具&#xff0c;操作简单易懂&#xff0c; 即使你没有…

舞动奇迹,亨廷顿舞蹈症患者专属健身秘籍!

&#x1f308; 在小红书的温馨角落里&#xff0c;让我们一起探索一个特别的世界——为亨廷顿舞蹈症&#xff08;HD&#xff09;患者量身定制的健身之旅。HD&#xff0c;这个名字或许带着一丝沉重&#xff0c;但它绝不能定义我们生活的全部色彩。通过科学的锻炼方式&#xff0c;…

APP逆向百例五-Flutter逆向案例----某次元(AES+RSA)

现在售价依旧是99&#xffe5;,计划更新100案例&#xff0c;平均一个案例1块钱&#xff0c;要什么自行车&#xff01; 还原一下我逆向此app的方法 1.抓包分析&#xff1a; 我这边用socksDroid抓不到数据包,但是小黄鸟可以&#xff0c;那就用Reqable结合电脑端进行抓包,不纠结…

Leetcode 347. 前 K 个高频元素

解法&#xff1a; 字典统计排序 class Solution:def topKFrequent(self, nums: List[int], k: int) -> List[int]:cont {}for eve in nums:if eve not in cont: cont[eve] 1else: cont[eve] 1contlist sorted(cont.items(), keylambda x: x[1])res [eve[0] for eve i…

从安装Docker到打包迁移MySQL的完整指南

从安装Docker到打包迁移MySQL的完整指南 每一天过得充实&#xff0c;眼中无迷茫&#xff0c;心中无烦恼。日子就会充满希望&#xff0c;岁月就会洒满清欢。 这篇文章将带你从零开始&#xff0c;在CentOS服务器上安装Docker、使用Docker部署MySQL数据库&#xff0c;并打包和迁移…