Linux相关概念和易错知识点(26)(命名管道、共享内存)

news2025/1/29 8:01:15

目录

1.命名管道

(1)匿名管道 -> 命名管道

①匿名管道

②命名管道

(2)命名管道的使用

①创建和删除命名管道文件

②命名管道文件的特性

③命名管道和匿名管道的区别

(3)用命名管道实现进程间通信

2.共享内存

(1)共享内存是什么

(2)shmget

①IPC_CREAT

②IPC_EXCL

③key

④shmid

(3)共享内存的生命周期及其释放

①指令释放

②代码释放

(4)shm的关联和去关联

①关联

②去关联

(5)shm申请空间的底层细节

(6)共享内存通信的特点

①优点

②缺点

(7)共享内存的保护

①临界与非临界、互斥同步

②信号量

(8)共享内存的底层


1.命名管道

(1)匿名管道 -> 命名管道

①匿名管道

匿名管道的原理是创建一个内存级文件pipe,让父子进程看到同一块文件缓冲区,利用同缓冲区、不同struct file的特性实现一个进程向缓冲区写入,一个向缓冲区读取。但这有个问题,匿名管道的创建前提就是通信的进程属于父子关系,但有的时候我们需要让不相关的进程进行通信,这应该怎么办呢?这就要引入命名管道了。

②命名管道

进程间通信的根本就是让两个进程看到同一块资源,因此我们需要找到一个让两个不相关的进程能够同时访问的资源。对于命名管道而言,这个公共资源就是一个真实的文件,以路径 + 文件名作为该文件的唯一标识。

(2)命名管道的使用

①创建和删除命名管道文件

创建命名管道文件:int mkfifo(const char *pathname, mode_t mode);

删除命名管道文件:int unlink(const char *pathname)

返回值:成功创建(删除)文件时返回0,失败返回-1并设置错误码

我们可以看到,命名管道文件是一个真实存在的文件,我们可以创建命名管道,通过对这个文件进行读写操作。具体方法就是通过路径 + 文件名操作。

需要注意的一个小细节就是创建、删除文件可以携带路径,通信的两个进程可以在任意位置,通过绝对/相对路径进行定位。

②命名管道文件的特性

为什么要专门设计这种文件?

其一是命名管道文件始终不会刷新写入内容到磁盘,都是写入内核缓冲区,等待读走。因此从效率上将要更快;

其二,就是命名管道文件存在一个特殊处理。即当创建好命名管道文件之后,会有读端和写端打开以进行通信。对于普通文件,读端写端可以直接打开已存在的文件;而对于命名管道文件而言,当一端打开而另一端还没有打开时,先打开的那一端就会被open阻塞,直到另一端打开,两者才会同时打开文件,之后read就会被阻塞(同步互斥保护机制)。这样做的目的是,当读端打开文件后会开始读文件,而如果此时没有写端打开,read会返回0,这就导致读端直接判断为“数据读完了”导致执行剩余代码,反之亦然。

因此普通文件虽然也能实现进程间通信,但会存在效率问题以及读写端时机导致的问题。显然我们离不开专门设计的命名管道文件。

③命名管道和匿名管道的区别

很明显,匿名、命名管道均利用文件内核缓冲区进行数据通信,但是匿名管道是因为父子进程才使得不同进程看到同一份资源,而命名管道是通过路径定位看到同一文件资源,所以进程A和进程B不需要为父子关系。除此之外,两种通信方式的原理一模一样,只有处理细节上的不同。

(3)用命名管道实现进程间通信

由于和匿名管道代码类似,这里我简要分析思路 + 代码展示即可。我们需要做的是先生成管道文件,这部分交给读端(服务端)处理,一般都是服务端等待客户端的接入,后续管道文件的销毁也是服务端处理。

common.hpp

#pragma once

#include <iostream>
#include <string>
#include <unistd.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>

using namespace std;

const string filename = "./myfifo";
const int count = 50;//允许通信消息数

class myPipe
{
public:
    myPipe()
    {
        umask(0);
        int create_ret = mkfifo(filename.c_str(), 0600);
        if (create_ret == 0)
            cout << "创建命名管道文件成功!" << endl;
        else
        {
            cout << "创建命名管道文件失败!" << endl;
            exit(1);
        }
    }

    ~myPipe()
    {
        int unlink_ret = unlink(filename.c_str());
        if (unlink_ret == 0)
            cout << "删除命名管道文件成功!" << endl;
        else
        {
            cout << "删除命名管道文件失败!" << endl;
            exit(1);
        }
    }

};

client.hpp



#include "common.hpp"

class Client
{
public:
    Client()
        : _fd(-1)
    {
        _fd = open(filename.c_str(), O_WRONLY);

        if (_fd > 0)
            cout << "客户端通信已连接!" << endl;
        else
        {
            cout << "客户端通信连接失败!" << endl;
            exit(1);
        }
    }

    int WriteMessage()
    {
        string str;
        getline(cin, str);
        write(_fd, str.c_str(), str.size());
        return str.size();//内核缓冲区中字符串结尾不需要\0
    }

    ~Client()
    {
        if (close(_fd) == 0)
            cout << "通信结束,客户端已断开!" << endl;
        else
            cout << "通信结束,但客户端断开失败!" << endl;
    }

private:
    int _fd;
};

server.hpp



#include "common.hpp"


myPipe mypipe;


class Server
{
public:
    Server()
        : _fd(-1)
    {
        _fd = open(filename.c_str(), O_RDONLY);

        if (_fd > 0)
            cout << "服务端通信已连接!" << endl;
        else
        {
            cout << "服务端通信连接失败!" << endl;
            exit(1);
        }
    }

    int ReadMessage(string& str)
    {
        char arr[100] = { 0 };
        read(_fd, arr, 99);
        str = arr;

        return str.size();//内核缓冲区中字符串结尾不需要\0
    }

    ~Server()
    {
        if (close(_fd) == 0)
            cout << "通信结束,服务端已断开!" << endl;
        else
            cout << "通信结束,但服务端断开失败!" << endl;
    }

private:
    int _fd;
};

client.cc


#include "client.hpp"

int main()
{
    Client client;

    int client_count = count;

    while (client_count--)
    {
        printf("客户端输入(剩余通信消息数%d):", client_count + 1);
        if(client.WriteMessage() == 0)
	    client_count++;
    }

    return 0;
}

server.cc


#include "server.hpp"

int main()
{
    Server server;

    while (1)
    {
        string str;
        server.ReadMessage(str);
        if(str.size() == 0)
        {
            cout << "客户端已退出且消息已全部接收" << endl;
            break;
        }
        printf("服务端接收信息:");
        cout << str << endl;
    }

    return 0;
}

2.共享内存

(1)共享内存是什么

进程地址空间的共享区除了映射共享库,还可以映射内存空间,这些空间叫共享内存。其原理就是利用共享区偏移量定位的特性让同一块物理空间映射到多个进程的地址空间的共享区,让它们看到同一块空间。

管道通信(文件内核缓冲区)基于文件,共享内存(共享区)属于system V标准。

抓住进程通信本质——让不同进程看到同一份资源。对于system V标准来说,通信的流程为:某个进程创建共享内存,并将它挂接到其它进程的进程地址空间中(堆栈之间)。

和共享内存关联和去关联的过程就是与页表映射和清除映射的过程。共享内存可以存在很多个,需要管理。共享内存 = 共享内存的内核数据结构 + 内存块。通常是由使用的进程来创建共享内存的。

(2)shmget

函数参数:int shmget(key_t key, size_t size, int shmflg),其中size是开辟空间大小

shmflg是宏定义选项,有IPC_CREAT和IPC_EXCL

①IPC_CREAT

创建内存,单独使用时,表示如果shm不存在,就创建,如果已经存在,就直接获取并返回,保证调用进程能拿到共享内存,无论是新建还是已经有了的

②IPC_EXCL

单独使用无意义,需要和IPC_CREAT联合使用。如果shm存在就出错返回,主要用于新建共享内存,函数只要成功,就一定是新的共享内存,不会使用已经创建的共享内

③key

共享内存可以有多个,怎么确定是哪一个共享内存?因此共享内存要有唯一的标识符key。创建共享内存的key必须是用户输入的,因为它是函数参数之一。

但是这个key为什么要用户自己输入,不能系统内核自己生成吗?假设这个key是系统自己生成的,那么当shm的key交给进程A之后,进程B怎么拿到key(进程A和B独立)?因为进程B和shm没有任何关系,和进程A也没关系,所以内核层面无法将shm挂接到进程B上。我们需要用户介入,让用户一开始就自定义key,这样当创建shm后,进程A和B都知道这个key是多少(采用公共的头文件即可实现该操作)。

总的来说,key由用户层去设置更容易管理,但key怎么设置呢?理论上只要不冲突,就可以随便设。如果冲突,就会出错,需要手动改,如果我们不希望自己去设置,可以使用key_t ftok(const char *pathname, int proj_id);,这个函数会根据函数参数自动生成一个唯一值,尽量减少冲突。其中pathname最好填和文件名相关的路径,proj_id也是自己指定,公共的项目ID。函数参数并没有强制要求,只是生成唯一数的一个函数,我们尽量按照其设计来填。ftok成功就返回key,失败返回-1。

我们可以说key的唯一性是由项目ID + 路径实现的,和命名管道(文件路径)有异曲同工之妙,这也是系统的树状存储结构带来的优势。

④shmid

shmid是shmget函数的返回值。shmid不是key,但shmid和key都具有唯一性,两者的区别是key是内核使用的,shmid是只给用户使用的标志shm的标识符。我们只在创建时自定义一次key,后续都使用shmid来管理shm。

这里很难理解,为什么要设置一个shmid,不是我们已经知道key了吗?

我们可以理解为shmid是一个底层的标志,我们用户第一次设置了之后就被系统拿去做唯一标识符了。从安全性、可维护性角度出发,系统直接掌握的东西是不会直接交给用户使用的。就好比物理内存地址和虚拟地址一样,我们设置虚拟地址就是为了让数据存储更易管理,有个中间层要方便、安全得多。再如fd和struct file,我们本来知道struct file的地址即可,却还要设置一个fd作为用户层的管理,也都是有安全性、可维护性的原因的。shmid就是这么诞生的。虽然由于规则的特殊性,我们用户一来就知道了key的值,但由于这个值会直接用于系统的使用,因此还是要一个中间层来进行管理,即shmid。我们直接将shmid理解为fd,key理解为struct file对应的地址即可。

shmid的出现是有理有据的,只不过由于特殊需求,用户知道了key的值,但系统的底层逻辑不允许人们直接拿着这个key去管理内存,这里需要我们花时间理解。

(3)共享内存的生命周期及其释放

共享内存属于系统侧的内存空间,其生命周期随内核,因此它需要手动释放或是OS重启才会回收。相比之下匿名管道随进程,命名管道也要保证随进程的生命周期。

释放共享内存的方式有指令释放、代码释放。

①指令释放

ipcrm -m (shmid)可以释放共享内存,注意这个shmid在进程结束后依然存在,且一直保持唯一。

在命令行中,共享内存的管理指令为ipcs -m,它可查看系统中的共享内存的各种属性(包括shmid)

ipcs -m查看的perms相当于权限,共享内存也有权限,shmget函数的shmflg可以 | mode设置共享内存的读写权限,如int shmget(key_t key, size_t size, int shmflg | 0666)会使得三个组都获得所有权限。perms可以设置一次,如果没有权限,相应进程无法挂接内存,挂接成功后nattch会++,表示引用计数。

②代码释放

参数:int shmctl(int shmid, int cmd, shmid_ds* buf)

shmid_ds类型含有shm的各种属性,cmd是通过位图标识各种命令操作。ipcs -m的底层实现就是使用这个函数。

不同的cmd对应不同操作,IPC_STAT就是拷贝属性到buf,可以以此实现ipcs -m命令,查看对应内存的属性;IPC_RMID就是让对应内存空间标记释放,shmid_ds* buf传nullptr,表示不获取相应的属性。例如shmctl(0, IPC_RMID, nullptr)可以利用代码释放共享内存,这就是ipcrm -m 0的底层代码实现。

(4)shm的关联和去关联

①关联

要使用shm,需要将其挂接到进程地址空间的共享区。

函数参数:void *shmat(int shmid, const void *_Nullable shmaddr, int shmflg);

shmaddr是用户指定挂接到什么虚拟地址,对我们来说直接设置为nullptr即可,表示不指定具体挂接位置。shmflg也是位图,表示访问权限,这里我们可以直接设置为0。shmat的返回值是虚拟起始地址,由返回值 + 偏移量我们即可完全访问这块空间,这和malloc类似,shmat挂接错误的话返回(void*)-1。

我们发现挂接后得到的返回值就相当于malloc的返回值,我们可以强转指针类型为不同类型,对这片空间进行不同方式的访问,如此这样这块公共空间就利用起来了。

②去关联

函数参数:int shmdt(const void *shmaddr);

只要知道共享内存的虚拟起始地址,就能取消映射,对应的内存空间引用计数nattch--。

通信的过程就在shmat和shmdt函数的调用之间。使用和malloc一模一样。

(5)shm申请空间的底层细节

使用shmget申请空间的过程中,操作系统是按照页为单位申请的:1KB、2KB、4MB等。操作系统会根据用户的需要来给内存,但其底层可能会浪费。

(6)共享内存通信的特点

①优点

当挂接好之后,我们拿着共享内存的虚拟地址就能直接往内存读写数据,因此共享内存速度最快。另外,从拷贝角度上讲,共享内存拷贝的次数最少,当拷贝数据到共享内存时,两个进程就能马上看到数据。

②缺点

两个进程在各自用户空间共享内存块,和malloc一样可以自由使用。但由于这块共享内存没有加任何保护机制,需要用户自己完成共享内存的保护——信号量、命名管道等。

(7)共享内存的保护

①临界与非临界、互斥同步

共享资源大多都要被保护,这些叫临界资源。常见保护方式有互斥、同步。任何时刻只允许进行一个执行流访问的资源,叫做互斥,即系统中某些资源一次只允许一个人使用。同步是指多个执行流访问临界资源时必须要有一定的顺序。

在进程中代码涉及到临界资源,这部分代码就叫临界区。代码 = 临界区的代码 + 非临界区的代码,临界区访问临界资源,非临界区访问非临界资源。对共享资源进行保护的本质是对访问共享资源的代码进行保护,就是保护临界区的代码。

②信号量

信号和信号量没有任何关系。

信号量的特性是IPC(系统资源),必须手动删除。信号量本质是一个计数器,这个计数器可以是一个位图、数字。我们将资源分成不同块,不同进程都使用同一块空间的不同部分,针对每一个小块,保证互斥访问,但当一个数据块读时,另一个在写,整体上看并行度提高。

从一个例子出发,当我们买了电影票,即便我们不去,这个位置也是留给我们的。并且从不会多卖出去票,10个座位不会卖出11张票。我们可以理解,买票的本质是对资源的预定机制,进程也是!

信号量就是一个计数器,这个计数器也是资源的预定。多个进程划分资源都是抢计数器而不是直接去抢空间。信号量、信号灯都是对资源进行预定的计数器。二元信号量,1表示被使用,0没被使用。要实现信号量,我们可以用位图标识每块资源的使用情况,也可以直接用数字count统计剩余资源的个数,总之需要保证内部划分合理且不会出现冲突。

(8)共享内存的底层

共享内存本质也是文件,这个文件必须被映射到进程地址空间。共享内存文件创建后,vm_area_struct会进行映射,把文件映射到内存中了。和动态库一样是内存都是被映射到文件中的。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2284146.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

K8S 启动探测、就绪探测、存活探测

先来思考一个问题&#xff1a; 在 Deployment 执行滚动更新 web 应用的时候&#xff0c;总会出现一段时间&#xff0c;Pod 对外提供网络访问&#xff0c;但是页面访问却发生404&#xff0c;这个问题要如何解决呢&#xff1f;学完今天的内容&#xff0c;相信你会有自己的答案。 …

2024年度总结——理想的风,吹进现实

2024年悄然过去&#xff0c;留下了太多美好的回忆&#xff0c;不得不感慨一声时间过得真快啊&#xff01;旧年风雪尽&#xff0c;新岁星河明。写下这篇博客&#xff0c;记录我独一无二的2024年。这一年&#xff0c;理想的风终于吹进现实&#xff01; 如果用一句话总结这一年&am…

Python从0到100(八十五):神经网络-使用迁移学习完成猫狗分类

前言: 零基础学Python:Python从0到100最新最全教程。 想做这件事情很久了,这次我更新了自己所写过的所有博客,汇集成了Python从0到100,共一百节课,帮助大家一个月时间里从零基础到学习Python基础语法、Python爬虫、Web开发、 计算机视觉、机器学习、神经网络以及人工智能…

hadoop==docker desktop搭建hadoop

hdfs map readuce yarn https://medium.com/guillermovc/setting-up-hadoop-with-docker-and-using-mapreduce-framework-c1cd125d4f7b 清理资源 docker-compose down docker system prune -f

Linux下的编辑器 —— vim

目录 1.什么是vim 2.vim的模式 认识常用的三种模式 三种模式之间的切换 命令模式和插入模式的转化 命令模式和底行模式的转化 插入模式和底行模式的转化 3.命令模式下的命令集 光标移动相关的命令 复制粘贴相关命令 撤销删除相关命令 查找相关命令 批量化注释和去…

C25.【C++ Cont】初识运算符的重载和sort函数

目录 1.为什么要引入运算符重载 2.运算符重载写法 格式 例子 示例代码 运行结果 3.sort函数 两种声明 声明1:默认情况 参数 示例代码1:排整型 示例代码2:排浮点数 ​编辑 示例代码3:排字符串 声明2:自定义情况 参数 comp比较函数的两种写法 写法1:创建比较函…

粒子群算法 笔记 数学建模

引入: 如何找到全局最大值&#xff1a;如果只是贪心的话&#xff0c;容易被局部最大解锁定 方法有&#xff1a;盲目搜索&#xff0c;启发式搜索 盲目搜索&#xff1a;枚举法和蒙特卡洛模拟&#xff0c;但是样例太多花费巨量时间 所以启发式算法就来了&#xff0c;通过经验和规…

深入理解若依RuoYi-Vue数据字典设计与实现

深入理解若依数据字典设计与实现 一、Vue2版本主要文件目录 组件目录src/components&#xff1a;数据字典组件、字典标签组件 工具目录src/utils&#xff1a;字典工具类 store目录src/store&#xff1a;字典数据 main.js&#xff1a;字典数据初始化 页面使用字典例子&#xf…

实战网络安全:渗透测试与防御指南

&#x1f4dd;个人主页&#x1f339;&#xff1a;一ge科研小菜鸡-CSDN博客 &#x1f339;&#x1f339;期待您的关注 &#x1f339;&#x1f339; 引言 在数字化时代&#xff0c;网络安全已成为企业和个人不可忽视的重要课题。网络攻击的复杂性与日俱增&#xff0c;从数据泄露…

SpringBoot+Electron教务管理系统 附带详细运行指导视频

文章目录 一、项目演示二、项目介绍三、运行截图四、主要代码1.查询课程表代码2.保存学生信息代码3.用户登录代码 一、项目演示 项目演示地址&#xff1a; 视频地址 二、项目介绍 项目描述&#xff1a;这是一个基于SpringBootElectron框架开发的教务管理系统。首先&#xff…

Ubuntu-手动安装 SBT

文章目录 前言Ubuntu-手动安装 SBT1. SBT是什么?1.1. SBT 的特点1.2. SBT 的基本功能1.3. SBT 的常用命令 2. 安装2.1. 下载2.2. 解压 sbt 二进制包2.3. 确认 sbt 可执行文件的位置2.4. 设置执行权限2.5. 创建符号链接2.6. 更新 PATH 环境变量2.7. 验证 sbt 安装 前言 如果您觉…

详解最基本的数据顺序存储结构:顺序表

新的一年&#xff0c;我觉得这张图很合适&#xff01;有梦想&#xff0c;敢拼&#xff0c;马上就是除夕了&#xff0c;希望新的一年我们逢考必过&#xff0c;事事顺心&#xff0c;看见朝阳的你是不是嘴角微微上扬&#xff01; 本篇从0基础白话文讲述顺序表的概念、用法、注意事…

STM32使用VScode开发

文章目录 Makefile形式创建项目新建stm项目下载stm32cubemx新建项目IED makefile保存到本地arm gcc是编译的工具链G++配置编译Cmake +vscode +MSYS2方式bilibiliMSYS2 统一环境配置mingw32-make -> makewindows环境变量Cmake CmakeListnijia 编译输出elfCMAKE_GENERATOR查询…

安装Office自定义项,安装期间出错

个人博客地址&#xff1a;安装Office自定义项&#xff0c;安装期间出错 | 一张假钞的真实世界 卸载PowerDesigner后&#xff0c;打开“WPS文字”时出现下图错误&#xff1a; 解决方法&#xff1a; 按“WinR”快捷键&#xff0c;打开【运行】框&#xff0c;在对话框中输入“re…

代码审查中的自动化与AI应用

代码审查&#xff08;Code Review&#xff09;作为软件开发中的一项重要实践&#xff0c;通常被认为是提高代码质量、减少bug和提升团队协作的重要手段。随着开发规模的不断扩大&#xff0c;手动代码审查在效率、准确性、以及可扩展性上都存在明显的局限性。尤其是在敏捷开发和…

蓝桥杯模拟算法:蛇形方阵

P5731 【深基5.习6】蛇形方阵 - 洛谷 | 计算机科学教育新生态 我们只要定义两个方向向量数组&#xff0c;这种问题就可以迎刃而解了 比如我们是4的话&#xff0c;我们从左向右开始存&#xff0c;1&#xff0c;2&#xff0c;3&#xff0c;4 到5的时候y就大于4了就是越界了&…

PostGIS笔记:PostgreSQL 数据库与用户 基础操作

数据库基础操作包括数据模型的实现、添加数据、查询数据、视图应用、创建日志规则等。我这里是在Ubuntu系统学习的数据库管理。Windows平台与Linux平台在命令上几乎无差异&#xff0c;只是说在 Windows 上虽然也能运行良好&#xff0c;但在性能、稳定性、功能扩展等方面&#x…

Nginx中部署多个前端项目

1&#xff0c;准备前端项目 tlias系统的前端资源 外卖项目的前端资源 2&#xff0c;nginx里面的html文件夹中新建&#xff0c;tlias和sky两个文件夹。 切记这是在nginx/html下创建的 mkdir sky mkdir tlias 把tlias和sky的资源都放到对应的文件夹中 3&#xff0c;编辑配置ngi…

人力资源管理HR系统的需求设计和实现

该作者的原创文章目录&#xff1a; 生产制造执行MES系统的需求设计和实现 企业后勤管理系统的需求设计和实现 行政办公管理系统的需求设计和实现 人力资源管理HR系统的需求设计和实现 企业财务管理系统的需求设计和实现 董事会办公管理系统的需求设计和实现 公司组织架构…

2025年美赛B题-结合Logistic阻滞增长模型和SIR传染病模型研究旅游可持续性-成品论文

模型设计思路与创新点&#xff1a; 建模的时候应该先确定我们需要建立什么类的模型&#xff1f;优化类还是统计类&#xff1f;这个题需要大量的数据分析&#xff0c;因此我们可以建立一个统计学模型。 统计学建模思路&#xff1a;观察规律&#xff0c;建立模型&#xff0c;参…