qt 多进程使用共享内存 ,加速数据读写,进程间通信 共享内存

news2025/3/13 4:41:01

Summary:

项目中我们有时需要使用共享内存共享数据,这样,数据不用进程IO读写,加进数据加载和落地;

程序退出时,再保存到本地;速度提升数十倍;

Part1:QSharedMemory

Windows平台下进程间通信常用方式有管道、文件映射、Socket通信和共享内存等,这里详细介绍一下Qt的共享内存机制。

Qt 框架提供了多种 IPC 技术,其中 QSharedMemory 是一种高效的共享内存方式,可以实现多个进程之间快速交换数据。本文将详细讲解 QSharedMemory 的概念、用法及其主要函数的用途;

Header:

#include <QSharedMemory>

qmake:

QT += core

Since:

Qt 4.4

Inherits:

QObject

  • List of all members, including inherited members
  • Obsolete members

1.QSharedMemory 的核心特点

    唯一键(Key)标识:
        每块共享内存通过唯一的键(字符串)标识。
        不同进程通过相同的键连接到共享内存。

    线程安全性:
        提供锁机制(lock() 和 unlock())以保护共享内存的读写。

    跨平台支持:
        Qt 的跨平台特性使 QSharedMemory 可以在不同操作系统上无缝使用。

2. QSharedMemory 的工作流程

共享内存的基本使用可以分为以下几个步骤:

    创建共享内存:
        第一个进程通过 create(size) 创建一块共享内存。
        分配的大小由数据的存储需求决定。

    附加到共享内存:
        其他进程通过 attach() 方法连接到已有的共享内存。

    数据读写:
        通过 lock() 和 unlock() 保证线程安全,获取内存指针后读写数据。

    释放共享内存:
        调用 detach() 断开与共享内存的连接。

3.QSharedMemory 常用函数

1. 构造函数与析构函数
QSharedMemory(const QString &key, QObject *parent = nullptr)

    创建一个 QSharedMemory 对象,并指定共享内存的键(key)。

    key 是共享内存的唯一标识符,多个进程通过相同的 key 访问同一块共享内存。

~QSharedMemory()

    析构函数,释放共享内存资源。

2. 共享内存的创建与销毁
bool create(int size, QSharedMemory::AccessMode mode = ReadWrite)

    创建大小为 size 的共享内存段。

    mode 指定共享内存的访问模式:

        QSharedMemory::ReadOnly:只读模式。

        QSharedMemory::ReadWrite:读写模式(默认)。

    如果共享内存已存在,则返回 false。

bool attach(QSharedMemory::AccessMode mode = ReadWrite)

    附加到已存在的共享内存段。

    mode 指定访问模式(同上)。

    如果附加成功,返回 true。

bool detach()

    从共享内存段分离。

    分离后,进程不再访问共享内存,但共享内存段仍然存在。

void setKey(const QString &key)

    设置共享内存的键(key)。

QString key() const

    返回共享内存的键。

void setNativeKey(const QString &key)

    设置平台原生的共享内存键(适用于需要直接使用系统共享内存键的场景)。

QString nativeKey() const

    返回平台原生的共享内存键。

3. 共享内存的访问
void *data()

    返回指向共享内存数据的指针。

    如果共享内存未附加或未创建,返回 nullptr。

const void *constData() const

    返回指向共享内存数据的常量指针。

    适用于只读访问。

int size() const

    返回共享内存段的大小(以字节为单位)。

4. 共享内存的锁定与解锁
bool lock()

    锁定共享内存,确保当前进程独占访问。

    如果锁定成功,返回 true。

bool unlock()

    解锁共享内存,允许其他进程访问。

    如果解锁成功,返回 true。

5. 错误处理
QSharedMemory::SharedMemoryError error() const

    返回最后一次发生的错误类型。

    错误类型包括:

        QSharedMemory::NoError:无错误。

        QSharedMemory::PermissionDenied:权限不足。

        QSharedMemory::InvalidSize:无效的大小。

        QSharedMemory::KeyError:键错误。

        QSharedMemory::AlreadyExists:共享内存已存在。

        QSharedMemory::NotFound:共享内存未找到。

        QSharedMemory::LockError:锁定失败。

        QSharedMemory::OutOfResources:系统资源不足。

        QSharedMemory::UnknownError:未知错误。

QString errorString() const

    返回最后一次错误的描述信息。

6. 共享内存的状态
bool isAttached() const

    检查当前进程是否已附加到共享内存段。

    如果已附加,返回 true。

Part3: 读写文件样例:

写样例:

QBuffer buffer;
buffer.open(QIODevice::WriteOnly);
QDataStream out(&buffer);
out.setByteOrder(QDataStream::LittleEndian);

// 假设 metaInfo 是已填充的结构体
out.writeRawData((char*)&metaInfo, sizeof(FileMetaInfo));

// 将 buffer 数据写入共享内存
sharedMemory.lock();
memcpy(sharedMemory.data(), buffer.data().constData(), buffer.size());
sharedMemory.unlock();

读样例:

    QBuffer buffer;

       qDebug() << "sharedMemory.size():" << sharedMemory.size();
       buffer.setData((char*)sharedMemory.constData(), sharedMemory.size());
       buffer.open(QIODevice::ReadOnly);
       buffer.seek(0);
       qDebug() << "Buffer size:" << buffer.size();
       qDebug() << "First bytes:" << QByteArray::fromRawData((char*)sharedMemory.constData(), 16).toHex();

       QDataStream inStream(&buffer);
       inStream.device()->seek(0);  // 确保 QDataStream 位置正确
       inStream.setByteOrder(QDataStream::LittleEndian);
       FileMetaInfo metaPtr ;
       inStream.readRawData((char*)&metaPtr, sizeof(FileMetaInfo));
 
       qDebug() << "File:" << metaPtr.fileName
                << "Size:" << metaPtr.fileSize
                << "Offset:" << metaPtr.dataOffset;
读写多个文件样例:
共享内存结构定义
#include <QSharedMemory>
#include <QBuffer>
#include <QDataStream>
#include <QDebug>
#include <QFile>
#include <QFileInfo>
#include <QVector>

// 定义文件元信息结构
#pragma pack(1)
struct FileMetaInfo {
    char fileName[256];    // 文件名
    qint64 fileSize;     // 文件大小
    qint64 dataOffset;   // 文件数据在共享内存中的偏移量
    FileMetaInfo() : fileSize(0), dataOffset(0) {
        memset(fileName, 0, sizeof(fileName)); // 初始化 fileName 为空字符串
    }
};
#pragma pack()
// 定义共享内存的索引区大小(假设最多存储 10 个文件)
const int MAX_FILES = 10;
const int INDEX_SIZE = MAX_FILES * sizeof(FileMetaInfo);
进程A:写入文件到共享内存
int main(int argc, char *argv[])
{
    QCoreApplication a(argc, argv);

    // 创建共享内存对象
    QSharedMemory sharedMemory("MySharedMemory");

    // 假设要写入的文件列表
    QStringList filePaths = { "file1.txt", "file2.txt", "file3.txt" };

    // 计算共享内存总大小(索引区 + 数据区)
    qint64 totalDataSize = 0;
    for (const QString &filePath : filePaths) {
        QFile file(filePath);
        if (file.open(QIODevice::ReadOnly)) {
            totalDataSize += file.size();
            file.close();
        }
    }
    qint64 totalSharedMemorySize = INDEX_SIZE + totalDataSize;

    // 创建共享内存
    if (!sharedMemory.create(totalSharedMemorySize)) {
        qDebug() << "Failed to create shared memory:" << sharedMemory.errorString();
        return 1;
    }

    // 写入索引区和数据区
    sharedMemory.lock();

    // 写入索引区
    QBuffer indexBuffer;
    indexBuffer.open(QBuffer::ReadWrite);
    QDataStream indexStream(&indexBuffer);

    qint64 currentDataOffset = INDEX_SIZE; // 数据区从索引区之后开始
    for (const QString &filePath : filePaths) {
        QFile file(filePath);
        if (file.open(QIODevice::ReadOnly)) {
            FileMetaInfo metaInfo;
            metaInfo.fileName = QFileInfo(file).fileName();
            metaInfo.fileSize = file.size();
            metaInfo.dataOffset = currentDataOffset;

            // 写入索引信息
            indexStream << metaInfo.fileName << metaInfo.fileSize << metaInfo.dataOffset;

            // 写入文件数据到共享内存
            char *to = (char*)sharedMemory.data() + currentDataOffset;
            file.read(to, metaInfo.fileSize);
            currentDataOffset += metaInfo.fileSize;

            file.close();
        }
    }

    // 将索引区数据写入共享内存
    char *indexTo = (char*)sharedMemory.data();
    const char *indexFrom = indexBuffer.data().data();
    memcpy(indexTo, indexFrom, indexBuffer.size());

    sharedMemory.unlock();

    qDebug() << "Files written to shared memory.";

    return a.exec();
}
进程B:从共享内存读取文件
int main(int argc, char *argv[])
{
    QCoreApplication a(argc, argv);

    // 创建共享内存对象
    QSharedMemory sharedMemory("MySharedMemory");

    // 附加到共享内存
    if (!sharedMemory.attach()) {
        qDebug() << "Failed to attach to shared memory:" << sharedMemory.errorString();
        return 1;
    }

    // 读取索引区
    sharedMemory.lock();

    QBuffer indexBuffer;
    indexBuffer.setData((char*)sharedMemory.constData(), INDEX_SIZE);
    indexBuffer.open(QBuffer::ReadOnly);
    QDataStream indexStream(&indexBuffer);

    QVector<FileMetaInfo> fileMetaInfos;
    while (!indexStream.atEnd()) {
        FileMetaInfo metaInfo;
        indexStream >> metaInfo.fileName >> metaInfo.fileSize >> metaInfo.dataOffset;
        fileMetaInfos.append(metaInfo);
    }

    // 读取文件数据
    for (const FileMetaInfo &metaInfo : fileMetaInfos) {
        QByteArray fileData(metaInfo.fileSize, 0);
        const char *from = (char*)sharedMemory.constData() + metaInfo.dataOffset;
        memcpy(fileData.data(), from, metaInfo.fileSize);

        // 将文件数据保存到本地
        QFile file(metaInfo.fileName);
        if (file.open(QIODevice::WriteOnly)) {
            file.write(fileData);
            file.close();
            qDebug() << "File saved:" << metaInfo.fileName;
        }
    }

    sharedMemory.unlock();

    // 分离共享内存
    sharedMemory.detach();

    return a.exec();
}

代码说明

  1. 共享内存结构

    • 共享内存分为索引区和数据区。

    • 索引区存储文件的元信息(文件名、大小、偏移量)。

    • 数据区存储实际的文件数据。

  2. 进程A

    • 计算共享内存的总大小(索引区 + 数据区)。

    • 将文件的元信息写入索引区。

    • 将文件数据写入数据区。

  3. 进程B

    • 从索引区读取文件的元信息。

    • 根据元信息从数据区读取文件数据,并保存到本地。

  4. 共享内存的锁定与解锁

    • 在读写共享内存时,使用lock()unlock()确保数据一致性。

  5. 文件管理

    • 支持多个文件的读写,通过索引区管理文件的元信息。


运行步骤

  1. 编译并运行进程A,将文件写入共享内存。

  2. 编译并运行进程B,从共享内存读取文件并保存到本地。

Part4: 注意事项:

  • 需要确保文件名和文件路径的唯一性,避免冲突。

  • 在实际应用中,可能需要处理更多的错误情况(如文件不存在、共享内存不足等)。

  • 共享内存的键:多个进程必须使用相同的键才能访问同一块共享内存。

  • 锁定与解锁:在读写共享内存时,必须使用 lock()unlock() 确保数据一致性。

  • 错误处理:始终检查 create()attach() 的返回值,并处理可能的错误。

  • 共享内存的大小:确保共享内存的大小足够容纳要存储的数据。

  • 通过这种方式,可以在共享内存中高效地管理多个文件,并通过索引文件实现快速访问

可能遇到的问题:

1.读写,请使用相关的方式:

 indexStream.setByteOrder(QDataStream::LittleEndian);

2.

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2314076.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【鸿蒙开发】OpenHarmony调测工具hdc使用教程(设备开发者)

00. 目录 文章目录 00. 目录01. OpenHarmony概述02. hdc简介03. hdc获取04. option相关的命令05. 查询设备列表的命令06. 服务进程相关命令07. 网络相关的命令08. 文件相关的命令09. 应用相关的命令10. 调试相关的命令11. 常见问题12. 附录 01. OpenHarmony概述 OpenHarmony是…

【贪心算法】简介

1.贪心算法 贪心策略&#xff1a;解决问题的策略&#xff0c;局部最优----》全局最优 &#xff08;1&#xff09;把解决问题的过程分成若干步 &#xff08;2&#xff09;解决每一步的时候&#xff0c;都选择当前看起来的“最优”的算法 &#xff08;3&#xff09;“希望”得…

transformer模型介绍——大语言模型 LLMBook 学习(二)

1. transformer模型 1.1 注意力机制 **注意力机制&#xff08;Attention Mechanism&#xff09;**在人工智能中的应用&#xff0c;实际上是对人类认知系统中的注意力机制的一种模拟。它主要模仿了人类在处理信息时的选择性注意&#xff08;Selective Attention&#xff09;&a…

GStreamer —— 2.17、Windows下Qt加载GStreamer库后运行 - “播放教程 5:色彩平衡“(附:完整源码)

运行效果 介绍 亮度、对比度、色相和饱和度是常见的视频调整&#xff0c; 在 GStreamer 中统称为 Color Balance 设置。 本教程展示了&#xff1a; • 如何找出可用的色彩平衡通道 • 如何更改它们 允许访问颜色平衡设置。如果 元素支持这个接口&#xff0c;只需将其转发给应用…

串口通信ASCII码转16进制及C#串口编程完整源码下载

在工业自动化、嵌入式系统及物联网以行业中&#xff0c;串口编程非常重要。 串口编程&#xff0c;重点在于串口数据通信和数据处理。 在C#中&#xff0c;System.IO.Ports命名空间提供了SerialPort类&#xff0c;用于实现串口通信。 串口程序的开发主要包括以下几点 1.引用命…

解决vscode中出现“无法将pip项识别...“问题

问题 遇见问题如下&#xff1a; 查看pip 通过 winR &#xff0c;输入 cmd&#xff0c;进入终端&#xff0c;搜索 where pip。 发现 pip 查不出来&#xff0c;然后进入文件资源管理器&#xff0c;搜索 Scripts 文件夹&#xff0c;如果没有找到可能是电脑没有下载 python。 点击…

nacos下载及安装

下载官方最新稳定版 github下载较慢&#xff0c;推荐下面的下载链接 Nacos Server 下载 | Nacos 官网 点击下载和试用下载最新稳定版 Nacos Server 下载 | Nacos 官网 配置检查&#xff08;可选&#xff09; 默认情况下&#xff0c;Nacos 使用内置的 Derby 数据库&#x…

C++从零实现Json-Rpc框架

文章目录 一、项目介绍1. 基本原理2. 涉及到的技术栈3. 最终实现的效果 二、 第三方库的介绍与使用1. JsonCpp库Json的数据格式JsonCpp介绍封装Json工具类 2. muduo库muduo库是什么Muduo库常见接口介绍 3. C11异步操作std::future 三、框架设计1. 服务端模块划分NetworkProtoco…

rom定制系列------小米note3 原生安卓15 批量线刷 默认开启usb功能选项 插电自启等

小米Note 3搭载骁龙660处理器&#xff0c;1200万像素广角镜头、俗称大号版的小米6&#xff0c;官方最终版为12.0.1稳定版安卓9的固件。客户需要运行在安卓15的rom。根据原生官网的rom修改一些功能选项。以便客户操作需求。 定制资源说明 根据客户需求采用安卓15原生系统为底包…

大数据学习(59)-DataX执行机制

&&大数据学习&& &#x1f525;系列专栏&#xff1a; &#x1f451;哲学语录: 承认自己的无知&#xff0c;乃是开启智慧的大门 &#x1f496;如果觉得博主的文章还不错的话&#xff0c;请点赞&#x1f44d;收藏⭐️留言&#x1f4dd;支持一下博主哦&#x1f91…

YashanDB认证,YCA证书认证教程,免费证书,内含真题考试题库及答案——五分钟速成

目录 一.账号及平台注册登录流程 二.登录进行设备调试核验 三.考试&#xff08;考完获取分数&#xff09; 四.获取证书 五.题库及答案 一.账号及平台注册登录流程 1-点击这里进行账号注册&#xff08;首次学习必须先注册&#xff0c;有账号之后可以直接在2号链接登录&#…

自然语言处理中的语音识别技术:从声波到语义的智能解码

引言 语音识别&#xff08;Automatic Speech Recognition, ASR&#xff09;是自然语言处理&#xff08;NLP&#xff09;的关键分支&#xff0c;旨在将人类语音信号转化为可处理的文本信息。随着深度学习技术的突破&#xff0c;语音识别已从实验室走向日常生活&#xff0c;赋能…

010-Catch2

Catch2 一、框架简介 Catch2 是一个基于 C 的现代化单元测试框架&#xff0c;支持 TDD&#xff08;测试驱动开发&#xff09;和 BDD&#xff08;行为驱动开发&#xff09;模式。其核心优势在于&#xff1a; 单头文件设计&#xff1a;v2.x 版本仅需包含 catch.hpp 即可使用自然…

C++之序列容器(vector,list,dueqe)

1.大体对比 在软件开发的漫长历程中&#xff0c;数据结构与算法始终占据着核心地位&#xff0c;犹如大厦的基石&#xff0c;稳固支撑着整个程序的运行。在众多编程语言中&#xff0c;数据的存储与管理方式各有千秋&#xff0c;而 C 凭借其丰富且强大的工具集脱颖而出&#xff…

安卓Android与iOS设备管理对比:企业选择指南

目录 一、管理方式差异 Android Enterprise方案包含三种典型模式&#xff1a; Apple MDM方案主要提供两种模式&#xff1a; 二、安全防护能力 Android系统特点&#xff1a; 三、应用管理方案 四、设备选择建议 五、典型场景推荐 需求场景 推荐方案 六、决策建议要点…

版本控制器Git(1)

文章目录 前言一、初识Git问题引入解决方案注意事项 二、Git安装三、Git配置与基本操作Git创建Git配置用户名称和地址认识工作区、暂存区、版本库添加文件到仓库添加文件到暂存区提交暂存区内容到本地仓库 查看提交历史 四、Git 暂存区、HEAD、对象库及文件Git内部结构概览查看…

推理模型对SQL理解能力的评测:DeepSeek r1、GPT-4o、Kimi k1.5和Claude 3.7 Sonnet

引言 随着大型语言模型&#xff08;LLMs&#xff09;在技术领域的应用日益广泛&#xff0c;评估这些模型在特定技术任务上的能力变得越来越重要。本研究聚焦于四款领先的推理模型——DeepSeek r1、GPT-4o、Kimi k1.5和Claude 3.7 Sonnet在SQL理解与分析方面的能力&#xff0c;…

[动手学习深度学习]12.权重衰退

1.介绍 权重衰退是常见的处理过拟合的方法 控制模型容量方法 把模型控制的比较小&#xff0c;即里面参数比较少使参数选择范围小 约束就是正则项 每个特征的权重都大会导致模型复杂&#xff0c;从而导致过拟合。 控制权重矩阵范数可以使得减少一些特征的权重&#xff0c;甚至…

JavaEE_多线程(二)

目录 1. 线程的状态2. 线程安全2.1 线程不安全问题的原因 3. 线程安全中的部分概念3.1 原子性3.2 可见性3.3 指令重排序 4. 解决线程安全问题4.1 synchronized关键字4.1.1 可重入4.1.2 synchronized使用 4.2 volatile关键字4.2.1 volatile使用 5. wait和notify5.1 wait()方法5.…

【unity小技巧】分享vscode如何进行unity开发,且如何开启unity断点调试模式,并进行unity断点调试(2025年最新的方法,实测有效)

文章目录 前言一、前置条件1、已安装Visual Studio Code&#xff0c;并且unity首选项>外部工具>外部脚本编辑器选择为Visual Studio Code [版本号]&#xff0c;2、在Visual Studio Code扩展中搜索Unity&#xff0c;并安装3、同时注意这个插件下面的描述&#xff0c;需要根…