扩展------零拷贝技术(Mmap,SendFile)

news2024/11/15 10:53:18

什么是零拷贝

零拷贝(Zero-Copy)是一种计算机操作技术,旨在减少数据在内存之间的拷贝次数,以提高数据传输的效率和性能。

传统的IO模式:

模拟网络传输数据运行过程:

  • 用户态read()发起系统调用,进入内核态等待从硬件上读取到数据拷贝(第一次)到内核缓冲区中,再将缓冲区中的数据拷贝(第二次)到用户态。
  • 用户态拿到数据后调用write()发起系统调用,将数据拷贝(第三次)到socket缓冲区中,再将缓冲区的数据拷贝(第四次)到网卡把数据发送出去。
  • 传统模式下涉及到了四次用户态和内核态的切换和四次数据拷贝

在传统的数据传输过程中,数据可能需要在不同的缓冲区之间多次复制,这会消耗大量的 CPU 时间和系统资源。而零拷贝技术通过避免或减少这些不必要的数据拷贝操作,直接将数据从数据源传输到目标位置,例如从磁盘直接传输到网络,而无需经过应用程序的缓冲区。

Mmap技术

 Mmap模式下模拟网络传输数据运行过程:

  • 用户态mmap()发起系统调用,进入内核态等待从硬件上读取到数据拷贝(第一次)到内核缓冲区中,此时切换回用户态,数据只是被映射到用户空间,没有进行拷贝。
  • 用户态调用write()发起系统调用进入内核态,此时只需要将内核缓冲区的数据拷贝(第二次)到socket缓冲区中,再将缓冲区的数据拷贝(第三次)到网卡把数据发送出去。
  • Mmap模式下只涉及到了四次用户态和内核态的切换和三次数据拷贝

Mmap技术与传统IO模式相比虽然说只省下了一次数据拷贝次数,但是用户态和内核态之间是没有发生数据拷贝的。那有没有更高效的方式呢?有就是SendFile

SendFile技术

 SendFile模式下模拟网络传输数据运行过程:

  • 用户态SendFile()发起系统调用,进入内核态等待从硬件上读取到数据拷贝(第一次)到内核缓冲区中,此时不切换到用户态。
  • 只需要将内核缓冲区的数据拷贝(第二次)到socket缓冲区中,再将缓冲区的数据拷贝(第三次)到网卡把数据发送出去即可。
  • SendFile模式下只涉及到了两次用户态和内核态的切换和三次数据拷贝

SendFile技术与Mmap技术相比又少了两次上下文切换的过程。

应用场景 

所以Kafka的性能比RocketMQ要高! 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1975886.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Flink中上游DataStream到下游DataStream的内置分区策略及自定义分区策略

目录 全局分区器GlobalPartitioner 广播分区器BroadcastPartitioner 哈希分区器BinaryHashPartitioner 轮询分区器RebalancePartitioner 重缩放分区器RescalePartitioner 随机分区器ShufflePartitioner 转发分区器ForwardPartitioner 键组分区器KeyGroupStreamPartitio…

力扣SQL50 第二高的薪水 ifnull() 分页

Problem: 176. 第二高的薪水 👨‍🏫 参考题解 Code select ifNull((select distinct salaryfrom employeeorder by salary desclimit 1,1),null) as SecondHighestSalary

【Python数据结构与算法】分治----汉诺塔问题

题目:汉诺塔问题 描述 古代有一个梵塔,塔内有三个座A、B、C,A座上有n个盘子,盘子大小不等,大的在下,小的在上。三个座都可以用来放盘子。有一个和尚想把这n个盘子从A座移到C座,但每次只能允许移…

AWS SES 认证策略设置全攻略:轻松掌握简单步骤!

最近,我有机会设置 Amazon Simple Email Service(以下简称:SES)的认证策略,所以这次写下来作为备忘。 前言 Amazon Simple Email Service(SES)是一项通过 API 端点或 SMTP 接口进行邮件发送的服…

MySQL:VIEW视图

概述 MySQL 视图(View)是一种虚拟存在的表,同真实表一样,视图也由列和行构成,但视图并不实际存在于数据库中。行和列的数据来自于定义视图的查询中所使用的表,并且是在使用视图时动态生成的。 数据库中只…

从Notion Sites的推出,分析SaaS服务发展浪潮

引言 前段时间,Notion发布了新功能“Notion Sites”,允许用户直接在Notion中编辑页面并将其作为网站发布。其实在此之前,一些SaaS(软件即服务)软件也具有该功能,比如HelpLook AI知识库、Squarespace、Wix等…

buu做题(13)

[BSidesCF 2019]Kookie 给了一个账户: cookie / monster 根据提示, 我们需要以 admin 的身份登录 抓个包 , 可以发现一个奇怪的地方, Set-Cookie: usernamecookie; 以这样的方式确定登录的用户, 尝试伪造一下 直接 加上一个请求头: Cookie:usernameadmin 就可以得到flag 也…

卡码网--数组篇(二分法)

系列文章目录 文章目录 系列文章目录前言数组二分查找 前言 详情看:https://programmercarl.com/ 总结知识点用于复习 数组 概念: 数组是存放在连续内存空间上的相同类型数据的集合。 数组可以方便的通过下标索引的方式获取到下标对应的数据。 特点:…

图欧资源站与AI站23年5月~24年5月一年更新日志大汇总!

Hello,大家好,我是图欧君,很久没上CSDN啦,来跟大家一口气盘点一下我和我们团队从2023年5月到2024年5月以来都干了些什么大事吧~本文超长!流量预警!建议在WIFI环境下观看! 别眨眼,三&…

python实现图像分割算法4

python实现流域变换算法 算法原理基本步骤数学模型Python实现详细解释优缺点应用领域流域变换(Watershed Transform)算法是一种用于图像分割的技术,特别适用于分割重叠和相邻的对象。它的基本思想是将图像视为拓扑表面,通过模拟水的流动来分割区域。流域变换广泛应用于医学…

Hadoop学习(三)

一、MapReduce框架原理 1.1InputFormat数据输入 MapTask并行度决定机制 1)数据块(HDFS存储数据单位),物理上把数据分成一块一块 2)数据切片(MapReduce程序计算输入数据的单位):只是在逻辑上…

2.MySQL库的操作

创建数据库 创建数据库的代码: CREATE DATABASE [IF NOT EXISTS] db_name [create_specification [,create_specification] ...];​create_specification:[DEFAULT] CHARACTER SET charset_name[DEFAULT] COLLATE collation_name 说明: 大写的表示关键…

21天学通C++:理解函数对象、Lambda表达式

第二十一章:理解函数对象 函数对象(也叫 functor)。 函数对象与谓词的概念 从概念上说,函数对象是用作函数的对象; 但从实现上说,函数对象是实现了 operator() 的类的对象。 虽然函数和函数指针也可归…

数据结构之八大排序(下)

找往期文章包括但不限于本期文章中不懂的知识点: 个人主页:我要学编程(ಥ_ಥ)-CSDN博客 所属专栏:数据结构(Java版) 数据结构之八大排序(上)-CSDN博客 上面博客讲述了另外六中排序算法。 目…

仓颉 -- 标识符 , 变量以及数据类型详解

仓颉 – 标识符 , 变量以及数据类型 一. 标识符 1. 普通标识符 由数字 , 字母 , 下划线构成 – cangjie , cangjie_2024由英文字母开头,后接零至多个英文字母、数字或下划线。由一至多个下划线开头,后接一个英文字母,最后可接零至多个英文…

phpMyAdmin 漏洞复现教程

一.登陆 账号密码 是数据库的 二.日志文件拿到shell 在sql里执行命令 可以看到是关闭状态 我们再次执行命令 让它变成on 日志文件开启 再次执行上面的命令 可以看到已经开启了 然后我们更改日志保存路径 然后查看是否更改成功 显示 更改成功 然后我们插入一句话木马 访问一下…

完成订单业务

文章目录 概要整体架构流程技术细节小结 概要 完成订单是电子商务、外卖平台、在线零售等多个行业中的一项重要业务流程。这项功能允许商家或平台将订单状态更新为“已完成”,表明订单已经成功交付给客户。 需求分析以及接口设计 技术细节 1.Controller层: ApiOp…

C#类和结构体的区别

1、类class是引用类型,多个引用类型变量的值会互相影响。存储在堆(heap)上 2、结构体struct是值类型,多个值类型变量的值不会互相影响。存储在栈(stack)上 类结构关键字classstruct类型引用类型值类型存储…

Study--Oracle-07-ASM故障组管理(六)

一、ORACLE ASM提供的三冗余方式 1、三种模式:external、normal、high 一般情况下三种模式需要的最小磁盘组: external 1块 normal 3块 high 5块 2、外部冗余(external redundancy) 表示Oracle不帮你管理镜像&#xf…

计算机网络-http协议和https的加密原理

HTTP(HyperText Transfer Protocol,超文本传输协议)是用于在万维网(World Wide Web)上传输超文本的基础协议。它定义了客户端(通常是浏览器)和服务器之间的文本数据传输格式和规则。以下是HTTP的…