Netty的零拷贝

news2024/9/23 23:24:13

技术主题

netty本质上就是一款优秀的网络编程框架,凭借自己基于NIO编程,零拷贝等技术细节,

技术原理

零拷贝机制(zero-copy)是在操作数据时不需要将数据从一块内存复制到另一块内存区域的技术,这样就避免了内存的拷贝,使的可以提高CPU的利用率。零拷贝机制是一种操作数据的优化方案,通过避免数据在内存中拷贝达到的提高cpu性能的方案。

一Netty实现零拷贝的两种方式

Direct Memory Buffer

当需要传输数据时,Netty会把发送的数据先读入Direct Memory Buffer中,然后通过底层的操作系统调用将Direct Memory Buffer中的内容直接发送到网络中。这样就避免了数据从java堆内存复制到操作系统的内核缓存的步骤。这样可以避免两个缓冲区之间必要的数据拷贝,减少了cpu占用和内存带宽,加快传输速度。

FileChannel.transferTo()

如果需要传输的数据是一个文件,Netty使用FileChannel.transferTo()方法实现零拷贝

二操作系统的零拷贝机制

操作系统的存储空间包含硬盘和内存,而内存又分成用户空间和内核空间,以从文件服务器下载文件为例,服务器需要将硬盘中的数据通过网络通信发送给客户端,大致流程如下:
第一步:操作系统通过DMA传输将硬盘中的数据复制到内核缓冲区
第二步:操作系统执行read方法将内核缓冲区的数据复制到用户空间
第三步:操作系统执行write方法将用户空间的数据复制到内核socket缓冲区
第四步:操作系统通过DMA传输将内核socket缓冲区数据复制给网卡发送数据
流程如下图示:

在这里插入图片描述
整个流程中:DMA拷贝2次、CPU拷贝2次、用户空间和内核空间切换4次
操作系统为了减少CPU拷贝数据带来的性能消耗,提供几种解决方案来减少CPU的拷贝次数

2.1使用mmap函数

mmap函数的作用相当于内存共享,将内核空间的内存区域和用户空间共享,这样就避免了将内核空间的数据拷贝到用户空间的步骤。

2.2使用sendfile函数

senfile函数的作用是将一个文件描述符的内容发送给另一个文件描述符。而用户空间是不需要关心文件描述符的,所以整个的拷贝过程只会在内核空间操作,相当于减少了内核空间和用户空间之间数据的拷贝过程,而且还避免了CPU在内核空间和用户空间之间的来回切换过程

三Java中的零拷贝机制

1、Java的应用程序经常会遇到数据传输的场景,在javaNIO包中就提供了零拷贝机制的实现,主要是通过NIO包中的FileChannel提供了transferTo和transferFrom方法,都是调用了底层操作系统的sendfile函数来实现的CPU零拷贝机制
2、kafka服务器就是采用了FileChannel的transfer方法实现了高性能的IO传输操作。
3、Netty中的零拷贝机制netty作为nio的高性能网络通信框架,同样也实现了零拷贝机制,不过和操作系统的零拷贝机制则不是一个概念。

Netty中的零拷贝机制体现多个场景:
1)使用直接内存,在进行IO数据传输时避免了ByteBuf从堆外内存拷贝到堆内内存的步骤,而如果使用堆内内存分配ByteBuf的话,那么发送数据时需要将IO数据从堆内内存拷贝到堆外内存才能通过Socket发送
2)Netty的文件传输使用了FileChannel的transferTo方法,底层使用到sendfile函数来实现了CPU的零拷贝
3)Netty中提供CompositeByteBuf类,用于将多个ByteBuf合并成逻辑上的ByteBuf,避免了将多个ByteBuf拷贝成一个ByteBuf的过程
4)ByteBuf支持slice方法可以将ByteBuf分解成多个共享内存区域的ByteBuf,避免了内存拷贝。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/672921.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Docker学习笔记1

PaaS: 一、虚拟化分类: 虚拟化资源提供者: 1)硬件平台虚拟化 2)操作系统虚拟化 虚拟化实现方式: type I: 半虚拟化 type II:硬件辅助全虚拟化 type III: 软件全虚拟化: …

【编译、链接、装载十】可执行文件的装载与进程

【编译、链接、装载十】可执行文件的装载与进程 一、进程虚拟地址空间1、demo 二、装载的方式1、分页(Paging)2、 页映射 三、从操作系统角度看可执行文件的装载1、进程的建立2、页错误 四、进程虚存空间分布1、ELF文件链接视图和执行视图2、堆和栈 一、…

mdk下堆栈地址相关的知识梳理

mdk中,堆栈地址范围不像在gcc工程中那么容易看出来。过程被mdk隐藏了,单纯从代码层面不好看出来。但是基本的流程是这样的:先确定代码其他部分使用RAM的情况,然后紧跟着已使用的RAM地址,在剩下的RAM地址中分配Stack_Si…

2023 年6月开发者调查统计结果——最流行的技术(1)

2023 年6月开发者调查统计结果——最流行的技术(1) 本文目录: 一、编程、脚本和标记语言 二、数据库 三、云平台 四、网络框架和技术 五、其他框架和库 六、其他工具 七、集成开发环境 八、异步工具 九、同步工具 ​十、操作系统 …

如何在医药行业运用IPD?

医药是关于人类同疾病作斗争和增进健康的科学。它的对象是社会的人。因此,医学与社会科学、医学伦理学具有密切关系。广义的医药行业分为医药工业、医药商业和医疗服务业三大组成部分,其中医药工业包括化学药制剂、原料药、中药饮片、中成药、生物药品、…

chatgpt赋能python:Python有宏定义吗?深入探究

Python有宏定义吗?深入探究 Python语言的高效性以及方便编程的语法,使其成为众多程序员的首选语言。而在编写代码的过程中,宏定义是一个非常有用的编程工具,可以帮助程序员简化代码、提高代码的可读性和可维护性。那么&#xff0…

chatgpt赋能python:Python构造器重载-介绍、实践与准则

Python构造器重载 - 介绍、实践与准则 Python是一种动态强类型编程语言,它支持基于对象的编程范例,这意味着对象被认为是Pyhon编程中的核心概念,同时Python在该领域也有广泛的应用。对于任何一个对象类型,一个类至少需要有一个构造器——它是…

【架构】业务中台应用架构

文章目录 一、什么是业务中台二、为什么需要业务中台三、对于业务中台的认知3.1、微服务不是业务中台3.2、业务中台不是前台应用3.3、业务中台是通用业务机制的实现 一、什么是业务中台 业务中台是以业务领域划分边界,形成高内聚、低耦合的面向业务领域的能力中心&…

SpringCloudAlibaba之Nacos安装指南

SpringCloudAlibaba之Nacos安装指南 文章目录 SpringCloudAlibaba之Nacos安装指南1.Windows安装1.1.下载安装包1.2.解压1.3.端口配置1.4.启动1.5.访问1.6.报错 2.Linux安装2.1.安装JDK2.2.上传安装包2.3.解压2.4.端口配置2.5.启动、关闭 3.Nacos的依赖 1.Windows安装 开发阶段…

STM32G0+EMW3080+阿里云飞燕平台实现单片机WiFi智能联网功能(二)阿里云飞燕平台环境配置

项目描述:该系列记录了STM32G0EMW3080实现单片机智能联网功能项目的从零开始一步步的实现过程;硬件环境:单片机为STM32G030C8T6;物联网模块为EMW3080V2-P;网联网模块的开发板为MXKit开发套件,具体型号为XCH…

C++ Primer 第10章泛型算法

10.1 概述 大多数算法定义在algorithm中,标准库还在头文件numeric中定义了数值泛型算法一般情况下,这些算法并不直接操作容器,而是遍历由两个迭代器指定的一个元素范围来进行操作。find(迭代器1.cbegin(),迭代器2.cend()&#xf…

chatgpt赋能python:在SEO优化中如何利用Python检测IP地址连通?

在SEO优化中如何利用Python检测IP地址连通? 在SEO优化中,IP地址连通是非常重要的一个因素,对于网站的排名也有直接的影响。Python作为现代编程语言,具有良好的可读性,易于学习,功能丰富且拥有大量的库&…

vue3实战技巧 - Vite和项目结构

vue3脚手架 Vite Vite-Next Generation Frontend Tooling Vite是一个前端的脚手架,支持React/Vue......vite是vue作者尤雨溪开发 npm init vitelatest / yarn create vitelatest name vue vue-ts cd name npm install / yarn install npm run dev Vite特性…

XuperChain成长计划专属社区上线!

专属XuperChain成长计划用户的去平台化社交平台来了! 为加强与XuperChain成长计划用户的沟通,做到“事事有回音”,我们依托XuperSocial建设了星际社区之外的第二个官方运营社区——XuperChain成长社区。持有已发行的XuperChain创世、监督、共…

一文了解Python编程语言及安装

目录 🍒初识Python 🍒什么是编程语言 🍒安装python(windows) 🍒安装python(Linux) 🦐博客主页:大虾好吃吗的博客 🦐专栏地址:Python从…

MySQL是什么,如何整合SpringBoot,以及使用优势

目录 一、MySQL是什么 二、如何整合SpringBoot 三、MySQL使用优势 一、MySQL是什么 MySQL是一种开源的关系型数据库管理系统,采用客户机/服务器模式实现数据存储和管理。其最初由瑞典的MySQL AB公司开发,后来被Sun Microsystems收购,最终…

Python中的pyc文件是作什么用的?(61)

小朋友们好,大朋友们好! 我是猫妹,一名爱上Python编程的小学生。 和猫妹学Python,一起趣味学编程。 py文件和pyc文件 我们都知道py后缀是Python源码文件,偶尔还会看到pyc后缀文件。 pyc后缀文件是做什么用的呢&…

chatgpt赋能python:Python桌面软件实例:探索Python桌面应用的无穷魅力

Python桌面软件实例:探索Python桌面应用的无穷魅力 Python语言不仅在Web开发上应用广泛,在桌面应用程序上也建立了它的声誉。Python在桌面端编程领域的扩展性和可扩展性极高,使得任何人都可以开发各种类型的桌面应用程序。 在本文中&#x…

NUCLEO-F411RE RT-Thread 体验 (7) - GCC环境外部中断的使用

NUCLEO-F411RE RT-Thread 体验 (7) - GCC环境外部中断的使用 1、简述 NUCLEO-F411RE开发版的蓝色按键对应PC13管脚,我们将其配成外部中断的方式,并设置低电平触发。 2、测试代码 驱动其实对应的还是之前移植好的pin驱动,所以这里不需要修…

chatgpt赋能python:Python查询网页数据的SEO技巧

Python查询网页数据的SEO技巧 Python是一种强大的编程语言,可以用来处理各种类型的数据。其中一种应用是查询网页数据,这在SEO优化中非常重要。本文将介绍Python在查询网页数据时的技巧。 什么是SEO? SEO(Search Engine Optimization&…