java零拷贝zero copy MappedByteBuffer

news2024/12/1 0:32:23

目录

调用操作系统的 mmap

未使用 mmap 的文件通过网络传输的过程

使用 mmap 的文件通过网络传输的过程

使用例子

调用操作系统的 sendfile()

在 java 中的具体实现

mmap的优劣

mmap 的不足

mmap 的优点

mmap 的使用场景

对于零拷贝（zero copy），目前操作系统支持多种方式，具体如下

调用操作系统的 mmap

在之前的页缓存文章的基础上

https://blog.csdn.net/zlpzlpzyd/article/details/135317588

如果在 linux 上如果直接对 page cache 怎么办？

鉴于 java 语言是建立在 jvm 基础上调用操作系统的 api 来对机器资源进行访问的，可以通过 mmap 来实现，从 java 1.4 开始提供了 FileChannel 的 map() 来实现这个功能，这样就可以类似指针的方式来直接操作文件了。这样带来的好处是，不用进行用户态和内核态的切换了，减少了机器的资源开销。

未使用 mmap 的文件通过网络传输的过程

可见发生了4次用户态与内核态的上下文切换（调用 read()后返回数据与调用write()后返回数据），4次数据拷贝（两次DMA拷贝，两次CPU拷贝）。
传统的IO性能是非常差的，所以，要想提高文件传输的性能，就需要减少用户态与内核态的上下文切换和内存拷贝的次数。

使用 mmap 的文件通过网络传输的过程

需要 4 次上下文切换，因为系统调用还是 2 次。但是拷贝从4次变成了3次。

使用例子

java 中通过 MappedByteBuffer 来实现直接对 page cache 的操作。

import java.io.IOException;
import java.io.Serializable;
import java.nio.MappedByteBuffer;
import java.nio.channels.FileChannel;
import java.nio.charset.StandardCharsets;
import java.nio.file.Files;
import java.nio.file.Path;
import java.nio.file.Paths;
import java.nio.file.StandardOpenOption;


public class TestMapMemeryBuffer2 implements Serializable {

    private final static String CONTENT = "Zero copy implemented by MappedByteBuffer";
    private final static String FILE_NAME = "mmap.txt";

    public static void main(String[] args) throws IOException {
        xieshuju();
        dushuju();
    }
    public static void xieshuju() throws IOException {
        /**写文件数据
         * 打开文件通道 fileChannel 并提供读权限、写权限和数据清空权限，通过 fileChannel 映射到一个可写的内存缓冲区 mappedByteBuffer，
         * 将目标数据写入 mappedByteBuffer，通过 force() 方法把缓冲区更改的内容强制写入本地文件。
         */
        Path path = Paths.get("E:/data",FILE_NAME);
        if (Files.notExists(path)) {
            Files.createDirectories(path.getParent());
            Files.createFile(path);
        }
        byte[] bytes = CONTENT.getBytes(StandardCharsets.UTF_8);
        try (FileChannel fileChannel = FileChannel.open(path, StandardOpenOption.READ,
                StandardOpenOption.WRITE, StandardOpenOption.TRUNCATE_EXISTING)) {
            MappedByteBuffer mappedByteBuffer = fileChannel.map(FileChannel.MapMode.READ_WRITE, 0, bytes.length);
            if (mappedByteBuffer != null) {
                mappedByteBuffer.put(bytes);
                mappedByteBuffer.force();
            }
        } catch (Throwable e) {
            e.printStackTrace();
        }
    }



    public static void dushuju() throws IOException {
        /**
         * 读文件数据：打开文件通道 fileChannel 并提供只读权限，通过 fileChannel 映射到一个只可读的内存缓冲区 mappedByteBuffer，
         * 读取 mappedByteBuffer 中的字节数组即可得到文件数据。
         * */
        Path path = Paths.get("E:/data",FILE_NAME);
        if (Files.notExists(path)) {
            Files.createDirectories(path.getParent());
            Files.createFile(path);
        }
        int length = CONTENT.getBytes(StandardCharsets.UTF_8).length;
        try (FileChannel fileChannel = FileChannel.open(path, StandardOpenOption.READ)) {
            MappedByteBuffer mappedByteBuffer = fileChannel.map(FileChannel.MapMode.READ_ONLY, 0, length);
            if (mappedByteBuffer != null) {
                byte[] bytes = new byte[length];
                mappedByteBuffer.get(bytes);
                String content = new String(bytes, StandardCharsets.UTF_8);
                System.out.println(content);
            }
        } catch (Throwable e) {
            e.printStackTrace();
        }
    }
}

调用操作系统的 sendfile()

在 Linux 内核版本 2.1 中，提供了1个专门发送文件的系统调用函数 sendfile()。

它可以替代前面的 read() 和 write() 这两个系统调用，这样就可以减少1次系统调⽤，文件传输变为在操作系统执行，不需要应用程序的参与，也就减少了 2 次上下文切换的开销。

这样就只有 2 次上下文切换，和 3 次数据拷贝。

在 java 中的具体实现

FileChannel 的 transferFrom() 和 transferTo()。

两者使用调用方式不同，transferFrom() 是目标 FileChannel 调用，transferTo() 是源 FileChannel 调用。

https://blog.csdn.net/weixin_44371237/article/details/122322890

以上的还不是真正的零拷贝技术，如果网卡支持 SG-DMA（The Scatter-Gather DirectMemory Access）技术（和普通的 DMA 有所不同），可以减少通过 CPU 把内核缓冲区的数据拷贝到 socket 缓冲区的过程。

Linux运行这条命令查看网卡是否支持 SG-DMA

$ ethtool -k eth0 | grep scatter-gather
scatter-gather: on

这样，最终只有2次上下文切换和2 次数据拷贝。

mmap的优劣

mmap 的不足

鉴于操作系统的 page cache 为 4KB，所以在使用过程中最好是 4KB 的整数倍，不然会造成内存空间浪费。

map方法中 size 的类型是 long，但是在注释中指定不能大于 Integer#MAX_VALUE，也就是2147483647字节，换算一下大概是2G。也就是说 MappedByteBuffer 的最大值是2G，一次最多只能 map 2G 的数据。

由于 MappedByteBuffer 最终的实现类为 DirectByteBuffer，即使用了堆外内存，这就使得在使用的时候对内存回收时变得困难。
如果针对大文件使用 MappedByteBuffer，会造成内存不足的情况，其他一些经常使用的文件会造成经常被回收的情况（因为 page cache 的在操作系统实现了 lru 算法来处理）。

mmap内存映射的大小始终是整数页，因此对于文件实际大小和映射的空间之间多少会有差异，这个差异的空间是被浪费的，对于小文件来说这个浪费比例被放大，因此 mmap 更适合频繁操作的大文件。频繁映射大量不同大小的内存，会导致内存碎片化。

针对大文件的传输，不应该使用 Page Cache，也就是说不应该使用零拷贝技术，因为可能由于 Page Cache 被大文件占据，由于大文件难以命中 Page Cache 缓存，导致热点小文件无法命中 Page Cache，这样在高并发的环境下，会带来严重的性能问题。

传输大文件的时候，使用异步 IO + 直接 IO，因为可以绕过 Page Cache
传输小文件的时候，使用零拷贝技术
 

针对所谓的文件大小的定义，需要通过压力测试来验证一下，这个需要后面看一下。

MappedByteBuffer 是没有close方法的，即使它的 FileChannel 被close了，MappedByteBuffer 仍然处于打开状态，只有JVM进行垃圾回收的时候才会被关闭。而这个时间是不确定的。

对于具体的写入磁盘时间是由操作系统来决定的，如果想要马上写入磁盘需要手动调用 force()。

mmap 的优点

mmap基于操作系统的 mmap 的内存映射技术，通过 MMU 映射文件，将文件直接映射到用户态的内存地址，使得对文件的操作不再是 write/read，而转化为直接对内存地址的操作，使随机读写文件和读写内存相似的速度。

把文件映射到用户空间里的虚拟内存，省去了从内核缓冲区复制到用户空间的过程，文件中的位置在虚拟内存中有了对应的地址，可以像操作内存一样操作这个文件，这样的文件读写文件方式少了数据从内核缓存到用户空间的拷贝，效率很高。

将用户态和内核态的重操作减少了。

mmap 的使用场景

频繁操作的文件，因为是基于 page cache 实现的，主要将磁盘的文件暂时缓存到内存中。如果只是用一次或者次数很少，放在内存里没有必要。

参考链接

https://blog.csdn.net/alex_xfboy/article/details/90174840

https://blog.csdn.net/bookssea/article/details/122099186

https://blog.csdn.net/qq_45038038/article/details/134975039

https://blog.csdn.net/qq_39668099/article/details/130240286

https://juejin.cn/post/6921977140946845704

https://blog.csdn.net/m0_50662680/article/details/128420713

https://www.cnblogs.com/flydean/p/io-nio-mappedbytebuffer.html

https://blog.csdn.net/yzh_1346983557/article/details/119760911

https://www.cnblogs.com/sky-heaven/p/16280797.html

https://mp.weixin.qq.com/s/oPv1-wrhYjiOC1o0M0tjMA

https://www.cnblogs.com/jmcui/p/15256464.html

https://www.cnblogs.com/liujinhui/p/15847633.html

https://zhuanlan.zhihu.com/p/377237946

https://blog.csdn.net/andybegin/article/details/129304899

https://blog.csdn.net/dyuan134/article/details/130126955

https://zhuanlan.zhihu.com/p/54762255

https://tech.meituan.com/2017/05/19/about-desk-io.html

https://www.jianshu.com/p/59dad2d290a1

https://www.jianshu.com/p/c83fa8bd564f

https://blog.csdn.net/NF_ALONG/article/details/129399559

https://zhuanlan.zhihu.com/p/439380628

https://blog.csdn.net/xystrive/article/details/125692926

https://zhuanlan.zhihu.com/p/607416958

https://zhuanlan.zhihu.com/p/665075935

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1348076.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

数据资产入表之——数据确权

数据资产入表之——数据确权

关注WX公众号： commindtech77， 获得数据资产相关白皮书下载地址 1. 回复关键字：数据资源入表白皮书 下载 《2023数据资源入表白皮书》 2. 回复关键字：光大银行 下载 光大银行-《商业银行数据资产会计核算研究报告》 3. 回复关键字…
阅读更多...
计算机网络 (期末救命版)

计算机网络 (期末救命版)

文章目录 Ⅰ 网络概述1. 互联网概述与组成2. 计算机网络的类别3. 计算机网络的性能指标4. 计算机网络体系结构 Ⅱ 物理层1. 物理层的任务2. 信道复用技术 Ⅲ 数据链路层1. 点对点信道2. 基本问题3. 点对点协议 PPP4. 使用广播信道的数据链路层 Ⅳ 网络层1. 网络层的服务2. 网际…
阅读更多...
怎么挑选猫粮？挑选主食冻干猫粮的步骤

怎么挑选猫粮？挑选主食冻干猫粮的步骤

各位铲屎官都知道猫天性是食肉动物，无肉不欢的。而冻干猫粮对于猫咪来说是最好还原猫咪食肉天性的食物，不仅可以当成猫咪的主食，也可以用来给猫咪当成零食，帮助猫咪补充营养。冻干猫粮是经过真空冷冻干燥处理的鲜肉，能…
阅读更多...
Baumer工业相机堡盟工业相机如何通过NEOAPI SDK设置相机本身的数据保存（CustomData）功能（C#）

Baumer工业相机堡盟工业相机如何通过NEOAPI SDK设置相机本身的数据保存（CustomData）功能（C#）

Baumer工业相机堡盟工业相机如何通过NEOAPI SDK设置相机本身的数据保存（CustomData）功能（C#） Baumer工业相机Baumer工业相机的数据保存（CustomData）功能的技术背景CameraExplorer如何使用图像剪切&#xff…
阅读更多...
移动端开发框架mui代码在安卓模拟器上运行2（HbuilderX连接到模拟器）模拟器窗口及多开设置

移动端开发框架mui代码在安卓模拟器上运行2（HbuilderX连接到模拟器）模拟器窗口及多开设置

开发工具 HBuilder X 3.8.12.20230817 注意：开发工具尽量用最新的或较新的。太旧的版本在开发调试过程中可能会出现莫名其妙的问题。 接上篇，移动端开发框架mui代码在安卓模拟器上运行（HbuilderX连接到模拟器），这篇主要…
阅读更多...
Python开发环境[PycharmEclipseAnaconda]

Python开发环境[PycharmEclipseAnaconda]

Pycharm配置Python开发环境 每种语言的开发工具都有很多，如果写一些小的脚本或者小的工具，建议直接使用命令行或者Python自带的IDLE，如果进行大型的开发工作建议使用Pycharm，当然这属于个人喜好。 虽然Pycharm给了我们一个美观的…
阅读更多...
【Python特征工程系列】教你利用AdaBoost模型分析特征重要性（源码）

【Python特征工程系列】教你利用AdaBoost模型分析特征重要性（源码）

这是Python特征工程系列原创文章，我的第187篇原创文章。 一、问题 应用背景介绍： 如果有一个包含数十个甚至数百个特征的数据集，每个特征都可能对你的机器学习模型的性能有所贡献。但是并不是所有的特征都是一样的。有些可能是冗余的…
阅读更多...
树与图的搜索

树与图的搜索

目录 树与图的深度优先遍历 树与图的宽度优先遍历 树与图的深度优先遍历 题目如下： 树是一种特殊的图，是一种无环连通图，图分两种，无向图（边无方向）和有向图（边有方向）&#xff0…
阅读更多...
蓝牙物联网健康管理系统设计方案

蓝牙物联网健康管理系统设计方案

随着我国医疗体制改革的快速发展，以及信息科技的更新换代，远程健康管理逐步成为医疗卫生健康服务的发展趋势。物联网技术推动着医疗健康服务体系发生重大改变，传统的定期至社区医院问诊的保健模式，被远程健康服务模式所取代。开发…
阅读更多...
数据转换的三剑客：Pandas 中 apply、map 和 applymap 方法的应用指南

数据转换的三剑客：Pandas 中 apply、map 和 applymap 方法的应用指南

数据转换的三剑客：Pandas 中 apply、map 和 applymap 方法的应用指南 ​ 在 Pandas 中，apply、map 和 applymap 是常用的数据转换和处理方法，它们为数据分析和数据处理提供了灵活的功能。这些方法可以根据具体的需求选择合适的方法进行操作。…
阅读更多...
扩散模型基础

扩散模型基础

扩散模型发展至今日，早已成为各大机器学习顶会的香饽饽。本文简记扩散模型入门相关代码，主要参阅李忻玮、苏步升等人所编著的《扩散模型从原理到实战》 文章目录 1. 简单去噪模型1.1 简单噪声可视化1.2 去噪模型1.3 小结 2 扩散模型2.1 采样过程2.2 上科…
阅读更多...
线性代数基础知识

线性代数基础知识

计算机视觉一些算法中常会用到线性代数的一些知识，为了便于理解和快速回忆，博主这边对常用的一些知识点做下整理，主要来源于如下这本书籍。 1. 矩阵不仅仅是数字排列而已，不然也不会有那么大精力研究它。其可以表示一种映射 关于…
阅读更多...
《PCI Express体系结构导读》随记 —— 第I篇 第2章 PCI总线的桥与配置（1）

《PCI Express体系结构导读》随记 —— 第I篇 第2章 PCI总线的桥与配置（1）

前言中曾提到：本章重点介绍PCI桥。 在PCI体系结构中含有两类桥：一类是HOST主桥；另一类是PCI桥。在每一个PCI设备中（包括PCI桥），都含有一个配置空间。这个配置空间由HOST主桥管理，而PCI桥可以转…
阅读更多...
CycleGAN 是如何工作的？

CycleGAN 是如何工作的？

一、说明 CycleGAN即循环对抗网络，是图像翻译成图像的模型；是Pix2Pix模型的扩展，区别在于，Pix2Pix模型需要输入图像和目标图像成对给出训练，CycleGAN则不需要，例如：从 SAR 生成 RGB 图像、从 RG…
阅读更多...
使用ASP.NET MiniAPI 调试未匹配请求路径

使用ASP.NET MiniAPI 调试未匹配请求路径

本文将介绍如何在使用ASP.NET MiniAPI时调试未匹配到的请求路径。我们将详细讨论使用MapFallback方法、中间件等工具来解决此类问题。 1. 引言 ASP.NET MiniAPI是一个轻量级的Web API框架，它可以让我们快速地构建和部署RESTful服务。然而，在开发过程中如…
阅读更多...
S7-1200 PLC回原方式详细解读(SCL代码)

S7-1200 PLC回原方式详细解读(SCL代码)

S7-1200PLC脉冲轴位置控制功能块的介绍，可以查看下面链接文章： https://rxxw-control.blog.csdn.net/article/details/135299302https://rxxw-control.blog.csdn.net/article/details/135299302脉冲轴工艺对象组态设置介绍 https://rxxw-control.blog.csdn.net/article/det…
阅读更多...
算法(3)——二分查找

算法(3)——二分查找

一、什么是二分查找 二分查找也称折半查找，是在一组有序(升序/降序)的数据中查找一个元素，它是一种效率较高的查找方法。 二、二分查找的原理 1、查找的目标数据元素必须是有序的。没有顺序的数据，二分法就失去意义。 2、数据元素通常是数值…
阅读更多...
推荐系统中 排序策略 CTR 动态加权平均法

推荐系统中 排序策略 CTR 动态加权平均法

CTR（Click-Through Rate）动态加权平均法是一种用于计算广告点击率的方法，其中每个点击率被赋予一个权重，这个权重可以随着时间、事件或其他因素而动态调整。这种方法旨在更灵活地反映广告点击率的变化，使得最近的数据更…
阅读更多...
HTML与CSS

HTML与CSS

目录 1、HTML简介 2、CSS简介 2.1选择器 2.1.1标签选择器 2.1.2类选择器 2.1.3层级选择器(后代选择器) 2.1.4id选择器 2.1.5组选择器 2.1.6伪类选择器 2.2样式属性 2.2.1布局常用样式属性 2.2.2文本常用样式属性 1、HTML简介 超文本标记语言HTML是一种标记语言&…
阅读更多...
【GoLang】Go语言几种标准库介绍(三)

【GoLang】Go语言几种标准库介绍(三)

文章目录 前言几种库debug 库 (各种调试文件格式访问及调试功能)相关的包和工具：示例 encoding (常见算法如 JSON、XML、Base64 等)常用的子包和其主要功能：示例 flag(命令行解析)关键概念：示例示例执行 总结专栏集锦写在最后 前言 上一篇&a…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023