深入理解 Java NIO:ByteBuffer和MappedByteBuffer的特性与使用

news2024/11/18 15:32:19

目录

前言

ByteBuffer是什么

重要特点

分配缓冲区

读写模式切换

操作文本数据

操作基本数据类型

案例解析-循环输出数据

MappedByteBuffer是什么

MappedByteBuffer 的工作机制

刷盘时机

总结


前言

在深入学习 RocketMQ 这款高性能消息队列框架的源码时,发现 ByteBufferMappedByteBuffer在 RocketMQ 这样的高性能消息队列框架中扮演了关键角色,其核心部分广泛使用了这两种缓冲区,以实现高效的数据存储和异步刷盘操作。 接下来就深入学习ByteBuffer 和 MappedByteBuffer 的工作原理、优势特点,以便能运用到实际业务中。

ByteBuffer是什么

ByteBuffer 是 Java NIO(New Input/Output)库中的一个类,用于高效地进行字节数据的读写操作。ByteBuffer 提供了一个直接操作字节数组的接口,使得开发者可以更加灵活和高效地处理数据,特别是在处理大文件、网络通信以及其他需要高性能 I/O 操作的场景下。

重要特点

使用 ByteBuffer 进行数据读取时,内部的 position 指针会在每次读取操作后自动向前移动。这是 ByteBuffer 的基本操作原理之一,用于追踪缓冲区当前的读取或写入位置 。

分配缓冲区

ByteBuffer 类提供了两种主要的方法来分配缓冲区:allocateallocateDirect

ByteBuffer buffer = ByteBuffer.allocate(1024);
ByteBuffer directBuffer = ByteBuffer.allocateDirect(1024);
  • allocate:分配JVM堆内存中的缓冲区,所以它受 JVM 垃圾回收的管理, 在执行 I/O 操作时,可能需要将数据从堆内存复制到操作系统的 I/O 缓冲区中,相对于直接缓冲区,堆缓冲区的性能通常稍逊色,适合对性能要求不高的场景。
  • allocateDirect:分配的缓冲区是在 JVM 堆外的直接内存中,从而减少了内存复制的开销,适合需要高性能 I/O 操作的场景,由于直接缓冲区不受 JVM 垃圾回收的管理,它可能会造成内存泄漏,需要额外注意管理

读写模式切换

ByteBuffer 提供了 flip() 方法,可以方便地从写模式切换到读模式;clear() 方法可以重置缓冲区,使其再次可用于写入数据。

ByteBuffer buffer = ByteBuffer.allocate(1024);
buffer.flip();
buffer.clear();

操作文本数据

import java.nio.ByteBuffer;
import java.nio.charset.StandardCharsets;

public class ByteBufferExample {
    public static void main(String[] args) {
        String text = "Hello, ByteBuffer!";
        // 创建一个 ByteBuffer
        ByteBuffer byteBuffer = ByteBuffer.allocate(1024);
        // 将字符串转换为字节数组并逐个字节写入
        byteBuffer.put(text.getBytes(StandardCharsets.UTF_8));
        // 准备读取
        byteBuffer.flip();
        // 读取并输出 ByteBuffer 中的字节
        byte[] outputArray = new byte[byteBuffer.remaining()];
        byteBuffer.get(outputArray);
        String outputText = new String(outputArray, StandardCharsets.UTF_8);
        System.out.println("Stored and retrieved text: " + outputText);
    }
}
  • 其中ByteBuffer.remaining() 方法就是确定在当前缓冲区的 positionlimit 之间还有多少字节可以读取。它间接告诉你“从当前位置到缓冲区结束,可以读取的字节数”。

上面案例只是对单条数据进行操作,所以获取时直接调用remaining()方法获取所有可以读取的字节数并输出。

那么我们需要存储多条数据,并且逐条输出呢?

  • 对于固定大小的数据,可以直接逐条写入数据,并在读取时使用 get 方法按固定字节数读取。(对于实际业务中很难保证操作的文本数据大小一样)
  • 对于可变大小的数据,先存储每条数据的长度,然后存储数据内容;读取时先读取长度,再读取对应大小的数据内容。(显然这种维护成本很高)

操作基本数据类型

ByteBuffer buffer = ByteBuffer.allocate(1024);
buffer.putInt(1);
buffer.putLong(1L);
buffer.putFloat(1.0f);
buffer.putDouble(1.0);
...

我们知道一个基本数据类型的大小是固定的,所以ByteBuffer提供了相关方法

  • int 类型占用 4 个字节
  • long 类型占用 8 个字节
  • float 类型占用 4 个字节
  • double 类型占用 8 个字节

案例解析-循环输出数据

如果我们一条数据由20个字节组成,并且这20个字节是三个关键数据组合(基于RocketMq源码ConsumeQueue场景简化)

我们对2条数据进行存储并获取操作。

注意:获取顺序必须与写入顺序一致!!!

public static void main(String[] args) {
    ByteBuffer buffer = ByteBuffer.allocate(1024);
    //第一条数据
    buffer.putLong(637823L);
    buffer.putInt(233);
    buffer.putLong(232342L);
    //第二条数据
    buffer.putLong(34234L);
    buffer.putInt(33);
    buffer.putLong(34322L);
    //切换读模式
    buffer.flip();
    while (buffer.hasRemaining()){
        //偏移量
        long offset = buffer.getLong();
        //msg大小
        int msgSize = buffer.getInt();
        //标签大小
        long tagsSize = buffer.getLong();
        //拼接一条完整的数据
        String msgIndex = offset + "" + msgSize + "" + tagsSize;
        System.out.println("msgIndex:" + msgIndex);
    }
}

输出:

MappedByteBuffer是什么

MappedByteBufferByteBuffer 的一个子类,所以具有ByteBuffer 的所有特性,它核心是用于内存映射文件mmap机制的一种实现)。它通过将文件映射到内存,使得应用程序可以直接在内存中对文件内容进行读写操作,而操作系统负责在适当的时候将这些修改同步到磁盘上。这种机制极大地提高了文件 I/O 的效率。

MappedByteBuffer 的工作机制

  1. 内存映射文件的内容被映射到内存后,操作系统会在后台维护内存和磁盘之间的同步。应用程序对 MappedByteBuffer 的读写操作实际上是对内存的读写,操作系统会在适当的时候将这些修改写入到磁盘中。
  2. 异步刷盘操作系统通过页面缓存机制来管理内存和磁盘之间的数据同步。修改后的页面不会立即写回磁盘,而是被标记为“脏页”(dirty page)。当页面缓存需要释放内存或达到一定条件时,操作系统会将脏页刷盘。
  3. 手动刷盘MappedByteBuffer 提供了 force() 方法,允许应用程序立即将内存中的修改同步到磁盘。这个方法会触发操作系统将映射的内存区域中的脏页写回到文件中,确保数据的持久性。
import java.io.RandomAccessFile;
import java.nio.MappedByteBuffer;
import java.nio.channels.FileChannel;

public class MappedByteBufferExample {
    public static void main(String[] args) throws Exception {
        RandomAccessFile file = new RandomAccessFile("example.txt", "rw");
        FileChannel channel = file.getChannel();
        // 将文件的前 1024 字节映射到内存
        MappedByteBuffer buffer = channel.map(FileChannel.MapMode.READ_WRITE, 0, 1024);
        // 在内存中修改数据
        buffer.put(0, (byte) 97);  // 写入 ASCII 码 'a'
        // 手动将内存中数据刷新到磁盘
        buffer.force();
        channel.close();
        file.close();
    }
}

刷盘时机

  • 在使用 MappedByteBuffer 进行内存映射文件操作时,除了显式调用 force() 方法触发刷盘外,其他刷盘操作由操作系统根据内存管理和 I/O 子系统的机制自行决定。应用程序通常无法确切知道刷盘的具体时间。
  • 可以通过日志、监控工具和文件系统统计信息了解系统的刷盘行为。为了确保关键数据的及时刷盘,可以显式调用刷盘方法并采用事务机制管理数据写入等。

总结

ByteBuffer 和 MappedByteBuffer 是 Java NIO 中重要的组件,通过提供高效的内存和文件操作机制,极大地提高了 I/O 操作的性能和灵活性。理解并掌握它们的使用,可以帮助我们在处理大数据量、高性能应用时游刃有余。通过学习它们的底层实现和应用场景,我们可以更好地优化应用程序的 I/O 操作,提高整体系统性能。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1955535.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

免费【2024】springboot 畅游游戏销售平台

博主介绍:✌CSDN新星计划导师、Java领域优质创作者、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java技术领域和学生毕业项目实战,高校老师/讲师/同行前辈交流✌ 技术范围:SpringBoot、Vue、SSM、HTML、Jsp、PHP、Nodejs、Python、爬虫、数据可视化…

EchoMimicV2,Audio Driven加速模型,推理速度大幅提升

EchoMimic更新啦,我24号刚出的一篇,到了25号官方就更新了新的加速模型。 着实没赶上官方更新的速度...... 那本次我主要讲下更新了什么内容,如何修改使用acc加速模型。 另外还准备了v2版本的整合包!大家可以体验下! 更…

ProxmoxPVE虚拟化平台--安装PVE虚拟机

Proxmox 虚拟机 Proxmox是一个基于Debian Linux和KVM的虚拟化平台,‌它提供了虚拟化的环境,‌允许用户在同一台物理机上运行多个虚拟机。‌Proxmox虚拟环境(‌PVE)‌是一个开源项目,‌由Proxmox Server Solutions Gmb…

从与原始的Transformer architecture比较来理解GPT

从与原始的Transformer architecture比较来理解GPT flyfish 一、Transformer architecture 先说名词 不同的文献和资料中有不同的名字,其实是一样的意思 1 编码器-解码器多头注意力机制(Encoder-Decoder Multi-Head Attention Mechanism) …

CI/CD:Job failed: execution took longer than 1h0m0s seconds

简介:当在CI/CD配置运行Gitlab-runner流水线中,一般默认情况下,Job的执行时间默认为1小时,如果超出1小时,任务会中断。 历史攻略: 定时任务:Jenkins 容器化CICDLocust性能压测 容器化CICDSo…

我的NAS是怎么连接Amazon Web Services S3的

作为IT爱好者,很多家庭都配备了Network Attached Storage(NAS),用于存储和管理大量数据。一个常见的挑战是如何实现异地备份,以确保数据的安全性和可恢复性。以下是一些解决方案和工具,可以帮助用户有效地管…

使用 Docker Compose 部署 RabbitMQ 的一些经验与踩坑记录

前言 RabbitMQ 是一个功能强大的开源消息队列系统,它实现了高效的消息通信和异步处理。 本文主要介绍其基于 Docker-Compose 的部署安装和一些使用的经验。 特点 成熟,稳定消息持久化灵活的消息路由高性能,高可用性,可扩展性高支…

操作系统:进程1

一.进程 1.什么是进程 一个进程创建,他会生成几块: 代码段:进程执行的程序代码数据段:全局变量,静态变量,在进程生命周期中是动态可变的堆:动态分配的内存区域,malloc、calloc、real…

Ubuntu安装mysql,并使用IDEA连接mysql

一、安装Mysql 1.更新源 sudo apt-get update2.安装Mysql apt-get install mysql-server3.检查是否安装成功 mysql --version4.启动和关闭mysql的命令如下: #启动 sudo service mysql start #关闭 sudo service mysql stop #重启 sudo service mysql restart5.查看mysql运行…

JavaDS —— 二叉搜索树、哈希表、Map 与 Set

前言 我们将学习 Map 与 Set 这两个接口下的 TreeMap 与 TreeSet ,HashMap 与 HashSet ,在学习这四个类使用之前,我们需要先学习 二叉搜索树与 哈希表的知识。 二叉搜索树 在学习二叉树的时候,我们就已经了解过二叉搜索树的概念…

ctfshow-web入门-php特性(web142-web146)

目录 1、web142 2、web143 3、web144 4、web145 5、web146 1、web142 要求 v1 是数字,之后将 v1乘以 0x36d(即16进制的869)五次,然后将结果转换为整数并赋值给变量 $d,使用 sleep 函数使程序休眠 $d 秒&#xff0c…

【2024最新华为OD-C/D卷试题汇总】[支持在线评测] 项目排期安排(200分) - 三语言AC题解(Python/Java/Cpp)

🍭 大家好这里是清隆学长 ,一枚热爱算法的程序员 ✨ 本系列打算持续跟新华为OD-C/D卷的三语言AC题解 💻 ACM银牌🥈| 多次AK大厂笔试 | 编程一对一辅导 👏 感谢大家的订阅➕ 和 喜欢💗 🍿 最新华为OD机试D卷目录,全、新、准,题目覆盖率达 95% 以上,支持题目在线…

CentOS7 yum报错Cannot find a valid baseurl for repo

问题 Loaded plugins: fastestmirror Determining fastest mirrors Could not retrieve mirrorlist http://mirrorlist.centos.org/?release7&archx86_64&repoos&infravag error was 14: curl#6 - "Could not resolve host: mirrorlist.centos.org; Unknown…

基于多种机器学习算法的短信垃圾分类模型

文章目录 有需要本项目的代码或文档以及全部资源,或者部署调试可以私信博主导入第三方库读取数据数据预处理数据分析与可视化机器学习建模贝叶斯逻辑回归支持向量机随机森林XGBoost总结每文一语 有需要本项目的代码或文档以及全部资源,或者部署调试可以私…

阅读笔记2:董超底层视觉之美|底层视觉是什么?

原文链接:https://mp.weixin.qq.com/s/9EQNwXqCM6odwe5n9dOrmw 本文针对底层视觉给出了一个大致的定义,然后通过底层视觉与人工智能、计算机视觉、图像处理等相关概念的对比来对底层视觉做了进一步的界定。 1. 底层视觉是什么 以像素级图像为输入、处…

利用小爱同学与点灯科技+esp8266+舵机,制作智能关灯神器:小白也可制作,米家同步设备可实现多部手机进行控制。(亲测有用)

利用小爱同学与点灯科技,制作智能关灯神器:小白也可制作,米家同步设备可实现多部手机进行控制。 文章目录 利用小爱同学与点灯科技,制作智能关灯神器:小白也可制作,米家同步设备可实现多部手机进行控制。1.…

vue3 快速入门 (六) : vue中调用HTTP请求

1. 本文环境 Vue版本 : 3.4.29Node.js版本 : v20.15.0系统 : Windows11 64位IDE : VsCode 1.91.0 2. 访问HTTP 在Vue中,访问HTTP,可以使用axios第三方库。 axios 是一个基于 promise 的网络请求库,可以用于浏览器和 node.js。 axios使用简…

一步步理清开源路径规划导航引擎GraphHopper

一步步理清开源路径规划导航引擎GraphHopper,学习应用 GraphHopper简介 源码用 Java 编写,开发人员可以通过 Maven 轻松上手。可以用作** Java 库**来计算两个或多个点之间路线的距离、时间、逐向指示和许多道路属性。可以用作独立的 Web 服务器来计算…

redis的学习

! 快速入门 安装 1.使用docker安装redis docker pull redisdocker run -d --name redis -p 6379:6379 --restart unless-stopped -v /etc/docker/Redis/data:/data -v /etc/docker/Redis/conf/redis.conf:/usr/local/etc/redis/redis.conf redis redis-server /usr/local/e…

Python 百题(实战快速掌握语法)_2(链表)

目录 实现链表类 挑战介绍 挑战内容 挑战要求 示例代码 版权说明 参考答案 代码分析: Node 类 LinkedList 类 方法分析 总结 删除链表的重复项 挑战介绍 挑战内容 挑战要求 示例代码 版权说明 参考答案 代码分析: 寻找链表倒数第 k…