一二三应用开发平台文件处理设计与实现系列之5——MinIO技术预研

news2024/11/18 1:49:20

背景

上篇介绍了文件读写框架设计与实现，同时顺便说明了本地磁盘存储模式的实现模式。
今天来说下基于文件读写框架，如何集成对象存储组件minio，集成之前，需要对minio进行必要的了解，本篇是minio的技术预研。

minio简介

minio是一套小而美的开源的对象存储系统（Object Storage System，简称OSS），优点如下：

  • 支持存储海量非结构化数据（单个文件从几十kb到最大5T不等）
  • 性能高，在标准硬件上，读/写速度高达183GB/秒和171GB/秒
  • 完全兼容Amazon S3接口
  • 增配存储资源易于实现，原有存储不变

基本概念

Object：对象，实际就是非结构化的文件，如office文档、图片、音频、视频等。
Bucket：桶，是一个用来管理对象的逻辑空间，称之为对象仓库更合适。其作用相当于磁盘上的一个顶级文件夹，并且桶与桶之间的数据是相互隔离的。桶的意义在于可以更好地分门别类管理存储的对象，避免把整个系统所有的文件一股脑都存放在一个仓库里，可以从租户、业务模块、年度等维度进一步细分。
Drive：磁盘，实际就是底层存储了，对应着磁盘或磁盘上的目录。
Set：阵列，磁盘的集合，这地方我认为很多网上的资料实际都是错的或描述不完整不准确，完整的说法应该是纠删阵列，即在部分磁盘块不可用的情况下通过冗余和算法实现数据恢复，从而能正常读写数据而划分的磁盘阵列。

纠删码机制

minio在可靠性方面做了一个优秀的设计，实现了低冗余与高容错，该方案是通过纠删码（Erasure Code）来实现的，详见官方文档https://min.io/docs/minio/linux/operations/concepts/availability-and-resiliency.html#minio-availability-resiliency。

这部分比较难理解，以下是个人阅读思考后整理处理的，供参考。
大概的原理就是对于一个存储对象，将其分成K块数据碎片，同时增加M块奇偶校验碎片，所有的碎片块所在的磁盘组成一个纠删磁盘阵列。
N (ERASURE SET SIZE) = K (DATA) + M (PARITY)
其中M值默认设置为4，可以调整设置，最小为0，最大为n/2。
M值越小，则用于存储的空间越大，当其为0时，意味着没有附加的奇偶校验碎片，虽然可用于存储的容量最大，但丧失了数据容错，任何一块数据碎片损坏，整个文件不再可读取。
M值越大，则用于存储的空间越小，当其为最大值为n/2时，意味着一个1M的文件实际使用2M的存储空间，其中1M用于数据本身，另外1M用于奇偶校验块，实现容错的目的。
从上面可以推论出来，minio存储文件，最大占用空间是其原始体积的两倍。
若N取16，M取默认值4，则数据块K为12，即12M的文件，实际占用存储空间是16M，多使用了约33%的存储空间，而不是极限情况下多占用100%空间。

关于容错性，对于读数据，在ERASURE SET中，只要无效块总量小于等于M，则都可以恢复数据并读取；对于写数据，分两种情况，如M值小于N/2，则规则同读取，只要无效块总量小于等于M即可以写；若M值刚好为N/2,则要求有效块要大于等于n/2+1。
若N取16，M取默认值4，则数据块K为12，无效块小于等于4，仍然可正常读取和写入数据。
若N取16，M取默认值8，则数据块K为8，无效块小于等于8，仍然可正常读取数据，但有效块至少为9，才能写入数据。

官方给了一张图，说明在1个Set中挂载了16块磁盘的情况下，M取值分别为4、6、8情况下，可用于存储数据的块，存储比率以及多少块处于有效时才可进行读操作和写操作。
image.png
注：存储比率指的是数据占用空间与总占用空间（数据+奇偶校验）的比例，比如8数据块8奇偶校验块，只有50%是用来存储数据的，余下50%用于冗余和恢复的。

minio集群会根据节点和磁盘数自动计算N（ERASURE SET SIZE）的取值，N最大值为16，即最常见的4个minio server节点，每个节点挂载4块磁盘的情况下，刚好组成1个阵列，并且M取值是4。因此一个规模较大的集群中，会存在多个相互独立的阵列。

部署模式

minio的部署模式分为两大类，单节点部署和分布式部署。

其中单节点部署模式下，minio会根据挂载的磁盘的数量，自动决定是否启用纠删码模式。

单节点单磁盘

最简单的情况就是单节点，挂载单个磁盘，此时不会启用纠删码模式，也不存在高可用，磁盘文件损坏无法恢复，官方建议用于开发和测试，不可用于生产环境。个人认为，对于中小型系统，这种部署架构用于生产也是可接受的，简单，实用。一方面从业务角度而言，文件通常是用户上传的附件，重要程度较低，损坏或丢失影响有限；另一方面，磁盘的可靠性相当高，磁盘产生坏道的故障率低到可以忽略。
执行如下命令，创建容器

docker run -p 9000:9000  --name minio -d --restart=always -e "MINIO_ACCESS_KEY=admin" -e "MINIO_SECRET_KEY=12345678" -v E:\dockerVolume\minio\data:/data  minio/minio:RELEASE.2021-04-22T15-44-28Z server /data

使用控制台上传文件，磁盘上存放的实际就是文件本身。
image.png

单节点多磁盘

如想提升文件的可靠性和容错，则仍可以部署单节点，然后挂载多个磁盘，该情况下自动启用纠删码模式。
执行如下命令，只挂两块磁盘

docker run -p 9000:9000  --name minio -d --restart=always -e "MINIO_ACCESS_KEY=admin" -e "MINIO_SECRET_KEY=12345678" -v E:\dockerVolume\minio\data1:/data1 -v E:\dockerVolume\minio\data2:/data2 minio/minio:RELEASE.2021-04-22T15-44-28Z server /data1 /data2

容器启动时报错
image.png
从报错可以看出，磁盘要求至少为4块，更改下命令，挂载4块磁盘，如下：

docker run -p 9000:9000  --name minio -d --restart=always -e "MINIO_ACCESS_KEY=admin" -e "MINIO_SECRET_KEY=12345678" -v E:\dockerVolume\minio\data1:/data1 -v E:\dockerVolume\minio\data2:/data2 -v E:\dockerVolume\minio\data3:/data3 -v E:\dockerVolume\minio\data4:/data4 minio/minio:RELEASE.2021-04-22T15-44-28Z server /data1 /data2 /data3 /data4

容器顺利启动，并显示4块磁盘在线
image.png
同时显示初始化了1个服务池，1个磁盘阵列，每个磁盘阵列中有4块磁盘。
通过控制台上传1张图片，查看文件情况
image.png
每个磁盘下都多了一个以文件名命名的目录，下挂一个xl.meta文件，实际是文件碎片或奇偶校验块，占用空间约为实际文件的一半，进而推断出这四块磁盘，是两块做数据，两块做奇偶校验。

进行破坏性试验，依次删除data2、data3下的xl.meta文件，来模拟磁盘失效，控制台依旧能正常显示和下载文件，继续删除data4下的文件，则控制台中该文件不再显示，与minio的容错机制一致。

多节点多磁盘

分布式部署通常用于中大型系统，是最复杂的一种部署方式。通常至少部署4个minio节点，每个节点挂载4块磁盘，这样组成了一个16块磁盘的启用了纠删码功能的阵列。上文说过，默认设置的奇偶校验块数量是4，即这16块磁盘中有12块用于数据存储，4块用于容错。在分布式部署的场景下，minio是去中心化的，所有节点是对等的，没有主从的概念。而很多集群部署的中间件，是有主从概念的，基于选举算法来产生主节点。因此，minio集群需要通过NGINX来实现负载均衡。

扩展集群

对于分布式部署，如发现原存储资源不够了，增加新的存储资源，很多同类组件往往需要重新均衡各存储节点上数据。均衡意味着要做数据迁移，不仅复杂，而且耗时较长。对于该问题，minio的处理方案则是另辟蹊径，保持原服务池不变，增加新服务池，只有一点要求，新增的服务池需要跟之前规划的磁盘数量一致，这里的一致并不是相等，而是可以是倍数关系。
比如原来得服务池是这样的
minio server http://host{1…8}/export{1…8}
可以通过以下方式扩展
minio server http://host{1…8}/export{1…8} http://host{9…16}/export{1…8}
原来的服务池保持不变，数据不需要重新均衡，新上传的文件会自动找寻负载低的服务池。
minio将复杂的增配资源问题转换成了一个部署问题，非常巧妙。

安装部署

基于虚拟机的部署比较简单，无非是获取安装包，然后运行，这里就不多说了。
接下来说下基于docker的安装部署。
直接通过docker 拉取镜像 docker pull minio/minio:RELEASE.2021-04-22T15-44-28Z
image.png
创建容器

docker run -p 9000:9000  --name minio -d --restart=always -e "MINIO_ACCESS_KEY=admin" -e "MINIO_SECRET_KEY=12345678" -v E:\dockerVolume\minio\data:/data -v E:\dockerVolume\minio\cofig:/root/.minio minio/minio:RELEASE.2021-04-22T15-44-28Z server /data

启动成功后，访问9000端口
image.png
登录后，界面如下：
image.png
就是一个很简单的页面，新建桶和上传文件都通过右下角按钮实现，相比当前的最新版本的UI和功能，相当的简陋。

新版本的登录页面
image.png
新版本的功能菜单
image.png

集成验证

基于java，验证常用API的使用。

引入依赖

<dependency>
    <groupId>io.minio</groupId>
    <artifactId>minio</artifactId>
    <version>8.5.7</version>
</dependency>

新建控制器

新建一个控制器用于测试，路径设置为file，为了测试方便，直接在控制器里调用API，不再转调service了。

package miniodemo.controller;

import io.minio.BucketExistsArgs;
import io.minio.MakeBucketArgs;
import io.minio.MinioClient;
import lombok.extern.slf4j.Slf4j;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;

/**
 * @author wqliu
 * @date 2023-11-17
 */
@RestController
@RequestMapping("/file/")
@Slf4j
public class FileController {
   

}

构建客户端

所有API调用的前提，是构建minioClient客户端，调用MinioClient的建造器方法，传入服务地址和身份认证即可。

/**
 * 获取客户端
 * @return
 */
private MinioClient getClient(){
    // 创建客户端
    MinioClient minioClient =
    MinioClient.builder()
    // 服务地址
    .endpoint("http://127.0.0.1:9000")
    // 身份认证
    .credentials("admin", "12345678")
    .build();
    return minioClient;
}

创建桶

新加方法，通过参数传入桶名，内部简单判断是否存在，不存在则新建。同样为了测试方便，未使用post而是用了get方法。

/**
 * 新建桶
 * @param bucketName 桶名
 */
@GetMapping("/addBucket")
public void addBucket(String bucketName) {
    try {
        MinioClient client = getClient();
        // 创建桶
        BucketExistsArgs bucketExistsArgs = BucketExistsArgs.builder().bucket(bucketName).build();
        boolean exists =
        client.bucketExists(bucketExistsArgs);
        if (!exists) {
            // 不存在，创建
            MakeBucketArgs makeBucketArgs = MakeBucketArgs.builder().bucket(bucketName).build();
            client.makeBucket(makeBucketArgs);
        }
    }catch (Exception ex){
        log.error(ex.getMessage());
    }

}

浏览器中输入地址http://localhost:8080/file/addBucket?bucketName=abc
使用minio自带控制台，可以看到已经成功创建了桶。
image.png

上传文件

实现如下控制器方法

/**
 * 上传文件
 */
@GetMapping("/upload")
public void upload() {
    try {
        MinioClient client = getClient();
        UploadObjectArgs uploadObjectArgs = UploadObjectArgs.builder()
        .bucket("abc")
        .object("1.png")
        .filename("e:/1.png")
        .build();
        client.uploadObject(uploadObjectArgs);
    }catch (Exception ex){
        log.error(ex.getMessage());
    }

}

执行http://localhost:8080/file/upload
查看minio控制台，文件已上传
image.png
查看docker挂载的磁盘，在单节点单磁盘情况下，实际就是把桶映射成文件夹，把文件放到文件夹下
image.png

下载文件

实现如下控制器方法

/**
 *  下载文件
 */
@GetMapping("/download")
public void download() {
    try {
        MinioClient client = getClient();
        DownloadObjectArgs downloadObjectArgs = DownloadObjectArgs.builder()
        .bucket("abc")
        .object("1.png")
        .filename("e:/2.png")
        .build();
        client.downloadObject(downloadObjectArgs);
    }catch (Exception ex){
        log.error(ex.getMessage());
    }

}

浏览器中访问http://localhost:8080/file/download，查看本地磁盘，文件被下载。

获取文件流

上面方法是把文件固定下载到磁盘某个目录下，实际系统使用的时候是问minio要文件流，实现如下控制器方法

/**
 *  获取文件流
 */
@GetMapping("/getFileStream")
public InputStream getFileStream() {
    try {
        MinioClient client = getClient();
        GetObjectArgs args = GetObjectArgs.builder()
        .bucket("abc")
        .object("1.png")
        .build();
        GetObjectResponse response = client.getObject(args);
        return response;
    }catch (Exception ex){
        log.error(ex.getMessage());
        return null;
    }
}

浏览器中访问http://localhost:8080/file/getFileStream，通过调试模式，可以看到拿到了文件流。
注意API返回的类型GetObjectResponse，实际是InputStream的子类，因此可以用InputStream来接收。

总结

上文构建了基于java和springboot实现的API测试，完成了创建桶、上传文件、下载文件和获取文件流等常用操作，像删除桶、删除文件等操作也高度类似，未再一一列出。
从测试代码可以看出，minio的api做了高度统一的封装，每个方法对应着一个参数对象，并且该参数对象内置了建造器模式。处理过程也高度类似，先构建一个minio的客户端，然后使用该客户端调用API方法。

坑点：开源协议的变动

MinIO比较特别，初早期版本的开源协议是Apache 2.0，这是一种相对友好的协议，可以商用。后来变更成了AGPL V3.0，虽然仍然可以商用且无需付费，但该协议要求使用该组件的系统必须开源，这就有点……
所以，选用minio时，需要慎重选择版本，如自己本身就是开源软件，那么使用minio的新版本更适合，否则，请选用老版本的minio来规避版权问题。
通过Git库查看修改日志，最后一个基于apache 2.0协议的版本是2021-04-22T15-44-28Z，源码下载地址
https://github.com/minio/minio/tree/RELEASE.2021-04-22T15-44-28Z
因为是源码，不能直接使用，需要编译，而minio是使用go语言开发的，需要go编译环境。

多说一句，MinIO的版本号命名也独具特色（惨不忍睹），没有按照大多数的三段数字如3.1.2，或者用某系列英文来区分（如Spring Cloud），而是大多以发布时间命名的版本，不信你看……
image.png

开源平台资料

平台名称：一二三开发平台
简介： 企业级通用开发平台
设计资料：csdn专栏
开源地址：Gitee
开源协议：MIT
欢迎收藏、点赞、评论，你的支持是我前行的动力。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1385112.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

pip查看某个包存在的历史版本

pip查看某个包存在的历史版本

简介&#xff1a;当我们想查看某个包有哪些可安装版本&#xff0c;但是又不想去官网查询&#xff0c;如何用pip命令查询出全部历史版本&#xff1f; 历史版本&#xff1a; Python&#xff1a;pip升级超时解决方案 Python&#xff1a;指定的Python版本pip Python&#xff1a…
阅读更多...
把模板作为元函数参数传递。

把模板作为元函数参数传递。

C模板元编程是一种典型的函数式编程&#xff0c;函数在整个编程体系中处于核心的地位。 这里的函数与一般C程序中定义的函数有所区别&#xff0c;其更接近数学意义上的函 数——是无副作用的映射或变换&#xff1a;在输入相同的前提下&#xff0c;多次调用同一个函数&…
阅读更多...
mac vscode latex实用

mac vscode latex实用

网上有教程怎么在vscode里安装macTex以及插件&#xff0c;然后就可以在latex里写代码了&#xff0c;这里需要修改的是对应的json文件&#xff0c;输入command P,可以看到最近打开的json设置文件&#xff0c;结果如下 然后设置这个json文件&#xff0c;我的json文件设置如下 …
阅读更多...
个人网站制作 Part 5 优化网站性能(图片压缩、代码优化) | Web开发项目

个人网站制作 Part 5 优化网站性能(图片压缩、代码优化) | Web开发项目

文章目录 &#x1f469;‍&#x1f4bb; 基础Web开发练手项目系列&#xff1a;个人网站制作&#x1f680; 优化网站性能&#x1f528;图片优化&#x1f527;步骤 1: 使用压缩工具 &#x1f528;代码优化&#x1f527;步骤 2: 压缩CSS和JavaScript&#x1f527;步骤 3: 合并文件…
阅读更多...
js(JavaScript)数据结构之堆（Heap）

js(JavaScript)数据结构之堆（Heap）

什么是数据结构&#xff1f; 下面是维基百科的解释&#xff1a; 数据结构是计算机存储、组织数据的方式。数据结构意味着接口或封装&#xff1a;一个数据结构可被视为两个函数之间的接口&#xff0c;或者是由数据类型联合组成的存储内容的访问方法封装。 我们每天的编码中都会…
阅读更多...
聊聊websocket那些事

聊聊websocket那些事

前端必备工具推荐网站(免费图床、API和ChatAI等实用工具): http://luckycola.com.cn/ 一、什么是websocket? WebSocket 是一种在单个 TCP 连接上进行全双工通信的网络协议。 它是 HTML5 中的一种新特性&#xff0c;能够实现 Web 应用程序和服务器之间的实时通信&#xff0c;…
阅读更多...
事件分析应急响应-Server2229（环境+解析）

事件分析应急响应-Server2229（环境+解析）

任务环境说明： 服务器场景：Server2229（开放链接）用户名：root，密码：
阅读更多...
1116: 删除元素（数组）

1116: 删除元素（数组）

题目描述 输入一个递增有序的整型数组A有n个元素&#xff0c;删除下标为i的元素&#xff0c;使其仍保持连续有序。注意&#xff0c;有效下标从0开始。 定义如下两个函数分别实现删除元素操作和数组输出操作。 void del(int a[], int n, int i); /*删除数组a中下标为i的元素*…
阅读更多...
鸿蒙Harmony-相对布局（RelativeContainer）详解

鸿蒙Harmony-相对布局（RelativeContainer）详解

成年人的世界&#xff0c;从来没有容易二字&#xff0c;想要什么&#xff0c;就得凭自己的努力去拿&#xff0c;遇到事情就得自己生生的硬抗&#xff0c;希望你即使再辛苦&#xff0c;但还是会选择这滚烫的人生&#xff0c;加油陌生的朋友们 目录 一&#xff0c;定义 二&#x…
阅读更多...
三菱FX系列PLC定长切割控制(线缆裁切)

三菱FX系列PLC定长切割控制(线缆裁切)

三菱PLC绝对定位指令DDRVA实现往复运动控制详细介绍请查看下面文章链接&#xff1a; https://rxxw-control.blog.csdn.net/article/details/135570157https://rxxw-control.blog.csdn.net/article/details/135570157这篇博客我们介绍线缆行业的定长切割控制相关算法。 1、输送…
阅读更多...
分布式限流的主流方案

分布式限流的主流方案

本文已收录至我的个人网站&#xff1a;程序员波特&#xff0c;主要记录Java相关技术系列教程&#xff0c;共享电子书、Java学习路线、视频教程、简历模板和面试题等学习资源&#xff0c;让想要学习的你&#xff0c;不再迷茫。 常见的分布式限流方案 前面我们了解了什么是分布式…
阅读更多...
30 3D导航栏

30 3D导航栏

效果演示 实现了一个导航栏&#xff0c;其中包含了五个图标&#xff0c;每个图标都有一个悬浮的文字标签&#xff0c;当鼠标悬停在图标上时&#xff0c;文字标签会旋转并向上移动&#xff0c;同时底部会出现一个阴影效果。整个导航栏的背景颜色为浅灰色。 Code <ul><…
阅读更多...
【Java】IDEA中的JFormDesigner使用教程

【Java】IDEA中的JFormDesigner使用教程

目录 1 安装 JFormDesigner 插件2 JFormDesigner 使用教程2.1 新建JFormDesigner Form时的选项2.2 JFormDesigner Form界面布局2.3 JFormDesigner 常用组件 JFormDesigner 是一款用于设计和创建图形用户界面&#xff08;GUI&#xff09;的插件&#xff0c;它允许开发者使用可视…
阅读更多...
DAY8--learning english

DAY8--learning english

一、积累 1.haunt Why Ghost dont haunt chinese. 为什么鬼不会出现在中国人旁边? 2.confess i have a confession to make ... I actally a blind. 我要坦白一件事……我其实是个盲人。 3.brake Press S button to brake, or to reverse if the vehicle has stopped, 按住…
阅读更多...
python 列表的高级应用

python 列表的高级应用

当前版本&#xff1a; Python 3.8.4 简介 列表&#xff08;list&#xff09;是Python编程语言中的基本数据类型之一&#xff0c;也是一个非常重要的通用序列。在其它编程语言中&#xff0c;它们通常被称为“数组”。可以存储多个元素&#xff0c;包括数字、字符串、甚至其他列…
阅读更多...
【纯CSS特效源码】(二)精美的立体字

【纯CSS特效源码】(二)精美的立体字

1.漂浮感立体 关键处&#xff1a; text-shadow:2px -2px white, -6px 6px gray;给字体添加了两层shadow&#xff0c;右上角白色提亮&#xff0c;左下角灰色阴影。 参数解释&#xff1a;例子中2px -2px white&#xff0c;代表右上角白色 第一个参数2px&#xff1a;正数表示从左…
阅读更多...
CSS 实现三角形的技巧

CSS 实现三角形的技巧

目录 1、使用 border 绘制三角形 2、使用 linear-gradient 绘制三角形 3、使用 conic-gradient 绘制三角形 4、transform: rotate 配合 overflow: hidden 绘制三角形 5、使用 clip-path 绘制三角形 6、利用字符绘制三角形 1、使用 border 绘制三角形 使用 border 实现三角…
阅读更多...
pinia的理解

pinia的理解

Vue组件通讯类型 组件通讯的基本概念 以及pinia和vuex之间的一些差异 父子&#xff0c;子父&#xff0c;祖孙跨层级&#xff0c;非父子任意组件之间的通讯&#xff0c;对此进行一些介绍。 而无论是vuex还是pinia都是属于非父子组件之间任意通讯的一种状态管理模式&#xff0…
阅读更多...
Python爬虫|使用urllib获取百度首页源码

Python爬虫|使用urllib获取百度首页源码

在这个博客中&#xff0c;我们将一起探索百度首页的源码&#xff0c;深入了解从URL请求到页面呈现的全过程。我们将使用Python的urllib.request库来模拟浏览器发送请求&#xff0c;并解码响应中的页面源码。通过分析源码&#xff0c;我们将揭示网页的结构、内容和背后的工作原理…
阅读更多...
mysql的gtid主从复制，从库误操作更新操作，

mysql的gtid主从复制，从库误操作更新操作，

一&#xff1a;查看mysql的从库&#xff0c;发现sql进程状态 “no”.提示执行传输过来的binlog日志&#xff0c;执行失败&#xff0c; 二&#xff1a;查看主库对应的二进制日志的gtid地方。插入一些数据。 # mysqlbinlog --base64-outputdecode-rows -v mysql-bin.000001 |gre…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023