分布式文件系统minIo

news2024/11/20 1:28:16

分布式文件系统

什么是分布式文件系统

一个计算机无法存储海量的文件，通过网络将若干计算机组织起来共同去存储海量的文件，去接收海量用户的请求，这些组织起来的计算机通过网络进行通信，如下图：

image-20240523134957661

好处：

1、一台计算机的文件系统处理能力扩充到多台计算机同时处理。

2、一台计算机挂了还有另外副本计算机提供数据。

3、每台计算机可以放在不同的地域，这样用户就可以就近访问，提高访问速度。

Minlo

介绍

MinIO构建分布式文件系统，MinIO 是一个非常轻量的服务,可以很简单的和其他应用的结合使用，它兼容亚马逊 S3 云存储服务接口，非常适合于存储大容量非结构化的数据，例如图片、视频、日志文件、备份数据和容器/虚拟机镜像等。

它一大特点就是轻量，使用简单，功能强大，支持各种平台，单个文件最大5TB，兼容 Amazon S3接口，提供了 Java、Python、GO等多版本SDK支持。

官网：https://min.io

中文：https://www.minio.org.cn/，http://docs.minio.org.cn/docs/

MinIO集群采用去中心化共享架构，每个结点是对等关系，通过Nginx可对MinIO进行负载均衡访问。

去中心化有什么好处？

在大数据领域，通常的设计理念都是无中心和分布式。Minio分布式模式可以帮助你搭建一个高可用的对象存储服务，你可以使用这些存储设备，而不用考虑其真实物理位置。

它将分布在不同服务器上的多块硬盘组成一个对象存储服务。由于硬盘分布在不同的节点上，分布式Minio避免了单点故障。如下图：

image-20240523135956440

Minio使用纠删码技术来保护数据，它是一种恢复丢失和损坏数据的数学算法，它将数据分块冗余的分散存储在各各节点的磁盘上，所有的可用磁盘组成一个集合，上图由8块硬盘组成一个集合，当上传一个文件时会通过纠删码算法计算对文件进行分块存储，除了将文件本身分成4个数据块，还会生成4个校验块，数据块和校验块会分散的存储在这8块硬盘上。

使用纠删码的好处是即便丢失一半数量（N/2）的硬盘，仍然可以恢复数据。 比如上边集合中有4个以内的硬盘损害仍可保证数据恢复，不影响上传和下载，如果多于一半的硬盘坏了则无法恢复。

SDK

上传文件

MinIO提供多个语言版本SDK的支持，下边找到java版本的文档：

地址：https://docs.min.io/docs/java-client-quickstart-guide.html

最低需求Java 1.8或更高版本:

maven依赖如下：

<dependency>
    <groupId>io.minio</groupId>
    <artifactId>minio</artifactId>
    <version>8.4.3</version>
</dependency>
<dependency>
    <groupId>com.squareup.okhttp3</groupId>
    <artifactId>okhttp</artifactId>
    <version>4.8.1</version>
</dependency>

参数说明：

需要三个参数才能连接到minio服务。

参数说明
Endpoint对象存储服务的URL
Access KeyAccess key就像用户ID，可以唯一标识你的账户。
Secret KeySecret key是你账户的密码。

然后我们来看官方示例

import io.minio.BucketExistsArgs;
import io.minio.MakeBucketArgs;
import io.minio.MinioClient;
import io.minio.UploadObjectArgs;
import io.minio.errors.MinioException;
import java.io.IOException;
import java.security.InvalidKeyException;
import java.security.NoSuchAlgorithmException;
public class FileUploader {
  public static void main(String[] args)throws IOException, NoSuchAlgorithmException, InvalidKeyException {
    try {
      // Create a minioClient with the MinIO server playground, its access key and secret key.
      MinioClient minioClient =
          MinioClient.builder()
              .endpoint("https://play.min.io")
              .credentials("Q3AM3UQ867SPQQA43P2F", "zuf+tfteSlswRu7BJ86wekitnifILbZam1KYY3TG")
              .build();
      // Make 'asiatrip' bucket if not exist.
      boolean found =
          minioClient.bucketExists(BucketExistsArgs.builder().bucket("asiatrip").build());
      if (!found) {
        // Make a new bucket called 'asiatrip'.
        minioClient.makeBucket(MakeBucketArgs.builder().bucket("asiatrip").build());
      } else {
        System.out.println("Bucket 'asiatrip' already exists.");
      }
      // Upload '/home/user/Photos/asiaphotos.zip' as object name 'asiaphotos-2015.zip' to bucket
      // 'asiatrip'.
      minioClient.uploadObject(
          UploadObjectArgs.builder()
              .bucket("asiatrip")
              .object("asiaphotos-2015.zip")
              .filename("/home/user/Photos/asiaphotos.zip")
              .build());
      System.out.println(
          "'/home/user/Photos/asiaphotos.zip' is successfully uploaded as "
              + "object 'asiaphotos-2015.zip' to bucket 'asiatrip'.");
    } catch (MinioException e) {
      System.out.println("Error occurred: " + e);
      System.out.println("HTTP trace: " + e.httpTrace());
    }
  }
}

image-20240523142727132

那么基于这个我们来创建个测试类，测试是否能够上传文件

public class MinioTest {
    MinioClient minioClient =
          MinioClient.builder()
                  .endpoint("http://192.168.101.65:9001")
              .credentials("minioadmin", "minioadmin")
              .build();

    @Test
    public void test_upload() throws Exception{
        //上传参数设置
        UploadObjectArgs testbucket = UploadObjectArgs.builder()
                .bucket("testbucket") //桶
                .filename("F:\\BaiduNetdiskDownload\\2023新版JavaWeb开发教程\\视频\\day01-HTML-CSS\\1.mp4") //指定本地文件路径
                .object("test/01/1.mp4") //存放的文件名 放在子目录下 直接写文件名是放在根目录下
                .build();
        //上传文件
        minioClient.uploadObject(testbucket);

    }
}

注意这里我们需要在网页控制台设置桶，并给它改成公共属性

image-20240523144919304

image-20240523144936355

image-20240523144948586

image-20240523145014928

然后我们运行测试样例，看看是否上传到我们的minio中

image-20240523145111582

可以看到已经上传到minio中了，我们可以点击2进行预览

删除文件

然后我们来进行文件删除测试

    //删除文件
    @Test
    public void test_delete() throws Exception{

        //删除参数构建
        RemoveObjectArgs testbucket1 = RemoveObjectArgs.builder()
                .bucket("testbucket")
                .object("1.mp4").build();
        //上传文件
        minioClient.removeObject(testbucket1);

    }

image-20240523145722627

查询文件

查询文件的意思就是下载文件

    //查询文件
    @Test
    public void test_getFile() throws Exception{
        //根据扩展名取出mimeType
        ContentInfo extensionMatch = ContentInfoUtil.findExtensionMatch(".mp4");
        String mimeType = MediaType.APPLICATION_OCTET_STREAM_VALUE;//通用mimeType，字节流
        if (extensionMatch!=null){
            mimeType = extensionMatch.getMimeType();
        }
        //查询参数构建
        GetObjectArgs testbucket = GetObjectArgs.builder()
                .bucket("testbucket")
                .object("test/01/1.mp4")
                .build();

        //下载文件 远程流
        FilterInputStream inputStream = minioClient.getObject(testbucket);
        //指定输出流  
        FileOutputStream outputStream = new FileOutputStream(new File("F:\\BaiduNetdiskDownload\\2023新版JavaWeb开发教程\\视频\\day01-HTML-CSS\\2.mp4"));
       //拷贝到输出流
        IoUtils.copy(inputStream,outputStream);
    }

这样我们就可以从桶中下载文件下来，然后我们看是否成功

image-20240523152202367

补充-文件校验问题

我们在上传和下载的时候由于分布式文件系统是基于网络传输，万一用户正在处于网络波动状态，造成文件丢包，那么我们怎么判断下载下来的内容和上传上去的内容是否完整

这里没找到以后补充，我没搜索到资料

补充-拿取扩展名

一般情况，我们需要指定媒体文件的类型，那么我们怎么能知道要传什么呢

可以参考这个源码

image-20240523150628749

这里面就有很么枚举类型 例如我传图片

image-20240523150653314

这些东西我们可以根据扩展名得到，所以可以调用工具类

设置contentType可以通过com.j256.simplemagic.ContentType枚举类查看常用的mimeType（媒体类型）

               <!--根据扩展名取mimetype-->
		<dependency>
            <groupId>com.j256.simplemagic</groupId>
            <artifactId>simplemagic</artifactId>
            <version>1.17</version>
        </dependency>

        //根据扩展名取出mimeType
        ContentInfo extensionMatch = ContentInfoUtil.findExtensionMatch(".mp4");
        String mimeType = MediaType.APPLICATION_OCTET_STREAM_VALUE;//通用mimeType，字节流

那么我们就可以修改上传文件的代码来试一下

    public void test_upload() throws Exception{
        //根据扩展名取出mimeType
        ContentInfo extensionMatch = ContentInfoUtil.findExtensionMatch(".mp4");
        String mimeType = MediaType.APPLICATION_OCTET_STREAM_VALUE;//通用mimeType，字节流
        if (extensionMatch!=null){
            mimeType = extensionMatch.getMimeType();
        }


        //上传参数设置
        UploadObjectArgs testbucket = UploadObjectArgs.builder()
                .bucket("testbucket") //桶
                .filename("F:\\BaiduNetdiskDownload\\2023新版JavaWeb开发教程\\视频\\day01-HTML-CSS\\1.mp4") //指定本地文件路径
                .object("test/01/1.mp4") //存放的文件名 放在子目录下 直接写文件名是放在根目录下
                .contentType(mimeType) //设置文件类型
                .build();
        //上传文件
        minioClient.uploadObject(testbucket);

    }

image-20240523151532295

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1683206.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

mysql存储比特位

mysql存储比特位

一、介绍 二、SQL CREATE TABLE bits_table (id INT PRIMARY KEY AUTO_INCREMENT,bit_value BIGINT UNSIGNED );-- 插入一个 8 位的 BIT 值 INSERT INTO bits_table (bit_value) VALUES (B10101010);-- 查询并格式化输出 SELECT id,bit_value,CONCAT(b, LPAD(BIN(bit_value),…
阅读更多...
npm run dev启动element-ui，提示node_modules中webpack的版本跟package.json中webpack的版本不一致

npm run dev启动element-ui，提示node_modules中webpack的版本跟package.json中webpack的版本不一致

问题一&#xff1a;修改node_modules/webpack/package.json版本为4.14.0&#xff0c;npm run dev时版本号又自动更改为 4.47.0 问题二&#xff1a;使用yarn 安装依赖&#xff0c;webpack的版本默认是4.47.0&#xff0c;为什么 求大佬们帮我解答一下以上两个问题 左侧是node_m…
阅读更多...
ClickHouse 几年内数据查询及细节

ClickHouse 几年内数据查询及细节

在 ClickHouse 中&#xff0c;查询三年内的时间数据可以使用以下方法&#xff1a; 1. 使用日期函数 可以使用 ClickHouse 支持的日期函数来筛选出三年内的数据。例如&#xff0c;使用 today() 函数获取当天日期&#xff0c;使用 toDate() 函数将日期转换为指定格式&#xff0…
阅读更多...
不闭合三维TSP：成长优化算法GO求解不闭合三维TSP（起点固定，终点不定，可以更改数据集），MATLAB代码

不闭合三维TSP：成长优化算法GO求解不闭合三维TSP（起点固定，终点不定，可以更改数据集），MATLAB代码

一、旅行商问题 旅行商问题&#xff08;Traveling salesman problem, TSP&#xff09;是一个经典的组合优化问题&#xff0c;它可以描述为一个商品推销员去若干城市推销商品&#xff0c;要求遍历所有城市后回到出发地&#xff0c;目的是选择一个最短的路线。当城市数目较少时&…
阅读更多...
2024年AI发展的四大趋势

2024年AI发展的四大趋势

近日&#xff0c;OpenAI发布首个视频生成模型“Sora”——通过接收文本指令&#xff0c;即可生成60秒短视频。一年前&#xff0c;同样是OpenAI发布的语言模型ChatGPT&#xff0c;让文本创作变得易如反掌。 在2023年&#xff0c;随着一系列AIGC的相继问世&#xff0c;我们看到A…
阅读更多...
深度学习之基于Pytorch框架的卷积神经网络图像去雨系统

深度学习之基于Pytorch框架的卷积神经网络图像去雨系统

欢迎大家点赞、收藏、关注、评论啦 &#xff0c;由于篇幅有限&#xff0c;只展示了部分核心代码。 文章目录 一项目简介 二、功能三、系统四. 总结 一项目简介 一、项目背景 在图像处理领域&#xff0c;图像去雨技术一直是一个热门的研究方向。随着深度学习技术的快速发展&am…
阅读更多...
2024电工杯数学建模 - 案例：最短时间生产计划安排

2024电工杯数学建模 - 案例：最短时间生产计划安排

# 前言 2024电工杯(中国电机工程学会杯)数学建模思路解析 最新思路更新(看最新发布的文章即可): https://blog.csdn.net/dc_sinor/article/details/138726153 最短时间生产计划模型 该模型出现在好几个竞赛赛题上&#xff0c;预测2022今年国赛也会与该模型相关。 1 模型描…
阅读更多...
ASP+ACCESS基于BS产品销售管理系统

ASP+ACCESS基于BS产品销售管理系统

2. 网页制作工具 a) 网页设计工具 网页主要使用Frontpage2003&#xff0c;Dreamweaver Mx辅助制作。 Frontpage 2003 frontpage2003是在frontpage2000基础上的网页工具。frontpage2003保留和发展了frontpage 2000的优秀功能&#xff0c;并根据用户的的要求再次增加了九大新…
阅读更多...
【MATLAB】基于EMD-PCA-LSTM的回归预测模型

【MATLAB】基于EMD-PCA-LSTM的回归预测模型

有意向获取代码&#xff0c;请转文末观看代码获取方式~ 1 基本定义 基于EMD-PCA-LSTM的回归预测模型是一种结合了经验模态分解&#xff08;Empirical Mode Decomposition, EMD&#xff09;、主成分分析&#xff08;Principal Component Analysis, PCA&#xff09;和长短期记忆…
阅读更多...
STM32使用DMA+空闲中断方式实现串口数据接收

STM32使用DMA+空闲中断方式实现串口数据接收

欢迎入群共同学习交流 时间记录&#xff1a;2024/5/23 一、概念介绍 &#xff08;1&#xff09;DMA&#xff1a;直接存储器存取(DMA)(Direct Memory Access)也是一个挂载在AHB总线上的外设&#xff0c;用来提供在外设和存储器之间或者存储器和存储器之间的高速数据传输。无须…
阅读更多...
超详细的前后端实战项目（Spring系列加上vue3）（一步步实现+源码）前端篇（一）

超详细的前后端实战项目（Spring系列加上vue3）（一步步实现+源码）前端篇（一）

最近想着一步步搭建一个前后端项目&#xff0c;将每一步详细的做出来。&#xff08;如果有不足或者建议&#xff0c;也希望大佬们指出哦&#xff09; 前端初始化 1.根据vue脚手架创建vue项目 这里可以用很多方法创建vue项目&#xff0c;大家看着创建吧&#xff0c;只要能创建…
阅读更多...
H4vdo 台湾APT-27视频投放工具

H4vdo 台湾APT-27视频投放工具

地址:https://github.com/MartinxMax/H4vdo 视频 关于 H4vdo RTMP lock 屏播放视频工具&#xff0c;可以向目标发送有效载荷&#xff0c;播放目标的屏幕内容。目标无法曹作计算机 使用方法 安装依赖 根据你的操作系统选择一个安装程序 RTMP 服务端 ./rtsp-simple-server.…
阅读更多...
HiWoo Box边缘计算网关

HiWoo Box边缘计算网关

​在数字化浪潮汹涌的今天&#xff0c;边缘计算网关成为了连接物理世界与数字世界的桥梁&#xff0c;其重要性日益凸显。HiWoo Box&#xff0c;作为一款功能强大的边缘计算网关&#xff0c;不仅具备了传统网关的基本功能&#xff0c;更在数据采集、处理、传输等方面展现出了卓越…
阅读更多...
不闭合三维TSP：蛇优化算法SO求解不闭合三维TSP（起点固定，终点不定，可以更改数据集），MATLAB代码

不闭合三维TSP：蛇优化算法SO求解不闭合三维TSP（起点固定，终点不定，可以更改数据集），MATLAB代码

旅行商从城市1出发&#xff0c;终点城市由算法求解而定 部分代码 close all clear clc global data load(data.txt)%导入TSP数据集 Dimsize(data,1)-1;%维度 lb-100;%下界 ub100;%上界 fobjFun;%计算总距离 SearchAgents_no100; % 种群大小&#xff08;可以修改&#xff09; …
阅读更多...
【数据库基础】基本认识数据库--入门引导

【数据库基础】基本认识数据库--入门引导

文章目录 什么是数据库&#xff1f;主流数据库基本使用安装MySQL连接服务器服务器、数据库、表关系使用案例数据逻辑存储 MySQL架构SQL语句分类什么叫存储引擎 什么是数据库&#xff1f; 数据库是指在磁盘和内存中存储特定结构组织的数据。数据库通常用于存储于某个系统、组织或…
阅读更多...
Python自带爬虫库urllib

Python自带爬虫库urllib

一、什么是urllib 它是一个http请求的Python自带的标准库&#xff0c;无需安装&#xff0c;直接可以用。并且提供了如下功能&#xff1a;网页请求、响应获取、代理和cookie设置、异常处理、URL解析&#xff0c;可以说是一个比较强大的模块。 二、urllib模块 可分为以下模块&am…
阅读更多...
2024中青杯数学建模C题：“X 疾病”在人群中的传播代码论文思路分析

2024中青杯数学建模C题：“X 疾病”在人群中的传播代码论文思路分析

2024中青杯数学建模C题论文和代码已完成&#xff0c;代码为C题全部问题的代码&#xff0c;论文包括摘要、问题重述、问题分析、模型假设、符号说明、模型的建立和求解&#xff08;问题1模型的建立和求解、问题2模型的建立和求解、问题3模型的建立和求解&#xff09;、模型的评价…
阅读更多...
Docker Compose使用

Docker Compose使用

Docker-Compose是什么 docker建议我们每一个容器中只运行一个服务,因为doker容器本身占用资源极少&#xff0c;所以最好是将每个服务单独分割开来&#xff0c;但是这样我们又面临了一个问题&#xff1a; 如果我需要同时部署好多个服务&#xff0c;难道要每个服务单独写Docker…
阅读更多...
如何彻底搞懂迭代器（Iterator）设计模式？

如何彻底搞懂迭代器（Iterator）设计模式？

说起迭代器&#xff08;Iterator&#xff09;&#xff0c;相信你并不会陌生&#xff0c;因为我们几乎每天都在使用JDK中自带的各种迭代器。那么&#xff0c;这些迭代器是如何构建出来的呢&#xff1f;就需要用到了今天内容要介绍的迭代器设计模式。在日常开发过程中&#xff0c…
阅读更多...
刷题之将有序数组转换成二叉搜索树（leetcode）

刷题之将有序数组转换成二叉搜索树（leetcode）

将有序数组转换成二叉搜索树 正常递归&#xff0c;中序遍历 递归经常会把自己绕晕&#xff0c;还是得画图分析 /*** Definition for a binary tree node.* struct TreeNode {* int val;* TreeNode *left;* TreeNode *right;* TreeNode() : val(0), left(null…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023