【Java编程系列】Minio实现文件上传下载

news2024/9/21 22:56:38

热门系列:

【Java编程系列】Amazon S3实现文件上传下载


目录

热门系列:

1、前言

2、Minio实战代码

2.1 Minio环境部署

2.2 Minio的Sdk对接实现

2.2.1 Minio Maven依赖

2.2.2 minio配置与初始化

2.2.3 上传文件

2.2.4 下载文件

2.2.5 生成文件预签名url

2.2.6 文件永久性访问实现

2.2.7 删除文件

2.2.8 其他操作

3、总结


1、前言

        最近给一个租户做minio的独立存储部署,使用过程中,有了一点使用心得,做一个记录分享,希望可以帮到有需要的朋友~~~


2、Minio实战代码

2.1 Minio环境部署

        进入下载链接:https://dl.min.io/server/minio/release/ ,按需下载对应版本后,安装完毕即可。装载完成,启动minio后,可以直接打开对应的可视化界面,输入http://ip:9000/,如下图,表示部署安装成功啦(安装细节在本文展开,不清楚的童靴请搜索一下):

2.2 Minio的Sdk对接实现

2.2.1 Minio Maven依赖

        引入相关java sdk所需依赖:

<dependency>
    <groupId>io.minio</groupId>
    <artifactId>minio</artifactId>
    <version>8.2.2</version>
</dependency>


2.2.2 minio配置与初始化

        先设置minio的一些配置信息:

minio:
  url: http://127.0.0.1:9000    #安装minio的服务器ip
  bucket: news                  #创建的存储桶名称(可界面创建,亦可sdk代码创建)
  accessKey: testkey            #minio登录账号
  secretKey: testpassword       #minio登录密码

        通过配置类读取配置信息,为后续使用做准备:

package ***.***.***.***.configure;

import lombok.Data;
import org.springframework.boot.autoconfigure.condition.ConditionalOnProperty;
import org.springframework.boot.context.properties.ConfigurationProperties;
import org.springframework.context.annotation.Configuration;

@Data
@Configuration
@ConfigurationProperties(prefix = "minio")
public class MinioProperties {
	private String accessKey;
	private String secretKey;
	private String url;
	private String bucket;
}

        初始化minio客户端:

package ***.***.***.utils;

import ***.***.***.MinioProperties;
import io.minio.BucketExistsArgs;
import io.minio.GetObjectArgs;
import io.minio.MakeBucketArgs;
import io.minio.MinioClient;
import io.minio.PutObjectArgs;
import io.minio.RemoveObjectArgs;
import io.minio.errors.ErrorResponseException;
import io.minio.errors.InsufficientDataException;
import io.minio.errors.InternalException;
import io.minio.errors.InvalidResponseException;
import io.minio.errors.ServerException;
import io.minio.errors.XmlParserException;
import org.springframework.beans.factory.annotation.Autowired;

import java.io.IOException;
import java.io.InputStream;
import java.security.InvalidKeyException;
import java.security.NoSuchAlgorithmException;


public class MinioClientUtil {
	
	@Autowired
	private MinioProperties properties;

	private MinioClient client;
	
    //初始化minio client
	private void init() throws NoSuchAlgorithmException, InvalidKeyException, IOException,
			InvalidResponseException, InsufficientDataException, ServerException, ErrorResponseException,
			XmlParserException, InternalException {
		if (null != client) {
			return;
		}

		client = MinioClient.builder()
				.endpoint(properties.getUrl())
				.credentials(properties.getAccessKey(), properties.getSecretKey())
				.build();

		makeBucket(properties.getBucket());
	}
	
    //创建自定义的存储桶
    //这里只做了简单的桶存在判断,这里还可以添加设置桶的策略等
	public void makeBucket(String bucket) throws IOException, InvalidKeyException, InvalidResponseException,
			InsufficientDataException, NoSuchAlgorithmException, ServerException, InternalException, XmlParserException,
			ErrorResponseException {
		boolean bucketExist = client.bucketExists(BucketExistsArgs.builder().bucket(bucket).build());
		if (!bucketExist) {
			client.makeBucket(MakeBucketArgs.builder().bucket(bucket).build());
		}
	}
	
}

2.2.3 上传文件

import io.minio.BucketExistsArgs;
import io.minio.GetObjectArgs;
import io.minio.MakeBucketArgs;
import io.minio.MinioClient;
import io.minio.PutObjectArgs;
import io.minio.RemoveObjectArgs;
import io.minio.errors.ErrorResponseException;
import io.minio.errors.InsufficientDataException;
import io.minio.errors.InternalException;
import io.minio.errors.InvalidResponseException;
import io.minio.errors.ServerException;
import io.minio.errors.XmlParserException;
import org.springframework.beans.factory.annotation.Autowired;

import java.io.IOException;
import java.io.InputStream;
import java.security.InvalidKeyException;
import java.security.NoSuchAlgorithmException;


public class MinioClientUtil {


	/**
	 * @return void
	 * @Description
	 * @Date 11:58 2022/8/19
	 * @Param [bucket=同名称, fileName=文件路径即名称, ins=上传的输入流, fileSize=上传的文件大小]
	 **/
	public void uploadFile(String bucket, String fileName, InputStream ins, long fileSize)
			throws IOException, InvalidKeyException, InvalidResponseException, InsufficientDataException,
			NoSuchAlgorithmException, ServerException, InternalException, XmlParserException,
			ErrorResponseException {

		init();
		makeBucket(bucket);

		PutObjectArgs.Builder putObjectArgsBuilder = PutObjectArgs.builder()
				.bucket(bucket)
				.object(fileName)
				.stream(ins, fileSize, 5 * 1024 * 1024);

		client.putObject(putObjectArgsBuilder.build());
	}

}


2.2.4 下载文件

import io.minio.BucketExistsArgs;
import io.minio.GetObjectArgs;
import io.minio.MakeBucketArgs;
import io.minio.MinioClient;
import io.minio.RemoveObjectArgs;
import io.minio.errors.ErrorResponseException;
import io.minio.errors.InsufficientDataException;
import io.minio.errors.InternalException;
import io.minio.errors.InvalidResponseException;
import io.minio.errors.ServerException;
import io.minio.errors.XmlParserException;
import org.springframework.beans.factory.annotation.Autowired;

import java.io.IOException;
import java.io.InputStream;
import java.security.InvalidKeyException;
import java.security.NoSuchAlgorithmException;


public class MinioClientUtil {


	/**
	 * @return java.io.InputStream
	 * @Description
	 * @Date 12:09 2022/8/19
	 * @Param [bucket=存储桶名称, fileName=文件路径即名称]
	 **/
	public InputStream download(String bucket, String fileName)
			throws IOException, InvalidKeyException, InvalidResponseException, InsufficientDataException,
			NoSuchAlgorithmException, ServerException, InternalException, XmlParserException,
			ErrorResponseException {

		init();

		GetObjectArgs.Builder getObjectArgsBuilder = GetObjectArgs.builder()
				.bucket(bucket)
				.object(fileName);

		return client.getObject(getObjectArgsBuilder.build());
	}

}


2.2.5 生成文件预签名url

import io.minio.BucketExistsArgs;
import io.minio.GetObjectArgs;
import io.minio.GetPresignedObjectUrlArgs;
import io.minio.MakeBucketArgs;
import io.minio.MinioClient;
import io.minio.PutObjectArgs;
import io.minio.RemoveObjectArgs;
import io.minio.errors.ErrorResponseException;
import io.minio.errors.InsufficientDataException;
import io.minio.errors.InternalException;
import io.minio.errors.InvalidResponseException;
import io.minio.errors.ServerException;
import io.minio.errors.XmlParserException;
import io.minio.http.Method;
import org.springframework.beans.factory.annotation.Autowired;

import java.io.IOException;
import java.io.InputStream;
import java.security.InvalidKeyException;
import java.security.NoSuchAlgorithmException;


public class MinioClientUtil {

	/**
	 * @return java.lang.String
	 * @Description
	 * @Date 12:14 2022/8/19
	 * @Param [bucket=存储桶名称, fileName=文件路径即名称]
	 **/
	private String getMinioURL(String bucket, String fileName) throws IOException, NoSuchAlgorithmException, InvalidKeyException, InvalidResponseException, ServerException, XmlParserException, InternalException, InsufficientDataException, ErrorResponseException {
		if (null == client) {
			init();
		}

		GetPresignedObjectUrlArgs build = GetPresignedObjectUrlArgs.builder()
				.method(Method.GET)
				.bucket(bucket)
				.object(fileName)
				.expiry(60 * 60 * 24)   //生成的预签名url可访问的有效时间,最大期限7天
				.build();
		return client.getPresignedObjectUrl(build);
	}

}

2.2.6 文件永久性访问实现

        这里做永久访问有效实现,是为了应对一种场景。例如,我们的图片文件,需要直接通过url(非下载后)可显示或打开,在系统用户头像这里,就可能会要求如此实现。因此,我们需要保证我们生成的图片url只可以直接访问的。

        但是,通过上述预签名url的生成方式,有一个最大时效7天的限制,所以此方式暂不考虑。

        minio其实也提供了,文件直接通过ip端口或域名的方式访问的,即用url访问minio存储桶中的文件。要想能直接通过自己定义的 ip+端口+图片路径  来访问的话,需要将minio指定存储桶的访问策略调整一下,如下图所示:

 点击add,策略选Read Only就行了,就可以访问了。

        然后,通过 http://ip:9000/同名/文件路径及名称 的URL形式,就可以永久访问到这个图片文件啦~~

        这里有一个访问形式上的微调,可能有的系统,是使用域名访问的,这个时候域名的一些端口都是通过nginx指定统一了,那这个时候,对于minio如果需要使用域名访问,则需要把nginx再指定配置一下,就可以啦!

2.2.7 删除文件

import io.minio.BucketExistsArgs;
import io.minio.GetObjectArgs;
import io.minio.GetPresignedObjectUrlArgs;
import io.minio.MakeBucketArgs;
import io.minio.MinioClient;
import io.minio.PutObjectArgs;
import io.minio.RemoveObjectArgs;
import io.minio.errors.ErrorResponseException;
import io.minio.errors.InsufficientDataException;
import io.minio.errors.InternalException;
import io.minio.errors.InvalidResponseException;
import io.minio.errors.ServerException;
import io.minio.errors.XmlParserException;
import io.minio.http.Method;
import org.springframework.beans.factory.annotation.Autowired;

import java.io.IOException;
import java.io.InputStream;
import java.security.InvalidKeyException;
import java.security.NoSuchAlgorithmException;


public class MinioClientUtil {

	/**
	 * @return void
	 * @Description
	 * @Date 14:19 2022/8/19
	 * @Param [bucket=存储桶名称, fileName=文件路径即名称]
	 **/
	public void delete(String bucket, String fileName) throws IOException, InvalidKeyException, InvalidResponseException,
			InsufficientDataException, NoSuchAlgorithmException, ServerException, InternalException, XmlParserException,
			ErrorResponseException {
		init();
		client.removeObject(RemoveObjectArgs.builder().bucket(bucket).object(fileName).build());
	}

}

2.2.8 其他操作

        以上就为minio的主要操作sdk的实现了。另外有一个操作,这边就不一 一列举了。例如

获取桶对象、桶列表、存储文件列表等等,可以自行按需实践一番~~~


3、总结

       在使用minio的过程中,发现了几处需要注意的点:

        1、minio在同一路径下的文件,如果名称相同,则会被覆盖掉。所以,建议可以考虑加文件前加:yyyy-MM-dd/时间戳-文件名 的方式来实现区分存储

        2、minio对于存储文件的单个文件的大小,暂无明确大小上限,一个对象文件可以是任意大小,从几 kb 到最大 5T 不等

        最后,对于minio的加密处理方式,暂时还没有研究完,可能后续补充完善。

        对博文内容有疑问的地方,欢迎下方留言讨论,看到必回复大家~~~~

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/511749.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【LLM大模型】LLM模型和指令微调方法

note 文章目录 note零、AIGC生成式模型1. 核心要素2. LLM evolutionary tree3. 几个bigScience里的概念 二、LLM大模型1. ChatGLM&#xff08;1&#xff09;GLM-130B&#xff08;2&#xff09;ChatGLM-6B 2. LLaMA3. RoBERTa4. Bloom5. PaLM 三、模型指令微调1. 指令微调的注意…

使用Vue+Vue-router+el-menu实现菜单功能实战

前言 上节回顾 上一小节我们使用H5+CSS3实现了管理平台的架构布局,并且通过Vuex的使用,获取到前端数据本地化存储的username,绑定到右上角进行全局展示。还不了解上下文的同学可以回顾一下 使用Vue+Vuex+CSS3完成管理端响应式架构模板实战 。 本节介绍 本小节已经是专栏的…

【C语言】字符串---刷题篇

1.统计字符串中元音字母的字数 2.使用起泡法和选择法将字符串按ASCII码值从小到大排列 3.将字符串中的数字字符倒置&#xff0c;即‘0’变‘9’、‘1’变‘8’、…、‘9’变‘0’.例如&#xff1a;字符串“a1b2c3d4e9f0”倒置变为“a8b7c6d5e0f9 4.将一个字符串中从第m个字符开…

187页9万字企业大数据治理与云平台实施方案(word)

1 项目背景概述 1.1 项目背景理解 1.2 项目需求范围 2 项目技术方案 2.1 咨询研究服务方案 2.1.1 咨询研究服务内容 2.1.2 咨询服务方案 2.2 第三方独立评估 2.2.1 概述 2.2.2 管理办法 2.2.3 考核机制 2.3 安全咨询研究服务方案 2.3.1 安全咨询服务内…

大唐杯学习笔记(1)—— 5G网络架构与组网部署

目录 一、名词汇总1.核心网与接入网2.5G网络架构3.核心网架构演进(1)2G核心网(1)3G&#xff0c;4G核心网 4.4G核心网架构5.5G核心网架构6.5G接入网网架构7.主要网元功能 二、5G主要网元功能1.用户面功能UPF(User Plane Function)2.会话管理功能SMF(Session Management Function…

【SpringCloud微服务实践】服务注册与发现(理论)

注册与发现 在之前的示例中&#xff0c;采取的是硬编码的方式&#xff0c;需要调用的微服务的地址是被我们写死在文件或代码中的。在传统应用程序中&#xff0c;一般都是这么做的&#xff0c;然而这种方式存在不少缺陷&#xff1a; 静态配置&#xff1a;因为是写死的网络地址…

Cy5.5-PEG2000-Biotin,Cy5.5-聚乙二醇-生物素;Biotin-PEG-Cy5.5;可用于检测抗生物素、链霉亲和素或中性生物素

Cyanine5.5-PEG-Biotin&#xff0c;Cy5.5-聚乙二醇-生物素 中文名称;Cy5.5-聚乙二醇-生物素 英文名称;Cyanine5.5-PEG-Biotin 性状&#xff1a;粘稠液体或固体粉末&#xff0c;取决于分子量大小 溶剂&#xff1a;溶于水、氯仿、DMSO等常规性有机溶剂 分子量PEG:1k、2k、3.…

【Python】JupyterLab报错:Server Connection Error如何解决?

文章目录 一、报错情形二、深层原因三、解决方案3.1 重命名用户名3.2 启用Administrator账户3.3 切换Administrator账户3.4 重命名用户文件夹3.5 修改注册表3.6 修改环境变量 小结 Anaconda的JupyterLab 作为优秀的网页编辑器&#xff0c;非常适用于编写Python程序&#xff0c;…

Qt的窗口的设置

窗口外部设置 Qt::WindowFlags Qt::WidgetQWidget默认窗口&#xff0c;没有父窗口的话&#xff0c;是一个独立窗口Qt::Window是一个窗口&#xff0c;有窗口边框和标题Qt::Dialog是一个对话框窗口Qt::Sheet是一个窗口或部件Macintosh表单(sheet)Qt::Drawer是一个窗口或部件Ma…

Mac 安装Nginx详细教程

一、前言 本文介绍一下&#xff0c;如何在Mac系统中安装Nginx&#xff0c;把详细过程记录下来&#xff0c;方便以后查看&#xff0c;也方便大家学习。 二、正文 1、安装 Homebrew homebrew是什么&#xff1f;它是Mac中的一款软件包管理工具&#xff0c;通过brew可以很方便的…

复刻一个羊了个羊掘金商城版

游戏逻辑 与羊了个羊逻辑一致&#xff0c;不再赘述 游戏实现 盛放元素的容器box&#xff0c;临时存储的容器temp&#xff0c;多余元素的容器source与source1&#xff0c;结果元素result <div id"box"></div><div id"temp"></div&…

【OC底层-类和对象深基】

文章目录 前言1 类和对象1.1 类1.1.1 cache_t 和 class_data_bits_t 1.2 对象 2 isa指针&#xff08;结构体&#xff09;复习-OC中的对象实例对象&#xff08;Instance&#xff09;类对象(Class)元类对象isa的指向方法调用顺序&#xff08;不涉及消息转发&#xff09; 2.1 unio…

JavaScrip 实战案例之【实现动画导航栏效果】

​Hello~ 咱们今天一起来学习一个动画导航的小项目 Part 1 HTML结构 <body><nav class"active" id"nav"><ul><li><a href"#">Home</a></li><li><a href"#">Works</a>&…

Cy5.5-PEG-NH2/SH/COOH/MAL,NH2-PEG-Cy5.5;CY5.5-聚乙二醇-氨基文章介绍

Cy5.5-PEG-NH2 cy5.5-聚乙二醇-氨基 中文名称&#xff1a;CY5.5-聚乙二醇-氨基 英文名称&#xff1a;Cy5.5-PEG-NH2 溶剂&#xff1a;溶于水、氯仿&#xff0c;DMSO等常规性有机溶剂 性状&#xff1a;固体或粉末&#xff0c;取决于分子量 分子量&#xff1a;1k、2k、3.4k、…

计算机视觉(4)—— 未有深度学习之前

目录 四、未有深度学习之前 4.1 图像分割 4.1.1 基于阈值分割 4.1.2 基于边缘分割 4.1.3 基于区域分割 &#xff08;1&#xff09;区域生长法 &#xff08;2&#xff09;分水岭算法 4.1.4 基于图论分割 &#xff08;1&#xff09;Graph Cuts 分割 ​&#xff08;2&…

关于说服(三)- 表达

关于口才 一般人眼中的口才好&#xff1a; 有见解&#xff0c;有想法内容条理分明&#xff0c;逻辑清晰严谨真诚自信&#xff0c;拉近距离 这些都关注于逻辑与内容&#xff0c;真正的表达是要教你如何输出有价值的信息 表达需要做什么&#xff1a; 如何筛选素材&#xff0c…

【P16】JMeter JSON提取器(JSON Extractor)

文章目录 一、准备工作二、测试计划设计 一、准备工作 慕慕生鲜&#xff1a; http://111.231.103.117/#/login 进入网页后&#xff0c;登录&#xff0c;页面提供了账户和密码 搜索框输入“虾” 右键检查或按F12&#xff0c;打开调试工具&#xff0c;点击搜索 二、测试计划设…

Cy5.5-PEG-FA结构式 荧光Cy5.5标记聚乙二醇叶酸;PEG分子量2000,叶酸(-FA)基团可应用于靶向传递

Cy5.5-PEG-FA&#xff0c;Cy5.5-聚乙二醇-叶酸 中文名称&#xff1a;Cy5.5-聚乙二醇-叶酸 英文名称&#xff1a;Cy5.5-PEG-FA 溶剂&#xff1a;溶于水、氯仿&#xff0c;DMSO等常规性有机溶剂 性状&#xff1a;固体或粉末&#xff0c;取决于分子量 分子量&#xff1a;1k、…

OSS 文件文件夹 直接打包下载

前言 OSS 存放了很多项目&#xff08;项目是 TMagic 低代码平台编辑生成&#xff0c;自动上传 OSS&#xff09;&#xff0c;现在需要在管理后台将项目打包ZIP下载&#xff0c;并不在本地生成文件。 OSS 要下载项目文件&#xff1a; 一、思路实现 创建 OSSClient 实例获取 Bu…

198页11万字智慧水务平台建设方案(word)

目 录 一、项目概述 1、建设背景 2、存在问题 2、运营分析 二、支持技术 1、3S技术 2、物联网技术 3、富客户端技术 4、移动互联网技术 三、建设目标 三、需求分析 1、系统用户 2、调度管理对象 3、业务需求分析 3.1 主要业务描述 3.2 业务需求…