MinIO - 从 环境搭建 -> SpringBoot实战 -> 演示,掌握 Bucket 和 Object 操作

news2024/11/16 12:34:41

目录

开始

Docker 部署

MinIO 中的基本概念

SpringBoot 集成 MinIO

依赖

配置

MinIO 时间差问题报错 The difference between the request time and the server`s time is too large

MinIO 中对 Bucket(文件夹) 的操作

是否存在 / 创建

查询所有文件夹

删除文件夹

MinIO 中对 Object(文件) 的操作

两种文件上传的方式

查看文件状态(是否存在)

生成带签名的URL路径

怎么使用不带签名的 url 直接访问

从 MinIO 上获取图片,然后下载到本地磁盘'

获取文件夹下的所有文件


开始


Docker 部署

a)拉取镜像

docker pull minio/minio

 b)创建挂载点

mkdir -p ~/env/minio/conf
mkdir -p ~/env/minio/data

 c)运行

这里设置了 MinIO 的用户名和密码,注意密码不能少于 8 位

docker run -d \
--name minio \
-p 9000:9000 \
-p 9001:9001 \
--privileged=true \
-e "MINIO_ROOT_USER=root" \
-e "MINIO_ROOT_PASSWORD=rootroot" \
-v ~/env/minio/data:/data \
-v ~/env/minio/conf:/root/.minio \
minio/minio server \
--console-address ":9000" \
--address ":9001" /data

 d)访问:http://env-base:9000

MinIO 中的基本概念

Bucket:相当于存放文件的文件夹,用来存储 Object 的逻辑空间.

Object:相当于文件,是存储到 MinIO 中的基本对象.

Ps:Minio 存在线程安全问题么?

Minio 是线程安全的,即使在 SpringBoot 中 Bean 是使用单例模式的(作者在 github 上的回复).

SpringBoot 集成 MinIO

依赖

Note:官网地址 Software Development Kits (SDK) — MinIO Object Storage for Linux

Maven 如下 

<dependency>
    <groupId>io.minio</groupId>
    <artifactId>minio</artifactId>
    <version>8.5.11</version>
</dependency>

Gradle 如下

dependencies {
    implementation("io.minio:minio:8.5.11")
}

配置

由于 MinIO 没有 SpringBootStarter 相关的依赖,因此配置类需要我们自己来写~

import io.minio.MinioClient
import org.springframework.context.annotation.Bean
import org.springframework.context.annotation.Configuration

@Configuration
class MinioConfig {

    @Bean
    fun minioClient(): MinioClient = MinioClient.builder()
        .endpoint("http://100.105.180.32:9001") //格式必须是 http://ip:port  注意: 这里使用的 9001 端口,而不是 9000
        .credentials("root", "rootroot") //用户名 和 密码
        .build()

}

MinIO 时间差问题报错 The difference between the request time and the server`s time is too large

如果出现了上述报错,说明你的主机和服务器上的时间不一致.

解决如下:

a)下载 ntpdate,用来同步主机和服务器的时间.

yum install ntpdate -y

b)同步时间,如下命令

ntpdate pool.ntp.org

MinIO 中对 Bucket(文件夹) 的操作

是否存在 / 创建

案例:如果不存在 dir1 文件夹,就创建.

@SpringBootTest
class MinioApplicationTests {

    @Resource
    private lateinit var minioClient: MinioClient

    /**
     * 如果文件夹 dir1 不存在就创建
     */
    @Test
    fun test1() {
        val exists = minioClient.bucketExists(
            BucketExistsArgs.builder()
                .bucket("dir1")
                .build()
        )
        if (!exists) {
            minioClient.makeBucket(
                MakeBucketArgs.builder()
                    .bucket("dir1")
                    .build()
            )
        } else {
            println("文件夹已经存在!")
        }
    }

}

 第一次运行,可以看到会创建出这个文件夹:

第二次运行就会进行提示:

查询所有文件夹

如下代码:

    @Test
    fun test2() {
        val bucketList = minioClient.listBuckets()
        bucketList.forEach { bucket ->
            println("${bucket.name()} -- ${bucket.creationDate()}")
        }
    }

现在 MinIO 上有两个文件夹,如下: 

运行结果如下:

删除文件夹

案例:删除文件夹 dir2

    @Test
    fun test3() {
        minioClient.removeBucket(
            RemoveBucketArgs.builder()
                .bucket("dir2")
                .build()
        )
    }

MinIO 中对 Object(文件) 的操作

两种文件上传的方式

案例:将本地 "D:/tmp/滑稽.gif" 图片上传到 MinIO 的 "dir1" 文件夹下,并重命名为 "test.gif" 

a)stream 方式

    @Test
    fun test1() {
        val file = File("D:/tmp/滑稽.gif")
        minioClient.putObject(
            PutObjectArgs.builder()
                .bucket("dir1")
                .`object`("test.gif")
                //stream:
                //第二个参数(long objectSize): 要上传的文件大小
                //第三个参数(long partSize): 指定缓冲区的大小
                //这两个如果不知道,都可以使用 -1
                .stream(FileInputStream(file), file.length(), -1)
                .build()
        )
    }

b) upload 方式(更简单一些)

    @Test
    fun test2() {
        minioClient.uploadObject(
            UploadObjectArgs.builder()
                .bucket("dir1")
                .`object`("test.gif")
                .filename("D:/tmp/滑稽.gif")
                .build()
        )
    }

 c)运行结果在 MinIO 上可以观察到:

相比较上面的上传文件的方式,以下这种上传文件的方式就更加简单

查看文件状态(是否存在)

案例:查询 "dir1" 文件夹下的 "test.gif" 文件的状态

    @Test
    fun test3() {
        val result = minioClient.statObject(
            StatObjectArgs.builder()
                .bucket("dir1")
                .`object`("test.gif")
                .build()
        )
        println(result)
    }

a)如果文件存在,运行结果如下:

b)如果文件不存在,抛出异常如下:

c)对于文件不存在的情况,也可以做出如下处理

    @Test
    fun test3() {
        try {
            val result = minioClient.statObject(
                StatObjectArgs.builder()
                    .bucket("dir1")
                    .`object`("testa1.gif")
                    .build()
            )
            println(result)
        } catch (e: ErrorResponseException) {
            println("文件不存在!")
            println(e.message)
        }

    }

 运行结果如下:

生成带签名的URL路径

案例:给 MinIO 上的 "dir1" 文件夹下的 "test.gif" 文件生成一个带签名的 url 路径(get 请求).

    @Test
    fun test4() {
        val url = minioClient.getPresignedObjectUrl(
            GetPresignedObjectUrlArgs.builder()
                .bucket("dir1")
                .`object`("test.gif")
                .method(Method.GET) //指定生成的 url 请求方式
                // .expiry(3, TimeUnit.SECONDS) 设置签名的过期时间
                .build()
        )
        println(url)
    }

运行结果如下:

通过这个 url 就可以访问到图片

怎么使用不带签名的 url 直接访问

a)后台修改

下图位置,可以设置成 public 的,这样就可以通过不带签名的 url 直接访问到图片.

这样所有用户都能访问这个图片.

值得注意的是,如果设置成 public,会比较危险,因为这样意味着所有用户都能对这个桶下的文件进行 增删改查...

不过也可以给这个文件夹赋予只读权限(只有登录了 MinIO 的用户才能进行其他操作,比如你的程序最开始配置了 MinioClient,才可以进行其他操作):

再返回来,就可以看到该文件夹自动变成了自定义的权限:

打开就可以看到给你自动生成的 json 文件来实现针对 url 的只读权限控制:

b)创建桶的时候指定访问策略(只允许读操作)

Ps:代码中的 jsonConfig 就是从第一种方式中生成的 json 文件复制过来就可以,但是注意要修改以下文件名!

    @Test
    fun test5() {
        //新建文件夹 dir2
        minioClient.makeBucket(
            MakeBucketArgs.builder()
                .bucket("dir2")
                .build()
        )

        //设置文件夹的访问权限为 只读
        val jsonConfig = """
{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Principal": {
                "AWS": [
                    "*"
                ]
            },
            "Action": [
                "s3:GetBucketLocation"
            ],
            "Resource": [
                "arn:aws:s3:::dir2"
            ]
        },
        {
            "Effect": "Allow",
            "Principal": {
                "AWS": [
                    "*"
                ]
            },
            "Action": [
                "s3:ListBucket"
            ],
            "Resource": [
                "arn:aws:s3:::dir2"
            ],
            "Condition": {
                "StringEquals": {
                    "s3:prefix": [
                        "*"
                    ]
                }
            }
        },
        {
            "Effect": "Allow",
            "Principal": {
                "AWS": [
                    "*"
                ]
            },
            "Action": [
                "s3:GetObject"
            ],
            "Resource": [
                "arn:aws:s3:::dir2/**"
            ]
        }
    ]
}
        """.trimIndent()

        minioClient.setBucketPolicy(
            SetBucketPolicyArgs.builder()
                .bucket("dir2")
                .config(jsonConfig)
                .build()
        )

        //上传图片
        minioClient.uploadObject(
            UploadObjectArgs.builder()
                .bucket("dir2")
                .`object`("test.gif")
                .filename("D:/tmp/滑稽.gif")
                .build()
        )

        val url = minioClient.getPresignedObjectUrl(
            GetPresignedObjectUrlArgs.builder()
                .bucket("dir2")
                .`object`("test.gif")
                .method(Method.GET)
                .build()
        ).split("?")[0] //这样就可以不需要 签名 部分了
        println(url)
    }

运行结果如下: 

 

之后就可以直接不带 签名档 url 通过 url 来访问啦~

从 MinIO 上获取图片,然后下载到本地磁盘'

案例:获取 文件夹"dir1" 中的 "test.gif"文件 ,保存到本地磁盘的 "D:/tmp/" 路径下,并重命名为 "123.gif"

    @Test
    fun test6() {
        val resp = minioClient.getObject(
            GetObjectArgs.builder()
                .bucket("dir1")
                .`object`("test.gif")
                .build()
        )
        val file = FileOutputStream("D:/tmp/123.gif")
        val result = resp.transferTo(file)
        println(result)
    }

 运行结果如下:

获取文件夹下的所有文件

案例:获取 dir1 文件夹下的所有文件名

    @Test
    fun test7() {
        val objects = minioClient.listObjects(
            ListObjectsArgs.builder()
                .bucket("dir1")
                .build()
        )
        objects.forEach { result ->
            val item = result.get()
            println(item.objectName())
        }
    }

 运行结果如下:

删除文件

案例:删除文件夹 "dir1" 中的 test2.jpg 文件.

    @Test
    fun test8() {
        minioClient.removeObject(
            RemoveObjectArgs.builder()
                .bucket("dir1")
                .`object`("test2.jpg")
                .build()
        )
    }

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1901005.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Android 四大组件

1. Activity 应用程序中&#xff0c;一个Activity通常是一个单独的屏幕&#xff0c;它上面可以显示一些控件&#xff0c;也可以监听并对用户的事件做出响应。 Activity之间通过Intent进行通信&#xff0c;在Intent 的描述结构中&#xff0c;有两个最重要的部分&#xff1a;动…

嵌入式Linux系统编程 — 7.2 进程的环境变量

目录 1 什么是进程的环境变量 2 环境变量的作用 3 应用程序中获取环境变量 3.1 environ全局变量 3.2 获取指定环境变量 getenv 4 添加/删除/修改环境变量 4.1 putenv()函数添加环境变量 4.2 setenv()函数 4.3 unsetenv()函数 1 什么是进程的环境变量 每一个进程都有一…

Node.js 生成vue组件

在项目根目录下创建 create.js /*** 脚本生成vue组件* 主要是利用node自带的fs模块操作文件的写入* ===========================================* 准备步骤:* 1.输入作者名* 2.输入文件名* 3.输入菜单名* 4.输入文件地址* ============================================* 操…

【公益案例展】厦门大学附属成功医院——国产数据库在综合三甲医院核心系统的应用...

‍ 达梦数据公益案例 本项目案例由达梦数据投递并参与数据猿与上海大数据联盟联合推出的 #榜样的力量# 《2024中国数据智能产业最具社会责任感企业》榜单/奖项”评选。 大数据产业创新服务媒体 ——聚焦数据 改变商业 厦门大学附属成功医院是一所集医疗、教学、科研、保健、疗…

C++基础(八):类和对象 (下)

经过前面的学习&#xff0c;我们已经翻过了两座大山&#xff0c;类和对象入门知识就剩下这一讲了&#xff0c;加油吧&#xff0c;少年&#xff01; 目录 一、再谈构造函数 1.1 构造函数体赋值 1.2 初始化列表&#xff08;理解&#xff09; 1.3 explicit关键字&#xff08;C…

代码随想录算法训练营第13天|二叉树的递归遍历、二叉树的迭代遍历、二叉树的统一迭代法、102.二叉树的层序遍历

打卡Day13 1.理论基础2.二叉树的递归遍历3.二叉树的迭代遍历3.二叉树的统一迭代法4.102.二叉树的层序遍历扩展107. 二叉树的层序遍历 II199.二叉树的右视图637.二叉树的层平均值429.N叉树的层序遍历515.在每个树行中找最大值116.填充每个节点的下一个右侧节点指针117. 填充每个…

ctfshow web入门 web338--web344

web338 原型链污染 comman.js module.exports {copy:copy };function copy(object1, object2){for (let key in object2) {if (key in object2 && key in object1) {copy(object1[key], object2[key])} else {object1[key] object2[key]}}}login.js var express …

Python + 在线 + 文生音,音转文(中文文本转为英文语音,语音转为中文文本)

开源模型 平台&#xff1a;https://huggingface.co/ars-语言转文本: pipeline("automatic-speech-recognition", model"openai/whisper-large-v3", device0 ) hf: https://huggingface.co/openai/whisper-large-v3 github: https://github.com/openai/wh…

使用自动化测试确保接口正确性的详细指南!

引言&#xff1a; 随着软件开发的迅速发展&#xff0c;接口的正确性成为了确保应用程序质量的关键要素之一。自动化测试是一种强大的工具&#xff0c;可以帮助开发人员和测试人员减少错误&#xff0c;提高测试覆盖率&#xff0c;并加快测试过程。本文将详细介绍从零开始如何使…

探索LlamaIndex:如何用Django打造高效知识库检索

简介 LlamaIndex&#xff08;前身为 GPT Index&#xff09;是一个数据框架&#xff0c;为了帮助我们去建基于大型语言模型&#xff08;LLM&#xff09;的应用程序。 主要用于处理、构建和查询自定义知识库。 它支持多种数据源格式 excel&#xff0c;txt&#xff0c;pdf&…

ELK优化之Filebeat部署

目录 1.安装配置Nginx 2.安装 Filebeat 3.设置 filebeat 的主配置文件 4.修改Logstash配置 5.启动配置 6.kibana验证 主机名ip地址主要软件es01192.168.9.114ElasticSearches02192.168.9.115ElasticSearches03192.168.9.116ElasticSearch、Kibananginx01192.168.9.113ng…

测试人员如何管理项目与风险预警

在平时工作过程中&#xff0c;你有没有因项目延时&#xff0c;需求频繁变更&#xff0c;开发提测质量不高&#xff0c;以及漏测的情况下&#xff0c;背了不少锅的情况呢&#xff1f; 作为测试人员&#xff0c;我们应该如何发挥积极主动性&#xff0c;进行项目管理&#xff0c;有…

VuePress 的更多配置

现在&#xff0c;读者应该对 VuePress、主题和插件等有了基本的认识&#xff0c;除了插件&#xff0c;VuePress 自身也有很多有用的配置&#xff0c;这里简单说明下。 ‍ ‍ VuePress 的介绍 在介绍了 VuePress 的基本使用、主题和插件的概念之后&#xff0c;我们再来看看官…

CTS单测某个模块和测试项

1 &#xff0c;测试单个模块命令 run cts -m <模块名> 比如&#xff1a;run cts -m CtsUsbTests模块名可以从测试报告中看&#xff0c;如下&#xff1a; 2&#xff0c; 测试单个测试项 run cts -m <模块名> -t <test_name> 比如&#xff1a;run cts -m ru…

基于大象机器人UltraArm P340机械臂和传送带,实现教育场景中的自动化分拣系统!

引言 今天我们将展示一个高度自动化的模拟场景&#xff0c;展示多个机械臂与传送带协同工作的高效分拣系统。在这个场景中&#xff0c;机械臂通过视觉识别技术对物体进行分类&#xff0c;并通过精确的机械操作将它们放置在指定的位置。这一系统不仅提高了分拣的速度和准确性&am…

dotnet ef工具使用

设置工具安装目录 dotnet tool install dotnetsay --tool-path G:\dotnet-tools安装 dotnet tool install --global dotnet-ef更新 dotnet tool update --global dotnet-ef查看版本 dotnet ef --version创建迁移文件 # 只有一个dbcontext dotnet ef migrations add init #…

http读书笔记

持久化 HTTP/1.1 和一部分的 HTTP/1.0 想出了 持久连接&#xff08;HTTP Persistent Connections&#xff0c; 也称为 HTTP keep-alive 或 HTTP connection reuse&#xff09; 的方法。 持久连接的特点是&#xff0c; 只要任意一端 没有明确提出断开连接&#xff0c; 则保持 T…

mysql 9 新特新

mysql9新特性 新特性Audit Log NotesC API NotesCharacter Set SupportCompilation NotesComponent NotesConfiguration NotesData Dictionary NotesData Type NotesDeprecation and Removal NotesEvent Scheduler NotesJavaScript ProgramsOptimizer NotesPerformance Schema …

微机原理与单片机 知识体系梳理

单片机笔记分享 我个人感觉单片机要记的东西很多&#xff0c;也很琐碎&#xff0c;特别是一些位、寄存器以及相关作用等&#xff0c;非常难以记忆。因此复习时将知识点整理在了一起做成思维导图&#xff0c;希望对大家有所帮助。内容不是很多&#xff0c;可能有些没覆盖全&…

轻预压:滚珠丝杆精度与刚性的平衡点!

预压是指在所需的工作负荷下&#xff0c;使滚珠丝杆预先承受一定的负荷&#xff0c;从而使滚珠丝杆的轴向向心度和侧向偏差达到较小的偏差范围&#xff0c;保证了滚珠丝杆的准确性和稳定性&#xff0c;也确保机器的高精度和长期运作的可靠性。 预压是滚珠丝杆设计中的一个重要参…