MinIO实战攻略：轻松构建私有云存储解决方案

news2024/11/15 17:42:56

OSS 简介

OSS（Object Storage Service）通常指的是对象存储服务，它是一种数据存储架构，用于存储和检索非结构化数据，如图片、视频、文档和备份等。对象存储服务与传统的块存储和文件存储不同，它将数据作为对象来存储，每个对象都包含数据、元数据和一个唯一的标识符。

在对象存储系统中，数据被组织成一个扁平的结构，而不是传统的文件系统中的层级结构。这种结构使得对象存储服务具有以下特点：

  • 高扩展性：可以轻松地扩展存储容量，以适应不断增长的数据量。
  • 高可用性：通常提供冗余存储，确保数据在硬件故障时仍然可用。
  • 易用性：通过简单的API进行数据管理，便于开发者使用。
  • 低成本：相对于传统的存储解决方案，对象存储通常具有更低的成本。

OSS可以是任何提供对象存储服务的平台，例如Amazon S3、Azure Blob Storage、Google Cloud Storage以及开源的MinIO。这些服务允许用户通过互联网存储和检索大量数据，并且通常与云计算服务紧密集成，为用户提供灵活、可靠的存储解决方案。

MinIO 核心特性

  1. 性能：提供了高性能的对象存储服务，特别是在处理大量小文件时表现出色。
  2. 简单性：安装和配置相对简单，用户界面直观，易于管理，部署简单。
  3. 轻量级：MinIO具有轻量级的架构，可以快速部署在任何类型的基础设施上，包括Kubernetes、Docker、VMware和裸服务器。
  4. 可扩展性：分布式架构，支持水平扩展，可以根据需求增加存储容量和性能。
  5. 数据保护：支持纠删码和数据冗余，确保数据的可靠性和持久性。
  6. 安全性：提供多种安全特性，包括TLS加密、身份验证和访问控制。
  7. 社区和企业支持：MinIO有一个活跃的开源社区，并提供企业支持选项。
  8. 兼容性：MinIO与Amazon S3 API兼容，可以使用现有的S3工具和应用程序与MinIO进行交互。

MinIO 基础使用

部署

这里测试时使用的是 Docker 进行部署。

docker run -p 9000:9000 -p 9001:9001 --name minio -e "MINIO_ROOT_USER=localadmin" -e "MINIO_ROOT_PASSWORD=localadminpassword" -v H:/test/minio/data:/data -v H:/test/minio/config:/root/.minio minio/minio server /data --console-address ":9001"

docker-compose.yaml

services:
  minio:
    image: minio/minio
    container_name: minio
    ports:
      - 9000:9000
      - 9001:9001
    volumes:
      - H:/test/minio/data:/data
      - H:/test/minio/config:/root/.minio
    environment:
      - MINIO_ROOT_USER=localadmin
      - MINIO_ROOT_PASSWORD=localadminpassword
    command: server /data --console-address ":9001"

部署成功后，打开 http://127.0.0.1:9001 可看到管理页面。

请添加图片描述

登录进入控制台

请添加图片描述

Go SDK 上传文件示例

  • GitHub 地址
package main

import (
	"context"
	"log"

	"github.com/minio/minio-go/v7"
	"github.com/minio/minio-go/v7/pkg/credentials"
)

func main() {
	ctx := context.Background()
	endpoint := "127.0.0.1:9000"
	accessKeyID := "localadmin"
	secretAccessKey := "localadminpassword"
	useSSL := false

	// Initialize minio client object.
	minioClient, err := minio.New(endpoint, &minio.Options{
		Creds:  credentials.NewStaticV4(accessKeyID, secretAccessKey, ""),
		Secure: useSSL,
	})
	if err != nil {
		log.Fatalln(err)
	}

	// Make a new bucket called testbucket.
	bucketName := "testbucket"
	location := "us-east-1"

	err = minioClient.MakeBucket(ctx, bucketName, minio.MakeBucketOptions{Region: location})
	if err != nil {
		// Check to see if we already own this bucket (which happens if you run this twice)
		exists, errBucketExists := minioClient.BucketExists(ctx, bucketName)
		if errBucketExists == nil && exists {
			log.Printf("We already own %s\n", bucketName)
		} else {
			log.Fatalln(err)
		}
	} else {
		log.Printf("Successfully created %s\n", bucketName)
	}

	// Upload the test file
	// Change the value of filePath if the file is in another location
	objectName := "testdata"
	filePath := "./console1.png"
	contentType := "application/octet-stream"

	// Upload the test file with FPutObject
	info, err := minioClient.FPutObject(ctx, bucketName, objectName, filePath, minio.PutObjectOptions{ContentType: contentType})
	if err != nil {
		log.Fatalln(err)
	}

	log.Printf("Successfully uploaded %s of size %d\n", objectName, info.Size)
}

程序执行输出如下：

2024/08/23 15:05:22 Successfully created testbucket
2024/08/23 15:05:22 Successfully uploaded testdata of size 451753

查看web控制台，可见已创建存储桶，并且文件已上传。

请添加图片描述

实际使用

不使用 OSS 的情况下，文件是直接上传至服务器，相关的鉴权服务器自己做即可。使用 OSS 后，需注意上传方式变更，这里借用阿里云的图来作说明。

请添加图片描述

这里不建议使用服务器代理上传，这样会造成资源浪费，云服务器的流量费也不便宜。

客户端直传，有几种方案

  1. 服务端生成STS临时访问凭证
  2. 服务端生成PostObject所需的签名和Post Policy
  3. 服务端生成PutObject所需的签名URL

这里不一一介绍了，只说一下我这里使用的方案：生成 STS 临时访问凭证。

  1. 客户端向业务服务器请求临时访问凭证。
  2. 业务服务器使用 STS SDK 调用 AssumeRole 接口，获取临时访问凭证。
  3. STS 生成并返回临时访问凭证给业务服务器。
  4. 业务服务器返回临时访问凭证给客户端。
  5. 客户端使用 OSS SDK 通过该临时访问凭证上传文件到 OSS。
  6. OSS 返回成功响应给客户端。

请添加图片描述

业务服务器示例代码
package main

import (
	"context"
	"encoding/json"
	"fmt"
	"github.com/aws/aws-sdk-go-v2/aws"
	"github.com/aws/aws-sdk-go-v2/service/sts"
	"github.com/aws/aws-sdk-go-v2/service/sts/types"
	"github.com/gin-gonic/gin"
	"net/http"
)

func main() {
	engine := gin.Default()
	engine.GET("/sts", func(c *gin.Context) {
		res, err := getSTS()
		if err != nil {
			c.String(http.StatusInternalServerError, err.Error())
			return
		}
		c.JSON(http.StatusOK, res)
	})
	engine.Run(":8889")
}

type awsCredentials struct{}

func (awsCredentials) Retrieve(ctx context.Context) (aws.Credentials, error) {
	return aws.Credentials{
		AccessKeyID:     "localadmin",
		SecretAccessKey: "localadminpassword",
	}, nil
}

type awsPolicy struct {
	Version   string
	Statement []awsPolicyStatement
}
type awsPolicyStatement struct {
	Effect   string
	Action   []string
	Resource []string
}

func getSTS() (res types.Credentials, err error) {
	// 获取临时凭证，minio 官方的 sdk 中没有找到获取的方法，使用 aws 的
	endpoint := "http://127.0.0.1:9000"
	c := sts.New(sts.Options{
		BaseEndpoint: &endpoint,
		Credentials:  awsCredentials{},
	})

	buf, err := json.Marshal(awsPolicy{
		Version: "2012-10-17", // 协议版本，固定值
		Statement: []awsPolicyStatement{
			{
				Effect:   "Allow",
				Action:   []string{""s3:GetObject", "s3:GetBucketLocation", "s3:PutObject""},
				Resource: []string{"arn:aws:s3:::*"},
			},
		},
	})
	if err != nil {
		return
	}

	var roleArn, roleSessionName string
	policy := string(buf)
	assumeRoleOutput, err := c.AssumeRole(context.Background(), &sts.AssumeRoleInput{
		RoleArn:         &roleArn,
		RoleSessionName: &roleSessionName,
		Policy:          &policy,
	})
	if err != nil {
		return
	}
	fmt.Println("AccessKeyId: ", *assumeRoleOutput.Credentials.AccessKeyId)
	fmt.Println("SecretAccessKey: ", *assumeRoleOutput.Credentials.SecretAccessKey)
	fmt.Println("SessionToken: ", *assumeRoleOutput.Credentials.SessionToken)
	fmt.Println("Expiration: ", assumeRoleOutput.Credentials.Expiration.String())

	res = *assumeRoleOutput.Credentials
	return
}

请求 http://127.0.0.1:8889/sts 可得到返回值

{
    "AccessKeyId": "P6QEGSKSF9F55O7F5T9O",
    "Expiration": "2024-08-23T09:47:04Z",
    "SecretAccessKey": "eL1gFPsln6wVxG42fPTzhz2X2S9LomVBxjJESTmn",
    "SessionToken": "eyJhbGciOiJIUzUxMiIsInR5cCI6IkpXVCJ9.eyJhY2Nlc3NLZXkiOiJQNlFFR1NLU0Y5RjU1TzdGNVQ5TyIsImV4cCI6MTcyNDQwNjQyNCwicGFyZW50IjoibG9jYWxhZG1pbiIsInNlc3Npb25Qb2xpY3kiOiJleUpXWlhKemFXOXVJam9pTWpBeE1pMHhNQzB4TnlJc0lsTjBZWFJsYldWdWRDSTZXM3NpUldabVpXTjBJam9pUVd4c2IzY2lMQ0pCWTNScGIyNGlPbHNpY3pNNlVIVjBUMkpxWldOMElpd2ljek02UjJWMFFuVmphMlYwVEc5allYUnBiMjRpTENKek16cEhaWFJQWW1wbFkzUWlYU3dpVW1WemIzVnlZMlVpT2xzaVlYSnVPbUYzY3pwek16bzZPaW9pWFgxZGZRPT0ifQ.GpBGP_b1uQ5QNX7rb1eOpAybIbsrV_hSJBd_bHEsb6dVT1YQ1U20S3Q-KjyJdqBr7k95W4yJepP8F_bPECg0Sg"
}
客户端上传文件示例

启动上述业务服务器后，访问 http://127.0.0.1:8889/sts 获取凭证后上传文件。

import * as Minio from 'minio'

const minioClient = new Minio.Client({
  endPoint: '127.0.0.1',
  port: 9000,
  useSSL: false,
  accessKey: 'P6QEGSKSF9F55O7F5T9O',
  secretKey: 'eL1gFPsln6wVxG42fPTzhz2X2S9LomVBxjJESTmn',
  sessionToken: 'eyJhbGciOiJIUzUxMiIsInR5cCI6IkpXVCJ9.eyJhY2Nlc3NLZXkiOiJQNlFFR1NLU0Y5RjU1TzdGNVQ5TyIsImV4cCI6MTcyNDQwNjQyNCwicGFyZW50IjoibG9jYWxhZG1pbiIsInNlc3Npb25Qb2xpY3kiOiJleUpXWlhKemFXOXVJam9pTWpBeE1pMHhNQzB4TnlJc0lsTjBZWFJsYldWdWRDSTZXM3NpUldabVpXTjBJam9pUVd4c2IzY2lMQ0pCWTNScGIyNGlPbHNpY3pNNlVIVjBUMkpxWldOMElpd2ljek02UjJWMFFuVmphMlYwVEc5allYUnBiMjRpTENKek16cEhaWFJQWW1wbFkzUWlYU3dpVW1WemIzVnlZMlVpT2xzaVlYSnVPbUYzY3pwek16bzZPaW9pWFgxZGZRPT0ifQ.GpBGP_b1uQ5QNX7rb1eOpAybIbsrV_hSJBd_bHEsb6dVT1YQ1U20S3Q-KjyJdqBr7k95W4yJepP8F_bPECg0Sg'
})

// File to upload
const sourceFile = 'G:/test/5965.json'

// Destination bucket
const bucket = 'testbucket'

// Destination object name
const destinationObject = 'my-test-file.json'

// Set the object metadata
var metaData = {
  'Content-Type': 'text/plain',
  'X-Amz-Meta-Testing': 1234,
  example: 5678,
}

// Upload the file with fPutObject
// If an object with the same name exists,
// it is updated with new data
await minioClient.fPutObject(bucket, destinationObject, sourceFile, metaData)
console.log('File ' + sourceFile + ' uploaded as object ' + destinationObject + ' in bucket ' + bucket)

脚本执行结束查看 web 控制台，可见刚刚上传的文件。

总结

本篇简单介绍了 OSS 是什么以及为什么要用 OSS，简单点说，就是省钱，省下来的钱去烤个串它不香嘛。

开源的 minio 其社区环境好，而且性能、扩展性、安全性方面都不错，建议自部署时使用。

最后简单说明了 minio 的部署以及客户端上传文件的方式，建议客户端直接上传，不要再走业务服务器了，浪费资源，可以使用 sts 临时访问凭证上传文件。

参考

  • GitHub
  • 官网
  • 中文文档
  • 阿里云-在客户端直接上传文件到OSS

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/2072010.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

用户画像标签服务设计

用户画像标签服务设计

背景 用户画像中不论是实时标签还是离线标签，对需要对外提供查询服务，以便外部接口可以重新用户的标签，本文就来看一下用户标签服务的设计 用户标签服务设计 不论是离线标签还是实时标签，我们都需要先把他们从hive表或者实时re…
阅读更多...
OpenCV（第二关--读取图片和摄像头）实例+代码

OpenCV（第二关--读取图片和摄像头）实例+代码

以下内容，皆为原创，制作不易，感谢大家的关注和点赞。 一.读取图片 我们来读取图片，当你用代码读取后，可能会发现。怎么跟上传的图片颜色有些许的不一样。因为OpenCV的颜色通道是BGR，而我们平常用的matplotl…
阅读更多...
华为云通过自定义域名访问桶内对象

华为云通过自定义域名访问桶内对象

问题：通过将自定义域名绑定至OBS桶实现在线预览文件 例如index.html入口文件 且记 自定义域名绑定暂时不支持HTTPS访问方式，只支持HTTP访问方式 自定义域名就先不用部署https证书。 配置完毕之后，将obs桶设置为公开的即可访问 如何在浏览…
阅读更多...
若依代码生成器生成的界面查询和导出突然报错了

若依代码生成器生成的界面查询和导出突然报错了

之前用的好好的，查询的时候也有数据，但是把参数给分页插件的时候就报错了，我忘了啥错误了，很奇怪。 ha在对应Mapper上加上：CacheNamespace注解，完。 Mapper CacheNamespace public interface BaseGoodsMa…
阅读更多...
使用Python做一个脚本自动化机器人（二）

使用Python做一个脚本自动化机器人（二）

刚发现一个好用的Python库DrissionPage，使用该库不区分浏览器，也无需下载driver文件。 import logging from DrissionPage import WebPage from DrissionPage import ChromiumPage,ChromiumOptionsclass BaiduPage():# 创建对象page ChromiumPage()# 访…
阅读更多...
SpringBoot项目定义Bean常见方式

SpringBoot项目定义Bean常见方式

1. spring原生的xml 配置bean 现在几乎淘汰，忽略！！ 2. Component 及其衍生注解 （Controller、Service、Repository） Component public class Cat { }3. Configuration Bean Configuration public class AnimalConf…
阅读更多...
【OpenGL】xcode+glfw画三角形

【OpenGL】xcode+glfw画三角形

环境搭建 1. 执行brew install glfw 2. 项目中Build Settings中header Search Paths中添加glfw的include路径 3. 项目中Build Phases中的Link Binary With Libraries中添加glfw的lib文件（路径/opt/homebrew/Cellar/glfw/3.4/lib/libglfw.3.4.dylib）及…
阅读更多...
21.缓存穿透

21.缓存穿透

缓存穿透 客户端请求的数据在缓存中和数据库中都不存在，这样缓存永远不会生效，这些请求都会到达数据库。会造成数据库宕机。 解决方案 1.缓存空对象 例如查询数据的id，发现数据库中没有，那么就在redis中缓存空对象。但是会有额…
阅读更多...
springboot项目读取 resources 目录下的文件的9种方式

springboot项目读取 resources 目录下的文件的9种方式

1. 使用 ClassLoader.getResourceAsStream() 方法 InputStream inputStream getClass().getClassLoader().getResourceAsStream("file.txt"); 2. 使用 Class.getResourceAsStream() 方法 InputStream inputStream getClass().getResourceAsStream("/file.txt&…
阅读更多...
安达发|如何实现陶瓷产业智能化生产计划排单？

安达发|如何实现陶瓷产业智能化生产计划排单？

随着工业4.0的兴起，智能化生产已成为制造业转型升级的关键。陶瓷产业作为一个历史悠久且技术成熟的行业，面临着生产效率提升和成本控制的双重挑战。智能化生产计划排单作为提高生产效率、降低资源浪费的重要手段，对于陶瓷产业的现代化转型至关…
阅读更多...
ElasticSearch 8.15.0 与 Kibana 8.15.0 尝鲜体验

ElasticSearch 8.15.0 与 Kibana 8.15.0 尝鲜体验

还不算晚，虽然已经距离发布过去了快半个月~ 跟着下面的步骤进行一步一步操作(CV)，只需要改动一下用户名、密码这些数据即可从零开始用 Docker安装 ES 与 Kibana 最新版，据说 Kibana 还有 AI 助手嘞(虽然是 8.12 推出的)~ 最后强调一点&#…
阅读更多...
redis | 认识非关系型数据库Redis的列表类型及python如何操作redis

redis | 认识非关系型数据库Redis的列表类型及python如何操作redis

Redis 非关 kv型 数据类型列表常用命令应用场景练习 pyredis 操作redisubuntuwindows 连接redis生产者消费者模型 数据类型 数据类型丰富，字符串strings,散列hashes,列表lists，集合sets,有序集合sorted sets等等 列表 单进程 单线程 尽可能规避掉阻塞的操…
阅读更多...
openIM prometheus容器一直重启问题处理

openIM prometheus容器一直重启问题处理

官方文档参考：https://docs.openim.io/zh-Hans/guides/gettingStarted/admin 具体操作： 1、打开 openim-server/config/prometheus.yml 文件，internal_ip改为127.0.0.1（内网ip,我的是在本地）, 2、第二点说 在 open-i…
阅读更多...
我的CSDN-----第128天创作纪念日

我的CSDN-----第128天创作纪念日

机缘 起初的我，是为了在学习代码的过程中通过写博客的方式来巩固自己的知识。后来在遇到不会的问题时可以在csdn上面查找，寻求一点思路，将学到的知识通过博客的方式呈现出来。 收获 每当发布一篇博客后，就会收到很多人的评论加关…
阅读更多...
出现Property ‘sqlSessionFactory‘ or ‘sqlSessionTemplate‘ are requiredProperty报错

出现Property ‘sqlSessionFactory‘ or ‘sqlSessionTemplate‘ are requiredProperty报错

目录： bug Property ‘sqlSessionFactory‘ or ‘sqlSessionTemplate‘ are requiredProperty报错解决方法 bug Property ‘sqlSessionFactory‘ or ‘sqlSessionTemplate‘ are requiredProperty 报错 在一个springboot demo启动的时候出现以下错误 ，…
阅读更多...
【前端基础篇】JavaScript之DOM介绍

【前端基础篇】JavaScript之DOM介绍

文章目录 WebAPI背景知识什么是WebAPI什么是APIAPI参考文档 DOM基本概念什么是DOMDOM树查找HTML元素方法概览1. document.getElementById(id)2.document.getElementsByTagName(name)3. document.getElementsByClassName(name)4. document.querySelector(CSS选择器)5. document.…
阅读更多...
实习手记（8）：增删改查

实习手记（8）：增删改查

上周又偷懒了没有按时写博客（扣大分啊啊！）但是好像也没有人看呢~其实最开始也只是想着记录一下实习历程，怕自己之后回过头想关于实习的都想不起来了，个人还是喜欢记录有关自己的学习生活的，就算没啥人看但回…
阅读更多...
RabbitMQ 基础总结

RabbitMQ 基础总结

一、前言 我们一般的项目过程都是同步通信，及一个服务结束后在执行另一个服务这会让总体时间变得很长，尤其是在高并发的时候用户体验感很不好，且在调用一个服务期间cup内存等都处于空闲状态造成资源浪费 。如果调用其中某一个服务时…
阅读更多...
LVS+Keepalived集群（主、备）

LVS+Keepalived集群（主、备）

1、Keepalived及其工作原理 Keepalived 是一个基于VRRP协议来实现的LVS服务高可用（HA）方案，可以解决静态路由出现的单点故障问题。 keepalived 高可用之间是通过VRRP进行通信，VRRP是通过竞选的来确定主备，主优先级高…
阅读更多...
学习之appium的简单使用

学习之appium的简单使用

使用之前需要先安装一下依赖 1、安装jdk：暂时为整理笔记以后补充 2、安装nodejs:https://blog.csdn.net/qq_42792477/article/details/141363957?spm1001.2014.3001.5501 3、安装SDk（安卓篇）：https://blog.csdn.net/qq_42792477…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023