高性能minio集群环境搭建(配视频教程)

news2024/11/14 15:11:43

为后续进行《小卷原创视频教程:spring boot 3 + vue3文件上传最佳实践》的大文件上传项目实战,这里带着小伙伴一起搭建下分布式开源文件存储minIO的集群环境。后续将对这个环境进行spring boot的集成,以进行企业级大文件上传的对接。

文章目录

    • 小卷学习资料
      • 本教程配套视频教程
      • Linux环境
    • 准备工作
      • 克隆机器节点
      • 虚拟机扩展磁盘
      • 磁盘格式化和挂载
    • minIO服务搭建
      • 单机环境
      • 集群环境
    • nginx负载均衡
    • 参考资料

小卷学习资料

本教程配套视频教程

视频地址:高性能minIO分布式文件服务集群实操

视频说明

这里仅演示了集群环境的搭建步骤,关于minIO背后的概念以及原理,对于刚接触该软件的小伙伴来说可以不用了解太多,咱们实战的目的就是先知道软件环境怎么搭建,怎么使用,玩溜了再回头了解内部细节。

Linux环境

如果小伙伴想在本地通过虚拟机来搭建一个centos虚拟系统,可以参考小卷原创视频教程:Java开发必会的Linus环境搭建。在本教程中,我们将对现有的备份好的虚拟机节点进行克隆,通过修改静态iphostname的方式来复制出多台机器节点,以进行集群实验:

这里用到4台机器,每台的/etc/hosts文件中加如下映射配置,确保机器之间可以通过域名ping通。

192.168.1.124 test-1
192.168.1.125 test-2
192.168.1.126 test-3
192.168.1.127 test-4

准备工作

克隆机器节点

可以对现有的配置好基本软件环境的虚拟机节点复制一份,改下ip、hostname。具体操作参考教学录屏。

在这里插入图片描述

虚拟机扩展磁盘

minIO的存储服务需要独立的磁盘挂载文件存储目录,这里我们通过virtualBox的虚拟机设置来扩展minio单台机器存储需要的4个扩展磁盘。

先把服务停掉,扩展出4块磁盘。

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

以上操作具体操作参考教学录屏。

磁盘格式化和挂载

完成磁盘扩展后启动虚拟机,完成下面的磁盘格式化和挂载操作。具体操作见教学录屏。

# 查看未挂载的磁盘
lsblk
# 无法看到这些盘
df -h
# 查看虚拟盘
fdisk -l
# xfs格式化(sdb、sdc、sdd、sde都做一遍)
mkfs.xfs /dev/sdb -L DISK1
mkfs.xfs /dev/sdc -L DISK1
mkfs.xfs /dev/sdd -L DISK1
mkfs.xfs /dev/sde -L DISK1

# 创建挂载源目录
mkdir /data1
mkdir /data2
mkdir /data3
mkdir /data4

# 挂载
mount /dev/sdb /data1
mount /dev/sdc /data2
mount /dev/sdd /data3
mount /dev/sde /data4

# 查看
df -h

# 设置开机自动挂载
vi /etc/fstab
/dev/sdb                                  /data1                 xfs     defaults,noatime 0 2
/dev/sdc                                  /data2                 xfs     defaults,noatime 0 2
/dev/sdd                                  /data3                 xfs     defaults,noatime 0 2
/dev/sde                                  /data4                 xfs     defaults,noatime 0 2

# 重启
reboot

必要的话,同步系统时间

yum install ntpdate -y
#时间同步(以下地址选其一)
ntpdate ntp1.aliyun.com
ntpdate ntp.aliyun.com

minIO服务搭建

这块内容可参考参考资料的相关教程,或者笔者的视频教程来搭建。

单机环境

# 下载
wget https://dl.min.io/server/minio/release/linux-amd64/archive/minio-20240803043323.0.0-1.x86_64.rpm -O minio.rpm

# 安装
rpm -ivh minio.rpm

# 生成的服务文件路径:/usr/lib/systemd/system/minio.service

笔者在实践时用rpm安装生成的默认minio.service服务文件启动服务时有些问题,后来改成直接用官方文档给出的内容后,ok了,minio.service文件官方参考:

[Unit]
Description=MinIO
Documentation=https://min.io/docs/minio/linux/index.html
Wants=network-online.target
After=network-online.target
AssertFileIsExecutable=/usr/local/bin/minio

[Service]
WorkingDirectory=/usr/local

User=minio-user
Group=minio-user
ProtectProc=invisible

EnvironmentFile=-/etc/default/minio
ExecStartPre=/bin/bash -c "if [ -z \"${MINIO_VOLUMES}\" ]; then echo \"Variable MINIO_VOLUMES not set in /etc/default/minio\"; exit 1; fi"
ExecStart=/usr/local/bin/minio server $MINIO_OPTS $MINIO_VOLUMES

# MinIO RELEASE.2023-05-04T21-44-30Z adds support for Type=notify (https://www.freedesktop.org/software/systemd/man/systemd.service.html#Type=)
# This may improve systemctl setups where other services use `After=minio.server`
# Uncomment the line to enable the functionality
# Type=notify

# Let systemd restart this service always
Restart=always

# Specifies the maximum file descriptor number that can be opened by this process
LimitNOFILE=65536

# Specifies the maximum number of threads this process can create
TasksMax=infinity

# Disable timeout logic and wait until process is stopped
TimeoutStopSec=infinity
SendSIGKILL=no

[Install]
WantedBy=multi-user.target

# Built for ${project.name}-${project.version} (${project.name})

关于启动用户

这里默认是用的minio:minio用户组来读取启动配置的,因此需要用下面的步骤来创建用户和组,以及分配可访问的文件存储目录。大家嫌麻烦可以把配置中的用户和组改成root

创建用户

# 查看下所有用户
cat /etc/passwd
# 创建minio用户
groupadd -r minio-user
useradd -M -r -g minio-user minio-user
# 给4块挂载好的存储路径赋予用户权限
chown minio-user:minio-user /data1 /data2 /data3 /data4

创建环境变量文件

默认安装好后没有该文件,自行创建下,文件路径:/etc/default/minio

内容如下:

# Set the hosts and volumes MinIO uses at startup
# The command uses MinIO expansion notation {x...y} to denote a
# sequential series.
#
# The following example covers four MinIO hosts
# with 4 drives each at the specified hostname and drive locations.
# The command includes the port that each MinIO server listens on
# (default 9000)
MINIO_VOLUMES="/data{1...4}/minio"

# Set all MinIO server options
#
# The following explicitly sets the MinIO Console listen address to
# port 9001 on all network interfaces. The default behavior is dynamic
# port selection.

## minio-console的地址 就是web界面控制台
MINIO_OPTS="--address :9000 --console-address :9001"

# Set the root username. This user has unrestricted permissions to
# perform S3 and administrative API operations on any resource in the
# deployment.
#
# Defer to your organizations requirements for superadmin user name.

# console的登陆账号
MINIO_ROOT_USER=minioadmin

# Set the root password
#
# Use a long, random, unique string that meets your organizations
# requirements for passwords.

# console的登陆密码
MINIO_ROOT_PASSWORD=minioadmin

# Set to the URL of the load balancer for the MinIO deployment
# This value *must* match across all MinIO servers. If you do
# not have a load balancer, set this value to to any *one* of the
# MinIO hosts in the deployment as a temporary measure.
# 负载均衡地址 如果没有负载均衡就不要放开这个配置
#MINIO_SERVER_URL="http://192.168.192.163:9000"

启动服务

# 如果改了minio.service,先刷新
systemctl daemon-reload
# 启动minio服务
systemctl start minio
# 查看服务启动状态
systemctl status minio

web控制端访问地址:http://192.168.1.124:9001

集群环境

先修改下前面单机环境下的/etc/default/minioMINIO_VOLUMES配置节点,写法如下:

## 指定存储位置,通过池化写法简化集群配置
MINIO_VOLUMES="http://test-{1...4}:9000/data{1...4}/minio"

注意,这里对挂载的data{1...4}这四个目录,再创建一层子目录minio,笔者在实验时只指定到父目录,在服务启动后检测存储目录时会有报错的情况。参考官网加了一层子目录minio后问题解决!

基于我们上面单台机器搭建的环境,克隆出另外3台机器。教程开头的Linux环境已列出。

依次启动4台机器的minio服务,访问任意一台机器的minio web控制端即可。

最后再对4台机器的minio服务设置开机启动项,集群就ok了。

# 设置开机启动
systemctl enable minio

nginx负载均衡

待整理,敬请期待。。。

参考资料

官方参考文档:minIO多节点多磁盘驱动集群部署

参考文章:

Linux中如何构建4块虚拟盘来搭建分布式MinIO集群?

【虚拟机】VirtualBox添加虚拟磁盘

虚拟机VirtualBox添加磁盘

搭建高可用MinIO集群

Minio 集群生产环境部署示例

minio集群部署/排错/挂载/负载均衡/异地同步

Minio集群部署

minio安装(rpm方式)

MinIO-rpm离线安装

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2058915.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

分布式基础理论——CAP理论和BASE理论

文章目录 CAP 理论BASE 理论参考资料 CAP 理论 CAP定理(CAP theorem)指出,在分布式系统中,设计读写操作时只能同时满足以下三个特性中的两个: 一致性(Consistency) : 所有节点访问同一份最新的…

Leetcode每日刷题之3.无重复字符的最长子串(C++)

1.题目解析 本题的目标是在给定的字符串中找出不含有重复字符的最长子串,并且返回其长度,这道题核心就是如何去重并且不能遗漏以保证子串长度最长,题目来源:3.无重复字符的最长子串 2.算法原理 本题的算法原理主要是"滑动窗口"也就…

做数据采集,你真的了解PLC插槽号吗?

有很多PLC可以在系统里配置多个独立CPU,各自有自己的任务。也有一些PLC,虽然只有一个CPU,但是,其位置是可变的。外部进行数据采集时,首先要搞明白采集目标是哪个CPU,否则,就会张冠李戴&#xff…

[大模型]Milvus Lite安装

文章目录 前提相关链接官方网站中文网站 创建虚拟环境安装Milvus连接Milvusattu连接工具attu官方开源地址下载地址连接 Milvus 是一款开源的向量数据库,它主要特点是高可用、高性能和易扩展,主要用于处理海量向量数据的实时召回。它基于诸如 FAISS、Anno…

nginx和tomcat负载均衡,动静分离

文章目录 一,tomcat1.tomca用途2.tomcat重要目录 二,nginx1.Nginx应用2.nginx作用3.nginx的正向代理和反向代理3.1正向代理3.2反向代理(单级)3.3反向代理(多级) 4.nginx负载均衡4.1Nginx支持的常见的分流算法1. 轮询(Round Robin):2.最少连接数(LeastCon…

【日记】黑神话的优化感觉有些微妙(1188 字)

正文 今天省分行一把手来我们县里。很奇怪。一整天都在为迎接他做准备。中午也没有什么午休,全员到工位上值班值守。 就算如此我还是抽了一点所剩无几的时间,体验了一下黑神话。 上午 10 点钟,远程控制电脑开始解压昨天的预载。大概解压了一个…

120KW可编程液冷负载优势和特点

120KW可编程液冷负载是一种先进的电力设备,它采用液冷技术进行冷却,具有高效、稳定、安全等特点。以下是其优势和特点的详细介绍: 1. 高效冷却:液冷负载采用液冷技术进行冷却,能够更有效地将热量传导出去,提…

基于vue3的模拟数据mock.js应用

一、mock.js介绍 Mock.js 是一个用于生成随机数据,拦截 Ajax 请求的 JavaScript 库。它主要用于前后端分离开发时,模拟后端数据接口,使得前端开发者在不需要后端实际编写接口的情况下,也能进行开发、测试。 1、主要功能 生成随…

统一认证及单点登录(SSO)技术探讨

在当今复杂的企业环境中,用户身份管理和访问控制变得越来越重要。随着企业应用系统的增多,如何高效地管理用户身份和简化用户登录流程成为了一个亟待解决的问题。统一认证和单点登录(SSO)技术应运而生,为企业提供了一种…

泊松自助法(Poisson Bootstrap Sampling):大型数据集上的自助抽样

自助抽样可以根据收集的样本推断总体的统计特征(如均值、十分位数、置信区间)。泊松自助抽样(Poisson Bootstrap Sampling)是一种用于统计分析中的重采样技术,特别是在机器学习和数据科学中用于模型评估和误差估计。这种方法的一个特点是保留…

【深度学习】使用VScode远程服务器GPU进行训练

使用VScode远程服务器GPU进行训练 参考文献1、使用vscode远程服务器2、使用mobaxterm传输文件 参考文献 参考b站视频远程连接服务器用GPU跑深度学习项目,小白教学。 1、使用vscode远程服务器 打开vscode,在插件管理处安装插件Remote Development&#…

ASM实例的SPILE 存储在ASM的磁盘组上时,集群要如何去获取SPFILE并启动ASM实例?(1)

从11g R2 开始,ASM spfile 会自动存储在安装集群软件时创建的第一个磁盘组中,一般为OCR磁盘组。由于投票盘/OCR 存储在 ASM 上,因此需要在节点上启动 ASM。要启动 ASM,需要其 SPFILE 。但 SPFILE 仅位于 ASM 磁盘组上。集群是如何…

融合创新趋势:Web3时代的跨界融合

随着互联网技术的飞速发展,Web3时代的到来正引领着一场深刻的技术与社会变革。Web3,作为下一代互联网技术的代表,不仅仅是一种技术创新,更是一种跨界融合的趋势。通过去中心化、智能合约和区块链技术的应用,Web3正在重…

大模型心高气傲,没有AI Agents生死难料

前言 AI Agent,正在接棒大语言模型LLM,成为AI圈最火的话题。 目前,AI创投圈的众生相,大概是这样的: 大厂俱乐部:OpenAI内部员工声称,AI Agent是OpenAI的新方向;微软尝试推动copil…

解锁高效办公新姿势:SSO单点登录+企业网盘完美搭配

在现代互联网环境中,随着企业业务的不断扩展,多系统、多应用的集成成为常态。为了提升用户体验,减少用户在不同系统间切换的繁琐,单点登录(SSO, Single Sign-On)技术应运而生。 本文将详细介绍SSO单点登录的…

NRK3301语音识别芯片在头戴式照明灯上的应用的方案

在现代社会,头戴式照明灯在各个领域发挥着重要作用,如户外探险、工业作业、夜间骑行等。为了提高这类产品的便捷性和安全性,我们采用了NRK3301语音识别芯片,并将其应用于头戴式照明灯中。这一创新应用使用户能够通过语音指令控制灯…

Browserless 网页抓取:在 Selenium 中使用 NodeJs

Selenium 是否有效? Selenium 是一个流行的开源网页自动化框架,主要用于浏览器测试自动化。此外,它也可以用来解决动态网页抓取问题。 Selenium 有三个主要组件: Selenium IDE:一个浏览器插件,提供了一种…

「JVS更新日志」逻辑引擎、智能BI、规则引擎8.20功能更新说明

项目介绍 JVS是企业级数字化服务构建的基础脚手架,主要解决企业信息化项目交付难、实施效率低、开发成本高的问题,采用微服务配置化的方式,提供了 低代码数据分析物联网的核心能力产品,并构建了协同办公、企业常用的管理工具等&am…

单域名SSL证书申请三步法

申请单域名SSL证书,确保您的网站安全可信,只需简单三步: 选择证书类型与提供商:首先,确定您需要的单域名SSL证书类型,如DV(域名验证)证书。接着,选择一个信誉良好的证书提…

笔记-系统规划与管理师-案例题-2022年-服务规划设计

【说明】 某跨国公司新聘小唐为系统规划管理师来帮助提升中国区总部的IT服务水平,中国区的IT系统尚在设计阶段,小唐需根据已经识别的服务需求及设定的服务级别,进行资源配置,以确保服务团队满足与业务团队约定的当前及未来的IT服务…