为后续进行《小卷原创视频教程:spring boot 3 + vue3文件上传最佳实践》的大文件上传项目实战,这里带着小伙伴一起搭建下分布式开源文件存储minIO的集群环境。后续将对这个环境进行spring boot的集成,以进行企业级大文件上传的对接。
文章目录
- 小卷学习资料
- 本教程配套视频教程
- Linux环境
- 准备工作
- 克隆机器节点
- 虚拟机扩展磁盘
- 磁盘格式化和挂载
- minIO服务搭建
- 单机环境
- 集群环境
- nginx负载均衡
- 参考资料
小卷学习资料
本教程配套视频教程
视频地址:高性能minIO分布式文件服务集群实操
视频说明
这里仅演示了集群环境的搭建步骤,关于minIO背后的概念以及原理,对于刚接触该软件的小伙伴来说可以不用了解太多,咱们实战的目的就是先知道软件环境怎么搭建,怎么使用,玩溜了再回头了解内部细节。
Linux环境
如果小伙伴想在本地通过虚拟机来搭建一个centos
虚拟系统,可以参考小卷原创视频教程:Java开发必会的Linus环境搭建。在本教程中,我们将对现有的备份好的虚拟机节点进行克隆,通过修改静态ip
和hostname
的方式来复制出多台机器节点,以进行集群实验:
这里用到4台机器,每台的/etc/hosts
文件中加如下映射配置,确保机器之间可以通过域名ping
通。
192.168.1.124 test-1
192.168.1.125 test-2
192.168.1.126 test-3
192.168.1.127 test-4
准备工作
克隆机器节点
可以对现有的配置好基本软件环境的虚拟机节点复制一份,改下ip、hostname。具体操作参考教学录屏。
虚拟机扩展磁盘
minIO的存储服务需要独立的磁盘挂载文件存储目录,这里我们通过virtualBox的虚拟机设置来扩展minio单台机器存储需要的4个扩展磁盘。
先把服务停掉,扩展出4块磁盘。
以上操作具体操作参考教学录屏。
磁盘格式化和挂载
完成磁盘扩展后启动虚拟机,完成下面的磁盘格式化和挂载操作。具体操作见教学录屏。
# 查看未挂载的磁盘
lsblk
# 无法看到这些盘
df -h
# 查看虚拟盘
fdisk -l
# xfs格式化(sdb、sdc、sdd、sde都做一遍)
mkfs.xfs /dev/sdb -L DISK1
mkfs.xfs /dev/sdc -L DISK1
mkfs.xfs /dev/sdd -L DISK1
mkfs.xfs /dev/sde -L DISK1
# 创建挂载源目录
mkdir /data1
mkdir /data2
mkdir /data3
mkdir /data4
# 挂载
mount /dev/sdb /data1
mount /dev/sdc /data2
mount /dev/sdd /data3
mount /dev/sde /data4
# 查看
df -h
# 设置开机自动挂载
vi /etc/fstab
/dev/sdb /data1 xfs defaults,noatime 0 2
/dev/sdc /data2 xfs defaults,noatime 0 2
/dev/sdd /data3 xfs defaults,noatime 0 2
/dev/sde /data4 xfs defaults,noatime 0 2
# 重启
reboot
必要的话,同步系统时间
yum install ntpdate -y
#时间同步(以下地址选其一)
ntpdate ntp1.aliyun.com
ntpdate ntp.aliyun.com
minIO服务搭建
这块内容可参考参考资料的相关教程,或者笔者的视频教程来搭建。
单机环境
# 下载
wget https://dl.min.io/server/minio/release/linux-amd64/archive/minio-20240803043323.0.0-1.x86_64.rpm -O minio.rpm
# 安装
rpm -ivh minio.rpm
# 生成的服务文件路径:/usr/lib/systemd/system/minio.service
笔者在实践时用rpm
安装生成的默认minio.service
服务文件启动服务时有些问题,后来改成直接用官方文档给出的内容后,ok了,minio.service
文件官方参考:
[Unit]
Description=MinIO
Documentation=https://min.io/docs/minio/linux/index.html
Wants=network-online.target
After=network-online.target
AssertFileIsExecutable=/usr/local/bin/minio
[Service]
WorkingDirectory=/usr/local
User=minio-user
Group=minio-user
ProtectProc=invisible
EnvironmentFile=-/etc/default/minio
ExecStartPre=/bin/bash -c "if [ -z \"${MINIO_VOLUMES}\" ]; then echo \"Variable MINIO_VOLUMES not set in /etc/default/minio\"; exit 1; fi"
ExecStart=/usr/local/bin/minio server $MINIO_OPTS $MINIO_VOLUMES
# MinIO RELEASE.2023-05-04T21-44-30Z adds support for Type=notify (https://www.freedesktop.org/software/systemd/man/systemd.service.html#Type=)
# This may improve systemctl setups where other services use `After=minio.server`
# Uncomment the line to enable the functionality
# Type=notify
# Let systemd restart this service always
Restart=always
# Specifies the maximum file descriptor number that can be opened by this process
LimitNOFILE=65536
# Specifies the maximum number of threads this process can create
TasksMax=infinity
# Disable timeout logic and wait until process is stopped
TimeoutStopSec=infinity
SendSIGKILL=no
[Install]
WantedBy=multi-user.target
# Built for ${project.name}-${project.version} (${project.name})
关于启动用户
这里默认是用的
minio:minio
用户组来读取启动配置的,因此需要用下面的步骤来创建用户和组,以及分配可访问的文件存储目录。大家嫌麻烦可以把配置中的用户和组改成root
。
创建用户
# 查看下所有用户
cat /etc/passwd
# 创建minio用户
groupadd -r minio-user
useradd -M -r -g minio-user minio-user
# 给4块挂载好的存储路径赋予用户权限
chown minio-user:minio-user /data1 /data2 /data3 /data4
创建环境变量文件
默认安装好后没有该文件,自行创建下,文件路径:/etc/default/minio
内容如下:
# Set the hosts and volumes MinIO uses at startup
# The command uses MinIO expansion notation {x...y} to denote a
# sequential series.
#
# The following example covers four MinIO hosts
# with 4 drives each at the specified hostname and drive locations.
# The command includes the port that each MinIO server listens on
# (default 9000)
MINIO_VOLUMES="/data{1...4}/minio"
# Set all MinIO server options
#
# The following explicitly sets the MinIO Console listen address to
# port 9001 on all network interfaces. The default behavior is dynamic
# port selection.
## minio-console的地址 就是web界面控制台
MINIO_OPTS="--address :9000 --console-address :9001"
# Set the root username. This user has unrestricted permissions to
# perform S3 and administrative API operations on any resource in the
# deployment.
#
# Defer to your organizations requirements for superadmin user name.
# console的登陆账号
MINIO_ROOT_USER=minioadmin
# Set the root password
#
# Use a long, random, unique string that meets your organizations
# requirements for passwords.
# console的登陆密码
MINIO_ROOT_PASSWORD=minioadmin
# Set to the URL of the load balancer for the MinIO deployment
# This value *must* match across all MinIO servers. If you do
# not have a load balancer, set this value to to any *one* of the
# MinIO hosts in the deployment as a temporary measure.
# 负载均衡地址 如果没有负载均衡就不要放开这个配置
#MINIO_SERVER_URL="http://192.168.192.163:9000"
启动服务
# 如果改了minio.service,先刷新
systemctl daemon-reload
# 启动minio服务
systemctl start minio
# 查看服务启动状态
systemctl status minio
web控制端访问地址:http://192.168.1.124:9001
集群环境
先修改下前面单机环境下的/etc/default/minio
的MINIO_VOLUMES
配置节点,写法如下:
## 指定存储位置,通过池化写法简化集群配置
MINIO_VOLUMES="http://test-{1...4}:9000/data{1...4}/minio"
注意,这里对挂载的data{1...4}
这四个目录,再创建一层子目录minio
,笔者在实验时只指定到父目录,在服务启动后检测存储目录时会有报错的情况。参考官网加了一层子目录minio
后问题解决!
基于我们上面单台机器搭建的环境,克隆出另外3台机器。教程开头的Linux环境已列出。
依次启动4台机器的minio
服务,访问任意一台机器的minio web控制端即可。
最后再对4台机器的minio
服务设置开机启动项,集群就ok了。
# 设置开机启动
systemctl enable minio
nginx负载均衡
待整理,敬请期待。。。
参考资料
官方参考文档:minIO多节点多磁盘驱动集群部署
参考文章:
Linux中如何构建4块虚拟盘来搭建分布式MinIO集群?
【虚拟机】VirtualBox添加虚拟磁盘
虚拟机VirtualBox添加磁盘
搭建高可用MinIO集群
Minio 集群生产环境部署示例
minio集群部署/排错/挂载/负载均衡/异地同步
Minio集群部署
minio安装(rpm方式)
MinIO-rpm离线安装