GFS 分布式文件系统

news2024/12/24 2:16:48

GFS 分布式文件系统

一.GlusterFS 概述

1.GlusterFS简介

（1）开源的分布式文件系统。

（2）由存储服务器、客户端以及NFS/Samba 存储网关（可选，根据需要选择使用）组成。

（3）没有元数据服务器组件，这有助于提升整个系统的性能、可靠性和稳定性。

元数据：传统的分布式文件系统大多通过元服务器来存储元数据，元数据包含存储节点上的目录信息、目录结构等。这样的设计在浏览目录时效率高，但是也存在一些缺陷，例如单点故障。一旦元数据服务器出现故障，即使节点具备再高的冗余性，整个存储系统也将崩溃。而 GlusterFS 分布式文件系统是基于无元服务器的设计，数据横向扩展能力强，具备较高的可靠性及存储效率。

2.GlusterFS特点

（1）扩展性和高性能——分布式特性

（2）高可用性——冗余、容灾的能力、单点故障

（3）全局统一命名空间——独立空间

（4）弹性卷管理——raid级别

（5）基于标准协议——支持 NFS、CIFS、HTTP、FTP、SMB 及 Gluster原生协议，完全与 POSIX 标准（可移植操作系统接口）兼容。

3.GlusterFS 术语

（1）Brick（存储块）

指可信主机池中由主机提供的用于物理存储的专用分区，是GlusterFS中的基本存储单元，同时也是可信存储池中服务器上对外提供的存储目录。
存储目录的格式由服务器和目录的绝对路径构成，表示方法为 SERVER:EXPORT，如 192.168.198.12:/data/mydir/。

（2）Volume（逻辑卷）

一个逻辑卷是一组 Brick 的集合。卷是数据存储的逻辑设备，类似于 LVM 中的逻辑卷。大部分 Gluster 管理操作是在卷上进行的。

（3）FUSE

是一个内核模块，允许用户创建自己的文件系统，无须修改内核代码。——伪文件系统

（4）VFS

内核空间对用户空间提供的访问磁盘的接口。——虚拟端口

（5）Glusterd（后台管理进程）

在存储群集中的每个节点上都要运行。——服务端

4.模块化堆栈式架构

（1）GlusterFS 采用模块化、堆栈式的架构。
（2）通过对模块进行各种组合，即可实现复杂的功能。例如 Replicate 模块可实现 RAID1，Stripe 模块可实现 RAID0， 通过两者的组合可实现 RAID10 和 RAID01，同时获得更高的性能及可靠性。

5.GlusterFS 的工作流程

5.1 GlusterFS 的工作原理

（1）客户端或应用程序通过 GlusterFS 的挂载点访问数据。
（2）linux系统内核通过 VFS API 收到请求并处理。
（3）VFS 将数据递交给 FUSE 内核文件系统，并向系统注册一个实际的文件系统 FUSE，而 FUSE 文件系统则是将数据通过 /dev/fuse 设备文件递交给了 GlusterFS client 端。可以将 FUSE 文件系统理解为一个代理。
（4）GlusterFS client 收到数据后，client 根据配置文件的配置对数据进行处理。
（5）经过 GlusterFS client 处理后，通过网络将数据传递至远端的 GlusterFS Server，并且将数据写入到服务器存储设备上。

5.2 GlusterFS 的工作流程图示

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-LjEBfZjJ-1690886752229)(C:\Users\zhao\AppData\Roaming\Typora\typora-user-images\image-20230801184512528.png)]

5.3 弹性 HASH 算法

（1）通过 HASH 算法可以得到一个 32 位的整数范围的 hash 值，
（2）划分为 N 个连续的子空间，每个空间对应一个 Brick。

5.3.1 弹性 HASH 算法的优点

（1）保证数据平均分布在每一个 Brick 中。
（2）解决了对元数据服务器的依赖，进而解决了单点故障以及访问瓶颈。

6.GlusterFS的卷类型

GlusterFS 支持七种卷，即分布式卷、条带卷、复制卷、分布式条带卷、分布式复制卷、条带复制卷和分布式条带复制卷。

6.1 分布式卷（Distribute volume）

6.1.1 分布式卷概念

（1）没有对文件进行分块处理

（2）通过扩展文件属性保存HASH值
（3）支持的底层文件系统有EXT3、EXT4.ZES、XFS等

6.1.2 分布式卷的特点

（1）文件分布在不同的服务器,不具备几余性

（2）更容易和廉价地扩展卷的大小

（3）单点故障会造成数据丢失

（4）依赖底层的数据保护

6.1.3 分布式卷原理

File1 和 File2 存放在 Server1，而 File3 存放在 Server2，文件都是随机存储，一个文件（如 File1）要么在 Server1 上，要么在 Server2 上，不能分块同时存放在 Server1和 Server2 上。

6.1.4 创建分布式卷方式

创建一个名为dis-volume的分布式卷，文件将根据HASH分布在server1:/dir1、server2:/dir2和server3:/dir3中

gluster volume create dis-volume server1:/dir1 server2:/dir2 server3:/dir3

6.2 条带卷（Stripe volume）

6.2.1 条带卷概念

（1）根据偏移量将文件分成N块 (N个条带节点)，轮询的存储在每个Brick Server节点

（2）存储大文件时，性能尤为突出

（3）不具备元余性，类似Raid0

6.2.2 条带卷特点

（1）数据被分割成更小块分布到块服务器群中的不同条带区。
（2）分布减少了负载且更小的文件加速了存取的速度。
（3）没有数据冗余。

6.2.3 条带卷原理

File 被分割为 6 段，1、3、5 放在 Server1，2、4、6 放在 Server2。

6.2.4 创建条带卷方式

创建了一个名为stripe-volume的条带卷，文件将被分块轮询的存储在Server1:/dir1和Server2:/dir2两个Brick中

gluster volume create stripe-volume stripe 2 transport tcp server1:/dir1 server2:/dir2

6.3 复制卷（Replica volume）

6.3.1 复制卷概念

（1）同一文件保存一份或多分副本

（2）因为要保存副本，所以磁盘利用率较低

（3）若多个节点土的存储空间不一致，将按照木桶效应取最低节点的容量作为该卷的总容量

6.3.2 复制卷特点

（1）卷中所有的服务器均保存一个完整的副本。
（2）卷的副本数量可由客户创建的时候决定，但复制数必须等于卷中 Brick 所包含的存储服务器数。
（3）至少由两个块服务器或更多服务器。
（4）具备冗余性。

6.3.3 复制卷原理

File1 同时存在 Server1 和 Server2，File2 也是如此，相当于 Server2 中的文件是 Server1 中文件的副本。

6.3.4 创建复制卷方式

创建名为rep-volume的复制卷，文件将同时存储两个副本，分别在Server1:/dir1和Server2:/dir2两个Brick中

gluster volume create rep-volume replica 2 transport tcp server1:/dir1 server2:/dir2

6.4 分布式条带卷（Distribute Stripe volume）

6.4.1 分布式条带卷概念

（1）Brick Server 数量是条带数（数据块分布的 Brick 数量）的倍数，兼具分布式卷和条带卷的特点。

（2）主要用于大文件访问处理

（3）创建一个分布式条带卷，最少需要 4 台服务器。

6.4.2 分布式条带卷原理

File1 和 File2 通过分布式卷的功能分别定位到Server1和 Server2。在 Server1 中，File1 被分割成 4 段，其中 1、3 在 Server1 中的 exp1 目录中，2、4 在 Server1 中的 exp2 目录中。在 Server2 中，File2 也被分割成 4 段，其中 1、3 在 Server2 中的 exp3 目录中，2、4 在 Server2 中的 exp4 目录中。

6.4.3 创建分布式条带卷方式

创建一个名为dis-stripe的分布式条带卷，配置分布式的条带卷时，卷中Brick所包含的存储服务器数必须是条带数的倍数（>=2倍）。Brick 的数量是 4（Server1:/dir1、Server2:/dir2、Server3:/dir3 和 Server4:/dir4），条带数为 2（stripe 2）

gluster volume create dis-stripe stripe 2 transport tcp server1:/dir1 server2:/dir2 server3:/dir3 server4:/dir4

注：

（1）创建卷时，存储服务器的数量如果等于条带或复制数，那么创建的是条带卷或者复制卷；

（2）如果存储服务器的数量是条带或复制数的 2 倍甚至更多，那么将创建的是分布式条带卷或分布式复制卷。

6.5 分布式复制卷（Distribute Replica volume）

6.5.1 分布式复制卷概念

（1）Brick Server 数量是镜像数（数据副本数量）的倍数，兼具分布式卷和复制卷的特点。

（2）主要用于需要冗余的情况下。

6.5.2 分布式复制卷原理

File1 和 File2 通过分布式卷的功能分别定位到 Server1 和 Server2。在存放 File1 时，File1 根据复制卷的特性，将存在两个相同的副本，分别是 Server1 中的exp1 目录和 Server2 中的 exp2 目录。在存放 File2 时，File2 根据复制卷的特性，也将存在两个相同的副本，分别是 Server3 中的 exp3 目录和 Server4 中的 exp4 目录。

6.5.3 创建分布式复制卷方式

创建一个名为dis-rep的分布式复制卷，配置分布式的复制卷时，卷中Brick所包含的存储服务器数必须是复制数的倍数（>=2倍）。Brick 的数量是 4（Server1:/dir1、Server2:/dir2、Server3:/dir3 和 Server4:/dir4），复制数为 2（replica 2）

gluster volume create dis-rep replica 2 transport tcp server1:/dir1 server2:/dir2 server3:/dir3 server4:/dir4

6.6 两个不常用的卷类型

6.6.1 条带复制卷（Stripe Replica volume）：

类似 RAID 10，同时具有条带卷和复制卷的特点。

6.6.2 分布式条带复制卷（Distribute Stripe Replicavolume）：

三种基本卷的复合卷，通常用于类 Map Reduce 应用。

二.部署 GlusterFS 群集(node节点服务端配置)

1.实验环境

在四台主机上添加4块磁盘，

节点主机名主机地址磁盘(4块)挂载点
Node1节点node1192.168.198.13/dev/sdb1、/dev/sdc1、/dev/sdd1、/dev/sde1/data/sdb1~/data/sde1
Node2节点node2192.168.198.14/dev/sdb1、/dev/sdc1、/dev/sdd1、/dev/sde1/data/sdb1~/data/sde1
Node3节点node3192.168.198.15/dev/sdb1、/dev/sdc1、/dev/sdd1、/dev/sde1/data/sdb1~/data/sde1
Node4节点node4192.168.198.16/dev/sdb1、/dev/sdc1、/dev/sdd1、/dev/sde1/data/sdb1~/data/sde1
客户端pc1192.168.198.12

2.准备环境（所有node节点上操作）

2.1 关闭防火墙并修改主机名

systemctl stop firewalld
setenforce 0

#以Node1节点为例：
hostnamectl set-hostname node1
su

2.2 磁盘分区，并挂载

#使用脚本进行磁盘分区、挂载
vim /opt/fdisk.sh
#!/bin/bash
NEWDEV=`ls /dev/sd* | grep -o 'sd[b-z]' | uniq`
for VAR in $NEWDEV
do
   echo -e "n\np\n\n\n\nw\n" | fdisk /dev/$VAR &> /dev/null
   mkfs.xfs /dev/${VAR}"1" &> /dev/null
   mkdir -p /data/${VAR}"1" &> /dev/null
   echo "/dev/${VAR}"1" /data/${VAR}"1" xfs defaults 0 0" >> /etc/fstab
done
mount -a &> /dev/null

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-dLw8GbN9-1690886752230)(C:\Users\zhao\AppData\Roaming\Typora\typora-user-images\image-20230801145027301.png)]

#给予脚本权限
chmod +x /opt/fdisk.sh

#执行脚本
cd /opt/
./fdisk.sh

#查看创建、挂载是否成功
lsblk

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Lft5YVQp-1690886752230)(C:\Users\zhao\AppData\Roaming\Typora\typora-user-images\image-20230801145344758.png)]

#可以使用scp命令将node1节点的创建分区、挂载的脚本复制到其他的主机上
scp fdisk.sh 192.168.198.14:/opt/
scp fdisk.sh 192.168.198.15:/opt/
scp fdisk.sh 192.168.198.16:/opt/

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-zmtWsCjf-1690886752231)(C:\Users\zhao\AppData\Roaming\Typora\typora-user-images\image-20230801145947391.png)]

#在node2节点、node3节点、node4节点依次执行创建分区及挂载
chmod +x /opt/fdisk.sh
cd /opt/
./fdisk.sh

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-lQbzj4Is-1690886752231)(C:\Users\zhao\AppData\Roaming\Typora\typora-user-images\image-20230801150438830.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-lljlEZcP-1690886752231)(C:\Users\zhao\AppData\Roaming\Typora\typora-user-images\image-20230801150450081.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-tigUU7SZ-1690886752232)(C:\Users\zhao\AppData\Roaming\Typora\typora-user-images\image-20230801150504542.png)]

2.3 配置/etc/hosts文件

echo "192.168.198.13 node1" >> /etc/hosts
echo "192.168.198.14 node2" >> /etc/hosts
echo "192.168.198.15 node3" >> /etc/hosts
echo "192.168.198.16 node4" >> /etc/hosts

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ihPetwiU-1690886752232)(C:\Users\zhao\AppData\Roaming\Typora\typora-user-images\image-20230801150833089.png)]

3.安装、启动GlusterFS（所有node节点上操作）

3.1 将gfsrepo 软件上传到/opt目录下

#解压软件
unzip gfsrepo.zip 

#本地源
cd /etc/yum.repos.d/
mkdir repo.bak
mv *.repo repo.bak
vim glfs.repo
[glfs]
name=glfs
baseurl=file:///opt/gfsrepo
gpgcheck=0
enabled=1

yum clean all && yum makecache

#使用本地源后不用在线源，如采用官方 YUM 源安装，可以直接指向互联网仓库——在线源做不了条带创建
yum -y install centos-release-gluster	

#安装相关依赖包
yum -y install glusterfs glusterfs-server glusterfs-fuse glusterfs-rdma
#如遇到以下故障原因是版本过高导致，执行以下命令
yum remove glusterfs-api.x86_64 glusterfs-cli.x86_64 glusterfs.x86_64 glusterfs-libs.x86_64 glusterfs-client-xlators.x86_64 glusterfs-fuse.x86_64 -y

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-aQhTtMi8-1690886752232)(C:\Users\zhao\AppData\Roaming\Typora\typora-user-images\image-20230801154033873.png)]

systemctl start glusterd.service 
systemctl enable glusterd.service
systemctl status glusterd.service

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-gwyc9w5F-1690886752232)(C:\Users\zhao\AppData\Roaming\Typora\typora-user-images\image-20230801154106411.png)]

4.添加节点到存储信任池中（在 node1 节点上操作）

#只要在一台Node节点上添加其它节点即可
gluster peer probe node1
gluster peer probe node2
gluster peer probe node3
gluster peer probe node4

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-r8Hy6rW6-1690886752232)(C:\Users\zhao\AppData\Roaming\Typora\typora-user-images\image-20230801173131553.png)]

#在每个Node节点上查看群集状态
gluster peer status

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-NhiefBHb-1690886752233)(C:\Users\zhao\AppData\Roaming\Typora\typora-user-images\image-20230801173159336.png)]

5.创建卷

根据规划创建如下卷：

卷名称卷类型Brick
dis-volume分布式卷node1(/data/sdb1)、node2(/data/sdb1)
stripe-volume条带卷node1(/data/sdc1)、node2(/data/sdc1)
rep-volume复制卷node3(/data/sdb1)、node4(/data/sdb1)
dis-stripe分布式条带卷node1(/data/sdd1)、node2(/data/sdd1)、node3(/data/sdd1)、node4(/data/sdd1)
dis-rep分布式复制卷node1(/data/sde1)、node2(/data/sde1)、node3(/data/sde1)、node4(/data/sde1)

5.1 创建分布式卷

#创建分布式卷，没有指定类型，默认创建的是分布式卷
[root@node1 yum.repos.d]# gluster volume create dis-volume node1:/data/sdb1 node2:/data/sdb1 force

volume create: dis-volume: success: please start the volume to access data

#查看卷列表
[root@node1 yum.repos.d]# gluster volume list

dis-volume

#启动新建分布式卷
[root@node1 yum.repos.d]# gluster volume start dis-volume

volume start: dis-volume: success

#查看创建分布式卷信息
[root@node1 yum.repos.d]# gluster volume info dis-volume
 
Volume Name: dis-volume
Type: Distribute
Volume ID: f9de7ae9-db25-41fe-94ba-5b82b7063a9b
Status: Started
Snapshot Count: 0
Number of Bricks: 2
Transport-type: tcp
Bricks:
Brick1: node1:/data/sdb1
Brick2: node2:/data/sdb1
Options Reconfigured:
transport.address-family: inet
nfs.disable: on

注：卷名:dis-卷
类型:经销商
卷ID:2b3c1dd4-c4b2-43d5-8365-76876f7404af
状态:已开始
快照计数:0
砖块数量:2

传输类型:tcp

5.2 创建条带卷

#指定类型为 stripe，数值为 2，且后面跟了 2 个 Brick Server，所以创建的是条带卷
[root@node1 yum.repos.d]# gluster volume create stripe-volume stripe 2 node1:/data/sdc1 node2:/data/sdc1 force

volume create: stripe-volume: success: please start the volume to access data

[root@node1 yum.repos.d]# gluster volume start stripe-volume

volume start: stripe-volume: success

[root@node1 yum.repos.d]# gluster volume info stripe-volume
 
Volume Name: stripe-volume
Type: Stripe
Volume ID: 9e0259b3-15e8-4293-93d4-78ea895caa4c
Status: Started
Snapshot Count: 0
Number of Bricks: 1 x 2 = 2
Transport-type: tcp
Bricks:
Brick1: node1:/data/sdc1
Brick2: node2:/data/sdc1
Options Reconfigured:
transport.address-family: inet
nfs.disable: on

5.3 创建复制卷

#指定类型为 replica，数值为 2，且后面跟了 2 个 Brick Server，所以创建的是复制卷
[root@node1 yum.repos.d]# gluster volume create rep-volume replica 2 node3:/data/sdb1 node4:/data/sdb1 force

volume create: rep-volume: success: please start the volume to access data

[root@node1 yum.repos.d]# gluster volume start rep-volume

volume start: rep-volume: success

[root@node1 opt]# gluster volume info rep-volume
 
Volume Name: rep-volume
Type: Replicate
Volume ID: ea4c2223-f8fc-4d87-a48c-8dde7313148f
Status: Started
Snapshot Count: 0
Number of Bricks: 1 x 2 = 2
Transport-type: tcp
Bricks:
Brick1: node3:/data/sdb1
Brick2: node4:/data/sdb1
Options Reconfigured:
transport.address-family: inet
nfs.disable: on

5.4 创建分布式条带卷

#指定类型为 stripe，数值为 2，而且后面跟了 4 个 Brick Server，是 2 的两倍，所以创建的是分布式条带卷
[root@node1 opt]# gluster volume create dis-stripe stripe 2 node1:/data/sdd1 node2:/data/sdd1 node3:/data/sdd1 node4:/data/sdd1 force

volume create: dis-stripe: success: please start the volume to access data

[root@node1 opt]# gluster volume start dis-stripe

volume start: dis-stripe: success

[root@node1 opt]# gluster volume info dis-stripe
 
Volume Name: dis-stripe
Type: Distributed-Stripe
Volume ID: 7f660e9b-935c-4730-920a-1319c3f321de
Status: Started
Snapshot Count: 0
Number of Bricks: 2 x 2 = 4
Transport-type: tcp
Bricks:
Brick1: node1:/data/sdd1
Brick2: node2:/data/sdd1
Brick3: node3:/data/sdd1
Brick4: node4:/data/sdd1
Options Reconfigured:
transport.address-family: inet
nfs.disable: on

5.5 创建分布式复制卷

#指定类型为 replica，数值为 2，而且后面跟了 4 个 Brick Server，是 2 的两倍，所以创建的是分布式复制卷
[root@node1 opt]# gluster volume create dis-rep replica 2 node1:/data/sde1 node2:/data/sde1 node3:/data/sde1 node4:/data/sde1 force

volume create: dis-rep: success: please start the volume to access data

[root@node1 opt]# gluster volume start dis-rep

volume start: dis-rep: success			

[root@node1 opt]# gluster volume info dis-rep 
 
Volume Name: dis-rep
Type: Distributed-Replicate
Volume ID: 4eebe489-c455-4809-b2ea-5292b64f5e86
Status: Started
Snapshot Count: 0
Number of Bricks: 2 x 2 = 4
Transport-type: tcp
Bricks:
Brick1: node1:/data/sde1
Brick2: node2:/data/sde1
Brick3: node3:/data/sde1
Brick4: node4:/data/sde1
Options Reconfigured:
transport.address-family: inet
nfs.disable: on

5.6 查看当前所有卷的列表

[root@node1 opt]# gluster volume list
dis-rep
dis-stripe
dis-volume
rep-volume
stripe-volume

三.部署 Gluster 客户端(192.168.198.12)

1.安装客户端软件

#将gfsrepo 软件上传到/opt目下 
unzip gfsrepo\(1\).zip 

cd /etc/yum.repos.d/
mkdir repo.bak
mv *.repo repo.bak

vim glfs.repo
[glfs]
name=glfs
baseurl=file:///opt/gfsrepo
gpgcheck=0
enabled=1

yum clean all && yum makecache

yum -y install glusterfs glusterfs-fuse

2.创建挂载目录

mkdir -p /test/{dis,stripe,rep,dis_stripe,dis_rep}
ls /test

3.配置 /etc/hosts 文件

echo "192.168.198.13 node1" >> /etc/hosts
echo "192.168.198.14 node2" >> /etc/hosts
echo "192.168.198.15 node3" >> /etc/hosts
echo "192.168.198.16 node4" >> /etc/hosts

4.挂载 Gluster 文件系统

#临时挂载
mount.glusterfs node1:dis-volume /test/dis
mount.glusterfs node1:stripe-volume /test/stripe
mount.glusterfs node1:rep-volume /test/rep
mount.glusterfs node1:dis-stripe /test/dis_stripe
mount.glusterfs node1:dis-rep /test/dis_rep

df -Th

文件系统                类型            容量  已用  可用 已用% 挂载点
/dev/mapper/centos-root xfs              50G  3.7G   47G    8% /
devtmpfs                devtmpfs        977M     0  977M    0% /dev
tmpfs                   tmpfs           993M     0  993M    0% /dev/shm
tmpfs                   tmpfs           993M   18M  976M    2% /run
tmpfs                   tmpfs           993M     0  993M    0% /sys/fs/cgroup
/dev/sda1               xfs             4.0G  161M  3.9G    4% /boot
tmpfs                   tmpfs           199M     0  199M    0% /run/user/0
tmpfs                   tmpfs           199M   12K  199M    1% /run/user/42
node1:dis-volume        fuse.glusterfs   40G   65M   40G    1% /test/dis
node1:stripe-volume     fuse.glusterfs   40G   65M   40G    1% /test/stripe
node1:rep-volume        fuse.glusterfs   20G   33M   20G    1% /test/rep
node1:dis-stripe        fuse.glusterfs   80G  130M   80G    1% /test/dis_stripe
node1:dis-rep           fuse.glusterfs   40G   65M   40G    1% /test/dis_rep

#永久挂载
vim /etc/fstab
node1:dis-volume		/test/dis				glusterfs		defaults,_netdev		0 0
node1:stripe-volume		/test/stripe			glusterfs		defaults,_netdev		0 0
node1:rep-volume		/test/rep				glusterfs		defaults,_netdev		0 0
node1:dis-stripe		/test/dis_stripe		glusterfs		defaults,_netdev		0 0
node1:dis-rep			/test/dis_rep			glusterfs		defaults,_netdev		0 0

四.测试 Gluster 文件系统

1.卷中写入文件，客户端操作

cd /opt
dd if=/dev/zero of=/opt/demo1.log bs=1M count=40
dd if=/dev/zero of=/opt/demo2.log bs=1M count=40
dd if=/dev/zero of=/opt/demo3.log bs=1M count=40
dd if=/dev/zero of=/opt/demo4.log bs=1M count=40
dd if=/dev/zero of=/opt/demo5.log bs=1M count=40

ls -lh /opt

总用量 250M
-rw-r--r--. 1 root root  40M 8月   1 18:00 demo1.log
-rw-r--r--. 1 root root  40M 8月   1 18:00 demo2.log
-rw-r--r--. 1 root root  40M 8月   1 18:00 demo3.log
-rw-r--r--. 1 root root  40M 8月   1 18:00 demo4.log
-rw-r--r--. 1 root root  40M 8月   1 18:00 demo5.log
drwxr-xr-x. 3 root root 8.0K 3月  27 2018 gfsrepo
-rw-r--r--. 1 root root  50M 8月   1 16:28 gfsrepo(1).zip
drwxr-xr-x. 2 root root    6 3月  26 2015 rh

#将写的文件复制到挂载目录中
cp /opt/demo* /test/dis
cp /opt/demo* /test/stripe/
cp /opt/demo* /test/rep/
cp /opt/demo* /test/dis_stripe/
cp /opt/demo* /test/dis_rep/

2.查看文件分布

2.1 查看分布式文件分布

#查看分布式文件分布node1
[root@node1 opt]# ls -lh /data/sdb1                            #数据没有被分片
总用量 160M
-rw-r--r--. 2 root root 40M 8月   1 18:00 demo1.log
-rw-r--r--. 2 root root 40M 8月   1 18:00 demo2.log
-rw-r--r--. 2 root root 40M 8月   1 18:00 demo3.log
-rw-r--r--. 2 root root 40M 8月   1 18:00 demo4.log

#查看分布式文件分布node2
[root@node2 opt]# ll -h /data/sdb1
总用量 40M
-rw-r--r--. 2 root root 40M 8月   1 18:00 demo5.log

2.2 查看条带卷文件分布

#查看条带卷文件分布
#数据被分片50% 没副本 没冗余
[root@node1 opt]#ls -lh /data/sdc1
总用量 100M
-rw-r--r--. 2 root root 20M 8月   1 18:00 demo1.log
-rw-r--r--. 2 root root 20M 8月   1 18:00 demo2.log
-rw-r--r--. 2 root root 20M 8月   1 18:00 demo3.log
-rw-r--r--. 2 root root 20M 8月   1 18:00 demo4.log
-rw-r--r--. 2 root root 20M 8月   1 18:00 demo5.log

#数据被分片50% 没副本 没冗余
[root@node2 opt]# ll -h /data/sdc1
总用量 100M
-rw-r--r--. 2 root root 20M 8月   1 18:00 demo1.log
-rw-r--r--. 2 root root 20M 8月   1 18:00 demo2.log
-rw-r--r--. 2 root root 20M 8月   1 18:00 demo3.log
-rw-r--r--. 2 root root 20M 8月   1 18:00 demo4.log
-rw-r--r--. 2 root root 20M 8月   1 18:00 demo5.log

2.3 查看复制卷分布

#数据没有被分片 有副本 有冗余   
[root@node3 opt]#  ll -h /data/sdb1
总用量 200M
-rw-r--r--. 2 root root 40M 8月   1 18:00 demo1.log
-rw-r--r--. 2 root root 40M 8月   1 18:00 demo2.log
-rw-r--r--. 2 root root 40M 8月   1 18:00 demo3.log
-rw-r--r--. 2 root root 40M 8月   1 18:00 demo4.log
-rw-r--r--. 2 root root 40M 8月   1 18:00 demo5.log

#数据没有被分片 有副本 有冗余
[root@node4 opt]# ll -h /data/sdb1
总用量 200M
-rw-r--r--. 2 root root 40M 8月   1 18:00 demo1.log
-rw-r--r--. 2 root root 40M 8月   1 18:00 demo2.log
-rw-r--r--. 2 root root 40M 8月   1 18:00 demo3.log
-rw-r--r--. 2 root root 40M 8月   1 18:00 demo4.log
-rw-r--r--. 2 root root 40M 8月   1 18:00 demo5.log

2.4 查看分布式条带卷分布

#数据被分片50% 没副本 没冗余
[root@node1 opt]# ll -h /data/sdd1
总用量 80M
-rw-r--r--. 2 root root 20M 8月   1 18:00 demo1.log
-rw-r--r--. 2 root root 20M 8月   1 18:00 demo2.log
-rw-r--r--. 2 root root 20M 8月   1 18:00 demo3.log
-rw-r--r--. 2 root root 20M 8月   1 18:00 demo4.log

[root@node2 opt]#  ll -h /data/sdd1
总用量 80M
-rw-r--r--. 2 root root 20M 8月   1 18:00 demo1.log
-rw-r--r--. 2 root root 20M 8月   1 18:00 demo2.log
-rw-r--r--. 2 root root 20M 8月   1 18:00 demo3.log
-rw-r--r--. 2 root root 20M 8月   1 18:00 demo4.log

[root@node3 opt]#  ll -h /data/sdd1
总用量 20M
-rw-r--r--. 2 root root 20M 8月   1 18:00 demo5.log

[root@node4 opt]# ll -h /data/sdd1
总用量 20M
-rw-r--r--. 2 root root 20M 8月   1 18:00 demo5.log

2.5 查看分布式复制卷分布

#查看分布式复制卷分布								#数据没有被分片 有副本 有冗余
[root@node1 opt]# ll -h /data/sde1
总用量 160M
-rw-r--r--. 2 root root 40M 8月   1 18:00 demo1.log
-rw-r--r--. 2 root root 40M 8月   1 18:00 demo2.log
-rw-r--r--. 2 root root 40M 8月   1 18:00 demo3.log
-rw-r--r--. 2 root root 40M 8月   1 18:00 demo4.log

[root@node2 opt]# ll -h /data/sde1
总用量 160M
-rw-r--r--. 2 root root 40M 8月   1 18:00 demo1.log
-rw-r--r--. 2 root root 40M 8月   1 18:00 demo2.log
-rw-r--r--. 2 root root 40M 8月   1 18:00 demo3.log
-rw-r--r--. 2 root root 40M 8月   1 18:00 demo4.log

[root@node3 opt]# ll -h /data/sde1
总用量 40M
-rw-r--r--. 2 root root 40M 8月   1 18:00 demo5.log

[root@node4 opt]# ll -h /data/sde1
总用量 40M
-rw-r--r--. 2 root root 40M 8月   1 18:00 demo5.log

五.破坏性测试

1.挂起 node2 节点模拟故障

#挂起 node2 节点或者关闭glusterd服务来模拟故障
[root@node2 ~]# systemctl stop glusterd.service

#在客户端上查看文件是否正常
#分布式卷数据查看
[root@test2 opt]# ll /test/dis/             #在客户机上发现少了demo5.log文件，这个是在node2上的
总用量 163840
-rw-r--r--. 1 root root 41943040 8月   1 18:00 demo1.log
-rw-r--r--. 1 root root 41943040 8月   1 18:00 demo2.log
-rw-r--r--. 1 root root 41943040 8月   1 18:00 demo3.log
-rw-r--r--. 1 root root 41943040 8月   1 18:00 demo4.log

#条带卷
[root@test2 opt]# cd /test/stripe/		#无法访问，条带卷不具备冗余性
[root@test2 stripe]# ll
总用量 0

#分布式条带卷
[root@test2 stripe]# ll /test/dis_stripe/		#无法访问，分布条带卷不具备冗余性
总用量 40960
-rw-r--r--. 1 root root 41943040 8月   1 18:00 demo5.log

#分布式复制卷
[root@test2 stripe]# ll /test/dis_rep/                      #可以访问，分布式复制卷具备冗余性
总用量 204800
-rw-r--r--. 1 root root 41943040 8月   1 18:00 demo1.log
-rw-r--r--. 1 root root 41943040 8月   1 18:00 demo2.log
-rw-r--r--. 1 root root 41943040 8月   1 18:00 demo3.log
-rw-r--r--. 1 root root 41943040 8月   1 18:00 demo4.log
-rw-r--r--. 1 root root 41943040 8月   1 18:00 demo5.log

2.挂起 node2 和 node4 节点，在客户端上查看文件是否正常

#挂起 node2 和 node4 节点，在客户端上查看文件是否正常
#测试复制卷是否正常
[root@test2 stripe]# ls -l /test/rep/		#在客户机上测试正常 数据有
总用量 204800
-rw-r--r--. 1 root root 41943040 8月   1 18:00 demo1.log
-rw-r--r--. 1 root root 41943040 8月   1 18:00 demo2.log
-rw-r--r--. 1 root root 41943040 8月   1 18:00 demo3.log
-rw-r--r--. 1 root root 41943040 8月   1 18:00 demo4.log
-rw-r--r--. 1 root root 41943040 8月   1 18:00 demo5.log

#测试分布式条卷是否正常
[root@test2 stripe]# ll /test/dis_stripe/		#在客户机上测试没有数据 
总用量 0

#测试分布式复制卷是否正常
[root@test2 stripe]# ll /test/dis_rep/		#在客户机上测试正常 有数据
总用量 204800
-rw-r--r--. 1 root root 41943040 8月   1 18:00 demo1.log
-rw-r--r--. 1 root root 41943040 8月   1 18:00 demo2.log
-rw-r--r--. 1 root root 41943040 8月   1 18:00 demo3.log
-rw-r--r--. 1 root root 41943040 8月   1 18:00 demo4.log
-rw-r--r--. 1 root root 41943040 8月   1 18:00 demo5.log

总

结合实验测试，凡是带复制数据，相比而言，数据比较安全

一.扩展其他的维护命令

1．查看GlusterFS卷

gluster volume list

2．查看所有卷的信息

gluster volume info

3．查看所有卷的状态

gluster volume status

4．停止一个卷

gluster volume stop dis-stripe

5．删除一个卷，注意：删除卷时，需要先停止卷，且信任池中不能有主机处于宕机状态，否则删除不成功

gluster volume delete dis-stripe

6．设置卷的访问控制

#仅拒绝
gluster volume set dis-rep auth.deny 192.168.80.100

#仅允许
gluster volume set dis-rep auth.allow 192.168.80.* #设置192.168.80.0网段的所有IP地址都能访问dis-rep卷（分布式复制卷）

二.GlusterFS的卷类型

分布式卷：以文件为单位通过hash算法将一个brick中，不具备冗余能力

条带卷：把文件数据进行分块，轮询的分布在各个brick中，不具备冗余能力

复制卷：把文件各个brick中的镜像存储，具备冗余能力

分布式条带卷：不具备冗余能力，最少要4块brick，brick数量> =条带数的2倍

1 root root 41943040 8月 1 18:00 demo1.log
-rw-r–r–. 1 root root 41943040 8月 1 18:00 demo2.log
-rw-r–r–. 1 root root 41943040 8月 1 18:00 demo3.log
-rw-r–r–. 1 root root 41943040 8月 1 18:00 demo4.log
-rw-r–r–. 1 root root 41943040 8月 1 18:00 demo5.log


# 总

结合实验测试，凡是带复制数据，相比而言，数据比较安全

# 一.扩展其他的维护命令

## 1．查看GlusterFS卷

gluster volume list 

## 2．查看所有卷的信息

gluster volume info

## 3．查看所有卷的状态

gluster volume status

## 4．停止一个卷

gluster volume stop dis-stripe

## 5．删除一个卷，注意：删除卷时，需要先停止卷，且信任池中不能有主机处于宕机状态，否则删除不成功

gluster volume delete dis-stripe

## 6．设置卷的访问控制

#仅拒绝
gluster volume set dis-rep auth.deny 192.168.80.100

#仅允许
gluster volume set dis-rep auth.allow 192.168.80.*	  #设置192.168.80.0网段的所有IP地址都能访问dis-rep卷（分布式复制卷）

# 二.GlusterFS的卷类型

分布式卷：以文件为单位通过hash算法将一个brick中，不具备冗余能力

条带卷：把文件数据进行分块，轮询的分布在各个brick中，不具备冗余能力

复制卷：把文件各个brick中的镜像存储，具备冗余能力

分布式条带卷：不具备冗余能力，最少要4块brick，brick数量> =条带数的2倍

分布式复制卷：具备冗余能力，至少要4个brick，brick数量>=副本数的2倍

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/821217.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

css3 hover border 流动效果

css3 hover border 流动效果

/* Hover 边线流动 */.hoverDrawLine {border: 0 !important;position: relative;border-radius: 5px;--border-color: #60daaa; } .hoverDrawLine::before, .hoverDrawLine::after {box-sizing: border-box;content: ;position: absolute;border: 2px solid transparent;borde…
阅读更多...
常用的统计分析方法

常用的统计分析方法

统计方法是指有关收集、整理、分析和解释统计数据，并对其所反映的问题作出一定结论的方法。统计方法是一种从微观结构上来研究物质的宏观性质及其规律的独特的方法。统计方法是适用于所有学科领域的通用数据分析方法，只要有数据的地方就会用到统计方法。…
阅读更多...
vue3.3-TinyMCE：TinyMCE富文本编辑器基础使用

vue3.3-TinyMCE：TinyMCE富文本编辑器基础使用

一、TinyMCE官网 GitHub - tinymce/tinymce TinyMCE中文文档中文手册 二、官网介绍 TinyMCE是一款易用、且功能强大的所见即所得的富文本编辑器。同类程序有：UEditor、Kindeditor、Simditor、CKEditor、wangEditor、Suneditor、froala等等。 TinyMCE的优势&…
阅读更多...
XML约束和解析

XML约束和解析

文章目录 概述使用场景语法dtd约束Schema约束解析DOM4j（重点） 概述 可扩展的标记性语言 使用场景 以前: 传输数据的媒介。 例如：微服务架构中，可以用xml文件进行多语言之间的的联系。 现在: 做配置文件 现在作为传输数据的媒介…
阅读更多...
untiy代码打压缩包，可设置密码

untiy代码打压缩包，可设置密码

1、简单介绍： 用的是一个插件SharpZipLib，在vs的Nuget下载，也可以去github下载https://github.com/icsharpcode/SharpZipLib 用这个最主要的是因为，这个不用请求windows的文件读写权限，关于这个权限我搞了好久&#…
阅读更多...
基于SSM家电补贴一站式服务平台-计算机毕设 附源码12305

基于SSM家电补贴一站式服务平台-计算机毕设 附源码12305

ssm家电补贴一站式服务平台 摘 要 近年来，随着移动互联网的快速发展，电子商务越来越受到网民们的欢迎，电子商务对国家经济的发展也起着越来越重要的作用。简单的流程、便捷可靠的支付方式、快捷畅通的物流快递、安全的信息保护都使得电子商务…
阅读更多...
C++ 文件流操作详解

C++ 文件流操作详解

1. C I/O流 本文章有很多内容参考并借鉴了《C primer plus》 这本经典。这里先说明一下。 1. C I/O流 1.1. 数据流1.2. 控制台流1.3. 文件流 1.3.1. 什么是文件流？1.3.2. 缓冲区1.3.3. 文件流和控制流的关系1.3.4. 文件处理1.3.5. 简单的文件I/O1.3.6. 流状态检查和…
阅读更多...
DNS WEB HTTP

DNS WEB HTTP

DNS与域名 网络是基于 TCP/IP 协议进行通信和连接的。 每一台主机都有唯一的标识，用于区别在网络上成千上万个用户和计算机。即固定的IP地址（32位二进制数转换成为十进制数——点分十进制）。每一个与网络相连接的计算机和服务器都被指派一个…
阅读更多...
xml的学习笔记

xml的学习笔记

学习视频：093-尚硅谷-xml-什么是XML以及它的作用_哔哩哔哩_bilibili 目录 XML简介 XML的作用 XML语法 1.文档声明 2.xml注释 3.元素标签 4.xml属性 5.语法规则 1.所有xml元素都须有关闭标签(也就是闭合) 2.xml 标签对大小写敏感 3.xml必须正确的嵌套 4…
阅读更多...
前端工程化最佳实践：项目结构、代码规范和文档管理

前端工程化最佳实践：项目结构、代码规范和文档管理

文章目录 前端工程化最佳实践项目结构设计与组织文档管理和注释规范国际化和本地化实践 前端工程化的未来发展趋势前端工程化领域的最新技术和工具WebAssembly 和前端性能优化可持续性和可访问性的趋势 总结前端工程化的关键知识点前端工程化对项目和团队的价值 前端工程化最佳…
阅读更多...
玩转顺序表——【数据结构】

玩转顺序表——【数据结构】

在C语言学习中，我们经常会遇见增删查改等一系列操作，而这些操作全都与线性表关联，没有线性表将会对这些操作完成的十分艰难！那今天就让我们来了解一下顺序表如何增删查改！！！ 目录 1.线性表 2…
阅读更多...
(二)Spring WeFlux响应式编程第二种整合方案|道法术器

(二)Spring WeFlux响应式编程第二种整合方案|道法术器

Spring WebFlux 响应式异步编程|道法术器(一) Spring WeFlux响应式编程整合另一种方案|道法术器(二) R2dbc操作mysql 注意下面红色部分与上一篇"Spring WebFlux 响应式异步编程|道法术器(一)" 不一样的依赖包 技术整合: <!--设置spring-boot依赖的版本 --> &l…
阅读更多...
Vault数据备份恢复-MySQL

Vault数据备份恢复-MySQL

前言 Vault提供了可靠的功能来保护数据库和其他关键数据。 对于MySQL数据库，Vault提供了一个易于使用的解决方案，可以自动创建和管理定期备份，并支持从备份中快速恢复数据。本文将介绍Vault后端存储MySQL的备份恢复，包括如何设置Vault、如何进行数据备份和还原、如何保护…
阅读更多...
【K210视觉模块】内存报错问题

【K210视觉模块】内存报错问题

一、正常的打开CanMV IDE 连接 运行测试多次&#xff0c;出现如下报错 报错1&#xff1a;Memory Error: 模型缓冲区内存分配失败 报错2&#xff1a;MemoryError:超出正常MicroPython堆内存!请降低您正在运行此算法的图像的分辨率以绕过此问题! 二、解决方法 重新烧录固件库 …
阅读更多...
【Python】pyqt6入门到入土系列，非常详细...

【Python】pyqt6入门到入土系列，非常详细...

前言 嗨喽&#xff0c;大家好呀~这里是爱看美女的茜茜呐 一、什么是PyQt6? 简单介绍一下PyQt6 1、基础简介 PyQt6 Digia 公司的 Qt 程序的 Python 中间件。Qt库是最强大的GUI库之一。 PyQt6的官网&#xff1a;www.riverbankcomputing.co.uk/news。 PyQt6是由Riverbank Co…
阅读更多...
Windows本地安装配置Qcadoo MES系统

Windows本地安装配置Qcadoo MES系统

简介 Qcadoo MES是一款功能强大且灵活的开源MES&#xff08;制造执行系统&#xff09;&#xff0c;旨在为制造业务提供全面的管理和监控解决方案。本篇博客将教您如何在Windows操作系统上安装和配置Qcadoo MES系统&#xff0c;以便您能够轻松管理和监控制造过程。 环境要求 …
阅读更多...
java 数组的使用

java 数组的使用

数组 基本介绍 数组可以存放多个同一类型的数据&#xff0c;数组也是一种数据类型&#xff0c;是引用类型。 即&#xff1a;数组就是一组数据。 数组的使用 1、数组的定义 方法一 -> 单独声明 数据类型[] 数组名 new 数据类型[大小] 说明&#xff1a;int[] a new int…
阅读更多...
GFS分布式文件系统概述以及集群部署

GFS分布式文件系统概述以及集群部署

目录 一、GlusterFS简介 二、GlusterFS特点 2.1 扩展性和高性能 2.2 高可用性 2.3 全局统一命名空间 2.4 弹性卷管理 2.5 基于标准协议 三、GlusterFS术语 四、模块化堆栈式架构 五、GlusterFS 的工作流程 六、弹性 HASH 算法 七、GFS支持的七种卷 7.1 分布式卷&…
阅读更多...
iOS——锁与死锁问题

iOS——锁与死锁问题

iOS中的锁 什么是锁锁的分类互斥锁1. synchronized2. NSLock3. pthread 递归锁1. NSRecursiveLock2. pthread 信号量Semaphore1. dispatch_semaphore_t2. pthread 条件锁1. NSCodition2. NSCoditionLock3. POSIX Conditions 分布式锁NSDistributedLock 读写锁1. dispatch_barri…
阅读更多...
安全人员爱用的12款开源渗透测试工具

安全人员爱用的12款开源渗透测试工具

回顾过去&#xff0c;黑客入侵异常困难&#xff0c;需要大量手动操作。然而&#xff0c;如今&#xff0c;一套自动化测试工具让渗透测试人员变身“半机械人”&#xff0c;能够比以往任何时候都更轻松地完成更多测试。以下12款开源渗透测试工具&#xff0c;可以帮助渗透测试人员…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023