Linux中的MFS分布式文件系统

news2024/11/17 7:28:08

目录

一、MFS分布式文件系统

1、MooseFS简介

2、Moose File System的体系结构

（1）MooseFS Master

（2）MooseFS Chunk Server

（3）MooseFS Metalogger

（4）MooseFS Client

（5）MooseFS CLI

二、MFS命令介绍

三、集群部署

四、Storage Classes

1、Storage Classes简介

2、 LABEL简介

3、示例：

五、Moose File System的pacemaker高可用

1、安装 Master Servers

2、pacemaker高可用

3、ISCSI

4、添加集群资源

5、应用

一、MFS分布式文件系统

1、MooseFS简介

      MFS（Moose File System）是一个基于分布式网络文件系统的开源存储系统。MFS可以在多台计算机上组织文件并提供统一的文件系统访问。MFS的主要特点是高可用性、可靠性和扩展性。它使用存储在多个节点上的数据进行数据冗余，并使用快速而可靠的网络传输数据。MFS还支持在运行时动态添加和删除节点，以便随着系统需求的变化而进行快速和灵活的扩展。

2、Moose File System的体系结构

Moose File System是一个分布式文件系统，它由多个组件组成。

（1）MooseFS Master

      MooseFS Master是一个开源的分布式文件系统管理器，它能够管理一个或多个MooseFS Chunk Servers，为客户端提供可靠的文件存储和访问服务。MooseFS Master使用Master-Slave架构，它可以处理超过数百个Chunk Server的集群，并且具有高可用性和可伸缩性。它支持多种数据备份策略，可以将数据备份到多个Chunk Server上，从而提高数据的可靠性和容错性。MooseFS Master还提供了Web界面和命令行工具，方便用户管理和监控文件系统的运行状态。

（2）MooseFS Chunk Server

      MooseFS Chunk Server 是MooseFS 分布式文件系统中的组成部分之一，主要负责存储和管理文件系统中的文件数据块。每个 MooseFS Chunk Server 可以存储多个数据块，并与 MooseFS Master Server 进行通信以保持文件系统的一致性和可用性。MooseFS Chunk Server 可以在多台服务器上部署，因此 MooseFS 文件系统可以通过多个节点并行地处理文件的存储、访问和备份。

（3）MooseFS Metalogger
  • MooseFS Metalogger是一个MooseFS集群的组件，它负责管理和记录MooseFS文件系统的元数据。它的作用是确保元数据的一致性和可靠性，以避免数据丢失或损坏的情况发生。
  • MooseFS Metalogger可以运行在独立的服务器上，也可以与其他MooseFS组件一起运行在同一台服务器上。它使用特殊的协议与其他MooseFS组件进行通信，以确保数据和元数据的一致性。
  • 在MooseFS集群中，Metalogger通常设置为主/备两个节点，以确保在主节点故障时备用节点能够接管并继续提供服务，从而实现高可用性。
（4）MooseFS Client
  • MooseFS是一种开源的分布式文件系统，它允许用户在多台服务器之间共享数据。MooseFS Client是MooseFS文件系统的客户端，用户可以使用MooseFS Client来访问MooseFS文件系统中存储的数据。 
  • MooseFS Client提供了一个用户空间工具，它包括了一个命令行界面和一个文件系统挂载程序。使用MooseFS Client，用户可以将MooseFS文件系统挂载到本地文件系统中，就像挂载任何其他文件系统一样。这意味着用户可以直接在本地系统上访问MooseFS文件系统中的数据，而无需知道它实际上存储在哪个服务器上。
  • MooseFS Client使用自身的协议来访问MooseFS服务器，这意味着它可以在不同的操作系统上运行，包括Linux、BSD、Solaris和Windows。此外，MooseFS Client还支持许多其他高级功能，例如安全访问、文件缓存、数据压缩和限制带宽等功能。
（5）MooseFS CLI
  • MooseFS CLI是一个基于命令行界面的管理工具，用于管理MooseFS文件系统。它提供了一组命令，可用于查看和修改MooseFS中的文件、目录和元数据，以及监控系统性能和状况。
  • MooseFS CLI可以通过SSH远程连接到MooseFS服务器，也可以在本地运行。它可以执行诸如创建、删除、重命名、移动和复制文件等基本操作，同时还可以进行更高级的操作，如设置文件ACL、挂载磁盘、调整容量限制等操作。
  • MooseFS CLI还支持命令行自动补全和命令历史记录等功能，使得操作更加方便和高效。它是MooseFS系统中一个十分重要的管理工具，非常适合那些需要以命令行方式管理文件系统的用户。

      这些组件共同协作，实现文件的存储和访问。MooseFS的设计使得它能够扩展到数百个节点，可以存储数PB的数据。

二、MFS命令介绍

  1. mfsmount：将 MooseFS 挂载到本地文件系统。

  2. mfsmetarestore：用于将备份中的元数据恢复到 MooseFS 文件系统中。

  3. mfsbackup：用于对 MooseFS 文件系统创建备份。它可以备份整个文件系统或单个目录。

  4. mfsmount.cfg：MooseFS Mount 配置文件。它包含有关如何将 MooseFS 文件系统挂载到本地文件系统的信息。

  5. mfsgooglecache：使用 Google Cloud Storage 作为 MooseFS 缓存。它可以帮助用户提高 MooseFS 系统的性能。

  6. mfshdd：硬盘诊断工具。它可以帮助检测 MooseFS 存储节点中硬盘的健康状态。

  7. mfsgetgoal： 查看设置的副本数

  8. mfssetgoal：设置副本数。(必须设置在 1 到 9 之间，建议不要使用 1)。如果设置的副本数高于 Chunkservers 的总数，则副本数为 Chunkservers 的总数。

  9. mfsdirinfo：查看目录详细信息。

  10. mfsfileinfo：查看文件详细信息。

  11. mfsgettrashtime：查看已删除文件(垃圾)的保留时间(默认为 1天)。

  12. mfssettrashtime：修改已删除文件(垃圾)的保留时间。

  13. mfsscadmin：用于管理MoosesFS存储集群中的文件系统实例。行实例的创建、删除、添加和删除存储节点，以及设置哈希分片策略等操作。

  14. mfssetsclass：用来设置一个或多个文件或目录的存储类别。存储类别确定了文件或目录在存储设备上的位置和使用的存储策略，例如，高速缓存、磁盘存储、或者归档存储。

    mfssetsclass [-c class] [-s] [-r] [-d] [-f] file or directory ...

    等；

三、集群部署

主机

ip

角色

mfs1

192.168.67.41

Master Servers

mfs2

192.168.67.42

Chunkservers
mfs3

192.168.67.43

Chunkservers
mfs4

192.168.67.44

Clients
mfs5

192.168.67.45

Chunkservers

软件安装（Master Servers）：

软件仓库（所有节点）

curl "https://repository.moosefs.com/RPM-GPG-KEY-MooseFS" > /etc/pki/rpm-gpg/RPM-GPG-KEY-MooseFS
curl "http://repository.moosefs.com/MooseFS-3-el7.repo" > /etc/yum.repos.d/MooseFS.repo

安装：

yum install moosefs-master moosefs-cgi moosefs-cgiserv moosefs-cli
systemctl enable --now moosefs-master.service
systemctl enable --now moosefs-cgiserv.service

添加解析

 Chunkservers节点安装

yum install moosefs-chunkserver

修改配置：

cd /etc/mfs/
vim mfshdd.cfg
mkdir chunk1

三节点同上

Clients节点安装：

yum install moosefs-client

修改文件（挂载点）

cd /etc/mfs/
vim mfsmount.cfg
/mnt/mfs

cd /mnt
mkdir mfs
mfsmount

所有节点都要添加解析

测试

mkdir dir1
mkdir dir2
cd dir1
touch file1  vim file1  （文件不能为空）
mfsfileinfo file1

mfsgetgoal -k dir2/ 
mfssetgoal -r 1 dir2/
cd dir2
touch file1
mfsfileinfo file1

四、Storage Classes

1、Storage Classes简介

       MooseFS的Storage classes可以根据数据的需求来灵活的配置和选择不同的存储类型。它们可以根据应用需求来提供高性能的读写速度、数据的冗余备份和大规模的数据存储。

2、 LABEL简介

       label是指对文件或目录进行标记，以便于对它们进行管理和区分。label可以是任何文本字符串，通常用于指示文件或目录的用途、状态或其他属性。例如，您可以为某个目录设置一个label，以指示它是用于存储备份文件，或者为某个文件设置一个label，以指示它是具有高优先级的任务数据。MooseFS使用label可以帮助用户更好地组织和管理文件系统中的数据。

3、示例：

同理扩容节点三

修改配置 添加标签

创建存储类及应用

（1）2S

mfsscadmin create 2S class 2s
cd dir1
mfssetsclass -r class 2s file1
mfsfileinfo file1

（2） A,B

mfsscadmin create A,B class_ab
mfssetsclass -r class ab file1
mfsfileinfo file1

（3）S,H

mkdir dir3
mfsscadmin create S,H class sh
touch file1
mfssetsclass -r class sh file1

（4）3S

mfssetgoal -r 3 dir3/
修改标签
mfsscadmin create 3S class 3s
mfssetsclass -r class 3s file1
mfsfileinfo file1

所以创建的存储类

各种组合都可以有 

五、Moose File System的pacemaker高可用

主机

ip

角色

mfs1

192.168.67.41

Master Servers    +   pacemaker    +   ISCSI(Client)

mfs2

192.168.67.42

Chunkservers
mfs3

192.168.67.43

Chunkservers
mfs4

192.168.67.44

Clients    +   ISCSI(Server)
mfs5

192.168.67.45

Chunkservers
mfs6

192.168.67.46

Master Servers    +   pacemaker    +   ISCSI(Client)

1、安装 Master Servers

防止两台高可用主机mfs用户id不同

curl "https://repository.moosefs.com/RPM-GPG-KEY-MooseFS" > /etc/pki/rpm-gpg/RPM-GPG-KEY-MooseFS
curl "http://repository.moosefs.com/MooseFS-3-el7.repo" > /etc/yum.repos.d/MooseFS.repo
yum install moosefs-master moosefs-cgi moosefs-cgiserv moosefs-cli
systemctl enable --now moosefs-master.service
systemctl enable --now moosefs-cgiserv.service

查看id

2、pacemaker高可用

配置软件仓库

vim /etc/yum.repo.d/yyl.repo


[HighAvailability]
name=rhel7.6 HighAvailability
baseurl=file:///media/addons/HighAvailability
gpgcheck=0

安装高可用

yum install -y pacemaker pcs psmisc policycoreutils-python

启动pcsd服务  设置用户密码   节点认证

systemctl enable --now pcsd.service
ssh mfs6 systemctl enable --now pcsd.service
 
echo westos | passwd --stdin hacluster
ssh mfs6 'echo westos | passwd --stdin hacluster'
 
 
pcs cluster auth mfs1 mfs6

创建集群

pcs cluster auth mfs1 mfs6

启动集群

pcs cluster start--all
pcs cluster enable --all

禁用stonith

pcs property set stonith-enabled=false

3、ISCSI

服务端配置：

在mfs4上添加一块硬盘

yum install targetcli -y
systemctl enable --now target

配置

/backstores/block create yyl:storage /dev/sdb1
/iscsi create iqn.2023-11.org.yyl:storage
/iscsi/iqn.2023-11.org.yyl:storage/tpg1/luns create /backstores/block/yyl:storage
/iscsi/iqn.2023-11.org.yyl:storage/tpg1/acls create iqn.2023-11.org.yyl:yylkey1

 在高可用集群做客户端（mfs1，mfs6）

安装客户端：

yum install iscsi-initiator-utils.x86_64 -y

编辑认证文件

vim /etc/iscsi/initiatorname.iscsi 
systemctl restart iscsid

 

客户端测试

iscsiadm -m discovery -t st -p 192.168.67.44
iscsiadm -m node -T iqn.2023-11.org.yyl:storage -p 192.168.67.44 -l

在服务端创建分区 格式化：

fdisk /dev/sdb
mkfs.xfs /dev/sdb1

 测试挂载

应用：

在mfs文件系统

修改权限    可以启动就表示成功

取消挂载

4、添加集群资源

pcs resource create vip ocf:heartbeat:IPaddr2 ip=192.168.67.200 op monitor interval=30s
pcs resource create mfs ocf:heartbeat:Filesystem device=/dev/sdb1 directory=/var/lib/mfs fstype=xfs
pcs resource create mfs-master systemd:moosefs-master op monitor interval=60s
pcs resource group add groupmfs vip mfs mfs-master

5、应用

在集群所有节点添加解析

测试：

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1235395.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

InnoDB 的一次更新事务是怎么实现的？

InnoDB 的一次更新事务是怎么实现的？

大体流程： 步骤: 1.加载数据到缓存中（Buffer Pool）： 在进行数据更新时，InnoDB首先会在缓冲池（Buffer Pool）中查找该记录是否已经在内存中。如果记录不在内存中，会将需要更新的数据…
阅读更多...
django+drf+vue 简单系统搭建 （3） - 基于类的视图

django+drf+vue 简单系统搭建 （3） - 基于类的视图

传统Django中有基于类的视图，Drf中自然也有，目的都是实现功能的模块化继承，封装，减少重复代码。 首先在视图中新增下面代码： # simpletool/views.pyfrom rest_framework.views import APIView from simpletool.seria…
阅读更多...
matplotlib violinplot换颜色

matplotlib violinplot换颜色

本来用的是箱图，后来发现这个图更好看，就想要学习一下，官方有给教程，当然可以直接学习 https://matplotlib.org/stable/gallery/statistics/customized_violin.html 以上是官方给的，效果是这个样子的 这个从最基本的蓝…
阅读更多...
redis运维(十二)

redis运维(十二)

一 位图 ① 概念 1、说明：位图还是在操作字符串2、位图玩字符串在内存中存储的二进制3、ASCII字符通过映射转化为二进制4、操作的是字符串value ② ASCII字符铺垫 1、控制ASCII字符 2、ASCII可显示字符 ③ SETBIT 细节： setbit 命令的返回值是之…
阅读更多...
stack和queue简单实现(容器适配器)

stack和queue简单实现(容器适配器)

容器适配器 stack介绍stack模拟实现queue 介绍queue模拟实现deque stack介绍 stack模拟实现 以前我们实现stack，需要像list,vector一样手动创建成员函数，成员变量。但是stack作为容器适配器，我们有更简单的方法来实现它。 可以利用模板的强大…
阅读更多...
linux之chmod命令

linux之chmod命令

在linux系统中经常遇到需要对文件修改读写执行的权限，下面对chomod命令进行梳理总结。 1、文件权限 在linux系统中，每个文件都有归属的所有者和所有组，并且规定了文件的所有者、以及其他人对文件所拥有的可读（r）、可写…
阅读更多...
年薪30w项目经理都在用的6个项目管理软件

年薪30w项目经理都在用的6个项目管理软件

大家好，我是老原。又到了每月一次的好用工具推荐，不少粉丝都在搓手等待了。 要知道，实时掌握项目进度、把关项目质量、应对项目风险、协调资源…如果能好用的工具高效提升你的工作效率，对于领导来说，绝对是加分项。 …
阅读更多...
linux：查看文件前100行和后100行

linux：查看文件前100行和后100行

查看文件中的前100行 head -n 100 文件名查看文件中的后100行 tail -n 100 文件名
阅读更多...
《洛谷深入浅出基础篇》P3916 图的遍历——逆向搜索

《洛谷深入浅出基础篇》P3916 图的遍历——逆向搜索

上链接： P3916 图的遍历 - 洛谷 | 计算机科学教育新生态 (luogu.com.cn)https://www.luogu.com.cn/problem/P3916上题干： 题目描述 给出 N 个点，M 条边的有向图，对于每个点 v，求 A(v) 表示从点 v 出发，能到…
阅读更多...
el-form动态表单动态验证(先验证不为空，再验证长度在20以内，最后向后台发送请求验证账号是否重复)

el-form动态表单动态验证(先验证不为空，再验证长度在20以内，最后向后台发送请求验证账号是否重复)

data(){var checkSno (rule, value, callback) > {if (!value) {callback(new Error("请输入账号"));} else if (value.length > 20) {callback(new Error("长度为1-20"));} else {if (this.form.id) {// 修改时检查账号是否重复selectLoginId({ sn…
阅读更多...
html2canvas快速使用

html2canvas快速使用

一、概述 html2canvas是一个HTML渲染器，是一个脚本，它允许你直接在用户浏览器截取页面或部分网页的“屏幕截屏”。底层是基于DOM的，根据页面上可用的信息构建屏幕截图，它没有制作实际的屏幕截图，因此生成的图片并不一定…
阅读更多...
NTT 的各类优化

NTT 的各类优化

参考文献： [Har14] Harvey D. Faster arithmetic for number-theoretic transforms[J]. Journal of Symbolic Computation, 2014, 60: 113-119.[Sei18] Seiler G. Faster AVX2 optimized NTT multiplication for Ring-LWE lattice cryptography[J]. Cryptology ePr…
阅读更多...
DSP介绍及CCS

DSP介绍及CCS

文章目录 CCS版本编译器CCS使用注意严禁中文 CCS的基本操作新建工程导入现有工程调整字体的大小工程界面恢复标签的使用 仿真盒小虫子进入在线Debug 芯片TMS320F28355基本介绍特性 DSP中特殊指令dsp指令中的EALLOW EDIS CCS TI官网 版本 CCS版本： CCS8.3.1.0004_…
阅读更多...
C语言的基础概念

C语言的基础概念

1、编译和链接 C语⾔是⼀⻔编译型计算机语⾔，C语⾔源代码都是⽂本⽂件，⽂本⽂件本⾝⽆法执⾏，必须通过编译器翻译和链接器的链接，⽣成⼆进制的可执⾏⽂件，可执⾏⽂件才能执⾏。 C语⾔代码是放在 .c 为后缀的⽂件中的…
阅读更多...
玩转大模型行业应用，且看盘古大模型全栈工程能力展身手【云驻共创】

玩转大模型行业应用，且看盘古大模型全栈工程能力展身手【云驻共创】

AI技术在金融和工业领域的应用不断扩展，促进了金融行业的数字化转型和产业升级。AI提供了专属财富管家和工业范式的解决方案，在金融领域的应用包括风险评估和投资建议，而在工业领域的应用则涵盖了数据分析和机器人操作。与此同时，…
阅读更多...
【代数学习题4.2】从零理解范数与迹 —— 求数域元素的范数与迹

【代数学习题4.2】从零理解范数与迹 —— 求数域元素的范数与迹

从零理解范数与迹 —— 求数域元素的范数与迹 写在最前面题目解答 2. 范数 N N N思路求解过程python求解 3. 数域 K K K 的范数 N K N_K NK​思路求解过程Python求解分析解题步骤 4. 迹 T T T求解过程共轭元素计算迹 python求解分析解题步骤 5. 数域 K K K 的迹 T K T_K …
阅读更多...
第三届VECCTF-2023 Web方向部分wp

第三届VECCTF-2023 Web方向部分wp

拳拳组合 题目描述&#xff1a;明喜欢保存密钥在某个文件上。请找到秘钥并读取flag文件。 开题&#xff0c;点不完的。源码提示&#xff1a; <!--据说小明很喜欢10的幂次方--> 扫一下看看&#xff0c;应该是有git泄露。 其它一些路由没什么用 git泄露拿下一堆码 pytho…
阅读更多...
【Seata源码学习 】篇三 TM开启全局事务的过程

【Seata源码学习 】篇三 TM开启全局事务的过程

【Seata源码学习 】篇三 TM开启全局事务的过程 TM发送 单个或批量 消息 以发送GlobalBeginRequest消息为例 TM在执行拦截器链路前将向TC发送GlobalBeginRequest 消息 io.seata.tm.api.DefaultGlobalTransaction#begin(int, java.lang.String) Overridepublic String begin(…
阅读更多...
微信小程序开发学习——顺序、选择、循环、数学函数

微信小程序开发学习——顺序、选择、循环、数学函数

1.条件语句 只需在js中写JavaScript的条件语句就行 math对象&#xff1a; 代码如下&#xff1a; <!--pages/tiaojian/tiaojian.wxml--> <view class"box"><view class"title">输入x&#xff0c;条件输出y</view><view><…
阅读更多...
MT8735/MTK8735安卓核心板规格参数介绍

MT8735/MTK8735安卓核心板规格参数介绍

MT8735核心板是一款高性能的64位Cortex-A53四核处理器&#xff0c;设计用于在4G智能设备上运行安卓操作系统。这款多功能核心板支持LTE-FDD/LTE-TDD/WCDMA/TD-SCDMA/EVDO/CDMA/GSM等多种网络标准&#xff0c;同时还具备WiFi 802.11a/b/g/n和BT4.0LE等无线通信功能。此外&#x…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023