文件系统技术架构分析

news2024/11/28 14:32:58

49ac00a2a48d13ac36f60325863e2e3e.jpeg

 一文读懂:什么是文件系统 ,有哪几类?

   

▉ 什么是文件系统?

技术大拿眉头皱了皱,忍住快要爆发的情绪。解释到:

数据以二进制形式存储于介质,但高低电平含义难解。文件系统揭秘这些二进制背后的意义,使我们能够直观理解数据所传达的信息。

看着依然紧皱眉头的蛋蛋并不像捣乱的样子,技术大拿打开了自己的电脑。


这些文件皆由文件系统构建,它解析二进制数据为可理解格式。借助此系统,我们可轻松管理、删除和复制文件,掌控存储中的数据。文件系统,数据管理的关键。

那么文件系统是什么价值?蛋蛋继续追问到。

▉ 文件系统的价值是什么?

文件系统是管理磁盘的软件,简化磁盘空间使用,降低操作难度,以直观方式呈现数据,方便用户高效利用磁盘资源。

仓库犹如存储磁盘,巨大而空旷,如同未格式化的磁盘,拥有无尽空间,静待数据之充实,实现信息的有效存储与管理。


尽管数据可直存磁盘,但缺乏规划将导致数据无序存放。此举不仅容量受限,更在检索时面临极大挑战,甚至可能无法找到所需数据,严重影响效率。


仓库货架式数据管理,实现货物统一规划与高效管理。通过编号快速定位数据,存储量大且检索便捷,为您带来前所未有的数据管理体验。


▉ 本地文件系统和网络文件系统

文件系统曾是本地操作系统管理存储设备的关键途径,早期主要满足本地文件管理需求,如Ext4、XFS、FAT32、Btrfs等,它们为本地磁盘提供格式化及使用功能,助力数据高效存储与管理。

随着传输技术演进,需求升级,不仅限于本地文件I/O,远程数据传输渐成主流。人们热衷于TCP/IP数据获取,如同掌握远程I/O技术,满足文件共享等多样化需求,实现数据的无界传输。


目前,NFS协议引领Linux接入,而CIFS/SMB协议则代表Windows阵营。但技术革新已使两大阵营的接入协议趋于通用,为用户带来更高效便捷的体验。

远程访问文件系统虽解决资源共享,但单机处理能力有限。在电商网站、大数据处理等大规模数据访问领域,NFS等传统方式难以满足需求,需寻求更高效的文件系统解决方案。

分布式文件系统应运而生,实现多机多用户网络共享文件与空间。服务端采用集群架构,客户端可并发访问数万节点,极大提升系统承载能力,满足高效共享需求。


仓库初期管理聚焦本地需求,文件系统如Ext4、XFS、FAT32和Btrfs等应运而生,专为本地访问设计,确保高效且针对性的数据存储与管理。


随着传输技术革新,人们追求网络访问存储仓库。NFS、CIFS/SMB应运而生,但受限于远程访问数量。为满足需求,分布式文件存储技术崭露头角,提供高效、灵活的存储解决方案。


本地、网络和分布式文件系统虽无本质差异,但网络连接复杂性要求分布式文件系统在接入存储设备时,应用层需实施更精细策略,以确保与本地系统相媲美的性能与可靠性。


▉ 主流分布式文件系统

随着数字化进程加速,巨量数据对存储系统提出了更高要求。为满足这一需求,市场上涌现出HDFS、Ceph、GFS、GPFS、Swift等多种分布式文件系统。为更有效地应用这些系统,我们需深入了解各系统特性及其适用场景。接下来,我们将逐一探讨这些技术。

中间控制节点架构(HDFS)

HDFS,高度容错,适宜廉价机器部署。它提供高吞吐量数据访问,完美支持大规模数据集应用。通过放宽POSIX约束,HDFS实现流式读取文件系统数据,轻松应对大数据挑战。

HDFS,Hadoop的核心存储组件,专为大数据服务设计,广泛应用于海量数据的存储与处理,是大数据架构中的关键支撑。

1、对大文件存储的性能比较高,例如几百兆,几个G的大文件;

2、适合低写入,多次读取的业务;

HDFS通过多副本数据保护,确保数据可靠性,即使使用普通X86服务器也足够安全,但需注意,虚拟化环境并非其理想选择。


图 HDFS简化架构图示意图

完全无中心架构---计算模式(Ceph)

Ceph,作为领先的开源分布式存储系统,广受厂商青睐,众多超融合系统基于其深度定制。Ceph已成为Linux和OpenStack的标配,强力支撑存储需求,广泛应用于各类存储场景,展现其广泛的影响力和可靠性。


Ceph独具特色,能同时提供对象、块设备和文件系统三种存储服务,这一全面支持不同类型存储的特性,在分布式存储系统中实属罕见。

Ceph摒弃HDFS元数据寻址,运用CRUSH算法确保数据均衡分布与高度并行。其块存储特性确保数据强一致性,为用户带来传统集中式存储的卓越体验。

尽管Ceph在文件存储方面性能稍逊于其他分布式系统且部署较复杂,但其在块和对象存储领域仍得到广泛应用。

完全无中心架构---一致性哈希(Swift)

Swift,源自Rackspace,是2010年贡献给OpenStack的高可用分布式对象存储服务,作为其核心子项目之一,为Nova提供虚机镜像存储,彰显开源协作的卓越成果。

Swift基于经济型标准硬件存储,无需RAID,通过软件层面的一致性散列与数据冗余技术,以适度牺牲数据一致性换取高可用性与伸缩性。支持多租户、容器及对象读写,完美应对互联网非结构化数据存储挑战,为应用提供高效、经济的解决方案。

Swift与Ceph的对象存储服务相似,但Swift专注于非结构化数据存储,与Ceph在对象存储服务上各有特色。

客户端访问对象存储系统时,Swift需通过网关获取数据,流程固定。而Ceph则通过各存储节点的OSD直接获取数据,无需统一入口,展现出更高的灵活性和便利性。

Swift以其最终一致性特性,在海量数据处理中展现出高效率,特别适合对数据一致性需求较低、但追求高处理效率的对象存储业务。而Ceph则以其跨集群的强一致性著称。在OpenStack中,对象存储服务更倾向于选择Swift而非Ceph,以满足其特定的应用场景需求。

除了HDFS、CEPH、Swift等,还有GlusterFS、CephFS等众多分布式文件系统,各具特色,应用场景各异。选型时需权衡这些差异,确保与业务需求相匹配。每种系统细节设计均针对特定问题,深入了解其背后逻辑,是选型成功的关键。

 

-对此,您有什么看法见解?-

-欢迎在评论区留言探讨和分享。-

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1902953.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

智能交通(3)——Learning Phase Competition for Traffic Signal Control

论文分享 https://dl.acm.org/doi/pdf/10.1145/3357384.3357900https://dl.acm.org/doi/pdf/10.1145/3357384.3357900 论文代码 https://github.com/gjzheng93/frap-pubhttps://github.com/gjzheng93/frap-pub 摘要 越来越多可用的城市数据和先进的学习技术使人们能够提…

代码随想录 数组部分+代码可在本地编译器运行

代码随想录 数组部分,代码可在本地编译器运行 文章目录 数组理论基础704.二分查找题目:思路二分法第一种写法二分法第二种写法 代码 27.移除元素题目:思路-双指针法代码 977.有序数组的平方题目思路-双指针代码 209.长度最小的子数组题目&am…

《Windows API 每日一练》8.4 edit控件

编辑类是最简单的预定义窗口类,而另一方面却又是最复杂的。当你用“edit”作为类名创建子窗口时,可以基于CreateWindow调用的x坐标、y坐标、宽度和高度参数定义一个矩形。这个矩形包含可编辑的文本。一旦子窗口控件获得输入焦点,你就可以输入…

黑色矩形块检测数据集VOC+YOLO格式2000张1类别

数据集格式:Pascal VOC格式YOLO格式(不包含分割路径的txt文件,仅仅包含jpg图片以及对应的VOC格式xml文件和yolo格式txt文件) 图片数量(jpg文件个数):2000 标注数量(xml文件个数):2000 标注数量(txt文件个数):2000 标注…

使用ifconfig命令获取当前服务器的内网IP地址

如何使用ifconfig命令获取当前服务器的内网IP地址呢? ifconfig eth0 | grep inet | awk {print $2}

Zookeeper分布式锁原理说明【简单易理解】

Zookeeper 非公平锁/公平锁/共享锁 。 1.zookeeper分布式锁加锁原理 如上实现方式在并发问题比较严重的情况下,性能会下降的比较厉害,主要原因是,所有的连接都在对同一个节点进行监听,当服务器检测到删除事件时,要通知…

2007-2022年 国内各上市公司绿色化转型数据.(Excel文件、dta文件、参考文献、计算方法与说明)

上市公司绿色化转型数据为研究者提供了评估企业在生态文明建设、循环经济和绿色管理方面表现的重要视角。以下是对中国各上市公司绿色化转型数据的介绍: 数据简介 定义:上市公司绿色化转型是指企业在发展模式上向可持续发展转变,实现资源节…

如何确保 PostgreSQL 在高并发写操作场景下的数据完整性?

文章目录 一、理解数据完整性二、高并发写操作带来的挑战三、解决方案(一)使用合适的事务隔离级别(二)使用合适的锁机制(三)处理死锁(四)使用索引和约束(五)批…

《linux系统内核设计与实现》-内核空间和用户空间的概念以及内核空间和用户空间的数据拷贝

1 内核空间和用户空间的概念 用户空间:0-3G 内核空间:3-4G PAGE_OFFSET配置用户空间和内核空间的界限 分离的原因: (1)处理器模式不同,权限不同 对于x86体系的cpu,用户空间代码运行在Ring3…

时间、查找、打包、行过滤与指令的运行——linux指令学习(二)

前言:本节内容标题虽然为指令,但是并不只是讲指令, 更多的是和指令相关的一些原理性的东西。 如果友友只想要查一查某个指令的用法, 很抱歉, 本节不是那种带有字典性质的文章。但是如果友友是想要来学习的,…

如何创建和规划 PMO 团队,并发挥其最大实际价值

在当今复杂多变的商业环境中,项目管理办公室(PMO)已成为许多组织中不可或缺的一部分。PMO 团队能够为企业的项目管理提供战略指导、资源协调、流程优化等支持,从而提升项目的成功率和组织的整体绩效。那么,如何创建和规…

【React】React18 Hooks 之 useReducer

目录 useReducer案例1:useReducer不带初始化函数案例2:useReducer带初始化函数注意事项1:dispatch函数不会改变正在运行的代码的状态注意事项2:获取dispatch函数触发后 JavaScript 变量的值注意事项3:触发了reducer&am…

【沐风老师】3DMAX样条线增强工具SplinePro使用方法详解

3DMAX样条线增强工具SplinePro使用教程 3DMAX样条线增强工具SplinePro,允许创建选定的多条样条曲线形状的轮廓并删除交叉点。 【适用版本】 3dMax2019 - 2025 【安装方法】 1.解压缩后,确认SplinePro-0.2.0.mse和logo.png两个文件在同一文件夹中。 2.…

移动校园(4):数据处理(sql server数据库)

昨天写入数据库后的数据 可以看到classname和timeandlocation有多个值,所以需要进行数据处理 let reawait req.app.locals.db.query(select distinct classname from courses)let data[]re.recordset.map((value)>{let namesvalue.classname.split(,)names.map(…

那你真的了解方法调用吗?

方法调用是不是很熟悉?那你真的了解它吗?今天就让我们来盘一下它。 首先大家要明确一个概念,此处的方法调用并不是方法中的代码被执行,而是要确定被调用方法的版本,即最终会调用哪一个方法。 之前我们了解到&#xff…

【Android】自定义换肤框架05之Skinner框架集成

引入依赖 api("io.github.hellogoogle2000:android-skinner:1.0.0")初始化Skinner 在所有功能前调用即可,建议在Application中初始化 SkinnerKit.init(application)安装皮肤包 在应用该皮肤包前安装即可,建议预安装,或应用皮肤…

【反悔堆 反悔贪心】2813. 子序列最大优雅度

本文涉及知识点 反悔堆 反悔贪心 LeetCode 2813. 子序列最大优雅度 给你一个长度为 n 的二维整数数组 items 和一个整数 k 。 items[i] [profiti, categoryi],其中 profiti 和 categoryi 分别表示第 i 个项目的利润和类别。 现定义 items 的 子序列 的 优雅度 可…

如何在 PostgreSQL 中实现数据的增量备份和恢复?

文章目录 一、增量备份的原理二、准备工作(一)环境配置(二)创建测试数据库和表(三)插入初始数据 三、全量备份四、基于时间点的增量备份(一)开启 WAL 归档(二&#xff09…

网页封装APP:让您的网站变身移动应用

网页封装APP:让您的网站变身移动应用 随着移动设备的普及,越来越多的人开始使用移动设备浏览网站。但是,传统的网站设计并不适合移动设备的屏幕尺寸和交互方式,这导致了用户体验不佳和流失。 有没有办法让您的网站变身移动应用&…

TXT文本处理新篇章:告别繁琐,一键批量删除单号间空白行,引领高效管理新潮流!

在繁忙的商务环境中,文本处理往往占据了大量的时间和精力。特别是那些充斥着订单、单号等关键信息的TXT文本文件,一旦处理不当,就可能引发一系列问题。空白行,这个看似微不足道的小细节,却常常成为我们高效处理文本的绊…