大数据存储方式有哪些?

news2024/11/28 14:34:55

写在前面

本文隶属于专栏《大数据从 0 到 1》,该专栏为笔者原创,引用请注明来源,不足和错误之处请在评论区帮忙指出,谢谢!

本专栏目录结构和文献引用请见《大数据从 0 到 1》


正文

数据常用的存储介质为磁盘和磁带。

数据存储组织方式因存储介质不同而异。

在磁带上数据仅按顺序文件方式存取,在磁盘上则可按使用要求采用直接存取方式。

数据存储方式与数据文件组织密切相关,其关键在于建立记录的逻辑与物理顺序间对应关系,确定存储地址,以提高数据存取速度。

1. 直接连接存储

DAS (Direct Attached Storage,直接连接存储)是指将外置存储设备通过连接电缆,直接连接到一台主机上,再直接连接到存储系统中,使得数据存储是整个主机结构的一部分,在这种情況下,文件和数据的管理依赖于本机操作系统。

操作系统对磁盘数据的读写与维护管理, 需要占用主机资源,如 CPU、系统IO 等。

直接连接存储的 优点是中间环节少,磁盘读写带宽的利用率高,成本也比较低;缺点是其扩展能力有限,数据存储占用主机资源,使得主机的性能受到相当大的影响,同时主机系统的软硬件故障将直接影响对存储数据的访问。

直接连接存储方式适用于小型网络及一些硬盘播出系统。

2.网络连接存储

NAS (Network Attached Storage,网络连接存储)全面改进了低效的 DAS 存储。

它采用独立于服务器,单独为网络数据存储而开发的一种文件服务器来连接所存储设备,自形成一个网络。

这样数据存储不再是服务器的附属,而是作为独立网络结点存在于网络之中,可由所有的网络用户共享。

由于NAS 可无须网络文件服务器,不依赖通用的操作系统,而是采用一个专门用于数据存储的简化操作系统,内置了网络通信协议,其内嵌的操作系统及硬件体系结构专门针对文件管理和存储管理进行设计和优化,去掉了通用服务器的大多数计算及多媒体功能,能提供高效率的文档服务,不仅响应速度快,而且数据传输速率高。

3.存储域网络存储

SAN (Storage Area Network,存储域网络)是指通过支持 SAN 协议的光纤信道交换机,将主机和存储系统联系起来,组成一个 LUN Based 的网络。

与传统技术相比,SAN 技术的最大特点是将存储设备从传统的以太网中隔离出来,成为独立的存储局域网络。

SAN 使得存储与服务器分开成为现实。SAN技术的另一大特点是完全采用光纤连接,从而保证了大的数据传输带宽。

SAN 具有以下优点:专为传输而设计的光纤信道协议,使其传输速率和传输效率都非常高,特别适合于大数据量高带宽的传输要求。SAN 采用了网络结构,所以具有无限的扩展能力。

SAN 的欲点是成本高,管理难度大。


DAS、 NAS 和 SAN 三种存储比较

DAS、NAS 和 SAN 三种存储共存与互补,已经能够很好地满足数据存储的应用。

  1. 连接方式。从连接方式上比较,DAS 采用了存储设备直接连接应用服务器,具有一定的灵活性和限制性;NAS 通过网络(TCP/IP、ATM、FDDI) 技术连接存储设备和应用服务器, 存储设备位置灵活,随着万兆网的出现,传输速率有了很大的提高;SAN 则是通过光纤通道技术连接存储设备和应用服务器,具有很好的传输速率和扩-展性能。三种存储方式各有优势, 相互共存,占到了现在磁盘存储市场的70%以上。
  2. 产品的价格。SAN 和 NAS 产品的价格仍然远远高于DAS,许多用户出于价格因素考虑选择了低效率的直连存储而不是高效率的共享存储。
  3. 自动精简配置。SAN 和NAS 系统可以利用自动精简配置技术来弥补早期存储分配不灵活问题。与直连存储架构相比,共享式的存储架构(如 SAN 或者 NAS) 都可以较好地完成存储问题。于是淘汰直接连接存储的进程越来越快。但是,目前直接连接存储仍然是服务器与存储连接的一种常用方式。

总结

数据常用的存储介质为磁盘和磁带,数据存储组织方式因存储介质不同而异。

直接连接存储(DAS)适用于小型网络及一些硬盘播出系统,网络连接存储(NAS)采用独立于服务器的一种文件服务器来连接所存储设备,存储域网络(SAN)通过支持SAN协议的光纤信道交换机,将主机和存储系统联系起来,组成一个LUN Based的网络。

DAS、NAS和SAN三种存储方式各有优劣,相互共存,占到了现在磁盘存储市场的70%以上。

SAN和NAS系统可以利用自动精简配置技术来弥补早期存储分配不灵活问题。

SAN和NAS产品的价格仍然远远高于DAS,许多用户出于价格因素考虑选择了低效率的直连存储而不是高效率的共享存储。


思维导图

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/597434.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Seaborn.load_dataset()加载数据集失败最佳解决方法

load_dataset() 是 Seaborn 库中提供的一个函数,用于加载一些原始数据集。这些数据集包含了许多经典的数据集,比如鸢尾花数据集、小费数据集等,这些数据集在数据可视化和机器学习中非常常见。 使用 load_dataset() 函数可以方便地获取这些数…

HBase:(二)基本操作

1.数据模型 术语解释Name Space命名空间,类似于关系型数据库的 database 概念,每个命名空间下有多个表。HBase 两个自带的命名空间,分别是 hbase 和 default,hbase 中存放的是 HBase 内置的表,default表是用户默认使用…

数据治理8大核心模块建设

数据治理是一个去中心化、多元参与的系统工程。一个全面且明确的数据治理体系,可以帮助组织构建生态式、协同化治理路径,最大化地提升整体数据质量,实现数据战略,激活新型生产力。 本文以元数据、主数据、数据标准、数据质量、数…

2023年「身份安全」行业白皮书、研究报告、案例合集速览!

随着企业将其业务向数字化、云和移动化转变,身份的数量、类型都呈爆炸式增长。这也带来了全新维度的威胁格局,如果保护不当,可能会为攻击者提供更多可利用的攻击路径。 虽然许多工具和技术旨在保障身份安全,但身份威胁检测和响应…

chatgpt赋能python:Python主窗口名字怎么修改?

Python主窗口名字怎么修改? Python是一种解释型的编程语言,广泛应用于Web开发、数据科学、人工智能等领域。在Python编写的GUI程序中,窗口名字是非常重要的一个元素,因为它可以直观地让用户知道当前的应用程序是什么。在这篇文章…

IP地址规划方法

一、IP地址规划的基本步骤: (1)判断用户对网络以及主机数的需求; (2)计算满足用户需要的基本网络地址结构; (3)计算地址掩码; (4)…

工程swift与OC混编改造

最近公司项目准备引入swift,由于目前工程已经完成了组件化不再是简单的单仓工程,所以需要进行混编改造。下面记录一下自己对工程进行混编改造的思考以及过程。 混编原理 看了很多文档,比较少有讲混编原理的,这里简单介绍一下语言…

第十九章_手写Redis分布式锁

锁的种类 单机版同一个JVM虚拟机内synchronized或者Lock接口。 分布式多个不同JVM虚拟机,单机的线程锁机制不再起作用,资源类在不同的服务器之间共享了。 一个靠谱分布式锁需要具备的条件和刚需 独占性 :OnlyOne,任何时刻只能有且…

linux-静态库制作与使用

创建2个目录进行创建与使用的演示 创建静态库 准备源文件与头文件 查看所有源文件与头文件 将源文件编译.o文件,然后将.o文件打包为静态库 gcc -c mymath.c -o mymath.o -stdc99 gcc -c myprint.c -o myprint.o -stdc99 ar指令:打包多个.o文件为静态…

Fast-RCNN理论基础

一:总体流程 1、将图像输入网络得到相应的特征图。 2、使用RPN结构生成候选框,将RPN生成的候选框投影到特征图上获得相应的特征矩阵。 3、将每个特征矩阵通过ROI pooling层缩放到7x7大小的特征图,接着将特征图展平通过一系列全连接层得到预…

测试老鸟整理,从手工进阶自动化测试,自动化之路清晰通透...

目录:导读 前言一、Python编程入门到精通二、接口自动化项目实战三、Web自动化项目实战四、App自动化项目实战五、一线大厂简历六、测试开发DevOps体系七、常用自动化测试工具八、JMeter性能测试九、总结(尾部小惊喜) 前言 Python自动化测试&…

主啊,我甚至不知道从何说起...

主啊,我甚至不知道从何说起...欢迎来到费米悖论。 外面有太多令人恐惧的事物。 我不会一一说过。然而,我读到的一件事情让我感到恐惧,我希望它也让你感到恐惧。 那么,就是这样... 这一切与一个问题有关:如果他们确实存在,为什么还没有来访?可怕的就是这些可能性。 根据《弄清外…

PCB布局思路分析 让你的布局从此简单!

分析好整个电路原理以后,就可以开始对整个电路进行布局布线,这一期,给大家介绍一下布局的思路和原则。1、首先,我们会对结构有要求的器件进行摆放,摆放的时候根据导入的结构,连接器得注意1脚的摆放位置。 ​…

财务共享中心搭建以后,如何进行精细化管理?

财务共享中心通过统一的财务流程、系统和人员配置实现了财务业务的标准化和规范化,为企业的财务管理提供了很大的便捷性和效率性,目前许多大型企业已纷纷开始搭建自己的财务共享中心。 但企业在搭建财务共享中心之后,往往会在运行初期遇上业…

Qt 帮助框架使用

前面我们已经简单了解了Qt帮助框架,本节我们将举例说明生成Qt帮助集,并自定义Qt Assistant。 准备工作 因为创建帮助系统建立帮助文件的前提是HTML文档文件已经存在,所以我们来弄一些简单的HTML文档(难的我还不会)。…

使用exe4j和Inno Setup把jar包转成exe

使用exe4j和Inno Setup把jar包转成exe exe4j下载地址:https://www.ej-technologies.com/download/exe4j/version_60 Inno Setup地址: 链接:https://pan.baidu.com/s/1Lh0JUuQgB6bkbACIx6MqdQ 提取码:dfox 一、exe4j将jar装车exe…

【OpenMMLab AI实战营第二期】二十分钟入门OpenMMLab笔记

OpenMMlab 主页:openmmlab.com 开源地址:https://github.com/open-mmlab 学习视频地址:https://www.bilibili.com/video/BV1js4y1i72P/ 概述 开源成为人工智能行业发展引擎 时间轴 theano:2007 Caffe:2013 Ten…

如何学习 WPF 详细教程

✅作者简介:2022年博客新星 第八。热爱国学的Java后端开发者,修心和技术同步精进。 🍎个人主页:Java Fans的博客 🍊个人信条:不迁怒,不贰过。小知识,大智慧。 💞当前专栏…

SPI通信以及与W2Q564(ROM)交换(读写)数据

一.SPI协议简介 SPI 协议是由摩托罗拉公司提出的通讯协议(Serial Peripheral Interface),即串行外围设备接口,允许芯片与外部设备以全双工、同步、串行方式通信。此接口可以被配置成主模式,并为外部从设备提供通信时钟(SCK)。接口还能以多主配…

uniapp(一) 之 小程序与uniapp 基础

uni-app 是一个使用 Vue.js 开发所有前端应用的框架,开发者编写一套代码,可发布到 i OS 、 Android 、 Web ( 响应式)、 以及各种小程序(微信 / 支付宝 / 百度 / 头条 / 飞书 /QQ/ 快手 / 钉 钉 / 淘宝)、 …