对象存储及其相关概念介绍

news2024/10/2 18:19:22

对象存储是一种用来描述解决和处理离散单元（这些离散单元被称作为对象）的方法的通用术语。以下是关于对象存储的详细解析：

一、基本概念

定义：对象存储，也叫做基于对象的存储，是一种将数据以对象的形式进行存储的技术。在对象存储中，每个对象都包含数据及其元数据，并具有唯一的标识符（如UUID），用于检索对象而无需知道数据的物理位置。
特点：对象存储提供了非结构化的数据存储方式，适用于存储如文档、文本、图片、音视频等非结构化数据。它还具有高度可靠性、高扩展性和高性能等优点。

二、基本原理

数据组织：在对象存储中，数据被分成一系列的块，每个块被包装成一个对象。每个对象都在一个被称作存储池的扁平地址空间的同一级别里，不再有层级结构。
元数据：除了数据块之外，对象存储还会将元数据（如对象的名称、大小、创建时间和修改时间等）存储在对象存储系统中。这些元数据在查询对象时可以大大加快访问速度。
唯一标识符：每个对象都被分配一个唯一的标识符（如UUID），允许服务器或最终用户通过该标识符来检索对象，而不必知道数据的物理地址。

三、技术优势

可扩展性：对象存储系统可以在任意时刻增加或减少存储节点，而不需要对整个存储系统进行重新配置。这使得对象存储能够轻松应对大规模数据存储的需求。
可靠性：对象存储使用冗余备份技术来保障数据的完整性和可靠性。每个数据块都会进行备份，如果有一个存储节点出现了问题，备份节点可以迅速取代它。
高性能：对象存储支持大型数据文件的存储和快速访问，适用于需要处理大量非结构化数据的应用场景。

四、应用场景

大数据分析：对象存储适用于存储和分析大规模数据集，支持大数据分析和机器学习等
云存储：云存储服务通常基于对象存储技术，允许用户通过Internet访问存储在云端的数据。
静态网站托管：对象存储可以用于托管静态网站，将网站的静态文件（如HTML、CSS、JavaScript、图像和视频等）存储在对象存储中，并通过CDN加速服务提供给用户。
多媒体存储和处理：对象存储适用于存储和处理大型多媒体文件，如音频和视频，确保多媒体文件的安全存储和快速访问。
数据备份和灾难恢复：对象存储提供了可靠的数据备份和灾难恢复解决方案，通过将数据复制到不同的存储区域或跨多个数据中心进行冗余存储，保护数据免受硬件故障、自然灾害或人为错误的影响。

五、常见对象存储服务

市场上存在多种对象存储服务，包括开源和非开源的服务。一些知名的对象存储服务包括：

Ceph：一个高性能、可扩展的分布式存储系统。
GlusterFS：一个开源的分布式文件系统，支持对象存储。
Swift：OpenStack的一个组件，提供可扩展的对象存储服务。
阿里云OSS：阿里云提供的对象存储服务，具有高效可扩展性、安全可靠性和极低限制的特点。
腾讯云COS：腾讯云提供的对象存储服务，支持国内外多个国家和地区，具有良好的性能和强大的容灾能力。

综上所述，对象存储是一种高效、可靠、可扩展的数据存储方式，广泛应用于云计算、大数据分析、互联网、金融和医疗行业等领域。

六、杉岩对象存储桶

杉岩对象存储桶是杉岩数据提供的一种面向企业级海量非结构化数据的分布式对象存储解决方案。以下是对杉岩生产对象存储桶的详细介绍：

1、基本概念

对象存储：对象存储是一种用于存储非结构化数据的存储架构，如图片、视频、音频文件、文档等。它将数据以对象的形式存储，每个对象包含数据本身、元数据以及唯一标识符。
存储桶（Bucket）：在对象存储系统中，存储桶是存储对象的容器，类似于文件系统中的文件夹或目录。用户可以在存储桶中创建、删除、修改对象，并对存储桶进行权限管理。

2、杉岩海量对象存储分布式QoS工作特性

分布式QoS特性是在分布式存储系统中，进行用户/桶级别的上限流控，允许给QoS调控对象（用户、桶）设置性能上限，包括TPS、带宽上限，从而确保QoS调控对象的性能不超过限值，保障关键业务的性能。

基于令牌桶的QoS控制IO流程

当数据流到达设备时，首先会根据数据的大小从令牌桶中取出与数据大小相当的令牌数量用来传输数据。如果令牌数量不够，则数据会被丢弃或缓存，这使得报文的流量只能小于等于令牌生成的速度，以达到限制流量的目的。

分布式令牌分配流程

如图所示，在多个对象网关（RGW）中，会有某个对象网关（RGW2）被选为主令牌桶角色，负责持续动态分配令牌到其他RGW，实现分布式协同控制。

子令牌桶所在对象网关会根据当前实际令牌消耗情况，动态向主令牌桶所在对象网关请求更新令牌数量，如果剩余令牌数量为0，则会阻塞相关IO请求，等待分配新的令牌。

主令牌桶所在对象网关除了同样按照分配的令牌数量响应S3请求，还负责动态感知全局令牌分配情况，负责全局协调，将可用令牌发放给需要的子令牌网关。

3、杉岩对象存储桶的特点

高性能：
- 杉岩生产对象存储桶采用分布式架构，具备高并发、低延迟的特点，能够满足企业对海量数据快速存取的需求。
- 支持全局分布式QoS（Quality of Service）特性，可以有效限制非核心业务流量，保障核心业务服务质量。
高可扩展性：
- 杉岩生产对象存储桶支持动态扩展，随着数据量的增长，可以无缝添加新的存储节点，以满足企业的扩展需求。
- 节点之间通过高速网络互联，实现数据的快速复制和均衡分布。
高可靠性：
- 采用多副本机制，确保数据在多个节点上冗余存储，提高数据的可靠性和可用性。
- 支持跨地域实时同步，实现异地容灾，保障数据在灾难情况下的安全。
丰富的数据管理能力：
- 支持数据的生命周期管理，用户可以根据业务需求设置数据的存储、迁移、归档、删除等策略。
- 支持基于对象标签的过滤和共享，实现数据的精细化管理和共享控制。
易用性：
- 提供直观的管理控制台，用户可以方便地查看存储桶的状态、监控性能、管理权限等。
- 支持多种接口协议，如S3、FTP等，方便与各种业务应用集成。
安全性：
- 提供全面的安全策略，包括访问控制、数据加密、安全审计等，确保数据的安全性和隐私性。
- 支持对接Elastic Search等第三方工具时使用账号密码认证，提高系统安全性。