功能架构
华为OceanStor Pacific系列提供基于三层的分布式存储架构,融合分布式文件、对象、大数据和块多个服务形态,支持文件、对象、大数据服务部署在一个集群,并统一管理。
华为OceanStor Pacific系列整体功能架构由存储接口层、存储服务层、存储引擎层和存储管理组成,如图4-1所示。
- 存储接口层:提供应用访问存储系统的标准访问接口,支持NFS/CIFS、POSIX(Portable Operating System Interface)/MPI(Message Passing Interface)、S3、HDFS,以及SCSI/iSCSI接口协议。其中NFS、CIFS、POSIX、MPI、S3和HDFS协议可互通访问。
- 存储服务层:提供基于文件、对象、大数据和块的存储服务,以及HyperReplication、HyperMetro、HyperSnap、SmartQuota、SmartQoS、SmartTier、SmartEqualizer、SmartCache、SmartIndexing等高级特性。
- 存储引擎层:提供持久化存储能力,采用Plog接口(一种Append Only的ROW写机制),提供Erasure Coding、数据均衡与重构等能力,并对盘进行管理和数据读写。
- 存储管理:负责系统的操作、管理和维护,提供安装部署、业务配置、用户管理、设备管理、监控、告警、升级、扩容等功能。
主要功能说明如表4-1所示。
类型 | 说明 | |
---|---|---|
存储接口层 | NFS/CIFS | 文件标准协议场景的共享协议,支持NFS/CIFS共享协议,提供文件系统共享功能。在网络环境中提供各种类型操作系统下的文件共享。 |
POSIX/MPI | 在文件DPC(Distributed Parallel Client)场景,通过兼容标准MPI语义和POSIX语义,提供并行接口技术和智能数据缓存算法,使上层应用更智能的访问存储空间。 | |
S3 | 负责处理Amazon S3协议消息,处理对象存储服务业务逻辑等。 | |
HDFS | 对外提供HDFS标准接口。 | |
SCSI/iSCSI | 通过SCSI标准驱动在本地映射卷,或与多路径软件配合通过iSCSI协议接口在应用服务器映射卷,向操作系统、数据库提供卷设备。 | |
存储服务层 | 数据保护服务 | 实现HyperSnap、HyperReplication、HyperMetro等数据保护功能,保障数据安全性和业务连续性。 |
资源优化服务 | 实现SmartQoS、SmartEqualizer、SmartCache、SmartQuota、SmartTier、SmartIndexing等空间/性能优化功能,保证关键业务响应效率,优化空间占用。 | |
文件服务 | 提供基于标准协议(NFS/CIFS协议)或DPC场景的文件共享访问服务。 | |
对象服务 | 提供基于桶的存储空间创建和管理服务。 | |
大数据服务 | 提供基于Hadoop分布式文件系统的存储空间创建和管理服务。 | |
DROS | DROS(Distributed Related Object Service,分布式关系型对象服务层)平台,负责将多种存储系统(文件/对象/大数据)的模型、语义进行抽象,对内提供元数据和数据管理能力,以及数据的高级特性,对外提供统一的语义抽象层,不同的上层协议可统一按照DROS平台的语义定义,调用API。 | |
块服务 | 提供基于卷的存储空间创建和管理服务。 | |
存储引擎层 | 数据冗余管理 | 负责Erasure Coding的计算,保证数据的高可靠性。 |
分布式数据路由 | 负责将数据和元数据按规则均匀分布在各存储节点。 | |
集群状态控制 | 实现对分布式集群的状态控制。 | |
强一致性复制协议 | 块服务中,负责双活Pair间数据的一致性。 | |
数据重构均衡 | 负责数据的重建、均衡等。 | |
存储管理 | 负责系统的操作、管理和维护,提供系统安装、部署、业务配置、设备管理、监控、告警、升级、扩容等功能。 |