华为分布式存储（FusionStorage）

news2025/4/10 9:09:37

Server SAN

SAN：存储区域网络
- IP SAN：以太网交换机和普通网线连接的存储，交换机之间做堆叠
- FC SAN：FC（光纤）交换机和光纤连接的存储，交换机之间做级联
- Server SAN：可以使用以太网交换机（IP）或IB
Server SAN，服务器存储的总称
- OceanStor 9000：节点间使用分布式RAID，以RAID方式做数据保护
- FusionStorage：节点间使用Hash算法，以副本方式做数据保护
特征
- 专有设备变成通用设备。做成了存储，服务器或虚拟机都可以使用该存储
- 计算与存储线性扩展。存储不足，只需要加服务器，再加硬盘即可，添加服务器后，CPU、内存、存储等都在增加
- 简单管理、低TCO。不需要再另外购买新的设备，方便管理

IP SAN

Scale-Out（横向扩展）
- 最多32控，8个节点

FS的横向扩展
- 最少3个节点，最多4096个节点
传统SAN架构
- 存在机头瓶颈，支持的控制器32，并且无法线性扩展
- Cache通常是GB，网络瓶颈10GB
软件和硬件的耦合（绑定关系）很强，只能使用相同厂商的存储、存储软件

FusionStorage

分布式块存储软件
直接将服务器本地的存储介质通过分布式存储技术组织成大规模大的存储资源池
对上层应用和虚拟机提供SCSI（开源）和iSCSI（闭源）接口
FS架构
- 分布式控制器，可线性扩展到4096节点
- 分布式Cache，扩展至TB级别，P2P无阻塞告诉IB网络
FS的软硬件解绑，可以使用戴尔、华为、IBM等各厂商的存储服务器，然后使用华为的FS安装在这些服务器上，从而实现分布式存储

FS技术规格参数

FusionStorage架构

FC=VRM+CNA（VNA）
- VRM为FC提供登录界面
- VNA组件负责CNA主机与FC的通信，保证CNA主机可以被FC管理
FS=FSM+Linux（FSA）
- FSM是FusionStorage的管理模块，为FS提供登录界面，FSM一般主备节点部署
- FSA是代理进程，部署在各个节点上，负责各节点与FSM的通信
- FSA必须安装在Linux的操作系统上

FSA的组件
- ZK：部署在控制节点上，为MDC集群提供选主仲裁，至少部署3个
  - 部署奇数个，为了防止偶数个发生分裂时，两个集群都关闭服务
  - 当发生脑裂时，集群中可用节点数量大于总节点数一半的集群继续提供业务，另一个集群关闭服务
  - ZK集群根据MDC的注册时间选出主从，最先注册的就是主MDC。ZK集群中正常的节点数不能少于总节点数的半数以上
- MDC：部署在控制节点上，元数据控制，实现对分布式集群的状态控制及数据分布式规则、重建规则等
  - 不是描述数据的数据（元数据），是FS里面的视图信息，即映射表
  - MDC管理三张映射表，ZK盘的空间存放三张映射表，即MDC的管理数据
  - 主备MDC之间会互相监控，当主MDC故障后，其他备MDC会立马向ZK集群进行注册，最先注册的成为主MDC
  - 当备MDC故障后，主MDC会把该备MDC下管理的资源池分配给其它MDC管理，一个MDC上最多管理两个资源池
- VBS：部署在计算节点上，虚拟块存储管理组件，负责元数据的管理，提供分布式集群接入点服务，使得计算资源可以通过VBS访问分布式存储资源
  - 元数据是描述数据的数据，即文件名、文件创建日期、文件大小、文件权限等。元数据中有指针，可以快速找到数据
  - VBS即为一个接口，连接计算资源和存储资源
  - 如上图，Server5没有为FS提供存储盘，但是存在VBS接口，所以可以使用其他Server的存储盘，Server6没有VBS 接口，则不能使用FS的存储盘
- OSD：部署在存储节点上，对象设备存储服务，执行具体的I/O操作
  - 向FS的存储池中写入数据时，需要通过OSD进程写，OSD决定副本的个数
  - 每个硬盘默认部署一个OSD软件，如果是SSD硬盘，读写速度快，则需要部署多个OSD，以提升性能