环境配置
服务器4900G5五台
配置信息：cpu 8368*2颗 ，内存256GB ,双口万兆网卡两个，四口千兆，RAID卡LSI9361-8i12G SAS RAID ，两块固态盘480SSD ，2*1.92TB NVME盘，5*8T盘。
万兆交换机两台H3C S6520-24S-SI
管理交换机一台S5735S-L24T4X-A1
配置如下表
| 类别 | 型号 | 配置 | 数量 |
|---|---|---|---|
| 服务器 | H3C 4900G5 | H3C R4900G5 8368*2(2.4GHz/38核/57MB/270W)CPU模块(CTO&BTO)6*64GB 2RX4 DDR4-3200 CAS-22-22-22 RDIMM内存模块(CTO&BTO);G5 2U前置12LFF支持4NVMe硬盘背板模块(CTO&BTO);5*8TB 6G SATA 7.2K 3.5in EV 512e HDD UC通用硬盘模块(CTO&BTO);2*1.92TB PCle*Gen4 X4 NVMe U.2 3.5in SSD UCC通用硬盘模块(CTO&BTO);2*240GB 6G SATA 3.5in RI SSD UCC通用硬盘模块(CTO&BTO);G5 2U 3X16 Riser(槽位1/2)(支持2个FHFL和1个FHHL支持2张150WGPU)(CTO&BTO);LSI9361-8i12G SAS RAID卡模块(支持8个SAS Port,带1GB缓存,PCle,不含掉 电保护模块)(CMCTO); 2端口万兆光接口网卡(SFP+)-530F-B2.2*SFP+万兆模块(850nm,300m,LC); 2端口10GE光接口OCP3.0网卡(CTO&BTO):2*800W交流&240V高压直流电源(HW-R1-白金-轻载高效)(CTO&BTO); | 五台 |
| 业务交换机 | H3C S6520-24S-SI | 24个1/10G SFP Plus端口 | 两台 |
| 管理交换机 | S5735S-L24T4X-A1 | (24个10/100/1000BASE-T以太网端口,4个万兆SFP+ | 一台 |
软件规划
底层使用ESXI7U3 ,Vcenter7,组建集群。
软件下载，官方下载或者云盘等，这里附加迅雷磁力链接，仅仅下载esxi和vcenter即可
vsphere7
magnet:?xt=urn:btih:1C9857F41C6671623A8008595EAF6CAE88C73EF0
vsphere8
magnet:?xt=urn:btih:1116E15260275F0F388E4DE881A061A9E23B84CD
下载速度很快
网络规划
万兆交换机两台6520用作堆叠，划分20个端口分别作为业务和存储用，管理交换机分别作为带外管理，管理网络。
| 名称 | 管理网地址 | 带外管理 | 存储网 |
|---|---|---|---|
| VM01 | 192.168.100.101 | 192.168.11.101 | 10.10.10.11 |
| VM02 | 192.168.100.102 | 192.168.11.102 | 10.10.10.12 |
| VM03 | 192.168.100.103 | 192.168.11.103 | 10.10.10.13 |
| VM04 | 192.168.100.104 | 192.168.11.104 | 10.10.10.14 |
带外管理网分别接入物理网口的MGMT，接入千兆交换机1-5端口。
管理网分别接入千兆交换机1的1-5口
业务网分别接入万兆交换机1的1-5口和万兆交换机2的1-5口
存储网分别接入万兆交换机1的6-10口和万兆交换机2的6-10口
1.千兆网口用于接入管理网，可使用单链路
2.带外管理网络，单独划分千兆端口即可
3.业务网，分别为两块万兆网卡端口PORT1作为业务网
4.存储网，分别为两块万兆网卡端口PORT2作为存储网
主机磁盘规划
两块480SSD 做raid1 ，用于安装系统esxi
五块sata 8T 做直通，用于vsan容量层磁盘
两块nvme 1.92T 做缓存盘使用
如下图，系统盘做raid保护，其余保持单盘直通
交换机配置
两台万兆需要做堆叠，链路聚合，这里命名为业务交换机1，业务交换机2
业务交换机1划分1-5口用于业务划分vlan1001，6-10用于存储划分vlan1002
业务交换机2划分1-5口用于业务划分vlan1001，6-10用于存储划分vlan1002
业务交换机1和业务交换机2端口1-5,6-10做链路聚合
系统安装（esxi,vcenter部署）
esxi安装
笔记本接入管理交换机，挂载esxi镜像安装。
安装完毕，配置ip地址，配置接入的物理网卡信息，这里我接入的千兆的网口
五台分别修改如上图配置
安装vcenter
笔记本接入挂载ova或者采用exe运行方式安装，详细参见博客：
浪潮服务器部署ESXI7,部署VCSA7_浪潮 esxi-CSDN博客
导入授权
esxi，vcenter，vsan等步骤参见百度搜索
vmkernel适配器配置
vmkernel适配器也可在分布式交换机上创建，也可一次在esxi主机上创建，这里规划了两个vmk1和vmk2，分别用于存储网和业务网，分别对应物理网卡vmnic0，vmnic1，vmknic2,vmnic3,其中vmnic0和vmnic2作为业务用，vmnic1, vmnic3作为存储网络使用，管理网则为默认的vmk0，对应的物理网卡为千兆的vmnic4。
管理网
Vmk0为千兆管理网络，
存储网
vmk1用于vsan网络
业务网
开启vmtion，vmk2配置如下，vmk2于业务和vmtion网络
Vsan网络配置及搭建
Vsan网络用于组建分布式存储，测试网络和生产网络不通，生产网络需要做聚合做双链路聚合，做lacp，交换机做聚合，但链路断开存储网络不受影响
创建分布式交换机
默认创建即可
配置lacp聚合组
先创建lag聚合组，然后再次添加主机
配置端口组聚合属性
配置负载均衡选择基于hash路由，故障切换顺序lag组保持围活动上行，上行链路军保持未使用即可。
添加主机和管理网络
添加vmkernel适配器选择之前创建的vmk1作为存储网，vmnic1和vmnic3为存储网
查看vsan虚拟交换机的拓扑
五台机器存储地址分别为
10.10.10.11,
10.10.10.12,
10.10.10.13,
10.10.10.14,
10.10.10.15
聚合组里面网卡分别为vmnic1和vmnic3。
测试存储网络联通
五台主机执行测试互ping存储ip，测试连通性，Vcenter开启ssh登录，登录主机esxi一节点测试存储网络联通
命令行查看esxi 网络信息
Vmk0：用于管理网络，底层物理网卡为vmnic4
Vmk1：用于存储网，底层物理网卡为vmnic1vmnic3
Vmk2：业务网，层物理网卡为vmnic0,vmnic2，
Vmk3：业务网，层物理网卡为vmnic0,vmnic2
主机1
主机2
主机三
主机四
主机五
组建vsan集群
确认主机为维护模式，vcenter安装运行的主机可不至于维护模式，
确认缓存和数据盘配比
等待进度走完，查看vsan存储容量
使用模板部署虚拟机查看容量
业务网络配置
Vcenter 分布式交换机创建
默认创建即可
创建lacp聚合组
同存储网步骤一致
管理主机网络
vmnic0和vmnic2为主机业务网络
业务端口组配置
业务网分布式交换机拓扑
新建业务端口组
用于虚拟机连接业务使用，端口组设置vlan，交换机上联需要vlan放行
步骤如下
新建业务端口组
端口组，用于虚拟机连接业务使用，端口组设置vlan，交换机上联需要van
步骤如下
选中端口组，添加适配器
虚拟机配置接入
登录虚拟机，测试网络连通性
虚拟机连通性测试
步骤为，新建虚拟机，接入新建的端口组，配置对应的IP地址，测试联通，
编辑设置，里面勾选iso文件，选择已连接，开始安装
Vmtion配置
vmtion用于业务虚拟机在线迁移，可单独创建vmtion的专用的网络，这里采用了与业务共享物理网卡用于虚拟机迁移流量，业务网卡适配器勾选vmtion，用于虚拟机的在线迁移，这里配置为跟业务网卡共用，选中vmkernel适配器勾选vmtion即可如下图，如下图：
迁移测试
迁移完成
集群evc功能
适用与虚拟化节点为不同型号的cpu，开启此功能，可用于虚拟机在线迁移，否则则无法在线迁移虚拟机。
可靠性测试
此处测试没有截图，仅仅几楼测试步骤，详细测试参见某官方验收文档中一般包含，详细测试模版
参见华为验收测试报告模版
vsan线路冗余测试
分别断开存储网和业务网单链路所有网口
查看分布式交换机聚合组，网卡状态如下图
Vsan分布式交换机链路状态
业务分布式交换机链路如下图
测试虚拟机网络连通性，可执行ping命令测试不断开，则为链路冗余正常
vsan压力测试
使用cpu测试工具，将cpu资源占用压力到90%测试主机
新建多个虚拟机，虚拟机拷贝进入CPUSTRES工具
（测试目的，cpu高负荷状态下确保硬件不会崩溃）
Vsan分布式存储性能测试
使用某个工具进行测试
Hcibench Vsan压力测试工具
Release HCIBench 2.8.3 · vmware-labs/hci-benchmark-appliance · GitHub
https://objects.githubusercontent.com/github-production-release-asset-2e65be/698331684/fd6c1013-ef15-457e-9c1d-71c639eadbfd?X-Amz-Algorithm=AWS4-HMAC-SHA256&X-Amz-Credential=releaseassetproduction%2F20241216%2Fus-east-1%2Fs3%2Faws4_request&X-Amz-Date=20241216T135715Z&X-Amz-Expires=300&X-Amz-Signature=0135a3a4170914cd96b741ee9ba15aa254e1b444e6315f3bf5e1368298aade1d&X-Amz-SignedHeaders=host&response-content-disposition=attachment%3B%20filename%3DHCIBench_2.8.3.ova&response-content-type=application%2Foctet-stream
测试截图如下，存储读写性能列表如下图
掉电主机测试
打开集群HA功能
拔掉主机电源线，任意一节点，登录vmcenter查看虚拟机漂移进度，使用ping命令测试虚拟机网络连通性
虚拟机正常漂移，虚拟机网络恢复如下图
