据库管理-第196期 实战RDMA(20240528)

news2024/11/25 14:33:37

数据库管理196期 2024-05-28

  • 数据库管理-第196期 实战RDMA(20240528)
    • 1 环境
    • 2 操作系统配置
    • 3 配置NVMe over RDMA
    • 4 挂载磁盘
      • 处理并挂载磁盘:
    • 5 RDMA性能测试
    • 6 iSCSI部署
    • 7 iSCSI性能测试
    • 8 性能对比
    • 总结

数据库管理-第196期 实战RDMA(20240528)

作者:胖头鱼的鱼缸(尹海文)
Oracle ACE Associate: Database(Oracle与MySQL)
PostgreSQL ACE Partner
青学会(青年数据库学习互助会)外部顾问
10年数据库行业经验,现主要从事数据库服务工作
拥有OCM 11g/12c/19c、MySQL 8.0 OCP、Exadata、CDP等认证
墨天轮MVP、认证技术专家、年度墨力之星,ITPUB认证专家、专家百人团成员,OCM讲师,PolarDB开源社区技术顾问,OceanBase观察团成员
圈内拥有“总监”、“保安”、“国产数据库最大敌人”等称号,非著名社恐(社交恐怖分子)
公众号:胖头鱼的鱼缸;CSDN:胖头鱼的鱼缸(尹海文);墨天轮:胖头鱼的鱼缸;ITPUB:yhw1809。
除授权转载并标明出处外,均为“非法”抄袭

本期使用最新的Oracle Linux 8.9来做测试,这里也使用VMware Workstation Pro 17.5.0来做测试,基于Soft-RoCE进行演示。

1 环境

具体虚拟机配置如下:

主机名IP地址内存本机磁盘存储磁盘操作系统版本
ol8-app10.10.10.512G20G-Oracle Linux 8.9
ol8-storage10.10.10.528G20G10GOracle Linux 8.9

2 操作系统配置

#关闭防火墙
systemctl stop firewalld.service 
systemctl disable firewalld.service

#关闭SELinux
sed -i 's/^SELINUX=enforcing$/SELINUX=disabled/' /etc/selinux/config
setenforce 0

#配置hosts
cat >> /etc/hosts <<EOF
10.10.10.51 ol8-app
10.10.10.52 ol8-storage
EOF

#安装NVMe工具
dnf -y install nvme-cli

#检查内核RDMA支持
cat /boot/config-$(uname -r) | grep RXE

y或m代表支持
image.png
image.png

#安装RDMA软件
dnf -y install rdma-core libibverbs-utils libibverbs librdmacm libibumad 

#配置网卡RDMA
rdma link add rxe_0 type rxe netdev ens160
##其中rex_0为配置RDMA设备名,ens160则是物理网卡名称

#检查网卡RDMA配置
rdma link

image.png
image.png

3 配置NVMe over RDMA

在主机ol8-storage操作:

#配置RDMA网卡
rdma link add rxe_0 type rxe netdev ens160

#加载RXE与NVMe模块
modprobe rdma_rxe
modprobe nvmet
modprobe nvmet-rdma
modprobe nvme-rdma

#创建NVMe子系统
mkdir /sys/kernel/config/nvmet/subsystems/nvme-subsys01
cd /sys/kernel/config/nvmet/subsystems/nvme-subsys01

#允许所有主机访问
echo 1 > attr_allow_any_host

#创建namespace
mkdir namespaces/10
cd namespaces/10

#指定对应磁盘并启用
echo -n /dev/nvme0n2> device_path
echo 1 > enable

#创建端口
mkdir /sys/kernel/config/nvmet/ports/1
cd /sys/kernel/config/nvmet/ports/1
echo "10.10.10.52" > addr_traddr

#配置模式、端口及IPv4
echo rdma > addr_trtype
echo 4420 > addr_trsvcid
echo ipv4 > addr_adrfam

#创建软连接映射端口与磁盘
ln -s /sys/kernel/config/nvmet/subsystems/nvme-subsys01 /sys/kernel/config/nvmet/ports/1/subsystems/nvme-subsys01

#检查端口
dmesg -T| grep "enabling port"

image.png

4 挂载磁盘

在主机ol8-app操作:

#配置RDMA网卡
rdma link add rxe_0 type rxe netdev ens160

#加载NVMe模块
modprobe nvmet
modprobe nvmet-rdma
modprobe nvme-rdma

#搜索磁盘
nvme discover -t rdma -q nvme-subsys01 -a 10.10.10.52 -s 4420

image.png

#连接磁盘
nvme connect -t rdma -q nvme-subsys01 -n nvme-subsys01 -a 10.10.10.52 -s 4420

image.png

#如需取消挂载:
nvme disconnect -n nvme-subsys01

#如有多块磁盘则重复第三节中的部分操作

处理并挂载磁盘:

pvcreate /dev/nvme1n1
vgcreate rdmavg01 /dev/nvme1n1
lvcreate -l 100%VG -n rdmalv01 rdmavg01
mkfs.xfs /dev/mapper/rdmavg01-rdmalv01
mount /dev/mapper/rdmavg01-rdmalv01 /mnt

image.png

5 RDMA性能测试

这里在源端和目标端使用fio分别进行针对数据库8K块的测试,先通过fio写满磁盘1次,再进行测试:

#顺序写
fio --iodepth=128 --numjobs=4 --size=512MB --norandommap --readwrite=write --bs=8k  --filename=/mnt/write.txt --runtime=120 --time_based --ioengine=libaio --direct=1 --group_reporting --name=write

#顺序读
fio --iodepth=128 --numjobs=4 --size=512MB --norandommap --readwrite=read --bs=8k --filename=/mnt/read.txt --runtime=120 --time_based --ioengine=libaio --direct=1 --group_reporting --name=read

#随机写
fio --iodepth=128 --numjobs=4 --size=512MB --norandommap --readwrite=randwrite --bs=8k --runtime=120 --time_based --filename=/mnt/randwrite.txt --ioengine=libaio --direct=1 --group_reporting --name=rand_write

#随机读
fio --iodepth=128 --numjobs=4 --size=512MB --norandommap --readwrite=randread --bs=8k --runtime=120 --time_based --filename=/mnt/randread.txt --ioengine=libaio --direct=1 --group_reporting --name=rand_read

image.png
image.png
image.png
image.png

6 iSCSI部署

在主机ol8-storage操作:

#安装targetcli(iSCSI相关软件默认安装)
dnf -y install targetcli

#删除逻辑卷
lvremove /dev/mapper/rdmavg01-rdmalv01
vgremove rdmavg01
pvremove /dev/nvme0n2

targetcli #进入终端
> cd /backstores/block
> create slave /dev/nvme0n2 #创建并制定共享磁盘
> cd /iscsi
> create iqn.2024-05.com.iscsi.www:oracle #创建iqn标签,需要全网唯一
> cd iqn.2024-05.com.iscsi.www:oracle/tpg1/acls 
> create iqn.2024-05.com.iscsi.www:oracle #创建ACL访问规则
> cd /iscsi/iqn.2024-05.com.iscsi.www:oracle/tpg1/luns
> create /backstores/block/slave
> exit

#指定iqn标签,与ACL制定名称一致
echo "InitiatorName=iqn.2024-05.com.iscsi.www:oracle">/etc/iscsi/initiatorname.iscsi

#启动iSCSI相关服务
systemctl restart iscsi
systemctl restart iscsid
systemctl start target.service 
systemctl enable target.service

在主机ol8-app操作:

#指定iqn标签,与ACL制定名称一致
echo "InitiatorName=iqn.2024-05.com.iscsi.www:oracle">/etc/iscsi/initiatorname.iscsi

#搜索并连接磁盘
iscsiadm -m discovery -t st -p 10.10.10.52
iscsiadm -m node -T iqn.2024-05.com.iscsi.www:oracle --login

pvcreate /dev/sda
vgcreate iscsivg01 /dev/sda
lvcreate -l 100%VG -n iscsilv01 iscsivg01
mkfs.xfs /dev/mapper/iscsivg01-iscsilv01
mount /dev/mapper/iscsivg01-iscsilv01 /mnt

7 iSCSI性能测试

image.png
image.png
image.png
image.png

8 性能对比

项目NVMe over iSCSI TCP/IPNVMe over Soft-RoCE RDMA趋势
顺序写MB/s18469.2↓ 61.72%
顺序写IOPS22.4k8450↓ 62.28%
顺序读MB/s42.556↑ 31.76%
顺序读IOPS51866954↑ 34.09%
随机写MB/s52.570.6↑ 34.48%
随机写IOPS64038621↑ 34.64%
随机读MB/s43.454↑ 24.42%
随机读IOPS53016708↑ 26.54%

这里可以看到,除了在顺序写场景下出现性能下降(不知道为啥,可能是因为硬件条件和虚拟化的原因),但是使用RDMA在其余场景下都能带来24%以上的性能提升。在生产环境使用合适的硬件并优化配置,对网络环境的提升是十分可观的。

总结

虽然在本期测试结果中出现了一些意外,但是整体来看,使用RDMA还是可以显著提升网络性能的。
老规矩,知道写了些啥。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1712136.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

jeecgboot 同一账号只允许一个人登录

1.需求分析 jeecgboot 框架要实现同一个账号只允许一个人登录&#xff0c;就跟游戏账号类似&#xff0c;“我登录了就把你踢下去&#xff0c;你登录了就把我踢下去”&#xff1b;jwt 原理是生成 token 后一段时间内登录都有效&#xff0c;jeecgboot 中 jwt 和 redis 联合使用后…

基于YOLOV8/YOLOV5的远距离停车场车位检测识别系统

摘要&#xff1a; 在本文中深入探讨了基于YOLOv8/v7/v6/v5的停车位检测系统&#xff0c; 开发远距离停车位检测系统对于提高停车效率具有关键作用。。本系统核心采用YOLOv8技术&#xff0c;并整合了YOLOv7、YOLOv6、YOLOv5算法&#xff0c;以便进行性能指标对比。深入解释了YOL…

制作Dcoker镜像

文章目录 一、Docker构建镜像的原理1、镜像分层原理2、Docker的镜像结构3、分层存储原理4、构建命令与层的关系5、最终镜像的创建 二、docker commit 构建镜像1、使用场景2、手动制作yum版的nginx镜像2.1、启动一个centos容器&#xff0c;安装好常用的软件以及nginx2.2、关闭ng…

气膜建筑:无硬件支撑的奇迹—轻空间

气膜建筑是一种创新的建筑形式&#xff0c;其独特之处在于其内部没有任何硬件支撑&#xff0c;仅靠空气吹起来。这种技术是如何实现的呢&#xff1f; 气膜结构的原理 气膜建筑的核心在于其充气结构。通过不断向气膜内部充入空气&#xff0c;气膜内部会维持一个较高的气压。这种…

C#根据数据量自动排版标签的样例

这是一个C#根据数据量自动排版标签的样例 using System; using System.Collections.Generic; using System.Data.SqlClient; using System.Drawing; using System.Text; using System.Threading; using System.Threading.Tasks; using System.Windows.Forms; using HslCommuni…

Java基础:基本语法(一)

Java基础&#xff1a;基本语法&#xff08;一&#xff09; 文章目录 Java基础&#xff1a;基本语法&#xff08;一&#xff09;1. 前言2. 开发环境搭建2.1 Java开发工具包下载2.2 环境变量配置2.3 Java程序的运行过程 3. 数据类型3.1 基本数据类型3.2 引用数据类型 4. 常量与变…

深度学习中文笔记.pdf

深度学习和机器学习应该如何入门呢&#xff1f;这是很多初学者经常提的问题&#xff0c;针对这个问题&#xff0c;相信很多过来人都会推荐吴恩达的在线课程。不过&#xff0c;由于是英文版本&#xff0c;就将很多人挡在了门外。 于是&#xff0c;在国内&#xff0c;以黄海广博士…

发现一个可以白嫖GPU的平台

网址 https://platform.virtaicloud.com/gemini_web/auth/register?inviteCodeb0322161368ead7f49716688486796dd 驱动云注册有100点的算力点&#xff0c;目前最便宜的机器大概是0.49算力点每小时&#xff0c;安装个sd或者简单学习训练数据的话&#xff0c;应该能用挺久的。…

K8s 小白入门|从电影配乐谈起,聊聊容器编排和 K8s

来听听音乐 电影&#xff0c;是我们生活中的重要调味剂。 配乐&#xff0c;是电影中不可或缺的一部分。 有的时候&#xff0c;配乐可以跟剧情共振&#xff0c;让你按捺不住自己的情绪&#xff0c;或眼含热泪、或慷慨激昂、或人仰马翻、或怅然若失&#xff1b; 有的时候&…

探索研究大语言在生物识别技术——使用ChatGP-4从完成从人脸识别到年龄估计

0.引言 论文提出以下几要点&#xff1a; &#xff08;1&#xff09;. 人脸识别、性别检测和年龄估计的性能评估&#xff1a; 进行了一项研究&#xff0c;使用GPT-4这样的大型语言模型来处理人脸识别、性别检测和年龄估计等任务。这些任务是生物识别技术中的常见应用&#xff…

深入分析 Android Activity (十)

文章目录 深入分析 Android Activity (十)1. Activity 的资源管理1.1 使用资源 ID 访问资源1.2 Drawable 资源1.3 使用 TypedArray 管理资源1.4 使用资源配置 2. Activity 的数据存储2.1 SharedPreferences2.2 文件存储2.3 SQLite 数据库2.4 ContentProvider 3. Activity 的性能…

生产者延迟消息和重试机制

messageDelayLevel1s 5s 10s 30s 1m 2m 3m 4m 5m 6m 7m 8m 9m 10m 20m 30m 1h 2h 延迟消息级别public PutMessageResult putMessage(final MessageExtBrokerInner msg) {//事务消息处理if (tranType MessageSysFlag.TRANSACTION_NOT_TYPE|| tranType MessageSysFlag.TRANSACT…

基于高光谱数据集的创新点实现-高斯核函数卷积神经网络

一、高光谱数据集简介 1.1 数据集简介 数据集链接在这:高光谱数据集(.mat.csv)-科研学术 数据集包含下面三个文件&#xff1a; 文件中包含.mat与.csv,145x145x220, 其实主要使用avirissub.csv文件&#xff0c;在代码上只是将mat文件转成了csv文件。具体avirissub.csv如下&am…

算法学习笔记(7.1)-贪心算法(分数背包问题)

##问题描述 给定 &#x1d45b; 个物品&#xff0c;第 &#x1d456; 个物品的重量为 &#x1d464;&#x1d454;&#x1d461;[&#x1d456;−1]、价值为 &#x1d463;&#x1d44e;&#x1d459;[&#x1d456;−1] &#xff0c;和一个容量为 &#x1d450;&#x1d44e;&…

【kubernetes】关于k8s集群如何将pod调度到指定node节点(亲和与反亲和等)

目录 一、调度约束 1.1K8S的 List-Watch 机制 ⭐⭐⭐⭐⭐ 1.1.1Pod 启动典型创建过程 二、调度过程 2.1Predicate&#xff08;预选策略&#xff09; 常见的算法 2.2priorities&#xff08;优选策略&#xff09;常见的算法 三、k8s将pod调度到指定node的方法 3.1指定…

白酒:传统产区的创新之路与品牌重塑

云仓酒庄豪迈白酒作为传统产区的品牌&#xff0c;面临着市场需求的不断变化和消费者口味的多样化。为了保持品牌竞争力和市场地位&#xff0c;传统产区需要不断创新和重塑品牌形象&#xff0c;以满足消费者的需求和期望。 首先&#xff0c;传统产区需要注重产品的品质和口感。品…

Owinps静态IP代理:跨境电商的优选解决方案

在快速发展的电子商务领域&#xff0c;尤其是跨境电商行业&#xff0c;网络的稳定性和安全性是成功经营的关键因素之一。在这背后&#xff0c;少不得一个重要的跨境电商工具——代理IP&#xff0c;而这其中&#xff0c;静态IP因其独特的稳定性和安全性&#xff0c;正逐渐成为众…

IC开发——Ubuntu安装VCS2018

1. 简介 VCS是一种常用的Verilog仿真和综合工具&#xff0c;由Synopsys公司开发。它提供了一个完整的设计验证环境&#xff0c;用于验证硬件设计的正确性和性能。以下是VCS工具的一些主要特点和功能&#xff1a; 仿真功能&#xff1a;VCS支持基于事件驱动的数字电路级仿真&am…

MySQL学习——连接服务器和输入查询

MySQL是一个流行的关系型数据库管理系统&#xff08;RDBMS&#xff09;&#xff0c;由瑞典的MySQL AB公司开发&#xff0c;后来被Oracle公司收购。它使用SQL&#xff08;结构化查询语言&#xff09;作为访问和操作数据库的标准语言。 要查看 mysql 客户端程序提供的选项列表&a…

合约的值类型

基本数据类型&#xff1a;整数、枚举、布尔&#xff08;类似java的数据类型&#xff09;Address、Contract&#xff08;这两种是solidity特有的数据类型&#xff09;Fixed byte array&#xff08;定长字节数组&#xff09; Integer(int/uint) int/uint 以8位字节递增&#xf…