分布式存储 vs. 全闪集中式存储:金融数据仓库场景下的性能对比

news2024/11/19 0:28:26

作者:深耕行业的 SmartX 金融团队 张德敏

近年来随着金融行业的高速发展,经营决策者及监管机构对信息时效性的要求越来越高,科技部门面临诸多挑战。例如,不少金融机构使用数仓业务系统,为公司高层提供日常经营报表,同时支持监管报送等应用。该业务系统通常是 I/O 密集型应用,对 IT 基础架构的性能有极高的要求。

在《Oracle 数据仓库在超融合架构下的跑批性能验证》文章中,我们分享了金融机构利用 SmartX 超融合优化 Oracle 数据仓库跑批效率的实践经验。超融合部署架构如下:

​编辑

本期,我们将进一步验证 SmartX 分布式存储 SMTX ZBS 对数仓业务系统的支持能力,通过金融客户的实际测试,对比 SmartX 分布式存储与全闪集中式存储执行数仓跑批任务的效率。部署架构方式请参考下文。

测试背景

某金融机构使用传统架构支撑数仓业务系统,其中存储使用 EMC PowerStore 全闪存储,虽然现阶段可满足经营决策者及监管机构对信息时效性的要求,但科技部门认为该架构仍然面临一些挑战:

  • 全闪中高端集中式存储成本居高不下。
  • 集中式存储弹性扩展能力有限,无法做到容量及性能同步线性增长。
  • 新旧集中式存储替换带来庞大的数据迁移工作和开销,且无法保证业务零中断

得益于分布式的架构和弹性扩展能力,分布式存储能很好地解决以上问题。但让科技部门顾虑的是:分布式存储性能能否对标全闪中高端集中式存储?能否有效支撑数仓业务系统对报表输出时效性的要求?为此,该金融客户使用 SmartX 分布式存储在测试环境部署数仓业务系统,进行了相关课题的验证。

测试架构

​编辑

测试架构如图所示:

  • 计算端采用裸金属(Intel x86 服务器)部署 Oracle 数据库,测试环境使用一台 2 路服务器 ,当前生产环境使用一台 4 路服务器。
  • 网络端测试环境使用以太网交换机和 NVMe over RDMA 协议,当前生产环境使用光纤交换机和 FC 协议。
  • 存储端测试环境使用 SMTX ZBS 分布式存储和 3 台通用 Intel x86 服务器(混闪),当前生产环境使用 1 套 PowerStore 1000T 全闪存储。

软硬配置

​编辑

测试过程与结果

  1. 将生产数据导入到测试环境,导入数据量为 3.9TB。
  2. 数仓业务系统跑批的内容是 Oracle 执行一系列存储过程集,通过 linux 脚本自动化运行。
  3. 从所有数据里分别提取和处理 4、5、6 三个月的数据,记录每个月从执行开始到结束的时间,时间越短越好。

结果显示,相比生产环境,SmartX 分布式存储执行全部存储过程集,3 个月平均跑批时间缩短 45%;其中,某耗时最长存储过程,3 个月平均跑批时间缩短 55%,其他存储过程集 3 个月平均跑批时间缩短 31%

​编辑

数仓业务跑批期间统计了 SMTX ZBS 在该业务下的负载峰值,与 SMTX ZBS 基准性能做了进一步对比。从数据可以看出,SMTX ZBS 除了支撑该数仓工作负载外,仍有很大的余力。

​编辑

注:
基准数据指 SMTX ZBS 在该硬件配置下的最佳性能。
本次测试数据指数仓业务跑批期间 SMTX ZBS 的负载峰值。
绿色数据表示受限于网卡带宽,SMTX ZBS 存储实际的能力没有完整发挥出来。

测试结论

本次测试由客户全程自己操作完成,从测试结果看,SMTX ZBS 分布式存储已经具备承载客户现有的数仓应用的能力。这意味着,客户可以在不改变上层数仓应用的情况下,通过优化基础架构设施进一步提升跑批的效率,缩短跑批时间,从而以更少的成本带来更大的应用价值的提升。

更多应用场景持续探索中

科技产品价值终究要提升业务支撑价值。目前,SmartX 已联合多家来自银行、保险、证券、基金、期货、资管等金融细分行业的头部企业,针对超融合在 TA 注册登记、估值、BI 报表、O32、柜台交易系统等多种金融核心业务系统下的表现,开展全方位评测与验证。欲了解更多金融应用场景探索实践,请阅读往期文章:

  • 金融场景探索|以分布式存储驱动金融资管估值系统效率提升
  • 空中换发动机:中信建投如何实现超融合操作系统“0”业务停机的信创转换
  • 金融客户基于超融合信创平台构建微分段防护的实践及验证
  • Oracle 数据仓库在超融合架构下的跑批性能验证
  • 金融信创场景下 SmartX 超融合存储性能评测与支撑业务综述
  • SmartX 超融合金融行业数据库支撑评测合集与长期落地案例综述

您还可扫描下方二维码,获取《金融核心生产业务场景探索文章合集》,全面了解超融合如何支持金融核心业务系统、数据库、IT 基础架构云化转型与信创转型。

近期,我们将为您带来更多金融行业场景探索和验证文章,敬请期待!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1112704.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

阿里云服务器x86计算架构ECS规格大全

阿里云企业级服务器基于X86架构的实例规格,每一个vCPU都对应一个处理器核心的超线程,基于ARM架构的实例规格,每一个vCPU都对应一个处理器的物理核心,具有性能稳定且资源独享的特点。阿里云服务器网aliyunfuwuqi.com分享阿里云企业…

InitializeComponent报错(提示不存在)

我是c#新手。为了解决这个问题,需要按照以下步骤进行。、 WPF应用(.NET Framework) 解决问题 首先,确保项目的类型为WPF应用(.NET Framework); 然后,代码的位置应正确处于项目的MainWindow.xaml.cs; 最后&#xff0c…

Deno 快速入门

目录 1、简介 2、安装Deno MacOS下安装 Windows下安装 Linux 下安装 3、创建并运行TypeScript程序 4、内置Web API和Deno命名空间 5、运行时安全 6、导入JavaScript模块 7、远程模块和Deno标准库 8、使用deno.json配置您的项目 9、Node.js API和npm包 10、配置IDE…

宏(预编译)详解

目录 一、程序的编译环境 二、运行环境 三、预编译详解 3.1预定义符号 3.2.1 #define 定义标识符 3.2.2 #define 定义宏 3.2.3#define替换规则 3.2.4 #和## 2)##的作用: 3.2.5宏和函数的对比 3.2.6宏的命名约定和#undef指令 一、命名约定: …

CCC数字钥匙设计【NFC】--通过NFC进行车主配对Phase3

1、车主配对流程介绍 车主配对可以通过车内NFC进行,若支持UWB测距,也可以通过蓝牙/UWB进行。通过NFC进行车主配对总共有5个Phase。本文档主要对Phase3进行介绍。 1) Phase0:准备阶段; 2) Phase1:启动流程&#xff1…

C语言中的3种注释方法

C语言中的3种注释方法 2021年8月28日星期六席锦 在用C语言编程时,常用的注释方式有如下几种: (1)单行注释 // … (2)多行注释 /* … */ (3)条件编译注释 #if 0…#endif (1)(2)在入门教程中比较常见。 对于(1) 【单行注释 // …】,注释只能显示…

将输入对象转换为数组数组的维度大于等于1numpy.atleast_1d()

【小白从小学Python、C、Java】 【计算机等考500强证书考研】 【Python-数据分析】 将输入对象转换为数组 数组的维度大于等于1 numpy.atleast_1d() 选择题 使用numpy.atleast_1d()函数,下列正确的是? import numpy as np a1 1 a2 ((1,2,3),(4,5,6)) print("…

Dev-C++ 软件安装教程(附安装包下载)

Dev-C(123网盘)提取码:EoF8https://www.123pan.com/s/JRpSVv-dKnjv.html (软件包下载后,右键解压) 一、打开文件夹,双击“Dev-C” 二、软件安装,点击“OK” 三、点击“I Agree” 四、点击“Ne…

计算机视觉基础(5)——特征点及其描述子

前言 本文我们将学习到特征点及其描述子。在特征点检测中,我们将学习角点检测和SIFT关键点检测器,角点检测以哈里斯角点检测器为例进行说明,SIFT将从高斯拉普拉斯算子和高斯差分算子展开。在描述子部分,我们将分别学习SIFT描述子和…

49数码论坛系统设计与实现

大家好✌!我是CZ淡陌。一名专注以理论为基础实战为主的技术博主,将再这里为大家分享优质的实战项目,本人在Java毕业设计领域有多年的经验,陆续会更新更多优质的Java实战项目,希望你能有所收获,少走一些弯路…

浅析限流式保护器在低压配电系统中电气火灾的应用

安科瑞 华楠 【摘要】文章分析了低压配电系统短路的类型、原因及火灾危险性,并提出改善措施。 【关键词】:低压配电系统; 短路; 措施 0引言 随着人类进入现代文明社会,电气的普及深入千家万户,广泛应用于…

npm ERR! exited with error code: 128

1.遇到的问题 报错信息:npm ERR! E:\tools\Gitt\Git\cmd\git.EXE ls-remote -h -t https://github.com/nhn/raphael.git npm ERR! npm ERR! fatal: unable to access https://github.com/nhn/raphael.git/: OpenSSL SSL_read: Connection was reset, errno 10054 …

FPGA project : IIC_wr_eeprom

简介: 简单双向二线制,同步串行总线。 scl:串行时钟线,用于同步通讯数据。 sda:双向串行数据线。 物理层: 1,支持挂载多设备。 2,二线制。 3,每个设备有其单独的地…

【已解决】java的gradle项目报错org.gradle .api.plugins .MavenPlugin

我的java的gradle项目经常报错org.gradle .api.plugins .MavenPlugin。报错这个问题是因为依赖起冲突了,我在网上试了很多方法都没有效果,折让小编我很是苦恼,不过还好到最后问题还是解决了。 首先要知道你的项目所使用的gradle版本&#xf…

Webpack十大缺点:当过度工程化遇上简单的静态页面

🤍 前端开发工程师(主业)、技术博主(副业)、已过CET6 🍨 阿珊和她的猫_CSDN个人主页 🕠 牛客高级专题作者、在牛客打造高质量专栏《前端面试必备》 🍚 蓝桥云课签约作者、已在蓝桥云…

React-Router路由

1.React Router的基本使用 安装:安装时,选择react-router-dom,react-router会包含一些react-native的内容,web开发并不需要; npm install react-router-dom 路径模式 BrowserRouter使用history模式; Hash…

【六:(mock数据)spring boot+mybatis+yml】

目录 1.1、代码编写Demo类User类启动类 APplication 1.2、配置类查询语句的配置 mysql.ymlspringboot的配置 application.yml日志的配置 logback.xml数据库的配置 mybatis-config.xml 1.3、测试:1.3.1、测试获取用户数1.3.2、添加用户1.3.3、数据的更新1.3.4、数据的…

【八:(调springboot+testng+mybatis+数据校验】

目录 1、代码结构configcontrollermodelspringboot启动类 2、配置资源mysql.xmlapplication.ymllogback.xmlmybatis-config.xml数据库配置 3、测试验证 1、代码结构 config package com.course.config; import org.springframework.context.annotation.Bean; import org.sprin…

Linux 进程操作

文章目录 进程的基本知识进程pid进程常用的函数 forkwait和waitpidexec函数簇system函数信号处理signal函数Linux的SIGUSR1SIGUSR2 讨论 进程的基本知识 一个程序的执行称为一个进程,所有的代码都是在进程中执行的,进程是操作系统资源分配的基本单位。 在…

在启智平台上安装anconda(启智平台中新建调试任务,选的基础镜像中有conda的,就无需安装)

安装Anaconda3-5.0.1-Linux-x86_64.sh python版本是3.6 在下面的网站上找到要下载的anaconda版本,把对应的.sh文件下载下来 https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/ 把sh文件压缩成.zip文件,拖到启智平台的调试页面 上传到平台上 un…