大数据拥抱云原生 HashData助力资管数字化转型

news2024/11/14 16:55:03

5月16日,2023国际资管科技创业者与投资者大会“资管数据处理(大模型)技术”专场在上海举行。本次大会以“资产管理 数智技术”为主题,邀请企业、高校、投资机构等各方开展产业交流与讨论,共享共创行业机遇。

酷克数据作为国内云原生数据仓库领军企业受邀参会,副总裁魏一在会上分享了大数据与资管行业结合的新思想、新技术、新实践。

魏一表示,对于资管行业数据来源丰富、非结构化数据占比高、机构分布广的特点,HashData云数仓是最匹配的数据分析平台方案。基于云原生架构,通过“存算分离”和“湖仓一体”的成熟落地实践,HashData能够消除“数据孤岛”,融合内外数据源,灵活管理与分析非结构数据,实现数据全局共享与高效访问,为资管公司提供跨地域、跨部门的数据资源管理、弹性供给、多地多活部署能力,赋能资管公司充分释放数据资源价值,获得发展先机。

大数据时代金融业数据管理的机遇与挑战

数据仓库是金融业的重要基础设施,在数据价值挖掘过程中发挥着至关重要的作用。

魏一表示,金融行业信息与数据密集,对数据仓库要求极为严苛。以往,金融行业通常使用存算一体的MPP产品来建设数据仓库。然而,随着金融科技的推进和数据量的激增,高并发、海量数据、超高峰值等挑战接踵而至,导致数据资源存储、计算和应用等需求大幅提升。

近年来,金融行业面临线上化、无纸化、场景化的数字化改革,应用场景复杂,数据规模日趋庞大,传统数仓无法应对业务潮汐带来的弹性扩展,不能满足千万查询次数/天和百万表级复杂度查询。同时,传统数仓缺少多AZ部署、跨站点容灾方案,已成为金融企业数字化转型过程中的掣肘。

面对传统数据仓库带来的挑战,很多咨询机构都提出了多元化、混合架构的思路,技术上引入了纯软的MPP数据库和Hadoop。但随着金融业务负载越来越复杂,需求越来越多,多元化平台无法实现高并发、负载无法隔离等缺陷愈发凸显,难以满足弹性、高并发、高可靠要求,同时还存在业务体验波动、数据整合不足、数据支撑不佳、运维管理复杂等缺点。

魏一指出,大数据+云计算时代,金融行业亟需既能适应业务弹性变化、又能提供良好分析体验的下一代数仓平台,为金融企业创新发展提供技术支撑。

魏一认为,现代金融企业数据分析平台要具备多形态数据管理能力、多样化分析计算能力和多维度的弹性伸缩能力,同时能够兼容结构化、半结构化、非结构化等不同形态、不同时效性的数据,进行多样化的计算和分析,并根据业务需求变化进行弹性伸缩。

云计算技术可以很好解决上述这些需求,国内外主流的公有云厂商也都推出了基于云原生架构的数据库产品。同时,Snowflake、Databricks等独立软件厂商也推出存算分离、湖仓一体架构的产品。

云原生数仓自诞生以来,迅速发展成为行业主流趋势。多家市场调研机构发布的报告显示,云原生数据仓库的市场份额将超越传统数据仓库。Gartner预计,未来全球75%的数据库都会运行在云端。

HashData助力金融行业提质增效

当前,数字经济已成为我国经济发展的重要引擎。对于金融机构而言,数据也成为贯穿金融行业数字化转型的核心资源。

随着金融信息化向数字化跃迁,数据库的支撑能力在一定程度上决定着金融机构数字化转型中的成败。

与传统MPP架构的数据库相比,云原生数据仓库对提升企业数据分析的效率成效显著。

独立咨询公司Forresters对四家使用Snowflake的企业调查显示,三年时间累计创造的价值超过2100万美金,ROI折合达到612%。其中,节约数据运营成本211万美金,节约数据库和基础设施运营成本595万美金。同时,Snowflake 能够大幅缩短计算时间,提高利润,根据数据提供更好的决策。

HashData作为国内最早专注于云原生数仓研发的独立软件厂商,自2016年创立起就始终践行“云原生”理念,致力于打造世界一流的云原生数据仓库。

HashData云数仓采用以Snowflake、Databricks和Google BigQuery为代表的业界领先的云原生大数据系统设计理念,围绕着对象存储和抽象服务构建,通过元数据、计算和存储三者分离,多集群共享统一数据存储层的架构,最大限度发挥云计算优势,利用云平台的弹性+分布式的特点,实现快速部署、按需伸缩、不停机交付等,大幅降低企业进行大数据分析的门槛。

作为企业级云原生数据仓库,HashData通过创新的存储、计算、服务、应用层架构设计,提供了传统解决方案无法比拟的高并发、弹性、易用性、高可用性、高性能和扩展性,实现了云原生、应用松耦合、湖仓一体、近乎“零运维”等特点,能满足客户高安全、高可靠、高扩展、智能化全方位需求,为金融机构提供功能全⾯、稳定可靠、扩展性强以及性能优越的企业级数据库服务。

多年来,HashData持续深耕金融核心场景,积累下丰富的实践经验。目前,HashData已在多家国有大型银行、股份制银行、头部券商等机构实现大规模商用落地,并支撑了全球最大规模的金融行业单客户集群。

以恒丰银行为例,通过引入HashData云数仓构建的“恒心系统”,成功解决了前几代产品资源浪费、扩展性差、并发支持小、无法快速扩缩容、数据孤岛、数据冗余、运维工作量大等问题。

相比旧系统,恒心系统实现了多方面的能力提升,核心处理能力提升6.38倍,卡业务交易每秒处理能力提升23.8倍,线上支付业务交易每秒处理能力提升17.7倍。同时,“恒心系统”在满足行内规划新型数仓支撑应用计算服务需求的同时,节省了30%左右的服务器成本。

魏一表示,未来,HashData将持续构建全面的金融数字化能力,通过深入企业业务场景的方案及服务能力,筑牢金融转型与创新发展的“数字底座”,推进金融数字化战略落地,助力上海建设金融科技中心和全球资产管理中心。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/535985.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

GPT-5: 超越人类语言的模型,你还不了解一下?

目录 一、GPT-5时代引领者 二、技术特性 1,音频和视频处理 — 更强大的多模态处理能力 2,GPT-5颠覆影视制作:重写媒体消费时代 3,为机器人提供智慧大脑 4,更强的垂直行业应用 三、回顾一下GPT5被紧急叫停&…

设计模式之【命令模式】,方法调用的花式玩法

文章目录 一、什么是命令模式1、命令模式使用场景2、命令模式的主要角色3、命令模式优缺点4、命令模式注意事项及细节 二、使用示例1、命令模式的一般写法2、播放器功能案例3、遥控器案例 三、源码中的命令模式1、Thread 一、什么是命令模式 命令模式(Command Patt…

图像分割标注工具——QuPath使用说明

0、QuPath资源一览 QuPath是一款病理学和生物图像定量分析的软件,支持多种标注方式。一些常用资源如下: 官网:QuPath 官方文档:https://qupath.readthedocs.io/en/stable/docs/intro/index.html 软件下载列表:http…

搜狗主动推送工具-搜狗推送接口自动推送

想要让自己的网站被搜狗快速收录,以下是一些优化建议: 提交网站地图:将网站地图提交到搜狗搜索引擎,能够让搜索引擎更快速地爬取和发现网站所有的页面。同时在网站地图中应该包含网站所有页面的链接,方便搜狗搜索引擎爬…

【读书笔记】《亲密关系》

作者:美国的罗兰米勒 刚拿到这本书的时候,就被最后将近100页的参考文献折服了,让我认为这本书极具专业性。 作者使用了14章,从人与人之间是如何相互吸引的,讲到如何相处与沟通,后又讲到如何面对冲突与解决矛…

openAI国内的免费镜像网站列表分享

1.ChatGPT For Free 地址:https://gpt4.gravityengine.cc/ 2.老北鼻AI智能助手 地址:https://739167295.ai201.live/ 3.AIChatOS 地址:https://chat.jinshutuan.com/#/chat/1684287150613 4.AIGPT 地址:http://20200.cn…

【Linux命令】mount / umount命令、查看文件的挂载情况(lsblk)

在Windows环境下,我们可以直接访问检测到的外部设备,如磁盘、U盘等;然而在Linux环境下,外部硬件设备如磁盘、SD卡等外部设备是无法直接访问的。因此就需要挂载。 参考链接:mount 详解 目录 1、什么是挂载?…

使用Vivado创建一个点亮FPGALED灯的项目

说明 1、本文针对没有使用过Vivado,也不知道如何用Vivado创建一个项目的朋友。 2、本文内容为用Vivado创建一个点亮FPGA LED灯项目的全部流程。 正文 1、创建一个新项目,点击创建新项目,并点击next。 2、选择项目名称和项目保存路径。 3、…

时间序列-相关性-ACF PACF CCF

一、自相关系数: 衡量的是同一个时间序列内的两个不同的时间段的相关性 弱平稳 If波动,波动幅度也是固定的。 相关图 不同时间间隔的相关系数算出来并且绘制在图中 例:(python) 分析: ①当时间间隔为0的时候,相关系…

【MongoDB】MongoDB分布式文件存储的数据库

一、数据库简介 1、数据库 数据库是按照数据结构来组织、存储和管理数据的仓库;我们的程序都是在内存中运行的,一旦程序运行结束或者计算机断电,程序运行中的数据都会丢失;所以我们就需要将一些程序运行的数据持久化到硬盘中&am…

计算机信息安全保护等级划分为五个安全级别

《计算机信息安全保护等级划分准则》将计算机信息安全保护等级划分为五个安全级别: 安全级别级别名称是否需要备案对公民、法人和其他组织的合法权益造成的损害程度对社会秩序、公共利益造成的损害程度对国家安全造成的损害程度适用范围重要程度第一级自主保护级无…

智能感知编码优化与落地实践

作者 | XHF 导读 基于人眼视觉特性出发的感知编码优化技术,成为互联网短视频、OTT 等 UGC 场景的重点优化手段,可以在降低视频码率的同时,提升视频的观看体验。 今天主要有 4 个方面的内容。首先给大家介绍一下感知编码的技术背景&#xff1b…

论性价比,这家奥威BI大数据分析平台很能打

论性价比,国产BI大数据分析平台几乎是毫无悬念地胜过大多数外国BI,而在国产BI大数据分析平台里,奥威BI的性价比也是出了名地高。在同等价位的BI大数据分析平台中,奥威BI大数据分析平台不仅能提供智能高效的数据分析功能、花样繁多…

推动飞盘运动发展 冯氏集团承办中国飞盘联赛·上海站获圆满成功

5月14日下午,由冯氏集团主承办的2022-2023年中国飞盘联赛 上海站在上海市民体育公园足球公园圆满落幕,这是冯氏集团继去年创立飞盘俱乐部冠军赛(Ultimate Clubs Championship Series,简称UCCS)后,在飞盘及城…

springboot+jsp法律知识分享网站普法平台

法律知识分享平台,主要的模块包括查看主页、个人中心、用户管理、律师事务所管理、律师管理、法律资讯管理、案例分析管理、案例分享管理、法规信息管理、法规分享管理、留言信息管理、留言回复管理、论坛管理、系统管理等功能。系统中管理员主要是为了安全有效地存…

【教程】Warp/ZeroTrust 1.1.1.1 域名解析服务的安装与使用

转载请注明出处:小锋学长生活大爆炸[xfxuezhang.cn] 目录 扫盲 安装 验证 说明 扫盲 1.1.1.1是一款免费的域名解析服务,也就是域名服务器,由CloudFlare与APNIC共同拥有与维护。该服务于2018年4月1日发表启用,且被Cloudflare称…

全局异常处理器

文章目录 一、全局异常处理器1.1 程序1.2 ControllerAdvice 注解 二、封装结果集 一、全局异常处理器 各层代码出现异常,我们是如何处理的? ​ 未做处理。 ​ 如果是在Mapper层出现异常,会抛给Service,Service会抛给Controller…

基于Java+SpringBoot制作一个论坛小程序

制作一个论坛互动平台,让兴趣志同道合者用户聚集在这里交流话题、展示自我、结交朋友。 一、小程序1.1 项目创建1.2 首页1.3 论坛板块页1.4 个人中心页1.5 帖子详情页二、API2.1 SpringBoot框架搭建

基于html+css的图展示74

准备项目 项目开发工具 Visual Studio Code 1.44.2 版本: 1.44.2 提交: ff915844119ce9485abfe8aa9076ec76b5300ddd 日期: 2020-04-16T16:36:23.138Z Electron: 7.1.11 Chrome: 78.0.3904.130 Node.js: 12.8.1 V8: 7.8.279.23-electron.0 OS: Windows_NT x64 10.0.19044 项目…

进程线程基本知识

1 进程 我们编写的代码只是一个存储在硬盘的静态文件,通过编译后就会生成二进制可执行文件,当我们运行这个可执行文件后,它会被装载到内存中,接着 CPU 会执行程序中的每一条指令,那么这个运行中的程序,就被…