再获殊荣!天云数据入选第一批北京市级企业技术中心,Hubble数据库提供新一代信息技术科技服务

news2024/9/24 5:22:28

为助力北京国际科技创新中心建设,贯彻落实北京市“十四五”时期高精尖产业发展规划,引导和支持企业加强创新能力,培育和引导企业技术中心建设,北京市经济和信息化局组织开展了2022年度第一批北京市市级企业技术中心的创建工作,经过严格的核查、评审,天云数据等96家企业进入“2022年度第一批北京市市级企业技术中心”名单。

为什么Hubble数据库屡获国家级背书?

本次创建工作重点支持领域包括两个国际引领支柱产业;“北京智造”四个特色优势产业;“北京服务”四个创新链接产业;未来前沿产业,是依据《北京市“十四五”时期高精尖产业发展规划》提出的“2441”高精尖产业体系,天云数据入选是以新一代信息技术为基础利用大数据提供科技服务。

无独有偶,今年工业和信息化部办公厅关于组织开展2022年大数据产业发展试点示范项目,天云数据Hubble数据库作为国产HTAP数据库入选,获得国家级重点项目推荐。

从数据库的发展历程来看:IOE体系数据库利用位于系统中心的服务器统一管理所有的共享资源,并处理来自用户的请求,是面向数据结构的融合;分布式数据库是对IOE体系数据库的优化升级,是面向物理资源的融合;HTAP数据库满足互联网的数据产销合一方式带动了流程驱动向数据驱动的数据库架构转型,是面向IO资源的融合。

互联网的数据产销合一方式带动了流程驱动向数据驱动的数据库架构转型。交易、分析的两阶段体验,以及大屏小屏化个性化服务下沉。基于创新的计算存储框架,HTAP数据库能够在一份数据上同时支撑OLTP场景和OLAP场景。 

那么在HTAP出现之前,应对以上的刚需市场是怎么做的?把TP和AP做融合,成为湖仓一体的概念;然后把MPP数据库与湖仓一体融合,成为新技术趋势。实际上就是将MPP数据库加Hadoop开源。

这种现象会带来什么风险?MPP数据库不能单独支持湖仓一体,它需要 Hbase 和 ES 来配合,本质还是属于数据集。在某大型股份制银行,为了支持手机银行端的个性化数仓,传统 MPP 结构根本没法满足刚才说的这种服务价值,要实现手机端对大屏小屏化的趋势,还要配套数百个节点,所以现在市场上的湖仓一体本质上还是一个集成方案,需要在传统MPP数据库和开源hadoop之间做大量的数据同步和一致性校验。既然要有数据同步,就必然有时间窗口,数据的不及时性、不一致性。

这不是简单的替代逻辑,是产业链升级逻辑。面向新兴的大数据领域,新兴的数据库依然扮演着重要角色,不仅仅可以对传统数据库Oracle做碾压替代,同时还能够胜任大数据领域的刚需。而在整个流批一体的市场需求上,Hubble数据库的自身定位就具有天然优势。

国产原创Hubble数据库,提供统一支撑事务处理和工具负载分析。如何能够在同一数据库实例下,同时支撑高并发低延迟的OLTP事务,和海量密集计算的OLAP分析作业?天云数据凭借其多年来在大数据分布式计算领域的经验以及多家大型银行的实践最终通过引入损失函数动态评价SQL逻辑计划的执行成本、CBO代价优化解析、Sharding切片线程级别物理资源匹配不同计算负载、TP和AP双引擎调度执行、随机和序列化IO对存储的访问、依靠数据副本机制同时支持KV键值存储和列存存储交出了完美的答案。这意味着一张表可以同时支持行存和列存,真正的融合了存储结构,避免了在交易和分析数据库间每夜ETL数据搬家的繁琐运维工作和数据冗余。 

Hubble数据库10年前实现去O,用硬核科技服务产业变革

“IOE”架构成型的根本,在于先入为主以量取胜。

12年前,中国技术人就已经开始了“去IOE”的历史工程。

2010年,天云数据在云基地就开始对分布式数据和机器学习进行产品研发,通过多年的摸索,从最开始的计算层、调度层、存储层最后到解析层,自下而上,在没有行业经验可借鉴的情况下,最终走向了自研数据库的道路,打造了代际更迭的无第三方开源代码的HTAP数据库Hubble。

实践中,在某股份制商业银行A类核心系统国产化成功替换Oracle一体机。对比Oracle,单表3亿记录数量级下的用户业务场景性能突破Oracle 800并发瓶颈,1600 并发下依然保持线性稳定服务。同等并发下,平均响应时间和最大响应时间均优于Oracle,具有稳定的线性横向扩展能力。

项目时,该银行核心系统只能够查询13个月以内的数据,对于一年以前的数据,无法实施在线获取,只能通过备份库导出的方式,耗时耗力。随着业务的逐渐增大,客户对于历史数据查询的需求变高,所以迫切需要成立历史数据在线查询系统。在此背景下该银行验证了Oracle一体机与Hubble数据库,综合性能Hubble完胜Oracle一体机,最终选择用Hubble数据库。

并且实现了:

  • 历史数据查询系统将近50只业务交易,每日交易量达到15W笔,成功的为核心系统减负近50%的交易压力。

  • 历史数据查询系统的数据是全行内数据存储最长的系统,对接各类画像系统,通过历史数据,分析用户的行为轨迹。

  • 历史数据查询系统的各类文件导出,如excel、pdf、txt,文件为监管查询提供了极大方便,不用再去找备份库进行数据恢复。

写在最后:

历史上很多重大制度或秩序,都由技术创新推动。例如威尼斯商人建立的复式记帐法,在现金流之上建立了现代社会“资本”这—重要要素;荷兰海上马车夫设计的Loca可投资的独立船舱单元, 奠定了现代公司股权治理结构。数据, 作为土地,劳动力,资本之后的第四要素,一定有科技要素的配套作为制度保障。数据作为创新生产要素,必然配套制度创新。

AI原生数据库通过更多的逻辑计划丰富数据消费能力和形态,是面向服务的融合,Hubble数据库不仅支持SQL,还可以支持 Graph、ML、NLP2SQL、体素的计算。当AI的数据消费替代了可视化数据消费成为主流,数据资料的生产工具必须是AI-Native数据库。可以充分地释放数据库的计算资源,最大化释放数据要素的价值,进一步突破行业天花板,形成更大产业规模。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/187889.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【Python学习笔记】5. Python3 基本数据类型(上)——数值型、字符串型

前言 Python 中的变量不需要声明。每个变量在使用前都必须赋值,变量赋值以后该变量才会被创建。 Python3 基本数据类型 Python 中的变量不需要声明。每个变量在使用前都必须赋值,变量赋值以后该变量才会被创建。 在 Python 中,变量就是变…

tomcat配置多个host,并且避免重复加载

目录 1.实验描述 2.实验环境 2.实验过程 2.1 创建order和user项目 2.2 打包项目 2.3 修改tomcat的server.xml的配置 2.4 启动tomcat 2.5 配置本地host 2.6 验证 1.实验描述 目前有两个域名,分别是: order.abc.com user.abc.com 两个项目&…

微信小程序学习第1天:微信小程序开发入门介绍

前言:微信小程序开发模式 1、申请小程序开发账号 2、安装小程序开发者工具 3、创建和配置小程序项目 一、申请小程序开发账号 1、体验小程序 2、注册小程序开发账号 使用浏览器打开https://mp.weixin.qq.com网址,按照提示注册 注册承购后&#xff0c…

微服务 初始 分布式搜索引擎 Elastic Search

文章目录⛄引言一、什么是Elastic Search?二、Elastic Search 倒排索引⛅正向索引⚡倒排索引⛄正向和倒排三、ES的一些概念⛅文档和字段⚡索引和映射四、MySQL 与 Elasticsearch⛵小结⛄引言 本文参考黑马 分布式Elastic search Elasticsearch是一款非常强大的开源…

OBB的计算python实现

OBB的计算python实现1. 实现步骤步骤① 分解点集的xyz分量步骤② 对x、y、z这三个随机变量(一维数组)求协方差矩阵步骤③ 对步骤②中的协方差矩阵求解特征值与特征向量,特征向量构造列向量矩阵M步骤④ 将点集的几何中心平移至坐标系原点&…

最全java面试题及答案(208道)

本文分为十九个模块,分别是:「Java 基础、容器、多线程、反射、对象拷贝、Java Web 、异常、网络、设计模式、Spring/Spring MVC、Spring Boot/Spring Cloud、Hibernate、MyBatis、RabbitMQ、Kafka、Zookeeper、MySQL、Redis、JVM」 ,如下图所…

Discord怎么抢白名单?Discord多账号防关联可以提高白名单成功率

Discord作为一个社交媒体,在加密货币领域扮演着重要的角色,它强大而便捷。更重要的是,如果你是一个投资者,Discord无疑是你了解项目动态,深入社区沟通交流的重要工具。 相信很多玩NFT和Web3的朋友都不会对discord 陌生…

分位数的理解与查询

目录 分位数的定义与理解: pyspark 中分位数查询 方式1 : 某列分位数查询: 采用dataframe的approxQuantile属性,返回一个list 例子: 方式2 : 转换为toPandas,利用pandas.dataframe利的…

全志T113-i+玄铁HiFi4开发板硬件说明书(2)

前 言 本文档主要介绍开发板硬件接口资源以及设计注意事项等内容,测试板卡为全志T113-i+玄铁HiFi4开发板,由于篇幅问题,本篇文章共分为上下两集,点击账户可查看更多内容详情,开发问题欢迎留言,感谢关注。 T113-i处理器的IO电平标准一般为1.8V和3.3V,上拉电源一般不超过…

【C++入门】命名空间的定义与使用

目  录1 命名空间1.1 命名空间定义1.2 命名空间使用1 命名空间 在C/C中,变量、函数和类都是大量存在的,这些变量、函数、类的名称将都存在于全局作用域中,可能会导致很多冲突。 使用命名空间的目的是对标识符的名称进行本地化,以…

经典动态规划OJ题目:接雨水or接青豆(多种方法,附详详细思维过程、解析及源码)

作者:非妃是公主 专栏:《算法》《刷题笔记》 个性签:顺境不惰,逆境不馁,以心制境,万事可成。——曾国藩 《算法》专栏系列文章 算法设计与分析复习01:主方法求递归算法时间复杂度 算法设计与分析…

MySQL批量插入4种方案(对比速度起飞)

一、前言二、准备工作1、Maven项目中pom.xml文件引入的相关依赖如下2、application.yml配置属性文件内容(重点:开启批处理模式)3、Entity实体类(测试)4、数据库student表结构(注意:无索引&#…

4.2 避免缩进错误

4.1.3 在for循环结束后执行一些操作for循环结束后再怎么做呢?通常,你需要提供总结性输出或接着执行程序必须完成的其他任务。在for循环后面,没有缩进的代码都只执行一次,而不会重复执行。下面来打印一条向全体魔术师致谢的消息,感谢他们的精…

爬虫实例(一) —— 5行 Python 代码爬取

大家好,我是 Enovo飞鱼,今天分享一个爬虫小案例,小白或者爬虫入门的小伙伴推荐阅读,加油💪。 目录 前言 基本环境配置 爬取目标网站 爬取内容 实现代码 后面我会继续更新爬虫实例,与大家共同学习&am…

ubuntu设置双网卡以及多网段

前提设备有两个网卡,分别作为内网和外网,比如两个网卡eth0和eth1,eth0作为外网,eth1作为内网,每个人的网卡名称可能不一样,网卡名称可以自行查看,使用ifconfig命令:ifconfig区分内网和外网的ip外网网卡&…

如何使用 Apache IoTDB 中的 UDF

本篇作者:IoTDB 社区 -- 廖兰宇本文将概述用户使用 UDF 的大致流程,UDF 的详细使用说明请参考官网用户手册:https://iotdb.apache.org/zh/UserGuide/Master/Operators-Functions/User-Defined-Function.html1编写 UDFIoTDB 为用户提供编写 UD…

opensuse15.4安装android-studio-2021.1.1.23_未完成

opensuse15.4安装android_studio再运行微信apk_未完成 未完成的原因是:本人台式机的物理内存为4G,官方要求是16G android studio与android sdkj是两个完全不同的两样东西。 Android studio是一个IDE(可视化开发工具)跟eclipse一…

SAP 新准则IFRS 17:重新思考和革新保险会计的机会

您准备好迎接 IFRS 17 了吗?财务报告准则过去曾多次更改,但这次没有。这一变化将为准备迎接新准则的保险公司带来广泛的机遇。许多公司都有应对这些要求的战术计划。但最大的成功将由制定包括 IFRS 17 在内的更广泛报告战略的公司实现。他们不会做出回应…

redis-哈希槽一致hash算法

1、一致性hash算法? 以分布式缓存为例,假设现在有3台缓存服务器(S0,S1,S2),要将一些图片尽可能平均地分配到不同的服务器上,hash算法的做法是: (1) 以图片的名称作为key,然后对其做…

【Unity3D插件】UniRx(基于Unity的响应式编程框架)插件教程

推荐阅读 CSDN主页GitHub开源地址Unity3D插件分享简书地址我的个人博客QQ群:1040082875 大家好,我是佛系工程师☆恬静的小魔龙☆,不定时更新Unity开发技巧,觉得有用记得一键三连哦。 一、介绍UniRx插件 UniRx是一种基于Unity3D的…