张程伟:从开源项目到企业级数据库,云和恩墨 MogDB Uqbar 的技术探索与实践...

news2024/11/28 15:51:02

导语

4月8日下午,为期两天的第十二届数据技术嘉年华(DTC 2023)在北京新云南皇冠假日酒店圆满落下帷幕。大会以“开源·融合·数字化——引领数据技术发展,释放数据要素价值”为主题,汇聚产学研各界精英到场交流。作为大会的协办方和重要合作伙伴,云和恩墨·本原数据技术合伙人张程伟、金毅在主论坛发表了题为《回归数据本原,企业级数据库的技术探究》的联合演讲。本篇文章对张程伟的演讲内容进行了整理归纳,供大家学习参考。

72e71970afe37a7d001cf1385050968c.png

张程伟首先介绍道,云和恩墨目前有两款数据库产品:MogDB 是面向高并发、低时延交易型应用场景打造的安稳易用的企业级数据库,历经近三年的打磨,将于2023年6月30日发布第三个LTS版本-MogDB 5.0。Uqbar 是于2022年年底推出的超融合时序数据库,主要针对工业物联网海量数据的管理场景,即将在今年6月30日发布第一个LTS商业版本-Uqbar 2.0。这两款产品都是基于 openGauss 数据库内核打造的。

DTC2023

为什么选择openGauss?

张程伟说这主要出于两点考虑:从合作伙伴的视角出发,我们认为 openGauss 社区是一个能够长期持续演进的国产数据库的根社区。一方面它是开源和商业双向促进的作用,通过社区的开源能够联合多方力量共同参与研发,建设社区生态,并且培养很多的内核开发人才的储备;另一方面,再经过商业版本的落地,不断地在真实的客户场景上去做改进、增强并回馈到社区,形成良好的正向循环。

另外一方面 openGauss 社区是一个开放、透明的社区,能够促使社区合作伙伴积极的参与到社区的共建、共享、共治中。云和恩墨作为社区的第一批成员和理事单位,参加了社区的14个SIG组,并主导IoT SIG组。截至目前,云和恩墨在社区里有1个Maintainer、22个Committer、42个D2代码贡献者,总计提交合入700多个PR,在社区所有参与组织中除华为外排名第一。

DTC2023

云和恩墨/MogDB的优势在哪里?

MogDB 继承了 openGauss 四高的竞争力:高性能高可用高安全高智能,并在这基础之上,进一步进行企业级增强。

在技术层面,MogDB 在性能和TCO维度重点打造核心的技术竞争力。推出的自治异步事务提交、动态分区裁减、并行索引扫描、增量排序优化等特性能够大幅提升数据库性能并降低总拥有成本。

237415a0dfb8ad1afddd629b274540d7.png

在可用性、可维护性方面,MogDB 也做了大量的工程改进,如SQL运行状态观测、OM诊断能力增强、Trace和Dump增强等,这些特性能够辅助定位根因、提升问题诊断效率。

11561bd3dfde143e29ebaa7e80219479.png

在用户最为关心的兼容性方面,无论是 Oracle、MySQL 还是 PostgreSQL 都能够达成常用功能90%以上的直接兼容,实现用户核心数据库的平滑迁移替代。

经过重重性能提升,MogDB 产品在第三方的评测机构测评显示,在4路鲲鹏服务器上能够达到256万tpmC的极致性能。同时,云和恩墨将从前服务了11个行业千余家企业级客户的服务能力转化为自研数据库的企业级产品能力,并且在全国31个省份提供本地化的服务和交付的能力——懂得用户需求、形成产品能力、提供全方位服务,这是云和恩墨较之其他数据库厂商最大的优势。

从数据库国产化替代场景来讲,云和恩墨可以提供从源端到目标端整套解决方案。在迁移过程中,我们把过往经验总结成包括从调研实施上线运行的“四阶九步二十八项”方法论,据此结合用户实际情况给出迁移方案,并且在全国31个省份都具备本地化交付和企业级服务水平,帮助用户完成平滑、低代价、高质量的数据库替代,毫无后顾之忧。

5c89650f10ded458dc6e30fb3f59488f.png

随后张程伟为我们分享了两个落地的客户案例:第一个案例是上海期货交易所,一期项目共上线了5套系统,包括分发、投校、大宗、利率等A类系统;二期4套系统已经完成前期测试,具备上线条件,处于待投产状态。以上所有系统都采用两地三中心的组网形态,一个主节点两个同步备两个级联备,满足金融级容灾标准要求。在该项目中有几大关键问题,如 Oracle 兼容性、C/C++接口支持以及用户在迁移过程中提出了新的开发规范。MogDB 凭借优异的兼容性以及全套迁移工具链,非常完美的完成了本次改造项目。

第二个案例来自哈尔滨银行,该项目已经完成两个批次共24套系统迁移上线,其中包含国结、综合柜面图前、微信银行、协同平台、外汇申报5个A类系统。以图前业务场景为例,原来基于 Oracle 数据库,大量使用 Oracle 的存储过程、触发器等,也是得益于 MogDB 对 Oracle 兼容能力和迁移工具链,在三周的时间内基本上就完成了业务系统的迁移上线,实现了快速迁移上线的效果。本项目在2023年还会继续完成30多套系统的迁移上线,帮助客户在年底达成50%国产化率的目标,实现双轨并行运行。

DTC2023

什么是Uqbar?

Uqbar 是基于 openGauss 内核打造的超融合时序数据库,在 openGauss 原有关系模型基础之上增加了时序数据的模型,形成了“时序+关系”的超融合架构。底层采用行列混合的存储引擎的方案,并且支持向量化查询和并行查询,提供高效的海量数据的分析查询能力。

8624c31dffb2554bbf7b6f9b1e387140.png

基于“时序+关系”的超融合架构,使得一套 Uqbar 数据库就能够支持物联网场景下对多样化数据的管理需求,能够避免使用多种数据库带来的维护成本。Uqbar 还支持跨时序数据和关系数据的复杂关联查询,能够将业务层的复杂业务逻辑简化为关联查询的SQL语句,卸载到数据库中执行,极大简化分析平台的业务复杂度。

针对时序数据的场景,Uqbar 也做了大量的性能优化。去年发布的版本每秒支持300万的写入,较之行业标杆有36%的性能提升,今年6·30还会有进一步的提升。在查询的维度,不管是在单指标的查询还有局部指标或者全量指标聚合查询下,均有不同程度的提升。特别在多维指标的聚合查询,得益于 Uqbar 对倒排索引的支持,带来了260%的性能提升。在压缩率方面支持时序数据的专有压缩算法,相较于把时序数据存储在关系数据库上,可以获得14.2倍的空间节省。

DTC2023

结语

现如今,正处于国产数据库百花齐放、蓬勃发展的时期,如何推动数据技术发展,将企业级数据库能力带给用户?云和恩墨选择回归数据本原,坚持长期主义,深入探索企业级数据库技术升级的道路;一体双翼,用卓越的数据库产品,助推企业数字化、智能化建设。

点击文末“阅读原文”回顾完整演讲视频

aaf3587bf6586ace9c485958b2c28a1d.gif

数据驱动,成就未来,云和恩墨,不负所托!


云和恩墨创立于2011年,以“数据驱动,成就未来”为使命,是智能的数据技术提供商。我们致力于将数据技术带给每个行业、每个组织、每个人,构建数据驱动的智能未来。

云和恩墨在数据承载(分布式存储、数据持续保护)、管理(数据库基础软件、数据库云管平台、数据技术服务)、加工(应用开发质量管控、数据模型管控、数字化转型咨询)和应用(数据服务化管理平台、数据智能分析处理、隐私计算)等领域为各个组织提供可信赖的产品、服务和解决方案,围绕用户需求,持续为客户创造价值,激发数据潜能,为成就未来敏捷高效的数字世界而不懈努力。

bc761ca6713cdbd47c20450128f57adc.gif

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/428529.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

电蚊拍欧盟CE认证EMC+LVD测试

电蚊拍(Mosquito),主要由高频振荡电路、三倍压整流电路和高压电击网DW三部分组成。工作中,经升压电路在双层电网间产生1850V直流左右的高压电,两电网间的静电场有较强的吸附力,当蚊蝇等害虫接近电网时&…

系统集成路由器OSPF动态、综合路由配置

实验任务:动态路由协议RIP、OSPF协议的内容和特点动态路由RIP、OSPF实验,建立拓扑pc1>>R1>>R2>>R3>>pc2,使pc1与pc2能相互通信,并配置PC端静默接口。熟悉配置vlan间路由技术:多层交换机虚拟接…

落地“旅游+”数字赋能:实现智慧旅游协同创新发展

经济的蓬勃发展,与之带来的是消费水平的不断提升,旅行已经成为我们日常生活中不可缺少的一项。在过去三年间,我们由于或这或那的原因,并无法真正实现一场说走就走的旅程。大家在过去的三年算是憋狠了,所以在今年&#…

计算专题(小计算题)

考点: 1.沟通渠道的总量为 n*(n-1)/2,其中 n 代表干系人的数量。 2.决策树计算/自制和外购决策-----EMV。 3.盈亏平衡计算。(刚好不亏也不赚) 【案例】假设某IT服务企业,其固定成本为30万元,每项服务的变…

用于测试FDIA在现实约束下可行性的FDIA建模框架(Matlab代码实现)

目录 💥1 概述 📚2 运行结果 🎉3 参考文献 👨‍💻4 Matlab代码 💥1 概述 信息通信技术的发展和智能设备的引入使电力系统逐渐演变为电力信息物理系统,而信息层与物理层之间的深度耦合也加剧…

HashMap死循环详解

目录 一、数据插入原理 二、导致死循环的原因 三、解决方案 一、数据插入原理 由于JDK1.7中,HashMap的底层存储结构采用的是数组链表的方法 插入数据时候采用的是头插法 二、导致死循环的原因 此时线程T1,T2节点同时指向A节点,同时线程T1…

Spring Boot 整合 Swagger 教程详解

✅作者简介:2022年博客新星 第八。热爱国学的Java后端开发者,修心和技术同步精进。 🍎个人主页:Java Fans的博客 🍊个人信条:不迁怒,不贰过。小知识,大智慧。 💞当前专栏…

小白必看,吐血整理Facebook新手指南(二)

上篇文章咱们讲了关于FB广告的类型,今天咱们再来详细讲下如何设置FB广告、注意事项以及如何借助强大的工具(SaleSmartly、ss客服)监控广告效果、承接广告流量。话不多说,直接上干货选择你的目标 首先,前往您的广告管理…

虚拟化服务器和普通服务器的区别

随着云计算技术的快速普及,虚拟化技术作为其中的一项核心技术,也越来越受到了企业和个人用户的关注。虚拟化服务器相较于传统的物理服务器,具备更高的灵活性和可扩展性,但同时也存在一些不足之处。那么虚拟化服务器的优缺点有哪些…

[STM32F103C8T6]基于stm32的循迹,跟随,避障智能小车

目录 1.小车驱动主要是通过L9110S模块来驱动电机 motor.c 2.我们可以加入串口控制电机驱动(重写串口接收回调函数,和重定向printf) Uart.c main.c 3.点动功能 uart.c main.c 为什么使用的是HAL_Delay()要设置滴答定时器的中断优先级呢? 4.小车…

如何在 Mac上运行 Windows程序?

在Mac 上运行 Windows的工具 在 Mac 上运行 Windows-无需重启即可在您的 Intel 或 Apple M 系列 Mac 上运行 Windows的工具来了,非常强悍和使用,有需要的朋友可以参考一下。 主要功能 运行快速、操作简单、功能强大的应用程序,无需重启即可在您的 Intel 或 Apple M 系列 M…

基于 VITA57.1 的 2 路 125MSPS AD 采集、2 路 250MSPS DA 回放 FMC 子卡模块

板卡概述 FMC150_V30 是一款基于 VITA57.1 规范的 2 路 125MSPS 采样率 16 位分辨率 AD 采集、2 路 250MSPS 采样率 16 位分辨率 DA 回放 FMC 子卡模块。该模块遵循 VITA57.1 规范,可直接与符合 VITA57.1 规范的 FPGA 载卡配合使用,板卡 ADC 器件采用 AD…

接口自动化两大神器:正则提取器和jsonpath提取器

一、前言 在开展接口测试的过程中,我们会发现很多接口需要依赖前面的接口,需要我们动态从前面的接口返回中提取数据,也就是我们通常说的关联。 关联通俗来讲就是把上一次请求的返回内容中的部分截取出来保存为参数,用来传递给下…

迅为龙芯2K0500全国产开发板

目录 龙芯2K0500处理器 动态电源管理 低功耗技术 产品开发更快捷 全国产设计方案 2K0500核心板 邮票孔连接 丰富接口 高扩展性 系统全开源 品质保障 行业应用 龙芯2K0500处理器 迅为iTOP-LS2K0500开发采用龙芯LS2K0500处理器,基于龙芯自主指令系统&#x…

托福听力专项 // Unit1 Listening for Main Ideas //共5篇conversations

目录 I a history class II a student & a librarian III a student & a professor IV a student & a bookstore clerk I a history class its definition II a student & a librarian (1) The librarian was happy to help and explained to the studen…

软件工程part02-软件需求与需求规约

文章目录课程简介考试大纲软件需求与需求规约2.0 可行性分析2.1 需求概述需求分类2.2 需求工程步骤2.3 需求获取2.4 需求规约2.4.1 逻辑模型和物理模型2.4.2 需求分析过程示意2.4.3 结构化分析模型2.4.4 E-R图是数据建模的基础2.4.5 数据流图2.4.5.3 数据流命名规则2.4.5.6 DFD…

【学习cmake-cookbook/chapter-03/recipe-09/c-example-3.5】

代码:cmake-cookbook/chapter-03/recipe-09/c-example-3.5 at master qijitao/cmake-cookbook GitHub 一、 找不到libzmq。 解决办法: 1、首先尝试安装libzmq-dev,但是安装失败: 2、网上查了一下,Ubuntu 17及更高版本…

《Unity Shader 入门精要》第9章 更复杂的光照

第9章 更复杂的光照 9.1 Unity 的渲染路径 在 Unity 中,渲染路径(Rendering Path)决定了光照是如何应用到 Unity Shader 中的。 Unity 支持以下几种渲染路径: 前向渲染路径(Forward Rendering Path)延迟…

D. Orac and Medians(贪心 + 构造)

Problem - D - Codeforces 史莱姆有—系列正整数个2个…., .n个 在一个操作中,Orac可以选择任意子段( ...r]并替换所有值一;个布..,到中位数的值{T;T分.,一打 在这个问题中,对于整数多集s,中位数s等于[产]-其中最小的数…

aosp11/12/13 framework源码开发IDE工具之idegen/aidegen/AIDEGen详细使用

hi,粉丝朋友: 近期又粉丝朋友聊到了如果做aosp系统应用开发,有什么工具或者方式来导入代码可以正常跳转和代码提示等? 更多内容: https://blog.csdn.net/learnframework/article/details/130016893 Android Studio导入系统源码 …