入选VLDB 2023! OceanBase 4.0单机分布式一体化研究成果获国际顶会认可

news2024/11/29 13:29:46

近日,国际顶级数据库学术会议 VLDB 2023 在加拿大温哥华开幕。OceanBase 研究成果论文 “OceanBase Paetica: A Hybrid Shared-nothing/Shared-everything Database for Supporting Single Machine and Distributed Cluster” 被 VLDB 2023 收录!相继 2022 年 OceanBase 工业论文获得“the artifacts available badge”认可,今年 OceanBase 的单机分布式一体化研究论文再次获得该项荣誉。

图片

VLDB、SIGMOD、ICDE 被称为数据库领域的三大最顶级学术会议,收录研究机构以及工业界在数据库领域最前沿、最顶级的研究成果。VLDB 于 1975 年成立,每年吸引全球最顶级的研究机构投稿,对系统创新性、完整性、实验设计等方面都要求极高。本篇论文的收录标志着 OceanBase 提出的“单机分布式一体化”架构理论进入数据库领域前沿研究的最高水平,值得一提的是,该项研究成果已全面应用于 OceanBase 4.0 系统,并取得了显著的经济效益。

论文阐述了 OceanBase 单机分布式一体化架构背后的技术突破及优势:

  1. 单机分布式一体化架构:设计并实现单机分布式一体化架构,该架构在单机和分布式系统中均具备单机的 SQL、事务和存储引擎,使用户能够进行动态配置切换。这个独特设计使得 OceanBase 在单机模式下能够高效运行,而不会产生分布式交互的额外开销。此外,在分布式模式下,系统不仅提供了容灾性能,还可以实现出色的性能表现。

  2. 单机分布式一体化架构的 SQL 引擎:能够以串行和并行方式执行 SQL 查询,以充分利用可用的 CPU 核心,能够处理多种情况下的 SQL。此外,在分布式执行场景中,该引擎能够在多台机器之间实现并行,有效处理 SQL 命令。

  3. 单机分布式一体化架构的 LSM-Tree 存储引擎:包括适用于单机和分布式模式的压缩优化技术,这些优化包括增量主要压缩和分阶段轮流压缩等,旨在在写入性能和存储空间利用之间取得平衡。

  4. 单机分布式一体化架构的事务处理引擎:提出了 2-Phase Commit(2PC)协议的优化版本,旨在减少消息处理和日志量,从而降低事务延迟。在单机模式下,不需要使用 2PC,而是利用单一的日志流来处理事务,无需访问全局时间服务(GTS),因此事务引擎的效率与单机数据库相当。

OceanBase 分布式数据库系统在不断演进的过程中,不仅致力于为核心系统和关键业务系统提供稳定可靠的支撑,同时还在打磨适应中小型企业及中小场景的产品能力。目前,该系统已经在蚂蚁集团等商业机构得到广泛应用,而且通过 TPC-C 和 TPC-H 测试进一步证明了其稳定性和有效性。为了解决单机模式下分布式组件带来的开销问题,我们设计了单机分布式一体化架构,并实现了数据库的自适应配置。这使得 OceanBase 能够在单机和分布式场景下同时支持串行和并行执行,从而提升效率并降低成本。

这一设计已经成功应用于 OceanBase 4.0 版本中,实验结果表明单机分布式一体化架构具有显著的可扩展性,优于其他单机或分布式数据库。此外,通过在企业或业务发展的后续阶段使用单一的 OceanBase 数据库,无需迁移,从而使 OceanBase 从主要服务于大型企业转变为也可以较好地服务于中小企业。研究实验证实,OceanBase 单机分布式一体化数据库在单机模式下随着 CPU 核数的增加实现了线性可扩展性。它在 Sysbench 和 TPC-H 评估中也明显优于 MySQL 和 Greenplum。

来自 VLDB 2023 评审专家的评语:本文研究了高度可扩展的数据库系统在单节点配置中遇到的异常问题。在一场“越大越好”(“bigger is better”)的竞赛中,令人耳目一新的是,本文让人们意识到这样的大数据库系统可能不适合单机,而较小规模(单机)的数据库可能是目前绝大多数的数据库。

* 论文信息如下:

Zhifeng Yang, Quanqing Xu, Shanyan Gao, Chuanhui Yang, Guoping Wang, Yuzhong Zhao, Fanyu Kong, Hao Liu, Wanhong Wang, Jinliang Xiao. OceanBase Paetica: A Hybrid Shared-nothing/Shared-everything Database for Supporting Single Machine and Distributed Cluster. 49th International Conference on Very Large DataBases. Vancouver, Canada,August 2023.

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/975411.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

pytorch搭建squeezenet网络的整套工程,及其转tensorrt进行cuda加速

本来,前辈们用caffe搭建了一个squeezenet的工程,用起来也还行,但考虑到caffe的停更后续转trt应用在工程上时可能会有版本的问题所以搭建了一个pytorch版本的。 以下的环境搭建不再细说,主要就是pyorch,其余的需要什么p…

Stable Diffusion stable-diffusion-webui开发笔记

https://lexica.art/ lexica.art 该网站拥有数百万Stable Diffusion案例的文字描述和图片,可以为大家提供足够的创作灵感。可以提供promt灵感 https://civitai.com/ Civitai是一个聚集AI绘图爱好者的社区,在此网站上有许多定制化的模型,特…

【PyGame/PyQy5】get-start 快速入门

1.windows、linux,mac 安装python3 2.PC系统安装pygame, 指令:pip install pygame 3. 保存如下文件: test_game.py 4.PC上运行 python test_game.py import pygame# 初始化Pygame pygame.init()# 创建游戏窗口 window pygame.display.s…

SAP FI 之定义利润中心(Profit Center)

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 文章目录 前言一、pandas是什么?二、使用步骤 1.引入库2.读入数据总结 前言 SAP中的利润中心是SAP Controlling内部控制的一个组织单元。它帮助组织管理成本和收…

基于snat+dnat发布内网K8S及Jenkins+gitlab+Harbor模拟CI/CD的综合项目

目录 项目名称 项目架构图 项目环境 项目概述 项目准备 项目步骤 一、修改每台主机的ip地址,同时设置永久关闭防火墙和selinux,修改好主机名,在firewalld服务器上开启路由功能并配置snat策略。 1. 在firewalld服务器上配置ip地址、设…

blender基本操作

文章目录 引言一、选择二、移动1. xyz轴移动2. xyz平面移动3. 精确移动4. 快捷键移动G 三、旋转四、缩放五、变换1. 变换坐标系2. 变换轴心: 六、吸附七、模式切换八、物体的合并和分离1. 合并2.分离 九、设置父子级关系十、叠加层和快速收藏夹1. 叠加层2. 快速收藏…

【python基础知识】2.if条件判断与条件嵌套

文章目录 前言条件判断单向判断:if双向判断:if…else…多向判断:if…elif…else… if嵌套if嵌套的执行顺序 如何写嵌套代码 前言 在上一关,我带领你攻克了如何与Python沟通的语言大关——通过三种数据类型(字符串、整…

【ALM工具软件】上海道宁与Perforce为您带来用于整个生命周期的应用程序生命周期管理软件

Helix ALM是 用于整个生命周期的 应用程序生命周期管理的ALM软件 具有专用于 需求管理(Helix RM)、测试用例管理(Helix TCM) 问题管理(Helix IM)的功能模块 Helix ALM提供了 无与伦比的可追溯性 您将…

【MySQL学习笔记】(十)使用索引的操作

简单使用索引 创建索引创建主键索引创建唯一键索引普通索引的创建 查询索引删除索引索引创建原则 数据库中的索引与书籍中的索引类似,在一本书中,利用索引可以快速地查找所需信息, 而无须阅读整本书。在数据库中,索引使数据库程序…

跨专业可读的免统考双证的中国社科院-美国杜兰大学金融硕士

跨专业可读的免统考双证的中国社科院-美国杜兰大学金融硕士 项目优势 一、跨专业申请优势 中国社科院-美国杜兰大学金融硕士的招生对象不仅仅是金融行业的高端人才,因为金融业门槛相对较高,进入者往往已经具备了硕士晋升的学习能力,所以我…

【Github】git本地仓库建立与远程连接

文章目录 前言一、git简介二、git下载2.1下载地址 三、git安装3.1安装3.2 配置3.3 config设置(增删改查) 四.github与git连接——本地Git仓库4.1 建本地的版本库4.2 源代码放入本地仓库4.3提交仓库 五、github与git的连接——远程连接5.1 创建SSH Key5.2…

奥本海默

(1)命 电影一开头,奥本海默不擅长做实验。但你看宿命凑巧不凑巧,奥本海默成了曼哈顿计划的工程负责人,偏偏要他一次性爆炸成功。 电影一开头,奥本海默因为不擅长做实验被导师指出引起其他同学哄堂大笑&…

LiveNVR监控流媒体Onvif/RTSP功能-支持数据库切换为高斯数据库信创瀚高数据信创数据库

LiveNVR监控流媒体Onvif/RTSP支持数据库切换为高斯数据库信创瀚高数据信创数据库 1、如何配置切换高斯数据库?2、如何配置切换信创瀚高数据库?3、RTSP/HLS/FLV/RTMP拉流Onvif流媒体服务 1、如何配置切换高斯数据库? livenvr.ini -> [db]下…

Qt之事件过滤—筛选处理对象

文章目录 事件过滤完整代码 事件过滤 事件过滤是当事件发生时,可以对不同对象,实现不同操作,以达到筛选的效果。 步骤: 1、首先安装一个事件过滤器,为对象安装事件过滤,指定“谁”来监控这些事件对象 //给…

“多行业信赖选择:为什么出版、金融和教育都爱‘爱校对’“

在当今的数字时代,文本是我们沟通、传播知识和进行交易的主要工具。不论是出版行业的图书、金融行业的报告,还是教育行业的教材,文字的准确性都是不可或缺的。那么,为什么在这些关键行业中,“爱校对”成为了许多机构和…

【实践篇】Redis缓存和数据库一致性问题

Redis缓存和数据库一致性问题 文章目录 Redis缓存和数据库一致性问题0. 前言参考资料 1. 缓存和数据库的数据不一致是如何发生的?1. 删除数据的情况:2. 修改数据的情况: 0. 前言 确保缓存和数据库之间的数据一致性是一项挑战,这需…

【Kafka系列】(一)Kafka入门

有的时候博客内容会有变动,首发博客是最新的,其他博客地址可能会未同步,认准https://blog.zysicyj.top 首发博客地址 系列文章地址 Kafka是什么? 一句话概括:「Apache Kafka 是一款开源的消息引擎系统」 什么是消息引擎系统&#…

软件测试代码覆盖率

在<professional software testing with visual studio 2005 team system tools for software developer>中提到了代码覆盖率&#xff0c;我很久没有去书店了&#xff0c;不知道是不是出了新的版本&#xff0c;觉得书里面关于代码覆盖率方面的知识有些地方没有讲&#xf…

RobotFramework自动化测试框架系列学习----(二)库与关键字

一、类库和标准库 在RIDE中&#xff0c;按F5可查看库和关键字标准库 &#xff08;RF自带的库&#xff0c;不需要额外安装&#xff09; Buitln 测试库 Collections 集合库 DateTime 时间库 Screenshot 截屏库 存放位置&#xff1a;Python37\Lib\site-packages\robot\libraries …

点成案例丨比浊仪助力牙周炎诱发因素研究

牙周炎概述 牙周炎&#xff08;Periodontitis&#xff09;是一种炎症性疾病&#xff0c;其主要特征为牙周袋的形成及袋壁的炎症、牙槽骨吸收而导致牙龈与牙齿分离、牙齿逐渐松动或掉落等。牙周炎主要是由积聚在牙龈及其附近牙面、齿颈缘的牙菌斑内细菌所分泌的毒素令牙周组织发…