【无标KaiwuDB CTO 魏可伟:差异化创新,面向行业的多模架构题】

news2024/11/17 3:10:53

在这里插入图片描述

2024年7月16日,KaiwuDB CTO 魏可伟受邀于 2024 可信数据库发展大会主论坛发表演讲《多模一库 —— KaiwuDB 的现代数据库架构探索》,以下是演讲精华实录。

多模数据库 是顺应时代发展与融合趋势的产物

数据模型最早始于网状模型和层次模型,自 70 年代关系模型的诞生,数据库开启全新面貌,关系数据库得到了极大地发展。90 年代,随着算力、存储性能提升,我们不再只满足于关系数据交易性的应用,更多关于分析等复杂需求产生。同时,应用领域细分这一关键契机也初露头角。

2000 年互联网蓬勃发展,数据库细分趋势愈发明显,但随之而来又诞生了新的问题 —— 各类细分领域的数据库产品带来数据孤岛、数据治理、数据分析等更加棘手的问题。为改善这样的困境,2010 年数据库开始出现“平台化”趋势,云原生、湖仓一体开启行业热潮。但另一边,数据库“专有化”依然层出不穷。

在这里插入图片描述

如上图,纵观数据库发展之路,呈现出“先通用 —— 又细分 —— 再整合”的演进趋势。因此,我们看到数据库有两大不同方向的发展趋势:

  • 更“专”

面向不同类型的数据,出现更多垂直深耕的专有数据库,如时序数据库、向量数据库等;

  • 更“全”

以平台化、整合化思维,打破数据与数据之间的边界,融合数据,如湖仓一体、大数据平台等。

在这样的发展趋势下,有没有一个数据库能够做到“既要又要”?多模,可能会是一个很好的答案

KaiwuDB 做面向物联网行业的多模架构

01 做不一样的多模

多模数据库通常指支持不同模型的数据在同一个数据库中实现统一存储、统一处理,这意味着多模架构将带来更高的处理与管理效率,以及更低的开发与运维成本。目前我们接触到的多模数据库大致可分为两种形态:

“树型”扩展式多模
—— 基于业务发展需求,在原有关系数据库的能力上,增加部分能力。

以 DB2、SQL Sever 为例,用户的业务主要围绕关系数据库展开。但在处理过程中,还需其他类型数据(如 XML、JSON 等)来辅助,由此而新增了不同数据处理能力,我们可将其理解为“树形”扩展式多模。此类数据库具备处理关系以外的数据的能力,但受其业务的重点发展方向影响,究其根本,还是以关系型数据存储能力为基准。

在这里插入图片描述

“筐型”集成式多模
—— 把不同类型的数据处理引擎,在上层通过集成中间件粘合起来,对外提供统一的数据存储、处理。

微软的 CosmosDB 就是一种比较典型的“筐型”集成式多模数据库。顾名思义,集成式多模能给用户带来更多的选择,但也同时存在一个明显的弊端 —— 融合性不够强,处理效率不能有效提升。如果我们仅仅是将除了关系数据库以外的数据库粘合在一起,冠之以“多模”之名,也必将会背离多模的初心。

从行业视角出发,我们重新审视多模,得出了一个结论:不论是“树型”还是“筐型”多模架构,对于物联网客户的实际需求而言,要么太过通用,要么太过专用。在经过对市场的深入研究分析之后,KaiwuDB 找到了一条属于自己的多模之道 —— 立足行业,从场景切入,更贴近用户

02 做更懂行业与用户的多模

其实在提出这个想法前,我自己曾有这样的疑问:数据库作为一套基础设施,它的底层逻辑决定了它就应该是通用且面向全行业的。直到近几年,我们和来自不同行业的客户进行反复的沟通交流后,才发现 —— 原来一款面向行业的数据库真的关键且有必要

KaiwuDB 多模架构设计理念起源于物联网场景,而物联网场景中有几大特点,非常值得关注:

  • 物联网场景中时序数据的量级及更新频率是包括金融在内的大多数行业无法匹及的。这就意味着我们需要一款高性能读写、低成本存储、灵活的生命周期管理、水平扩展能力的时序处理引擎。
  • 真实物联网应用场景中,除了主要的时序数据处理,依然具备关系数据的处理需求,但相较于传统关键领域,处理机制不需要非常复杂(如:不需要较多的隔离级别),即一套简化的关系处理能力即可满足需求
  • 除以上两点,物联网场景下还存在比较典型的非结构化数据类型,因此也需要具备异构数据处理、分析能力

在这里插入图片描述

为了更好地解决“太专/太全”的问题,KaiwuDB 提出的面向行业的多模架构,具备以下几大特点:

☛ 拥抱标准与生态,降低使用门槛

我们主张拥抱以 SQL 为中心的生态,提供相应的 API 帮助用户使用,不管是关系、时序、或是其他非结构化数据,均可采用用统一的 SQL 接口,基于一套集群、一个实例实现快速上手。

☛ 针对特定行业及场景,以更低的成本获取更优的性能

当“树型”多模架构处理不同模态数据时,一定是关系型数据优先。但当置身物联网场景,时序数据处理效率往往才是性能关键。KaiwuDB 多模设计即以时序为先,将特定业务场景背后的逻辑串联,让数据库可以真正地解决物联网用户的特定问题。

☛ 符合中国数据库发展现状,更注重“可服务性”

当前中国数据库发展遇到的核心难题,其实并非技术本身,而在其“可服务性”(即:当遇到问题时,需耗时多久才能锁定、解决问题)是否足够高。“可服务性”需要我们深入千行百业的场景中不断打磨。因此,短期内实现各类场景兼顾是非常艰难的,所以,如果能有效地在某几类场景中找到突破口,可以有效提升国内数据库在垂直领域的可服务性。而物联网,就是 KaiwuDB 致力于深耕的特定场景。

KaiwuDB 2.0 围绕 4 大技术焕新升级

近期,基于 KaiwuDB 在物联网行业的经验积累,KaiwuDB 正式发布 2.0 版本,主打“更易用、更高效、更可靠”,同时也围绕多模、时序数据处理性能、分布式、AI 自治,4 大关键技术迭代升级:

1. 多模

  • 时序数据处理新语法,更好地贴近 SQL 标准与兼容 SQL 生态;
  • 统一关系数据与时序数据的成本模型,提升跨模优化能力;
  • 优化跨模数据转换,提高数据转换性能。

2.时序处理

  • 新数据组织方式适应更多用户场景;
  • 新内容映射模型减少并发冲突;
  • 支持更多自适应的数据访问方法。

3. 分布式

  • 无中心对等分布式计算;
  • 单副本与多副本支持;
  • 扩缩容效率提升。

4.AI 自治

  • 自适应数据组织;
  • 自适应计划调优;
  • 数据偏移检测。

产品赛道选择及定位的背后,其本质还是关乎“用户价值”。这也是我们选择深耕物联网的初心,坚持和客户业务不断打磨碰撞。我相信,差异化创新,会为国内的数据库领域发展带来新的市场机遇,为我们构建更高的技术护城河。因此,我们也将更加坚定地在 KaiwuDB 多模之道上继续探索前行,从行业中探寻趋势,从场景中捕捉价值,成为更懂中国物联网用户的多模数据库

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1949315.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

删除的视频怎样才能恢复?详尽指南

在日常生活中,我们有时会不小心删除一些重要的视频文件,或者在整理存储空间时不慎丢失了珍贵的记忆片段。这时候,我们可以通过一些数据恢复工具和技巧,找回这些被删除的视频。本文将详细介绍几种常见且有效的视频恢复方法&#xf…

升腾c92安装ubuntu20.04 server(二)

一、本人使用大白菜制作的U盘安装ubuntu服务出现了如下错误 通过晚上查询知道,出现unable to find a medium containing a live file system 是因为U盘和升腾c92的u口不匹配导致,解决方案如下: 一、安装软碟通 在安装完软碟通之后&#xf…

git 版本回退-idea

1、选中项目,右键,打开 git历史提交记录 2、选中想要回退的版本,选择 hard(不保留版本记录) 3、最终选择强制提交(必须强制) OK,搞定

合作伙伴中心Partner Center中添加了Copilot预览版

目录 一、引言 二、Copilot 功能概述 2.1 Copilot 简介 2.2 Copilot 的核心功能 2.3 Copilot 的访问和使用 三、Copilot 的使用方法 3.1 Copilot 功能区域 3.2 Copilot 使用示例 3.2.1 编写有效提示 3.2.2 使用反馈循环 四、负责任的人工智能 4.1 Copilot 结果的可…

Docker 安全及日志管理(包含SSL证书)

目录 一、Docker 存在的安全问题 二、Docker 架构缺陷与安全机制 三、Docker 安全基线标准 四、容器相关的常用安全配置方法 五、限制流量流向 六、镜像安全 七、DockerClient 端与 DockerDaemon 的通信安全 https的单向认证流程 https的双向认证流程 八、DockerClie…

实时同步:使用 Canal 和 Kafka 解决 MySQL 与缓存的数据一致性问题

目录 1. 准备工作 2. 将需要缓存的数据存储 Redis 3. 监听 canal 存储在 Kafka Topic 中数据 1. 准备工作 1. 开启并配置MySQL的 BinLog(MySQL 8.0 默认开启) 修改配置:C:\ProgramData\MySQL\MySQL Server 8.0\my.ini log-bin"HELO…

STM32——GPIO(LED闪烁)

一、什么是GPIO? GPIO(通用输入输出接口): 1.GPIO 功能概述 GPIO 是通用输入/输出(General Purpose I/O)的简称,既能当输入口使用,又能当输出口使用。端口,就是元器件…

HTML常用的转义字符——怎么在网页中写“<div></div>”?

一、问题描述 如果需要在网页中写“<div></div>”怎么办呢&#xff1f; 使用转义字符 如果直接写“<div></div>”&#xff0c;编译器会把它翻译为块&#xff0c;类似的&#xff0c;其他的标签也是如此&#xff0c;所以如果要在网页中写类似于“<div…

docker 构建 mongodb

最近需要在虚拟机上构建搭建mongo的docker容器&#xff0c;搞了半天老有错&#xff0c;归其原因&#xff0c;是因为现在最新的mango镜像的启动方式发生了变化&#xff0c;故此现在好多帖子&#xff0c;就是错的。 ok&#xff0c;话不多说&#xff1a; # 拉取最新镜像&#xf…

SpringBoot 使用easypoi.excel实现导入解析数据,并结合数据字典实现对数据的校验

在日常开发工作中避免不了的功能需求&#xff1a;导入Excel文件&#xff0c;然而导入文件流操作、对数据的校验有是件麻烦事&#xff0c;自从接触了easypoi后&#xff0c;觉得封装的很好&#xff0c;很简洁。 使用的主要依赖如下&#xff1a; <dependency><groupId&…

Unity3D结合AI教育大模型 开发AI教师 AI外教 AI英语教师案例

自2022年底ChatGPT引爆全球之后&#xff0c;大模型技术便迎来了一段崭新的快速发展期&#xff0c;由其在GPT4.0发布后&#xff0c;AI与教育领域结合产品研发、已成为教育AI科技竞争的新高地、未来产业的新赛道、经济发展的新引擎和新产品的诞生地。 据不完全统计&#xff0c;目…

代码随想录 day 22 回溯

第七章 回溯算法part01 理论基础 其实在讲解二叉树的时候&#xff0c;就给大家介绍过回溯&#xff0c;这次正式开启回溯算法&#xff0c;大家可以先看视频&#xff0c;对回溯算法有一个整体的了解。 题目链接/文章讲解&#xff1a;https://programmercarl.com/%E5%9B%9E%E6%B…

pdf格式过大怎么样变小 pdf文件过大如何缩小上传 超实用的简单方法

面对体积庞大的 PDF 文件&#xff0c;我们常常需要寻找有效的方法来缩减其大小。这不仅能够优化存储空间&#xff0c;还能提升文件的传输和打开速度。PDF文件以其稳定性和跨平台兼容性成为工作和学习中的重要文件格式。然而&#xff0c;当我们需要通过邮件发送或上传大文件时&a…

力扣94题(java语言)

题目 思路 使用一个栈来模拟递归的过程&#xff0c;以非递归的方式完成中序遍历(使用栈可以避免递归调用的空间消耗)。 遍历顺序步骤&#xff1a; 遍历左子树访问根节点遍历右子树 package algorithm_leetcode;import java.util.ArrayList; import java.util.List; import…

无人机之环保监控篇

随着科技的不断进步&#xff0c;无人机作为一种创新的技术手段&#xff0c;在环保监控领域发挥着越来越重要的作用。 一、覆盖范围广 无人机能够轻松覆盖广阔的地理区域&#xff0c;无论是偏远的山区、广袤的森林还是大型的工业园区。相比传统的地面检测方式&#xff0c;其不…

vue3 常用的知识点

setup:容许在script当中书写组合式API 并且vue3的template不再要求唯一的根元素 <script setup>const name app; </script>组合式API的用法&#xff1a; 可以直接在script标签中定义变量或者函数&#xff0c;然后直接在template当中使用 <template>{{mes…

机器学习 | 回归算法原理——多重回归

Hi&#xff0c;大家好&#xff0c;我是半亩花海。接着上次的多项式回归继续更新《白话机器学习的数学》这本书的学习笔记&#xff0c;在此分享多重回归这一回归算法原理。本章的回归算法原理基于《基于广告费预测点击量》项目&#xff0c;欢迎大家交流学习&#xff01; 目录 一…

从零入门 AI for Science(AI+药物) #Datawhale AI 夏令营

使用平台 我的Notebook 魔搭社区 https://modelscope.cn/my/mynotebook/preset 主要操作 运行实例&#xff0c;如果有时长尽量选择方式二&#xff08;以下操作基于方式二的实例实现&#xff09; 创建文件夹&#xff0c;并重命名为 2.3siRNA 上传两个文件 到文件夹&#…

android手势监听

关于作者&#xff1a;CSDN内容合伙人、技术专家&#xff0c; 从零开始做日活千万级APP。 专注于分享各领域原创系列文章 &#xff0c;擅长java后端、移动开发、商业变现、人工智能等&#xff0c;希望大家多多支持。 未经允许不得转载 目录 一、导读二、概览三、使用四、 如何实…

数据库窗口函数实战

目录 前言 窗口函数语法 创建测试表和数据 使用示例 PARTITION BY 窗口函数 ROW_NUMBER RANK DENSE_RANK RANGE ROWS 前言 SQL 具有很高的灵活性&#xff0c;可以根据需求进行复杂的数据查询和分析&#xff0c;支持多表联合查询&#xff08;join&#xff09;、排序…