云卷云舒:论超级数据库、算网数据库、智算数据库

news2025/1/19 2:35:06

笔者大胆提出一种“超级数据库”的概念设想。

一、超级能力

就像当初提出“超级计算机”一样,我们是否同样可以提出“超级数据库”的概念呢?当然不是不可以。

二、超级计算机

我们回忆一下“超级计算机”的发展之路,大致经过了如下几个环节:

  • 晶体管计算机:实现体积缩小
  • 半导体集成电路:集成在半导体晶片上的晶体管数量将每两年翻一倍的速度增长,这就是著名的“摩尔定律”,至今依然有效。
  • 芯片:体积进一步缩小,比如CPU和GPU,上百亿的晶体管的容纳。
  • 超级计算机:复杂高难计算,将无数的芯片集成起来,就是超级计算机了。支持至少1-亿次计算/S
  • 银行二号:并行计算突破,10亿次
  • 天河一号:GPU和CPU形成异构融合体系,千万亿次,6144哥CPU+5120GPU,在2010年全球首座。
  • 神威太湖之光:算力已达到10亿亿次。

三、算力概念

智算=CPU+GPU+xAI

算力网络:多个云计算,通过网络(光纤、5G)组合起来,通用算力+超级算力+智算+量子计算。通过算网大脑灵活智能调度,赋能数据经济,实现数字经济时代的“南水北调、西电东送”等超级工程,如“东数西存、东数西算”。

四、算力网络背后的技术坐标

  • 算力:计算底座(主机)、计算引擎(数据库),各类芯片加持下的新型计算产品XPU;
  • 网络:5G、光纤
  • 存力:各类芯片加持
  • 算网大脑:调度、运营、服务

五、超级数据库

再次回顾“超级计算机”,数据库的演进惊人的相似。

  • 稳定安全大容量:IBM大型机+DB2,成本高,银行和民航才用得起;
  • 大型机替代方案:小型数据库+oracle软件,HP横空出世,成本大幅降低,在电信、金融行业有了市场,DB2被打翻;
  • 走向细分:OLTP(oracle依然傲娇)、OLAP(开源突破,PG崭露头角,oracle在AP市场被蚕食)
  • 算力细分、智能化:OLTP(oracle中间退伍,分布式理念让MySQL等开源TP数据库大兴)、OLAP市场更加兴旺,大数据技术链“体系化”出现,oracle彻底没了市场。这一时代,成本大降,但是数据库的维护、数据管控复杂度大大提升,甚至需要组件数据库团队。

和“超级计算机”类似,都是从“小算力”-->“大规模集成算力”-->“连接型(网络型)算力+智能编排调度”演进,那么数据库作为一种常见的“算力”也要做出改变,但经常被很多“算力”服务商所忽略,其实:

算力的范围应该是:计算机+OS+数据库。网络的范围是:骨干/传输+接入+云内/云间。

那么算力网络时代的“超级工程”,具备“算网数据库、智算数据库、量算数据库”整合能力。“多态”、“连接”、“智能”是标准三件套,算网时代数字生态的构建是“超级数据库”的需求爆点

  • 能力图谱:

    • 为了支撑客户全国性调度的需求,光靠数据库本身不行,数据库的周边生态工具需要发展起来,比如“高效/安全传输”、“数据治理套件”、“数据冷热调度器”、“智能数据网关”。
    • 数据碎片化分布、大体量的传输,对于安全提出了较高的要求,这里面应该建设专门的“数据安全高效传输专用通道”,甚至“专有协议”,一切为了安全和高效。
    • 数据库的技术重点:也将随着数据库所在位置(端、近、远)有所侧重,端侧侧重实时计算、近侧侧重有限事务协同+端侧管控+模型应用、远侧侧重全局事务管控+模型管理。这里面,近侧和远侧的场景就十分适合放在“智算中心”进行管理。
    • 算云网边端,五位一体,那么数据库是否依然有五种对应的形态呢?没有5种起码也有三种,适配端侧(内嵌)、近侧(边缘)、远侧(集中)。
  • 调度中枢:

    • 这里指的是“超级数据库”的调度中枢,它与“算网大脑”可以说是一个上下位的关系。
      • 算网大脑负责全局资源管控、算力调度,而调度中枢专门指的是调度“超级数据库”体系内部数据的“数据调度中枢”,算网大脑侧重于全局资源的均衡,调度中枢则更多的关注数据的冷热分层、查询效率、数据一致性。
      • 但是二者相似的事是,都需要针对全局资源统管可见,这一点上,调度中枢需要同意遵循“算网大脑”的“上位编排”。
      • 之所以叫“超级数据库”,是指的“超大规模、超复杂架构”的数据都存在一个数据库体系内。
  • 生态演进:

    • 那么应用场景在哪里?派生新的通用行业-“数据行业”。目前可见如此大的“超级数据库”,应用的场景还是“分布式领域”,有两个场景:
      • 全国性大客户,客户业务或数据遍及全国,需要针对数据层面的管理和调度需求,如大中型央国企、大型医药/教育/工业/电商平台。
      • 从云服务上本身来看,实现全网数据库的同一纳管,实现资源总量的集中化运营,可以大幅提高资源利用效率,利用空闲区域数据库分担繁忙区域的“非热”数据,成本实现最佳。
      • 从衍生价值来看,在“超级数据库”中,如此多的数据实现了“统一管理”,除了满足全网的随时访问、安全保管、数据存储之外,还应该充分挖掘衍生价值,比如“数据超市”、“数据快递”、“超级备份中心”、“数据试验田”、“大模型中心”、“数据分析大表”等,更充分的赋能“算力时代”,打造更多的算网应用。
      • 从需求孵化角度,我们需要持续提升数据库价值挖掘,打造新型通用行业“数据行业”,覆盖全局。

六、超级数据库、算网数据库、智算数据库

        算力网络时代已经来临,超大算力芯片和网络已然布局,越来越多的“智算中心”不断投产,我们需要更加加速构建上层算网应用生态,除了关注传统的“物理机、虚拟机”算力,需要更多去关注能够产生更加广阔价值的paas算网应用,比如“超级数据库、算网数据库、智算数据库”,其实在计算机发展历程上看,并不是一个东西,而是一个演进的过程。

        但是在如今,时不我待,大胆创新突破,正当数字经济时代的“弄潮儿”,我们需要基于成熟的技术和算网生态体系,打造“超级数据库、算网数据库、智算数据库”(我这里统称“超级数据库”)。

参考文章:

云卷云舒:算力网络+云原生(下):云数据库发展的新篇章-CSDN博客


云卷云舒:算力网络+云原生(中):探索构建算力网络数据库_云卷云舒 csdn-CSDN博客

云卷云舒:算力网络+云原生(上):打造云网边端协同架构_算力网络和云原生-CSDN博客

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1441738.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Swift Combine 管道 从入门到精通三

Combine 系列 Swift Combine 从入门到精通一Swift Combine 发布者订阅者操作者 从入门到精通二 1. 用弹珠图描述管道 函数响应式编程的管道可能难以理解。 发布者生成和发送数据,操作符对该数据做出响应并有可能更改它,订阅者请求并接收这些数据。 这…

FPGA实现ISP用于无人车、无人机配送的方案调研

查到一个always 奥唯思公司做的用FPGA实现ISP的方案,采用易灵思钛金16nm的FPGA Ti60F225,通过MIPI CSI RX采集图像传感器的数据,在FPGA内部经过一系列复杂的ISP运算后,再通过MIPI CSI TX将图像数据发送给后端。 一套完整的ISP&a…

【前端】实现Vue组件页面跳转的多种方式

目录 前言1. 内嵌2. 跳转新页面2.1 Demo12.2 Demo22.3 Demo3 3. 拓展 前言 通过某个Button让页面多种方式跳转 1. 内嵌 想要在Vue应用中内嵌一个外部网页&#xff0c;可以使用<iframe>标签 下面是一个示例&#xff1a; <template><div><!-- 在这里嵌入…

C语言一招教你搞定所有基础函数知识(上)

1.前言 Hello&#xff0c;大家好&#xff0c;我是小陈&#xff0c;新年快乐呀&#xff01;马上就龙年了&#xff0c;今天是大年30&#xff0c;祝各位新的一年更上一层楼&#xff0c;今天小陈为大家带来了C语言的函数基础知识&#xff0c;希望大家仔细看完。 2.函数的概念 何…

数据库切片大对决:ShardingSphere与Mycat技术解析

欢迎来到我的博客&#xff0c;代码的世界里&#xff0c;每一行都是一个故事 数据库切片大对决&#xff1a;ShardingSphere与Mycat技术解析 前言ShardingSphere与Mycat简介工作原理对比功能特性对比 前言 在数据库的舞台上&#xff0c;有两位颇受欢迎的明星&#xff0c;它们分别…

Unity入门学习

目录 Unity环境搭建Unity引擎是什么软件下载和安装工程文件夹 Unity界面基础Scene场景和Hierarchy层级窗口Game游戏和Project工程Inspector和Console工具栏和父子关系 Unity工作原理反射机制和游戏场景预设体和资源包的导入导出 Unity脚本基础脚本基本规则生命周期函数Inspecto…

Aethir和Well-Link Tech携手革新云游戏,释放人工智能(AI)潜力

​Aethir将为Well-Link Tech的2亿用户提供先进的GPU计算能力&#xff0c;大幅提升他们的游戏体验。 新加坡&#xff0c;2024年2月7日 - 先驱性的去中心化GPU网络Aethir与实时云渲染技术领导者Well-Link Tech携手共创云游戏和元宇宙发展的新时代。 借助Well-Link Tech对领先游戏…

算法---回溯(正文)

1.什么是回溯&#xff1f; 回溯算法的定义就是和暴力枚举一样枚举所有可能并加撤回&#xff0c;也能和暴力一样去掉一些重复&#xff08;在之前就被筛出&#xff0c;但还要枚举这个&#xff0c;我们可以跳过这个了---------这个就是回溯剪枝&#xff09;。但为什么回溯不是暴力…

分享90个行业PPT,总有一款适合您

分享90个行业PPT&#xff0c;总有一款适合您 90个行业PPT下载链接&#xff1a;https://pan.baidu.com/s/1bHvhk_42-IFAjNdjPPtMZw?pwd8888 提取码&#xff1a;8888 Python采集代码下载链接&#xff1a;采集代码.zip - 蓝奏云 学习知识费力气&#xff0c;收集整理更不易…

【蓝桥杯冲冲冲】Prime Gift

【蓝桥杯冲冲冲】Prime Gift 蓝桥杯备赛 | 洛谷做题打卡day31 文章目录 蓝桥杯备赛 | 洛谷做题打卡day31Prime Gift题面翻译题目描述输入格式输出格式样例 #1样例输入 #1样例输出 #1 样例 #2样例输入 #2样例输出 #2 提示题解代码我的一些话 Prime Gift 题面翻译 给你 n n n 个…

自适应二次元404页面源码

自适应二次元404页面源码&#xff0c;HTMLCSSJS,喜欢二次元的朋友可以下载使用 蓝奏云&#xff1a;https://wfr.lanzout.com/iuPNQ1ns7dxg

Linux网络编程——udp套接字

本章Gitee地址&#xff1a;udp套接字 文章目录 创建套接字绑定端口号读取数据发送数据聊天框输入框 创建套接字 #include <sys/types.h> #include <sys/socket.h> int socket(int domain, int type, int protocol);int domain参数&#xff1a;表面要创建套接字的域…

ElasticSearch之倒排索引

写在前面 本文看下es的倒排索引相关内容。 1&#xff1a;正排索引和倒排索引 正排索引就是通过文档id找文档内容&#xff0c;而倒排索引就是通过文档内容找文档id&#xff0c;如下图&#xff1a; 2&#xff1a;倒排索引原理 假定我们有如下的数据&#xff1a; 为了建立倒…

Day7.

使用QT编写一个简单QQ登录界面 widget.c #include "widget.h" #include "ui_widget.h"Widget::Widget(QWidget *parent) :QWidget(parent),ui(new Ui::Widget) {ui->setupUi(this);this->setWindowIcon(QIcon(":/pictrue/qq.png"));ui-&…

github使用问题汇总

1. Permission denied 1.1. 问题描述 Permission denied (publickey). fatal: Could not read from remote repository. 1.2. 解决方法 生成公钥 ssh-keygen -t ed25519 -C "your_emailexample.com" 点击回车三次 Generating public/private ed25519 key pair. …

从RSA角度出发解析JWT原理

文章目录 一、JWT介绍1. JWT组成部分2. 头部&#xff08;Header&#xff09;3. 载荷&#xff08;Payload&#xff09;4. 签名&#xff08;Signature&#xff09; 二、深入理解JWT签名验证1. 签名生成2. 签名验证3. 为什么JWT是安全的 三、如何验证JWT是否有效四、 Why JWT&…

【Docker进阶】镜像制作-用Dockerfile制作镜像(一)

进阶一 docker镜像制作 文章目录 进阶一 docker镜像制作用dockerfile制作镜像dockerfile是什么dockerfile格式为什么需要dockerfileDockerfile指令集合FROMMAINTAINERLABELCOPYENVWORKDIR 用dockerfile制作镜像 用快照制作镜像的缺陷&#xff1a; 黑盒不可重复臃肿 docker…

5G智能卷烟工厂数字孪生可视化平台,推进烟草行业数字化转型

5G智能卷烟工厂数字孪生可视化平台&#xff0c;推进烟草行业数字化转型。随着5G技术的不断发展&#xff0c;智能卷烟工厂数字孪生可视化平台成为了推进烟草行业数字化转型的重要手段。该平台将5G技术与数字孪生技术相结合&#xff0c;实现了对卷烟生产全过程的实时监控、数据分…

基于 Python 的漏洞扫描系统,附源码

博主介绍&#xff1a;✌程序员徐师兄、7年大厂程序员经历。全网粉丝12W、csdn博客专家、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java技术领域和毕业项目实战✌ &#x1f345;文末获取源码联系&#x1f345; &#x1f447;&#x1f3fb; 精彩专栏推荐订阅&#x1f447;…

计算机网络-流量控制(数据链路层的流量控制及与传输层流量控制的区别 流量控制的方法 可靠传输,滑动窗口,流量控制三者关系)

文章目录 数据链路层的流量控制及与传输层流量控制的区别流量控制的方法各方法对应的发生窗口和接收窗口大小 可靠传输&#xff0c;滑动窗口&#xff0c;流量控制三者关系小结 数据链路层的流量控制及与传输层流量控制的区别 端到端&#xff1a;两个主机之间的 点对点&#xf…