精彩回顾|从架构到实践,AntDB融合型数据库揭秘

news2024/11/26 19:27:19

当今社会中的信息除了“多”,人们对于“效率”和“速度”的要求也越来越高。譬如,对于很多企业决策者来说,在当前的经济形势下需要尽一切可能降本增效。过去每周看看经营报表的习惯,现在慢慢转变为实时可视化分析企业当前的经营状况。

基于此,亚信安慧AntDB融合型数据库,为了支持用户对“实时性”的更高要求,通过原生的“流数据处理引擎”,从内核层面将流式计算与数据库进行了融合与创新。

11月3日-5日,由中国开源软件推进联盟PG分会(简称PG分会)主办的 “2023中国PostgreSQL数据库生态大会”圆满落幕。会上,亚信安慧AntDB-T负责人洪建辉先生,带来了《AntDB融合型数据库:实时流数据处理引擎揭秘》的主题演讲。

以下为该活动的部分演讲内容:

流式数据库的价值和挑战

流式处理数据库是一种专门设计用于处理大量实时流数据的数据库,是实时分析、风险监控、网络检测和物联网 (IoT) 等延迟关键型应用程序的理想选择。但在过去几十年里,数据库作为信息的核心载体,对于实时数据的处理能力,却是建立在数据库引擎之外的。

因此,数据库融入流式数据处理能力,可以通过SQL+触发器对实时数据的处理逻辑与拓扑进行定义,是这几年行业中提出的全新课题。

在亚信安慧AntDB发展的十几年历程中,我们看到运营商大量对核心数据处理加工的业务场景。这些需求中有些能够很容易地使用传统技术满足,但还有一些一定需要采用流式计算等实时处理能力才能支持。

AntDB 流式实时数仓是如何工作的?

流数据处理模式与传统数据库的内核设计有着极大的区别。其核心本质在于,传统数据库架构设计中,应用与数据库之间是“请求-响应“的关系,既业务发起SQL请求,数据库随即执行请求并返回结果。而流处理内核则是“订阅-推送“的模式,可以实时处理、实时推送结果给下游应用进行展示或入库。

亚信安慧AntDB做了大量从零开始的创新性探索与研究,于2022年底推出AntDB-S实时实时数仓,彻底将流式计算与传统交易、分析型数据存储进行了融合,让用户可以在数据库引擎内,通过标准SQL自由定义数据的结构以及实时处理逻辑。

AntDB流数据库的功能优势

技术堆栈简化:在实时流事件的处理上,AntDB流式处理一体引擎将大量的实时数据处理做到数仓内部,更进一步向通用事务靠拢。

标准SQL定义:传统流处理方式对于SQL 的处理很弱,还要写大量业务代码,而AntDB-S可以通过统一SQL语句进行处理,流的使用上更便捷。

统一数据接口:支持流批模式的转换,AntDB统一超融架构,实现了对外的接口统一,数据的采集与处理无需分开,流批都用SQL 即可全部搞定。

支持完整事务处理:传统流处理过程中不支持数据的修改,AntDB-S支持流处理中对数据的修改和事务操作。

实时结果更准确:通过分布式事务的ACID特性,解决实时流数据处理中,数据容灾和一致性的问题,可以精确判断数据故障点,完成流事件的矫正计算和重统计。

AntDB流数据库功能架构拆解

由上图可以看出,流数据库是把流处理功能融合进AntDB-T的SQL引擎中;把流数据的存储融合进AntDB-T的存储引擎;把流处理的进程体系结构融合进AntDB-T的进程体系结构中。

这样的超融合结构会带来以下几点优势:

(1)技术栈简单,稳定性好。

(2)学习和维护成本低,只需掌握数据库的使用和维护即可。

(3)完全用SQL操作所有功能,使用简单方便。SQL是被实践证明了的最好的数据处理语言,能够快速响应业务的复杂多变性。

(4)流数据处理支持数据UPDATE和DELETE、事务ACID、且可以流表JOIN。

关于AntDB数据库

AntDB数据库始于2008年,在运营商的核心系统上,为全国24个省份的10亿多用户提供在线服务,具备高性能、弹性扩展、高可靠等产品特性,峰值每秒可处理百万笔通信核心交易,保障系统持续稳定运行近十年,并在通信、金融、交通、能源、物联网等行业成功商用落地。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1219213.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

「Verilog学习笔记」实现3-8译码器①

专栏前言 本专栏的内容主要是记录本人学习Verilog过程中的一些知识点,刷题网站用的是牛客网 分析 ① 本题要求根据38译码器的功能表实现该电路,同时要求采用基础逻辑门实现,那么就需要将功能表转换为逻辑表达式。 timescale 1ns/1nsmodule d…

ROS 学习应用篇(七)ROS中的坐标变换管理之tf广播与监听的编程实现

偶吼吼胜利在望,冲冲冲 老规矩新建功能包 工作空间目录下/src下开启终端输入 catkin_create_pkg learning_tf roscpp rospy tf turtlesim 如何实现tf广播 引入库 c python …

网络原理-IP/数据链路层协议

一. IP IP协议有两个版本,IPv4和IPv6.我们通常所用的IP协议,若没有特殊说明,默认都是IPv4. IPv4数量2^32,大约43亿左右,而TCP/IP协议规定,每个主机都需要有一个IP地址.对于全世界的计算机来说,这个数量是不够的,所以后来推出了IPv6(长度128位,是IPv4的4倍).但因为目前IPv4还广…

java集合,栈

只有栈是类 列表是个接口 栈是个类 队列 接口有双链表,优先队列(堆) add会报错 offer是一个满了不会报错 set集合 有两个类实现了这个接口

基于IDEA 进行Maven依赖管理

1. 依赖管理概念 Maven 依赖管理是 Maven 软件中最重要的功能之一。Maven 的依赖管理能够帮助开发人员自动解决软件包依赖问题,使得开发人员能够轻松地将其他开发人员开发的模块或第三方框架集成到自己的应用程序或模块中,避免出现版本冲突和依赖缺失等…

基于Java+Vue+uniapp微信小程序居住证申报系统设计和实现

博主介绍:✌全网粉丝30W,csdn特邀作者、博客专家、CSDN新星计划导师、Java领域优质创作者,博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java技术领域和毕业项目实战✌ 🍅文末获取源码联系🍅 👇🏻 精彩专…

分享一个自用的Win11护眼主题(无需下载)

先放上几张效果图 设置方法 首先,把主题设置为高对比度主题——沙漠。 然后点击编辑,依次设置为以下值 背景:#1C5E75文本:#FFF5E3超链接:#6EFFA4非活动文本:#FFF5E3选定文本:#903909、#8EE3F0…

Wordpress多语言插件:WPML插件使用教程,最佳的多语言建站方案

今天小编讲的是另外一款多语言插件WPML。相比Gtranslate采用的是机器翻译,难免存在翻译不准确,词不达意的情况,WPML可以支持人工翻译内容添加。 事先说明一点:用插件实现多语言较为方便,但此方法做出的多语言网站SEO性能一般,只建议展示站使用,如果想要SEO营销型多语言网…

【智能家居】5、主流程设计以及外设框架编写

一、主流程设计 #include <stdio.h>int main(){//指令工厂初始化//控制外设工厂初始化//线程池return 0; } 1、工厂模式结构体定义 &#xff08;1&#xff09;指令工厂 inputCmd.h struct InputCmd{char cmdName[128];//指令名称char cmd[32];//指令int (*Init)(char …

[Linux]NFS文件共享服务

一、NFS 1.1 NFS的简介 NFS&#xff08;Network File System 网络文件服务&#xff09;&#xff0c;是一种基于 TCP/IP 传输的网络文件系统协议&#xff0c;最初由 Sun 公司开发。 NFS 服务的实现依赖于 RPC&#xff08;Remote Process Call&#xff0c;远端过程调用&#x…

计算机网络八股文

计算机网络八股文 第一章 计算机网络基础 1.1 OSI 七层参考模型及各自功能 七层参考模式是一个抽象的模型体&#xff0c;不仅包括一系列抽象的术语或概念&#xff0c;也包括具体的协议。 &#xff08;物、数、网、传、会、表、应&#xff09; 物理层&#xff1a;主要定义物…

数字化转型具体包含哪些内容?

数字化转型是一个广泛且多方面的过程&#xff0c;涉及将数字技术集成到组织或企业的各个方面&#xff0c;从根本上改变其运营和交付价值的方式。它包含广泛的活动、战略和举措&#xff0c;这些活动、战略和举措可能会根据组织的具体目标和需求而有所不同。以下是数字化转型的一…

012.tr

1、用tr进行转换 tr是Unix命令行专家工具箱中的一件万能工具。它可用于编写优雅的单行命令。tr可以对来自标准输入的内容进行字符替换、字符删除以及重复字符压缩。tr是translate&#xff08;转换&#xff09;的简写&#xff0c;因为它可以将一组字符转换成另一组字符。 tr只…

IgH Master环境搭建

目标&#xff1a;实时linux内核中运行IgH主站&#xff0c;ethercat的用户态工具能看到主站信息。 一、需要的软件 1&#xff0c;vbox虚拟机 https://www.virtualbox.org/&#xff0c;下载VirtualBox 7.0, 备注&#xff1a;windows中不要用wsl开发&#xff0c;wsl运行unbuntu…

无需云盘,不限流量实现Zotero跨平台同步:内网穿透+私有WebDAV服务器

&#x1f525;博客主页&#xff1a; 小羊失眠啦. &#x1f3a5;系列专栏&#xff1a;《C语言》 《数据结构》 《Linux》《Cpolar》 ❤️感谢大家点赞&#x1f44d;收藏⭐评论✍️ 无需云盘&#xff0c;不限流量实现Zotero跨平台同步&#xff1a;内网穿透私有WebDAV服务器 文章目…

C#实现将Mysql数据迁移到SQL数据库

前提源数据库及目标数据库需要表结构一致 using System; using System.Windows.Forms; using MySql.Data.MySqlClient; using System.Data.SqlClient; namespace MysqlToSQL { public partial class Form1 : Form { private static string mysqlConnString "…

【开源】基于Vue.js的学生日常行为评分管理系统的设计和实现

项目编号&#xff1a; S 010 &#xff0c;文末获取源码。 \color{red}{项目编号&#xff1a;S010&#xff0c;文末获取源码。} 项目编号&#xff1a;S010&#xff0c;文末获取源码。 目录 一、摘要1.1 项目介绍1.2 项目录屏 二、系统设计2.1 功能模块设计2.2.1 登录注册模块2.2…

系列五、GC垃圾回收【四大垃圾算法-复制算法】

一、堆的内存组成 二、复制算法 2.1、发生位置 复制算法主要发生在新生代&#xff0c;发生在新生代的垃圾回收也被叫做Minor GC。 2.2、 Minor GC的过程 复制>清空》交换 1、eden、from区中的对象复制到to区&#xff0c;年龄1 首先&#xff0c;当eden区满的时候会触发第一…

基于IDEA进行Maven工程构建

Java全能学习面试指南&#xff1a;https://javaxiaobear.cn 1. 构建概念和构建过程 项目构建是指将源代码、依赖库和资源文件等转换成可执行或可部署的应用程序的过程&#xff0c;在这个过程中包括编译源代码、链接依赖库、打包和部署等多个步骤。 项目构建是软件开发过程中…

BlockCanary

卡顿检测框架,比如Activity Service ,BroadcastResoleve等,或者有延时执行造成卡顿 针对这些情况进行监控 引用: 初始化: 捕获异常结果: 源码: 使用双重锁的单例模式,enable 跳转到通知 主线程的监视器 Loop循环调用消息 根据dispathMessage判断是否造成卡顿,也就是消息的间…