全球分布式云大会:AntDB超融合流式实时数仓,打造分布式数据库新纪元

news2024/11/18 13:39:51

日前,全球分布式云大会北京站在北京金茂万丽酒店举办,亚信科技AntDB数据库受邀参会,会上技术负责人北陌发表以“AntDB超融合流式实时数仓,打造分布式数据库新纪元”为主题的演讲,通过分享AntDB在数据库前沿技术的研发实践,与参会嘉宾一起共话分布式数据库发展新纪元。

溯源回流不忘初心

基于未来场景做好产品研发与服务

由于我国信息产业起步较晚,数据库技术一直依赖欧美品牌厂商,但我国人口规模持续增长、通信需求无法得到满足,我国在数据和信息处理的量级上也“全球罕见”。2000年左右我国手机用户短时间内出现指数级增长,在欧美市场孕育出来的传统数据库产品并不能很好满足这样体量的数据管理需求,尤其在计费、信令分析等核心应用场景。这种背景下,亚信作为运营商的合作伙伴,当仁不让地进行技术创新,开发了AntDB第一代数据产品——内存数据库,为运营商海量数据和高频交易场景提供有效支撑。

图1:AntDB超融合流式实时数仓演进历程

随着通信技术2G到5G的迭代,伴随而来的是数量的指数级增长、用户量的数量级跳跃和应用场景的大爆发。亚信科技作为通信运营商的合作伙伴,能深刻感知预见技术进步带来的场景变化,能够真正地站在未来场景进行产品技术和服务的演进升级。AntDB也在这个过程中完成了7次大的迭代——从内存数据库到高可用全功能的关系型数据库,再到兼容MySQL,PostgreSQL以及Oracle的全栈式数据库,更进一步到分布式、多模原生数据库,再到现在7.2版本的超融合流式实时数仓,可以说每一步都走在了技术前沿,帮助客户有效应对了新技术带来的数据管理需求。

在15年的演进发展中,AntDB形成了多、久、快、稳四大特点:

多——服务人数多,全国超10亿的手机用户后台都在运行着AntDB数据库

久——应用时间久,从2008年应用在通信运营商核心计费系统,AntDB经历了15年业务锤炼

快——执行性能快,峰值每秒处理百万笔通信核心交易

稳——产品稳定可靠,以在通信运营商核心系统稳定运行15年,安全高效

勇担使命融合创新

国产分布式数据库迎来发展新纪元

信息技术应用创新是我国新基建的重要内容,在信创东风下,作为亚信科技自主研发的国产数据库,AntDB勇担信创使命,深入研究面向未来的数据库技术,用超融合流式实时数仓将我国数据库的发展带入新纪元:在整体架构上,提出全新的“超融合”理念,将多引擎、多能力融合在一起,实现了交易、内存计算、交易、分析、流处理、时序五大能力的融合,让一款产品对用户做到一站式的服务;通过新一代流式实时数仓引擎,从内核层面将流式计算与数据库进行融合创新,把流式处理与SQL有机地结合到一起。

图2:AntDB超融合流式实时数仓,打造分布式数据库新纪元

在实际应用中,AntDB统一框架下的超融合架构设计,有效降低了IT架构的复杂度,缩短近50%的项目开发时间;支持标准SQL语句进行业务开发,业务响应速度可以提升近90%;统一的技术架构,有效解决数据口径的一致性问题,让数据库运维管理更简单、易用。而AntDB新一代流式实时数仓引擎,则将实时的流式处理融合到50年未变的数据库引擎里,通过自身的数据库内核能力,原生地去解决实时业务中的流处理事件,对前方产生的海量业务数据进行实时预处理,从被动查询到主动推送,从实时分析到输出结果,实现核心业务数据的实时分析、实时告警,帮助企业客户实时掌握经营状态、及时调整运营策略,更快速地获取数据价值。

案例展示

解读超融合流式实时数仓的业务价值

演讲最后,北陌演示了充电桩实时服务业务场景,让与会嘉宾更加直观地感受超融合流式实时数仓的业务价值。

近年来,人们越来越多地选择新能源电动汽车作为外出旅行的方式,但“里程焦虑”困扰着电车经济的发展,途径各地充电桩的情况怎么样?空位多不多?急需一套智能化的监测服务系统,来整合、共享各地充电桩的资源信息。

那么,流式实时数仓引擎对实时业务有什么作用?对于某省充电桩实时服务的业务场景,各区域的车辆信息、当前消费信息、充电桩状态更新、充电量等数据持续到达,系统需要及时处理各种新到数据,并不断产生、输出当前的空余桩个数、今日营收的动态监控,汇总各区域营收、分时统计、整体营收分布情况等经营状态的报表。接着,再下钻到某个地区,很清晰地看到当前充电桩的分布情况和运行状态。

图3:充电桩实时服务监控示例

实际上,基于传统关系型数据库的实时预警与BI展示系统,是一种离线的批处理方式,可以成功处理TB\PB级别的海量数据,但无法应对实时数据分析需求和对消息事件的实时响应,无法满足实际的实时性的需求。

AntDB的流处理模式强调数据处理的速度,通过流式实时数仓引擎能够对新到达的数据进行及时处理,让决策者看到最新的数据变化,准确把握事态发展趋势,对突发事件进行及时响应、有效应对。

关于AntDB数据库

AntDB数据库始于2008年,在运营商的核心系统上,为全国24个省份的10亿多用户提供在线服务,具备高性能、弹性扩展、高可靠等产品特性,峰值每秒可处理百万笔通信核心交易,保障系统持续稳定运行近十年,并在通信、金融、交通、能源、物联网等行业成功商用落地。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/543527.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

打印菱形(两种思路)

一、输入的行数等于上半部分的金字塔行数 思路: 仔细观察图形,可以发现,此图形中是由空格和*按照不同个数的输出组成的。 上三角:先输出空格,后输出*,每行中空格:从上往下,一行减少一…

国外各大学和学院对于ChatGPT使用立场总结

ChatGPT和生成式AI的快速普及对教育这个专业领域带来了威胁——全国各地的大学和学院都召开了紧急会议,讨论如何应对学生利用AI作弊的风险。 一部分学校和教授担心这项技术会成为学生在论文或其他写作作业和考试中寻求捷径的工具。而这种生成内容的方式往往能够绕开…

Deepstream使用Rabbitmq 和kafka发送消息(天坑)unable to connect to broker library

连接服务器失败,要么是是本地参数没设对, 要么服务器没开! 使用Kafka发送消息好搞,按照 /opt/nvidia/deepstream/deepstream-6.2/sources/libs/kafka_protocol_adaptor/README 一步一步来就行了,前提是要搞kafka 环境搭建开启&am…

特殊区域在OSPF协议中的分析

我们都知道OSPF路由器协议是基于SPF算法计算最优路径,当用于SPF算法的LSDB的越大,那么路由器的计算压力就越大,对于一些性能不佳的OSPF路由器来说,如何尽可能的减小LSDB规模也就成了OSPF设计时要考虑到的问题,为了进一…

DMA-STM32

DMA-STM32 DMA(Direct Memory Access)直接存储器存取 DMA可以提供外设和存储器或者存储器和存储器之间的高速数据传输,无须CPU干预,节省了CPU的资源 12个独立可配置的通道:DMA1 (7个通道),DMA2 (5个通道) 每个通道都支持软件触发和特定的硬件触发 STM32…

第七章.链接

概述 链接:将多个目标文件或库文件组合在一起,生成可执行文件或共享库 可以执行于编译时、加载时、运行时,使得分离编译成为可能,由链接器自动实现链接器:将各个模块之间的符号引用解析为实际的内存地址,生…

大厂面试官带你Get求职面试核心技巧

本文首发自[慕课网] ,想了解更多IT干货内容,程序员圈内热闻,欢迎关注"慕课网"及“慕课网公众号”! 作者:Brain|慕课网名师 Hello,大家好,我是Brian 老师,在开发领域摸爬滚…

Day01 关系型数据MySQL简介与多平台安装配置

在大数据的课程中,我们需要处理的数据来自不同的渠道,其中有一个很重要的渠道就是关系型数据库中存储的数据。在企业中,会把业务数据存储在关系型数据库中,一般以MySQL居多。另外,我们在后续的课程中需要学习Hive、Spa…

SpringBoot启动过程源码解析

一,构造SpringApplication对象 1、推测web应用类型 如果项目依赖中存在org.springframework.web.reactive.DispatcherHandler,并且不存在org.springframework.web.servlet.DispatcherServlet,那么应用类型为WebApplicationType.REACTIVE如果…

【PaLM2】PaLM2 大语言模型与 Bard 使用体验

欢迎关注【youcans的学习笔记】原创作品,火热更新中 【Google I/O 2023】PaLM2 大语言模型与 Bard 使用体验 1. PaLM2 大型语言模型1.1 谷歌发布 PaLM21.2 PaLM2 的功能与性能 2. 基于 PaLM2 的谷歌 AI 产品2.1 智能助手 Duet AI2.2 Gmail:帮我写邮件2.3…

【Spring框架四】——Spring AOP 注解实现和xml方式实现

系列文章目录 【Spring框架一】——Spring框架简介 【Spring框架二】——什么是Spring IOC、 什么是Spring 依赖注入 【Spring框架三】——Spirng IOC和DI的实现 Spring AOP 注解实现和xml方式实现 系列文章目录前言一、什么是Spring AOP(Aspect-Oriented Progra…

OpenAI 宣布推出适用于 iPhone 和 iPad 的 ChatGPT 官方应用程序。

🚀 OpenAI 宣布推出适用于 iPhone 和 iPad 的 ChatGPT 官方应用程序。 OpenAI 宣布推出适用于 iPhone 和 iPad 的 ChatGPT 官方应用程序。 该应用程序具备即时回答各种问题、量身定制的建议、创意灵感、专业意见和个性化学习等功能和特性,可以帮助提高…

【密码产品篇】服务器密码机密钥体系结构

【密码产品篇】服务器密码机密钥体系结构 标准GM/T 0030-2014中规定服务器密码机必须至少支持三层密码体系结构,包括:“管理密钥、用户密钥/设备密钥/密钥加密密钥、会话密钥”。除"管理密钥"外,其他密钥可被用户使用,…

在图片上添加水印的四个方法

如何在图片上添加水印?在当今开放的互联网环境中,平时对于图片的使用已经变成非常广泛,越来越多的人开始关注图片的版权问题。如今,人们越来越注重防盗意识,这是因为我们在网上发布的图片很容易被别有用心之人盗用&…

Maven仓库

1、仓库 仓库:用于存储资源,主要是各种jar包 关于仓库,我们前面讲到了有三种:本地仓库,私服,中央仓库,其中私服和中央仓库都属于远程仓库 中央仓库:maven团队自身维护的仓库&#…

Java面试知识点(全)- Java并发-多线程JUC一

Java面试知识点(全) 导航: https://nanxiang.blog.csdn.net/article/details/130640392 注:随时更新 JUC框架 五个部分: 主要包含: (注意: 网上找的图,主体上可以看出其分类关系也够了) Lock框架和Tools类(把图中这两个放到一起…

一起Linux操作系统部署的Mysql数据库服务器/目录空间占用异常的分析事例

一台Linux操作系统部署的Mysql数据库服务器平时“/"目录占用很低,但每个小时都会出现一次根目录空间占用高的情况,本文系从OS侧对异常事件进行分析排查的过程。 1、初步分析 主机已进行监控,分析监控图表 可见该数据库服务器日常根目录…

王炸功能ChatGPT 联网插件功能放开,视频文章一键变思维导图

就在上周5月13日,Open AI 发文称:“我们将在下周向所有ChatGPT Plus 用户开放联网功能和众多插件”。 这意味着什么? 首先联网功能将使得ChatGPT不再局限于回答2021年9月之前的信息,能直接联网查询最新消息。 而插件功能就可以在…

基于LT6911UXC的LVDS视频接口调试经验

项目方案采用龙讯半导体LT6911系列。 该方案采用HDMI输出转LVDS接口。在本方案中有两种显示屏;一个是10.4寸,一个是15.6寸。分别应 单LVDS与双LVDS接口。 10.4寸屏幕的分辨率为1024*768;单八LVDS信号; 15.6寸的屏幕的分辨率为19…

SSD202D-MIPI屏点亮

调试mipi 点屏参考 - SigmaStarDocs Panel开发参考 - SigmaStarDocs 1.首先要看点屏参考,看懂硬件接线这些原理,然后依据实际的接线配置屏参 和RGB是复用的,所以不一样, 然后配置内核,我是直接编译mipi的内核 2.配置屏参,