日前,全球分布式云大会北京站在北京金茂万丽酒店举办,亚信科技AntDB数据库受邀参会,会上技术负责人北陌发表以“AntDB超融合流式实时数仓,打造分布式数据库新纪元”为主题的演讲,通过分享AntDB在数据库前沿技术的研发实践,与参会嘉宾一起共话分布式数据库发展新纪元。
溯源回流不忘初心
基于未来场景做好产品研发与服务
由于我国信息产业起步较晚,数据库技术一直依赖欧美品牌厂商,但我国人口规模持续增长、通信需求无法得到满足,我国在数据和信息处理的量级上也“全球罕见”。2000年左右我国手机用户短时间内出现指数级增长,在欧美市场孕育出来的传统数据库产品并不能很好满足这样体量的数据管理需求,尤其在计费、信令分析等核心应用场景。这种背景下,亚信作为运营商的合作伙伴,当仁不让地进行技术创新,开发了AntDB第一代数据产品——内存数据库,为运营商海量数据和高频交易场景提供有效支撑。
图1:AntDB超融合流式实时数仓演进历程
随着通信技术2G到5G的迭代,伴随而来的是数量的指数级增长、用户量的数量级跳跃和应用场景的大爆发。亚信科技作为通信运营商的合作伙伴,能深刻感知预见技术进步带来的场景变化,能够真正地站在未来场景进行产品技术和服务的演进升级。AntDB也在这个过程中完成了7次大的迭代——从内存数据库到高可用全功能的关系型数据库,再到兼容MySQL,PostgreSQL以及Oracle的全栈式数据库,更进一步到分布式、多模原生数据库,再到现在7.2版本的超融合流式实时数仓,可以说每一步都走在了技术前沿,帮助客户有效应对了新技术带来的数据管理需求。
在15年的演进发展中,AntDB形成了多、久、快、稳四大特点:
多——服务人数多,全国超10亿的手机用户后台都在运行着AntDB数据库
久——应用时间久,从2008年应用在通信运营商核心计费系统,AntDB经历了15年业务锤炼
快——执行性能快,峰值每秒处理百万笔通信核心交易
稳——产品稳定可靠,以在通信运营商核心系统稳定运行15年,安全高效
勇担使命融合创新
国产分布式数据库迎来发展新纪元
信息技术应用创新是我国新基建的重要内容,在信创东风下,作为亚信科技自主研发的国产数据库,AntDB勇担信创使命,深入研究面向未来的数据库技术,用超融合流式实时数仓将我国数据库的发展带入新纪元:在整体架构上,提出全新的“超融合”理念,将多引擎、多能力融合在一起,实现了交易、内存计算、交易、分析、流处理、时序五大能力的融合,让一款产品对用户做到一站式的服务;通过新一代流式实时数仓引擎,从内核层面将流式计算与数据库进行融合创新,把流式处理与SQL有机地结合到一起。
图2:AntDB超融合流式实时数仓,打造分布式数据库新纪元
在实际应用中,AntDB统一框架下的超融合架构设计,有效降低了IT架构的复杂度,缩短近50%的项目开发时间;支持标准SQL语句进行业务开发,业务响应速度可以提升近90%;统一的技术架构,有效解决数据口径的一致性问题,让数据库运维管理更简单、易用。而AntDB新一代流式实时数仓引擎,则将实时的流式处理融合到50年未变的数据库引擎里,通过自身的数据库内核能力,原生地去解决实时业务中的流处理事件,对前方产生的海量业务数据进行实时预处理,从被动查询到主动推送,从实时分析到输出结果,实现核心业务数据的实时分析、实时告警,帮助企业客户实时掌握经营状态、及时调整运营策略,更快速地获取数据价值。
案例展示
解读超融合流式实时数仓的业务价值
演讲最后,北陌演示了充电桩实时服务业务场景,让与会嘉宾更加直观地感受超融合流式实时数仓的业务价值。
近年来,人们越来越多地选择新能源电动汽车作为外出旅行的方式,但“里程焦虑”困扰着电车经济的发展,途径各地充电桩的情况怎么样?空位多不多?急需一套智能化的监测服务系统,来整合、共享各地充电桩的资源信息。
那么,流式实时数仓引擎对实时业务有什么作用?对于某省充电桩实时服务的业务场景,各区域的车辆信息、当前消费信息、充电桩状态更新、充电量等数据持续到达,系统需要及时处理各种新到数据,并不断产生、输出当前的空余桩个数、今日营收的动态监控,汇总各区域营收、分时统计、整体营收分布情况等经营状态的报表。接着,再下钻到某个地区,很清晰地看到当前充电桩的分布情况和运行状态。
图3:充电桩实时服务监控示例
实际上,基于传统关系型数据库的实时预警与BI展示系统,是一种离线的批处理方式,可以成功处理TB\PB级别的海量数据,但无法应对实时数据分析需求和对消息事件的实时响应,无法满足实际的实时性的需求。
AntDB的流处理模式强调数据处理的速度,通过流式实时数仓引擎能够对新到达的数据进行及时处理,让决策者看到最新的数据变化,准确把握事态发展趋势,对突发事件进行及时响应、有效应对。
关于AntDB数据库
AntDB数据库始于2008年,在运营商的核心系统上,为全国24个省份的10亿多用户提供在线服务,具备高性能、弹性扩展、高可靠等产品特性,峰值每秒可处理百万笔通信核心交易,保障系统持续稳定运行近十年,并在通信、金融、交通、能源、物联网等行业成功商用落地。