亚信安慧AntDB-M聚合下推—加速你的数据分析查询

news2024/9/23 7:19:37

摘 要

在业务系统中,一般的事务型SQL语句涉及到的数据记录数不会很多,即便涉及到多个数据节点,基于AntDB-M的优化,访问也都很快。但是统计分析型SQL语句往往涉及到大量数据,甚至包括全表数据,基本都会覆盖所有相关数据节点。即便数据的读取做了很多优化,也避免不了在不同节点间传递大量数据,过多的网络交互,没有充分利用各数据节点的计算能力等问题会使分析型SQL语句执行缓慢。为此,AntDB-M提供了聚合下推功能来提升统计分析型SQL的查询性能。

一、性能初探

这里先来看一个简单的sum统计场景

部署方式:1个计算节点,2个数据节点。

通过Sysbench创建一个100万条记录的表。对开启聚合下推、关闭聚合下推、单机部署分别进行聚合查询来查看各自的查询时间。

查询语句: select sum(k) from sbtest1;

开启聚合下推

图片

图1:开启聚合下推耗时

关闭聚合下推

图片

图2:关闭聚合下推耗时

单机版

图片

图3-单机版耗时

表1-查询耗时比对

单机版

关闭聚合下推

开启聚合下推

            0.33 sec

          2.93 sec

           0.27 sec

分布式部署的AntDB-M开启聚合下推是单机版的1.2倍,是不开启聚合下推的10.8倍。由此可以看出聚合下推功能对分析型SQL有着极大的性能提升。

二、功能支持

1、用户变量

在聚合下推中,支持使用用户变量。使用用户变量,业务系统可以很方便的编写灵活的SQL语句。

图片

图4:用户变量

2、数字编号引用查询列

支持group by, order by从句中通过数字编号引用查询列。通过数字引用查询列,可以简化SQL的编写,使得SQL逻辑更简单清晰,也方便动态生成SQL的编写。

图片

图5:数字编号引用查询列

3、having从句

having从句不但可以使用聚合函数,也可以引用基础列,使用上没有限制。

图片

图6:having

4、Order by从句

排序是查询中常用的功能。聚合下推不仅支持order by从句,也支持对查询列的数字编号引用。还可以根据需要灵活设置排序规则。

图片

图7:order by

5、limit从句

当查询结果数据量太大时,可以通过limit限制一次返回的记录数。支持多种limit语法。

图片

图8:limit

6、into从句

根据业务需要,查询结果可以导出到外部文件,支持into outfile, into dumpfile。也支持导出到变量。支持灵活的into从句位置。

图片

图9-into

7、存储过程,触发器

聚合下推不仅仅支持直接的SQL查询,还支持存储过程和触发器。当存储过程或触发器中存在聚合查询时,会触发聚合下推。

图片

图10:存储过程

图片

图11:触发器

三、结论

AntDB-M通过聚合下推,减少了分布式数据库各节点间的网络交互次数,降低了数据传输量,充分发挥了数据节点的计算能力,极大提升了分析型SQL的处理性能。同时灵活支持各种查询从句,通过SQL即可完成更多功能,极大方便了业务开发。

关于亚信安慧AntDB数据库

AntDB数据库始于2008年,在运营商的核心系统上,服务国内24个省市自治区的数亿用户,具备高性能、弹性扩展、高可靠等产品特性,峰值每秒可处理百万笔通信核心交易,保障系统持续稳定运行超十年,并在通信、金融、交通、能源、物联网等行业成功商用落地。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2041866.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

3D 技术对我们的生活有哪些影响?

3D技术,也称为三维技术,是指利用计算机生成或处理三维数据的技术。它在多个领域对我们的生活产生了深远的影响: 1、制造业:3D技术使得个性化和定制化生产成为可能,大幅缩短了产品从设计到制造的时间,降低了…

【人工智能】Transformers之Pipeline(十):视频分类(video-classification)

目录 一、引言 二、视频分类(video-classification) 2.1 概述 2.2 技术原理 2.3 应用场景 2.4 pipeline参数 2.4.1 pipeline对象实例化参数 2.4.2 pipeline对象使用参数 2.4 pipeline实战 2.5 模型排名 三、总结 一、引言 pipeline&#x…

网络编程 8/15 基于UDP多人聊天室

//客户端代码 #include <myhead.h> struct msgType {char type; // 消息类型L:登录&#xff0c;Q:退出&#xff0c;C:聊天char usrName[20];char msgText[1024]; }; #define SER_PORT 6666 // 服务器端口 #define SER_IP "192.168.2.161" // 服务器IP…

SpringBoot解决创建项目无法选择JDK8和JDK11

文章目录 解决方案1解决方案2 在创建SpringBoot项目的时候&#xff0c;我们发现只能勾选JDK17以上的。并且官方没有提供2.X版本&#xff0c;但是目前大多数企业使用的还是 springboot 初始化的网址&#xff0c;我们一般使用的是官方的网址。 解决方案1 就选择jdk17和spring…

BIM+GIS在管廊机电监控与运维管控系统中的应用

研究背景 根据《GB50838-2015城市综合管廊工程技术规范》及《GBT51274-2017城镇综合管廊监控与报警系统工程技术标准》的相关条款要求&#xff0c;城市综合管廊监控报警系统用于对综合管廊内的设备运行状态及参数、实时环境信息、出入口状态等进行全方位在线监控&#xff0c;保…

java基础概念17-static

一、 static的作用 static修饰的变量、方法被类的所有实例共享。 示例&#xff1a; static用于声明属于类本身的变量、方法&#xff0c;而不是类的某个特定对象的。 二、static内存图 静态区中的成员变量&#xff0c;对象共享&#xff0c;内存中只有一份&#xff0c;谁要用&am…

u2net 和u2netp 的具体区别

U2Net和U2NetP是两种基于深度学习的图像分割模型&#xff0c;它们都使用了编码器-解码器架构和跳跃连接来提高分割的精度。然而&#xff0c;它们在网络结构和参数配置上存在一些差异。 初始化阶段的中间通道数 (mid_ch): U2Net: self.stage1 RSU7(in_ch, 32, 64)U2NetP: self.…

RHEL8 配置epel源

** RHEL8 配置epel源 ** 此次环境为最小化安装&#xff0c;版本信息如下&#xff1a;redhat8 一、安装epel源&#xff0c;执行如下命令&#xff1a; #yum install https://dl.fedoraproject.org/pub/epel/epel-release-latest-8.noarch.rpm 之后执行#yum repolis 此时我们…

山海关古城测试--房产房屋

1.树状图搜索房产 1.1实现思路 因为树状图搜索要显示在界面中&#xff0c;所以需要在html文件中进行添加树状结构 而树状结构怎么来的&#xff0c;所以需要在controller中新写一个方法来传输一个树状结构&#xff0c;让html直接访问它即可树状结构在framework->web->Zt…

ES主分片和副本分片

在 Elasticsearch 中&#xff0c;主分片的数量在创建索引时设置&#xff0c;并且不能在索引创建后更改。主分片的数量因索引而异&#xff0c;对于每个索引&#xff0c;可以根据实际需要进行调整。 主分片数量的设置 默认值&#xff1a; 在 Elasticsearch 中&#xff0c;默认的主…

C++入门基础(太干了,别噎住)

1.C了解&#xff08;可跳过&#xff09; 1.1 C发展历史 C的起源可以追溯到1979年&#xff0c;当时Bjarne Stroustrup(本贾尼斯特劳斯特卢普&#xff0c;这个翻译的名字不同的地方可能有差异)在贝尔实验室从事计算机科学和软件工程的研究工作。面对项目中复杂的软件开发任务&am…

maven配置aspose镜像

问题 安装aspose一直失败&#xff0c;原因是aspose文件不在公共仓库中 <dependency><groupId>com.aspose</groupId><artifactId>aspose-pdf</artifactId><version>21.11</version> </dependency>配置文件如下 <mirror&g…

苍穹外卖-知识点

搭建环境 前端 使用nginx&#xff08;文件路径带中文 会启动不成功&#xff09; 后端

有哪些文档翻译在线免费工具?安利5款文档翻译利器给你

想要翻译文档但却不知道该用什么工具好&#xff1f;这其实是不少学生党和打工人共同的烦恼~ 实际上你既可以借助支持全文翻译的文档翻译工具来获取译文&#xff0c;也可以利用自带划词翻译功能的文档翻译工具来操作。借此机会便给安排上了两种不同翻译类型的文档翻译工具&…

谐波抑制方法分析

一、谐波抑制概述 抑制谐波方法可分为两大类&#xff1a;一是主动型&#xff0c;即从装置本身出发&#xff0c;使其不产生谐波或者降低谐波的产生&#xff1b;被动型&#xff0c;即外加滤波器&#xff0c;吸收或者抵消谐波产生设备注入电网的谐波&#xff0c;比如在电网和设备的…

干货分享|如何使用Stable Diffusion打造会说话的数字人?

数字人已不是什么新鲜名词了。在许多领域&#xff0c;尤其是媒体和娱乐领域&#xff0c;经常可以看到卡通形象的人物或逼真的虚拟主持人。在Stable Diffusion中&#xff0c;我们可以上传一段录制好的音频文件&#xff0c;然后使用SadTalker插件&#xff0c;将音频和图片相结合&…

怎么用打印功能导出为文件为pdf格式

概述 有时候我们再打印的时候需要把文件打印出来的同时&#xff0c;但又想下载下来该文件为pdf格式&#xff01;该怎么办接下来我来教大家解决办法&#xff01; 方法一 安装WPS PDF虚拟打印机&#xff1a;‌首先&#xff0c;‌从可靠的来源下载WPS PDF虚拟打印机的安装包。‌这…

HAProxy负载均衡详细解释

目录 1、HAProxy的负载均衡 1.1socat工具的使用 1.1.1对于单进程 1.1.2对于多进程处理方法(对haproxy做热处理) 2、Haproxy的算法 2.1静态算法 <1>static-rr <2>first 2.2动态算法 <1>roundrobin <2>leastconn <3>random 2.3其他算…

基于SSM的考试管理系统---附源码16535

目录 摘要 Abstract 1 绪论 1.1课题目的及意义 1.2研究背景 1.3研究方法 1.4论文结构与章节安排 2 考试管理系统的设计与实现系统分析 2.1 可行性分析 2.2 系统功能分析 2.3 系统用例分析 2.4本章小结 3 考试管理系统的设计与实现总体设计 3.1 系统架构设计 3.2 …

C语言:基于单链表实现通讯录项目

前言 之前我们用顺序表实现了通讯录&#xff0c;这次我们使用单链表实现。我们定义五个文件&#xff0c; SingleLinkedList.h SingleLinkedList.c Contact.h Contact.c test.c SingleLinkedList.h 是包含了单链表的结构&#xff0c;及各类库文件声明&#xff0c;各个单链表接…