实时数仓Hologres V2.2发布,Serverless Computing降本20%

news2024/11/23 10:33:12

Highlight

  • 新发布Serverless Computing,提升大任务稳定性,同时可降低20%计算成本

  • 引擎性能优化,TPC-H 1TB测试相对V1.X 提升100%

  • 实时湖仓加速架构升级,支持Paimon,直读ORC、Parquet数据性能提升5倍以上

  • 新增实例监控指标,可观测性全面提升,新增SQL指纹、Query洞察、SQL 与表索引诊断等

  • 流量分析场景新增路径函数,支持跨可用区容灾、OpenAPI能力升级

升级说明:Hologres支持热升级,可以在实例后台进行自助升级与升级准备。升级流程请查看>>>

一、新发布Serverless Computing,提供大作业隔离与弹性处理

功能说明:通过共享Serverless资源执行DML任务,保证大任务隔离与高可用,降低成本并提升性能。同时支持设置单条SQL使用Serverless的资源上限,支持设置使用Serverless资源的SQL优先级。详细请查看>>>应用场景:

  • 隔离与稳定性。计算资源开销大的任务,不会有争抢资源,OOM等问题。

  • 成本降低。无需为大任务单独购买预付费资源,实际应用可降低20%计算成本。

当前发布地域和可用区:华东1(杭州)的可用区J、华南1(深圳)的可用区F、华东2(上海)的可用区E、华北2(北京)的可用区I。

二、多种引擎能力优化,TPC-H 性能测试结果提升 100%

Hologres V2.2 提升了查询优化器和查询引擎的能力,1.1 版本使用 96CU 在 TPC-H 1T 的总查询耗时为 223.08 秒,在V2.2版本中,测试结果为111.53 秒,性能提升达到100%。详细结果请查看>>>

引擎性能优化包含:向量执行引擎HQE能力提升

  • Runtime Filter能力增强,在Join场景上,支持多种过滤类型,无需手动设置,引擎自适应,在减少数据扫描量的同时也能减少join的计算量和数据的网络传输量,有效提升Join的查询效率约30%。

  • 优化HQE的RPC连边机制,每个Worker内数据先合并再进行Worker间分发,显著降低网络开销,在带有Shuffle的场景上,查询性能提升8%。

查询优化器性能提升,SQL在Plan阶段的处理速度提升40%

  • 优化内存分配机制和Join算法,提升多Join场景的查询性能。

  • 优化DATE_PART函数行为,提升对带有时间属性的字段(如年份)的查询效率。

  • 优化DATE和TIMESTAMP类型字段的比较行为,提升时间字段的查询效率。

  • 优化复杂函数中带有Filter的运算行为,通过调整多个Filter的顺序,减少数据计算量,提升查询效率。

三、实时湖仓架构升级,性能提升5倍,外表元数据自动加载提升分析体验

HologresV2.2版本针对实时湖仓架构进行重构,显著提升了数据湖的查询性能,并通过外表元数据自动加载(Auto Load) 提升实时湖仓的用户使用体验。实时湖仓架构升级包含:

  • 实现HQE引擎直读OSS上的ORC、Parquet数据,相较于原引擎有5倍以上的性能提升

  • 针对ORC、Parquet格式的外部表支持谓词下推过滤,减少数据扫描量,提升查询效率

  • 支持使用内置高速磁盘和内存实现多级缓存

外表元数据自动加载(Auto Load)能力增强:支持一键绑定外部数据源,实现DB或者schema级别的映射,简化和降低外表创建成本,包含:

  • 支持MaxCompute三层模型Project,可以将MaxCompute三层Project中的一个或多个指定schema 数据按需或者全量映射到Hologres

  • 支持MaxCompute外部表的Schema Evolution(如增加列、删除列、修改列名及列顺序)

  • 支持通过DLF元数据自动加载,来加速查询存储于OSS的数据

详情请查看>>>

四、实例诊断能力提升,新增SQL指纹、Query洞察、SQL 与表索引诊断等

新增SQL指纹,快速定位Bad QuerySQL指纹是Hologres提供的一种自动Query聚类分析能力。V2.2版本在存放慢Query查询日志的系统表中,新增digest列以展示SQL指纹。对于SELECT/INSERT/DELETE/UPDATE类型的Query,系统会计算一个MD5哈希值作为该Query的SQL指纹,帮助业务快速识别占用资源的Query以及异常Query等。详情请查看>>>新增Query洞察可视化,全方位获取查询诊断信息在holoweb-诊断与优化中,通过Query ID就能快速获取当前Query的执行信息,例如Query进程的资源消耗、Query所涉及的表的元数据,以及Query对应的执行计划(plan)。同时可以通过Query洞察快速判断当前Query是否产生了DDL冲突,以及表锁情况,辅助业务进一步排查问题和处理问题。详情请查看>>>

新增SQL诊断和表索引诊断,快速完成实例治理在holoweb-诊断与优化中,SQL诊断通过对不同维度的Query趋势、明细分析,可以辅助您了解实例的使用情况并做相应的优化,以达到更好的效果。详情请查看>>>

在holoweb-诊断与优化中,表索引诊断对当前实例的Table Group、表、索引等进行诊断,帮助业务进行实例治理,从而辅助提升实例的稳定性和性能。例如:

  • 一个Table Group的内表总数不建议超过1W张,优化后将提升DDL性能。

  • 对于分区子表超过1W张的分区表,建议使用冷热分层 ,以节约存储成本。

详情请查看>>>

实例监控信息新增15+Metrics,可观测性得到增强在实例列表-监控信息中,新增15+metric指标,提供不同执行引擎的QPS、RPS、Latencty等以及可观测Binlog、Serverless等功能的运行情况,以方便及时了解任务的负载。同时也提供Locks、Analyze等健康度指标,可以帮助业务快速观测实例运行健康状态,及时处理异常。

五、新增路径分析函数,更加丰富流量分析场景函数能力

在流量分析场景,需要计算访问每个流程/步骤的路径分布和情况,以及每个步骤的流入流出情况,原有SQL计算方式较为复杂,并且影响计算性能。Hologres通过一个路径分析函数即可实现路径分析,简化用户路径分析流程,与之前推出的漏斗函数、留存函数、明细圈人函数、Roaring Bitmap函数、BSI函数等结合,实现完整、丰富的流量数据分析方案。详情请查看>>>

六、支持跨可用区容灾,提升生产业务稳定性

跨可用区(AZ)容灾,即在同Region不同可用区部署同构的Hologres容灾实例,如果生产实例所处的地理位置发生自然灾害,或者实例内部出现了故障导致生产实例无法正常对外提供读写服务,那么容灾实例可以切换为生产实例,从而保障业务连续性。详情请查看>>>

例如:杭州Region某个可用区(例如可用区H)中的Hologres实例无法正常运行时,可通过已配置的容灾关系,将同Region其他可用区(例如可用区J)的Hologres实例切换为生产实例,保障业务正常运行。

七、OpenAPI能力升级,提升实例运维管理能力

新增计算组列表与详情、数据湖加速功能、更新实例资源组等OpenAPI,在severless、数据湖分析等场景下,提升实例运维以及管理能力。详情请查看>>>

15000CU时计算包原价5313元,限时新购仅需59元>>>icon-default.png?t=N7T8https://common-buy.aliyun.com/?commodityCode=hologram_cu_dp_cn&request=%7B%22ord_time%22%3A%221%3AYear%22%2C%22order_num%22%3A1%2C%22pack%22%3A%22hologram_cu_dp_cn_20230613172131_0972%22%2C%22ccu_capacity_unit%22%3A%2215000%22%7D前往实时数仓Hologres官网查看详情>>>icon-default.png?t=N7T8https://www.aliyun.com/product/bigdata/hologram实时数仓Hologres V2.1版本发布,新增计算组实例构建高可用实时数仓>>>icon-default.png?t=N7T8https://developer.aliyun.com/article/1418448

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1832153.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

如何安全进行亚马逊、沃尔玛测评?

在亚马逊、沃尔玛、速卖通、阿里国际站等电商平台上,测评已成为一种高效的推广手段,但伴随的风险也不容忽视。这些风险主要源于平台严格的大数据风控机制,它涵盖了多个方面,以确保评价的真实性和合规性。 首先,硬件参数…

解决 uniapp h5 页面在私有企微iOS平台 间歇性调用uni api不成功问题(uni.previewImage为例)。

demo <template><view class"content"><image class"logo" src"/static/logo.png"></image><button click"previewImage">预览图片</button></view> </template><script> //打…

数据可视化实验一:Panda数据处理及matplotlib绘图初步

目录​​​​​​​ 2024-6-17 一、请将所有含有发明家“吴峰”的发明专利的“申请日”打印出来。并将含有“吴峰”的所有发明专利条目保存到Excel中 1.1 代码实现 1.2 运行结果 二、读取文件创建城市、人口、性别比、城镇化率DataFrame对象&#xff0c;计算指标排名&…

AI写代码,CS还有前途吗?加州大学伯克利分校:CDSS申请人数激增48%!

目录 01 CS入学人数暴涨 02 人类Coder可堪大任 03 AI还没有学会创新 04 编程与农耕不同 AI写了这么多代码&#xff0c;你还应该学习计算机科学吗&#xff1f; 新的数据显示&#xff0c;学生们仍然热衷于选修计算机科学&#xff1a;加州大学伯克利分校&#xff08;UCB&#…

AI大模型应用(1)OpenAi API快速入门

AI大模型应用(1)OpenAi API快速入门 2022 年 11 月&#xff0c;ChatGPT 成功面世&#xff0c;成为历史上用户增长最快的消费者应用。与 Google、FaceBook等公司不同&#xff0c;OpenAI 从初代模型 GPT-1 开始&#xff0c;始终贯彻只有解码器&#xff08;Decoder-only&#xff…

动力学笔记01——共振频率和共振带的数学定义

文章目录 0、背景描述1、正文2. 位移、速度、加速度的共振频率并不相同 0、背景描述 过去一年&#xff0c;我基本都在考虑塔架&#xff08;尤其是混塔&#xff09;频率仿真/模态分析的问题。关于这个问题&#xff0c;不仅有地基刚度&#xff0c;还有塔筒本身以及其他影响频率的…

散户必须知道!个股场外期权期限是什么?

今天带你了解散户必须知道&#xff01;个股场外期权期限是什么&#xff1f;场外个股期权是一种交易双方买卖未来某个时间以某个价格购买或卖出某种资产的权力&#xff0c;允许投资者以相对较小的期权费用获得名义本金&#xff0c;以获取更高的回报。 个股场外期权期限是什么&am…

【免费Web系列】大家好 ,今天是Web课程的第二二天点赞收藏关注,持续更新作品 !

这是Web第一天的课程大家可以传送过去学习 http://t.csdnimg.cn/K547r 员工管理 1. 修改员工 对于修改功能&#xff0c;分为两步实现&#xff1a; 点击 “编辑” 根据ID查询员工的信息&#xff0c;回显展示。 点击 “保存” 按钮&#xff0c;修改员工的信息 。 1.1 回显…

Docker(二)-Centos7安装Docker并配置镜像加速

系统用户为非root用户 1.安装条件 确定Centos版本是否是7及以上sudo vim /etc/redhat-release2.官网地址 https://docs.docker.com/engine/install/centos3.卸载已安装的旧版本 sudo yum remove docker \docker-client \docker-client-latest \docker-common \docker-lates…

【问题记录】Ubuntu提示: “E: 软件包 gcc 没有可安装候选“

Ubuntu提示: "E: 软件包 gcc 没有可安装候选" 一&#xff0c;问题现象二&#xff0c;问题原因&解决方法 一&#xff0c;问题现象 在虚拟机Ubuntu中进行安装gcc命令时报错&#xff1a;“E: 软件包 gcc 没有可安装候选”: 二&#xff0c;问题原因&解决方法 …

关于使用命令行打开wps word文件

前言 在学习python-docx时&#xff0c;想在完成运行时使用命令行打开生成的docx文件。 总结 在经过尝试后&#xff0c;得出以下代码&#xff1a; commandrstart "C:\Users\86136\AppData\Local\Kingsoft\WPS Office\12.1.0.16929\office6\wps.exe" "./result…

【SpringBoot整合系列】SpringBoot整合kinfe4j

目录 kinfe4j与Swagger的区别 SpringBoot2.x整合kinfe4j1.添加依赖2.启动类注解3.创建Knife4J配置类4.实体类5.接口admin访问 api访问 常用注解汇总SpringBoot3.x整合Kinfe4j启动报错解决1.更换依赖2.启动类3.配置4.配置类5.参数实体类6.接口admin访问 api访问 各版本注解参照 …

openlayers 使用WMTS和XYZ加载天地图切片服务

openlayers 使用WMTS和XYZ加载天地图切片服务 本篇介绍一下使用openlayers加载天地图切片&#xff0c;两种方法&#xff1a; 使用WMTS使用XYZ 1 需求 openlayers加载天地图 2 分析 主要是不同类型source的使用 WMTS&#xff08;Web Map Tile Service&#xff09; 是 OGC…

英伟达开源 3400 亿参数模型;苹果 iOS 18 紧急 SOS 新增实时视频功能丨 RTE 开发者日报 Vol.225

开发者朋友们大家好&#xff1a; 这里是 「RTE 开发者日报」 &#xff0c;每天和大家一起看新闻、聊八卦。我们的社区编辑团队会整理分享 RTE&#xff08;Real-Time Engagement&#xff09; 领域内「有话题的新闻」、「有态度的观点」、「有意思的数据」、「有思考的文章」、「…

根据配置的参数规格生成商品SKU

参数规格如下&#xff1a; let specParam [[红色,绿色,白色,黄色], [大,小]]js部分&#xff1a; let getSpecParamCom (specData, index) > {for (let i 0; i < specData[index].length; i) {tempResult[index] specData[index][i];if (index ! specData.length - …

html入门综合练习

综合练习 通过实际项目练习可以更好地理解和掌握HTML、CSS和JavaScript。以下是几个综合练习项目的建议&#xff1a; 项目1&#xff1a;个人简历网页 创建一个包含以下内容的个人简历网页&#xff1a; 个人简介&#xff08;姓名、照片、联系方式&#xff09;教育背景工作经…

Elixir学习笔记——编写文档

Elixir 将文档视为一等级别类。文档必须易于编写且易于阅读。在本指南中&#xff0c;您将学习如何在 Elixir 中编写文档&#xff0c;涵盖模块属性、样式实践和文档测试等结构。 Markdown Elixir 文档是使用 Markdown 编写的。网上有很多关于 Markdown 的指南&#xff0c;我们…

洗护用品行业怎么做到数据安全管理?迅软DSE加密软件避免数据泄露

项目背景 公司全研发中心内部专家联合外部专家组织&#xff0c;充分发挥联合研究、探讨技术发展带来的重要性&#xff0c;产品开发、核心技术开发、工艺技术研究和创新&#xff0c;已形成了坚实的研发后盾&#xff0c;已拥有了大量的核心信息数据&#xff0c;为防患于未然&…

ml307A模块连接阿里云(详细版)

1、需要的信息 MQTT连接参数、订阅或发布的主题、服务器地址、端口1883 服务器地址&#xff1a; alFMz7jnArW.iot-as-mqtt.cn-shanghai.aliyuncs.com 注&#xff1a;重要的信息阿里云信息大家不要透露&#xff0c;写完笔记会及时删除产品及设备&#xff0c;大家用自己的信息…

数据库原理(数据库设计)——(3)

一、数据库设计概述 1.数据库设计的基本任务和目标 基本任务 根据用户的信息需求、数据库操作需求&#xff0c;设计一个结构合理、使用方便、效率高的数据库。 设计目标 满足用户的应用要求&#xff1b;准确模拟现实世界&#xff1b;能背某个DBMS&#xff08;数据库管理系统…