HetuEngine简介

news2024/10/6 1:45:45

目录

HetuEngine是什么?

HetuEngine的特点以及使用场景

特点

使用场景

HetuEngine介绍

结构


近期用到了Hetu,了解下这个工具是起什么作用的。

HetuEngine是什么?

是引擎,设计是为了让与当前的大数据生态完美融合的引擎,这里的大数据生态例如存储层的Hive、HBase、ClickHouse等。

它是一个一站式SQL分析引擎,相当于在Hive、GaussDB这种异源数据上面新增了一个上层页面,我们在上层页面写一个SQL,这个SQL中可以同时用到Hive的A表和GaussDB的B表,底层会自动到相应的数据库中执行、返值等,也就是能把跨源、跨域的数据,关联到一起做分析,而不用关注多类的数据去写多类的SQL,中间去搞各种临时表。

“河图引擎”在华为的描述中,可以逻辑数据湖大规模数据融合分析提效50倍,开发效率提高210倍,后者我们倒是好理解,在开发者侧,引擎它屏蔽了底层的数据存储设施的复杂度,能像使用普通例如MySQL数据库一样使用大数据,能复用各种之前的技能、工具;前者对于分析效率的提高,我们接下来看看为什么怎么高。

HetuEngine的特点以及使用场景

特点

  1. 完全的内存计算,自动实现计算下推,动态过滤等,实现PB级数据毫秒级响应。
  2. 优化的计算引擎,先进的分布式计算框架和优化算法,能更高效地分配计算资源,并行处理数据,从而大大提高计算速度。
  3. 智能的数据缓存与预取,预测和提前加载常用数据,减少数据读取的时间开销,加速分析过程,减少IO浪费。
  4. 拥有强大的查询优化器,能够自动分析查询语句,制定最优的执行计划,避免不必要的计算和数据访问。
  5. 有效地管理和调度系统资源,确保在大规模数据处理时资源得到充分利用,避免资源竞争和浪费。

使用场景

主要还是跨数据源融合分析,整合来自不同数据源(如关系型数据库、大数据系统、NoSQL 数据库等)的数据,进行统一的分析,而不用把各种源的数据先统一抽取转换到一个统一的中间库中。

另外其实同理的就是,适用于跨域,即多个地域或者说数据中心的快速联合查询。

特别说下就是大批量、特别复杂逻辑的批处理场景其实不太适合用HetuEngine。

官网上也强调了“尤其适用于Hadoop集群(MRS)的Hive、Hudi数据的交互式快速查询场景”。

HetuEngine介绍

结构

数据层:即HetuEnging支持的数据源,其实也就是数据实际存储的位置。

引擎层:HetuEnging接收SQL、解析SQL、并行拉取数据层数据、分布式计算的地方。

服务层:门户、数据源连接以及管理等配置页面。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1889991.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Ubuntu22.04上Docker的安装

1. 使用APT安装 首先安装HTTPS传输的软件包和CA证书,确保软件下载过程中不被篡改。 sudo apt-get updatesudo apt-get install apt-transport-https ca-certificates curl gnupg lsb-release -y然后,使用国内源,并添加软件源的 GPG 密钥以防…

Steam夏促怎么注册 Steam夏促账号注册教程

随着夏日的炙热渐渐充斥着每一个角落,Steam平台也赶来添热闹,推出了一系列让人眼前一亮的夏季促销活动。如果你也是游戏爱好者,我们肯定不能错过这次的steam夏促。正直本次夏日促销有着很多的游戏迎来史低和新史低,有各种各样的游…

Vue3的模板语法插值表达式用法

在template中输入“5 3” &#xff0c;是没有运算能力的&#xff0c;只会把字符直接显示出来&#xff0c;代码如下&#xff1a; <template><view>这是demo</view><view>5 3</view><navigator open-type"navigateBack"><vi…

C++ 实现QT信号槽

https://github.com/libsigcplusplus/libsigcplusplus #include <iostream>/* 在sigslot.h的420,将&#xff1a; //typedef sender_set::const_iterator const_iterator; 改为&#xff1a; //typedef typename sender_set::const_iterator const_iterator;#include <…

在手机上也能开发软件?而且只需要用几句话就可以自动生成一个应用!

随着人工智能技术的飞速发展&#xff0c;软件开发的门槛正在迅速降低。 曾几何时&#xff0c;开发一款软件需要精通编程语言和掌握复杂的开发工具&#xff0c;而如今&#xff0c;只需几句话的描述&#xff0c;便能在手机上轻松开发出功能齐全的软件。 这一切的背后&#xff0…

轻度图像处理工具,匹敌photoshop

一、简介 1、一款功能强大的在线图片编辑工具,用户可以将其安装为渐进式网页应用(PWA)。它提供了与 Photoshop 相似的核心功能,能够满足大多数图像编辑需求,非常适合那些不愿或无法安装 Photoshop 的用户。即使使用免费版本,用户也能享受所有功能,是轻度图像处理的理想选…

springboot+vue+mybatis企业保修系统+PPT+论文+讲解+售后

企业管理系统提供给用户一个企业信息管理的系统&#xff0c;最新的企业信息让用户及时了解企业管理动向,,还能通过交流区互动更方便。本系统采用了B/S体系的结构&#xff0c;使用了java技术以及MYSQL作为后台数据库进行开发。系统主要分为系统管理员、员工和主管三个部分&#…

VRPTW(MATLAB):斑翠鸟优化算法(PKO)求解带时间窗的车辆路径问题VRPTW(提供MATLAB代码)

一、详细介绍 VRPTW&#xff08;MATLAB&#xff09;&#xff1a;斑翠鸟优化算法&#xff08;Pied Kingfisher Optimizer ,PKO&#xff09;求解带时间窗的车辆路径问题VRPTW&#xff08;提供MATLAB代码&#xff09;-CSDN博客 ********************************求解结果********…

idea创建自定义maven spark scala archetype脚手架,idea我让你转啊转,NND,自己造

一&#xff1a;先创建一个Maven项目net.alchim31.maven&#xff08;选该模板&#xff0c;得要等一会儿才能加载出来&#xff09; 之后将自己的目录结构建立好&#xff0c;最好不要有空目录&#xff0c;可能会因为没有文件在install的时候编译不进去 pom中内容也按照自己的需要改…

imx6ull/linux应用编程学习(8)PWM应用编程(基于正点)

1.应用层如何操控PWM&#xff1a; 与 LED 设备一样&#xff0c; PWM 同样也是通过 sysfs 方式进行操控&#xff0c;进入到/sys/class/pwm 目录下 这里列举出了 8 个以 pwmchipX&#xff08;X 表示数字 0~7&#xff09;命名的文件夹&#xff0c;这八个文件夹其实就对应了…

Shell Expect自动化交互(示例)

Shell Expect自动化交互 日常linux运维时&#xff0c;经常需要远程登录到服务器&#xff0c;登录过程中需要交互的过程&#xff0c;可能需要输入yes/no等信息&#xff0c;所以就用到expect来实现交互。 关键语法 ❶&#xff3b;#!/usr/bin/expect&#xff3d; 这一行告诉操…

深入剖析Tomcat(十五、十六) 关闭钩子,保证Tomcat的正常关闭

《深入剖析Tomcat》书中第十五章讲解了如何通过配置XML的方式来配置Tomcat的各个组件&#xff0c;并通过Digester库来解析XML。我们常操作的xml文件应该就是 server.xml这个文件&#xff0c;当在一台机器上部署多个Tomcat时&#xff0c;就必须修改连接器和 [“关闭Tomcat”程序…

2024年精选推荐的16个向量数据库:提升你的AI应用性能

在人工智能时代&#xff0c;向量数据库已成为数据管理和AI模型不可或缺的一部分。向量数据库是一种专门设计用来存储和查询向量嵌入数据的数据库。这些向量嵌入是AI模型用于识别模式、关联和潜在结构的关键数据表示。随着AI和机器学习应用的普及&#xff0c;这些模型生成的嵌入…

提升工作效率,这些AI工具网址值得收藏

对于希望利用人工智能&#xff08;AI&#xff09;来提升工作效率来说&#xff0c;以下是一些精选的AI工具网址&#xff0c;涵盖了从文案写作、数据分析、邮件自动化到创意设计等多个领域。这些工具旨在帮助你更高效地完成日常工作&#xff0c;节省时间并提高生产力。 Eightify …

光照老化试验箱在化工产品暴晒测试中的应用

概述 光照老化试验箱是一种模拟自然光照条件下材料老化情况的实验设备&#xff0c;广泛应用于化工、建材、电子、汽车等行业中对材料的耐候性、耐光性能等进行测试。通过模拟日光中的紫外线和温度等环境因素&#xff0c;加速材料老化过程&#xff0c;以此评估材料在长期使用中…

6.7、函数的分文件编写

mian函数部分代码 #include <iostream> using namespace std; #include <string> #include "swap.h"//函数的分文件编写 //实现两个数字进行交换的函数//函数的声明 //void swap(int a,int b); //函数的定义 //void swap(int a, int b) //{ // int temp…

C++: 左值引用和右值引用

目录 概念&#xff1a; 理解&#xff1a; 左值引用&#xff0c;右值引用 左值引用能否给右值取别名&#xff1f; 右值引用能否给左值取别名&#xff1f; 引用的意义是什么&#xff1f; 左值和右值对自定义类型有什么区别吗&#xff1f; move的妙用&#xff01; 没有优化…

SpringMVC常见的注解

一、Spring MVC Spring Web MVC是基于ServletAPI构建的原始web 框架&#xff0c;一开始就包含在Spring 框架中&#xff0c;通常被称为“Spring MVC”。 1.MVC 是什么&#xff1f; MVC(Model、View、Controller&#xff09;是软件工程中的一种软件架构设计模型。它把软件系统分…

力扣hot100-普通数组2

文章目录 题目&#xff1a;轮转数组方法1-使用额外的数组方法2-三次反转数组 除自身以外数组的乘积方法1-用到了除法方法2-前后缀乘积法 题目&#xff1a;轮转数组 原题链接&#xff1a;轮转数组 方法1-使用额外的数组 方法1是自己写出来的。方法2参考的别人的&#xff0c;…

transformer模型学习路线_transformer训练用的模型

Transformer学习路线 完全不懂transformer&#xff0c;最近小白来入门一下&#xff0c;下面就是本菜鸟学习路线。Transformer和CNN是两个分支&#xff01;&#xff01;因此要分开学习 Transformer是一个Seq2seq模型&#xff0c;而Seq2seq模型用到了self-attention机制&#xf…