理解 Hologres 和 MaxCompute 的关系

news2024/11/18 7:46:46

理解了 Hologres 和 MaxCompute 的关系,就理解了数据仓库(DW)和数据服务(Serving)之间的关系,也有助于理解实时数仓和离线数仓之间的关系。
在这里插入图片描述
图片来源:阿里云官方帮助文档

可以看到,MaxCompute 和 Hologres 是一种互补的关系:

  • MaxCompute 负责做超重的 ETL 操作,大数据进、大数据出的场景。
  • Hologres 基于MaxCompute 的结果做在线服务,大数据进,小数据出的场景。例如在线聚合查询、点查、简单的在线 join 等。MaxCompute 的结果数据,既可以是直接导出给 Hologres,也可以是以外表的形式直接提供给 Hologres 读取。

为什么要引入 MaxCompute 和 Hologres 两套系统配合来做 OLAP 呢?能否一套数据库就搞定所有?比如用 OceanBase。

回答这个问题之前,我们再看 MaxCompute 和 Hologres 的一个区别:存储成本。

  • MaxCompute 基于 Pangu 存储(Pangu 1.0 用的是 HDD磁盘,2.0 用的是ESSD)
  • Hologres 标准存储即全SSD热存储,是Hologres的默认存储,满足低延时、高性能访问数据需求,对于大多数使用场景而言,标准存储是最有效且最具成本效益的选择,简称为热存。低频访问存储即全HDD冷存,满足低频访问数据的低成本存储需求,适用于对延迟不敏感或不常访问的超大型数据集,简称为冷存。

可以看到,MaxCompute 可以拥有更低的存储成本,适合海量数据存储。

再看 MaxCompute 和 Hologres 的另一个区别:计算资源利用方式

  • MaxCompute 的资源是池化的,理论上,既可以动用无限的资源来计算一个任务,以降低这个任务的延迟,也可以把多余资源分给更多的任务并发使用。
  • Hologres 的资源是固定分配的,无论有无计算任务,这些资源都无法发挥出额外的效用,忙时排队,闲时浪费。

可以看到,MaxCompute 可以拥有更低的计算成本,适合海量数据计算。

低存储成本,低计算成本,这正好满足海量数据的数仓的成本需求。

那么,Hologres 的优势是什么呢?实时性。它可以让小规模的计算延迟更小,这正是 Serving 的性能需求。

所以,二者组合起来使用,充分发挥各自优势,能给用户创造最大化的价值。

再回到 OceanBase 的问题上来:

  • 对于 OceanBase 4.3,OceanBase MPP 架构适合做 Serving 和小规模数据量的数仓,但并不适合处理 PB 级别以上的数据,没有成本优势。
  • 对于 OceanBase 4.4,OceanBase 支持使用共享存储(S3/OSS)来存储数据,同时支持高性能的数据缓存,此时,存储成本会大幅度降低,能够存储 PB 级以上的数据了。但是,这个版本里,计算资源的扩展还会受到限制,计算成本依然没有优势。
  • 对于 OceanBase 5.0,OceanBase 支持彻底的存算分离,存储和计算都支持独立地扩展,此时计算资源也具备池化的能力,计算成本可以降低。此时,OceanBase 开始具备挑战 MaxCompute + Hologres 的能力。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1687707.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

TypeScript-Ts的内置类型 Omit Pick

TS的内置类型 Omit Pick Omit 是从对象中排出一些属性&#xff0c;得到对象类型 // 排除单个 type OmitPerson Omit<Person, age> // 排除多个 type OmitPerson Omit<Person, age | gender> Pick 是从对象中摘取一些属性&#xff0c;得到对象类型 // 摘取单个 …

kubernetes(k8s) v1.30.1 helm 集群安装 Dashboard v7.4.0 可视化管理工具 图形化管理工具

本文 紧接上一篇&#xff1a;详细教程 Centos8.5 基于 k8s v1.30.1 部署高可用集群 kubeadm 安装 kubernetes v1.30.1 docker集群搭建 延长证书有效期-CSDN博客 1 Dashboard 从版本 7.0.0 开始&#xff0c;不再支持基于清单的安装。仅支持基于 Helm 的安装. #Helm 下载安装 …

人类交互4 感觉输入和运动输出

人类感觉系统概述 人类感觉系统是由多个感觉器官和神经系统组成&#xff0c;负责感知外部世界的各种刺激和信息。人类感觉系统包括以下几个主要部分&#xff1a; 视觉系统&#xff1a;视觉系统由眼睛、视神经和大脑视觉皮层组成&#xff0c;负责感知光线、颜色和形状&#xff…

宠物空气净化器:过敏星人的终极武器,让猫毛无处藏身~

猫毛过敏者虽畏惧猫毛&#xff0c;但对猫的热爱让他们选择继续养猫。过敏反应通常由猫的皮屑、唾液和尿液中的蛋白质引发&#xff0c;这些颗粒在空气中传播&#xff0c;导致打喷嚏、咳嗽和皮肤红疹等症状。宠物空气净化器&#xff0c;专为去除猫毛、异味和消毒灭菌设计&#xf…

unreal engine 5.0.3 创建游戏项目

根据虚幻官网介绍&#xff0c;虚幻引擎5可免费用于创建线性内容、定制项目和内部项目。你可以免费用它开发游戏&#xff0c;只有当你的产品营收超过100万美元时&#xff0c;才收取5%的分成费用。所以目前国内也有许多游戏厂商在使用UE制作游戏。UE5源码也已开源&#xff0c;有U…

EasyPoi表头如何合并导出?

先看效果图 实现流程 整个过程可以分为三大步&#xff1a; 设计表头格式根据表头对应的key填充数据根据表头和数据导出Excel 实现代码 根据表头和数据导出Excel // 设计表头格式List<ExcelExportEntity> callTableHeaderList getExportRebateOffsetTableHeader();//…

springsecurity入门登录授权

①我们需要自定义登陆接口&#xff0c;也就是在controller目录新建LoginController类&#xff0c;在controller方法里面去调用service接口&#xff0c;在service接口实现AuthenticationManager去进行用户的认证&#xff0c;注意&#xff0c;我们定义的controller方法要让Spring…

虚拟机网络设置为桥接模式后未显示网络

本方法为&#xff0c;VMware配置正确&#xff0c;但在尝试其他办法后未能成功解决的人提供一种方法 本机的虚拟机使用NAT模式正常使用 但是使用桥接模式后重启&#xff0c;未发现虚拟机内网络设置,详见下图&#xff1a; 使用 ifconfig 查看网络详情 发现没有ens33接口 查看硬…

AI工具推荐:提升工作效率与生活质量

有哪些好用&#xff0c;且国内可用的AI工具&#xff1f; 副本 在AI大发展的年代&#xff0c;还有人在工作、生活中没有使用过AI吗&#xff1f; 今天为大家推荐几款国内可用、好用的AI工具&#xff0c;不论是自媒体文案写作、打工人汇报PPT、还是论文、公文写作&#xff0c;总…

什么是国产网络变压器Magcom,介绍它的优点和性能参数

国产网络变压器Magcom是一种中国生产的网络设备&#xff0c;其优点和性能参数如下&#xff1a; 优点&#xff1a; 1. 稳定性&#xff1a;Magcom具有稳定的性能&#xff0c;能够确保网络数据传输的稳定性。 2. 可靠性&#xff1a;通过调节信号强度和频率&#xff0c;Magcom能够…

正点原子[第二期]Linux之ARM(MX6U)裸机篇学习笔记-17讲 定时器按键消抖

前言&#xff1a; 本文是根据哔哩哔哩网站上“正点原子[第二期]Linux之ARM&#xff08;MX6U&#xff09;裸机篇”视频的学习笔记&#xff0c;在这里会记录下正点原子 I.MX6ULL 开发板的配套视频教程所作的实验和学习笔记内容。本文大量引用了正点原子教学视频和链接中的内容。…

带你玩转OpenHarmony AI:打造智能语音子系统

简介 AI时代&#xff0c;智者当先&#xff0c;判断一个终端设备是否智能&#xff0c;语音能力是必不可缺的。智能家居、智慧厨房、智能汽车等等&#xff0c;一切衣食住行都在往智能方向发展&#xff0c;那我们该如何在OpenAtom OpenHarmony&#xff08;简称“OpenHarmony”&am…

海康监控web插件,跨域问题处理web-control

海康视频跨域问题处理web-control 海康监控视频&#xff0c;跨域处理&#xff0c;web-control修改案例 海康监控视频&#xff0c;跨域处理&#xff0c;web-control修改 海康监控&#xff0c;web-control&#xff0c;跨域播放&#xff0c;嵌套页面实现跨域播放 案例 能到做到…

【intel CPU】三代牙膏的对比

1、PC处理器的选择 制程工艺 传说的“intel7”,感觉就像老婆饼&#xff0c;并不是7nm。 2、12代到13代其实应该归为一代&#xff0c;那就是大核心不行就堆小核心 3、所以智能踢掉有小核的&#xff1b; 3.1、CPU规格 3.2 内存规格 3.3 封装规格 其他都是一样的&#xff1b; …

变量与常量

1.变量 数学中的定义&#xff1a; 变量&#xff1a;可变的数据称为变量 Java中定义&#xff1a; 内存中一块存储区域 该区域的数据可以在同一类型范围内不断变化 变量是程序中最基本的存储单元&#xff0c;包含了变量类型、变量名和存储的值 变量的作用就是在内存中保存…

uniapp微信小程序在ios端返回不显示弹窗的bug解决

这个问题其实是因为返回页面的时候弹的太快了导致的解决办法&#xff1a; 其实就是返回页面的弹窗加个延迟就好啦

新定义RD8T36P48点亮LED--汇编

其实汇编和C语言差不多&#xff0c;简单的东西用汇编挺好&#xff0c;中等及以上复杂度的程序还是C语言更灵活 直接在keil新建好工程&#xff0c;选好芯片型号和下载方式&#xff0c;再创建一个.asm文件并添加到工程&#xff0c; 工程创建完如图 工程配置 代码 ORG 0000HL…

Ubuntu中 petalinux 安装 移植linux --tftp/tftp-hpa服务的方法

Xilinx 文档 PetaLinux 指南&#xff1a;如何创建 PetaLinux 环境 &#xff08;2019.1&#xff09; PetaLinux工具参考指南 PetaLinux安装详解(Xilinx , linux, zynq, zynqMP) petalinux 2020.1安装教程 一、PetaLinux工具和库安装 PetaLinux 工具要求主机系统 /bin/sh 为“b…

【分享】3种方法取消PPT的“限制保护”

PPT如果设置了有密码的“只读方式”&#xff0c;每次打开PPT&#xff0c;都会出现对话框&#xff0c;提示需要输入密码才能修改文件&#xff0c;否则只能以“只读方式”打开。 以“只读方式”打开的PPT就会被限制&#xff0c;无法进行编辑修改等操作。那如果后续不需要“限制保…

搭建LNMP服务器

一、环境准备 Linux 采用 CentOS7 Nginx 采用 Nginx-1.24.0 安装目录/opt/nginx Mysql 采用 Mysql-5.7.23 安装目录/opt/mysql PHP 采用 PHP-7.3.5 安装目录/opt/php 用于测试环境&#xff0c;搭建在虚拟机上&#xff0c;只准备了一台虚拟机&#xff0c;所有服务都搭建在一…