【基础知识】MPP架构和hadoop架构比对

news2024/9/30 13:43:00

架构比对

简单一句描述。
mpp架构,就是找一群和自己能力差不多的任一起做事,每个人做的事情是一致的。
hadoop架构,就是找一群能力差一些的人,但只需要他们每个人只做一部分工作。
image.png

举例说明

一个特色小饭店如何成为连锁餐饮巨头。
一个做宫保鸡丁的夫妻店生意越来越好,顾客经常吃不上,于是考虑扩张。

第一阶段-存算一体

于是把周围的店铺也租下来,招聘了几个学徒,经过七七四十九天学习,徒弟们终于把买菜、洗菜、切菜、炒菜、摆盘、上菜搞定了,顾客表示很满意。
师傅和学徒组成了mpp架构,即starRocks。

第二阶段-存算分离

经过半年生意越来越好,还是供不应求。再招聘一批学徒的话,还得培养七七四十九天,太累人。
现在流程太长了,每个人都得去买菜、洗菜、切菜、炒菜、摆盘、上菜。
于是乎,招聘了一批小工,专门负责去买菜和洗菜。
这样师傅和学徒们只要负责切菜、炒菜、摆盘、上菜,效率又提升了,接住了这部分客户需求。
师傅和学徒组成了mpp架构,即starRocks。小工们类似于hdfs。

第三阶段-混合模型

又过了一年,顾客越来越多,且还不满足只有宫保鸡丁,还想吃地三鲜、咖喱鸡肉、清炒土豆丝、红蘑土豆片等等。

鸡肉土豆胡萝卜花生米
宫保鸡丁鸡肉丁土豆丁胡萝卜丁
咖喱鸡肉鸡肉块
地三鲜土豆条
清炒土豆丝土豆丝
红蘑土豆片土豆片

从上述菜品可以看出,土豆的需求量很大,且类型还多。
于是乎把切菜也包给小工做,但毕竟小工能力弱,买菜、洗菜、切菜全都做的话,就风险很大。
所以分成5组,第一组负责买菜、第二组负责洗菜、第三组负责土豆去皮,第四组负责土豆切条,第五组负责土豆切丝。
这样分工的好处就是,可以直接从市场上招聘大量的小工来提升做菜效率。
那么师傅和学徒只要关心炒菜即可。
师傅和学徒组成了mpp架构,即starRocks。小工们从hdfs升级为hive+hdfs,相当于承担了更多的重复性劳动。

功能比较

mpp架构,就是找一群和自己能力差不多的任一起做事,每个人做的事情是一致的。
hadoop架构,就是找一群能力差一些的人,但只需要他们每个人只做一部分工作。
换句话说,hadoop擅长把大问题拆分成小问题,一层一层处理。mpp是把大问题进行切片,每个节点还是处理大问题,只是大问题的数据量变少。

功能清单MPPhadoop补充说明
数据最大吞吐量mpp相比hadoop,受限于单个人的处理能力,因为单个服务器的处理能力是有上限的
单机计算性能mpp招聘的人能力强,一般是采用C++,hadoop是基于java
数据写入效率在hadoop由于每个人做的工作是一样的,且简单,不需要考虑东西发给谁,只要均匀分布即可。但在mpp则要求是这个人的东西一定要都发给这个人
数据读取效率因为mpp在存储数据的时候是按照规则存储,只要按照规则去拿效率一定是高的;而hadoop的是随机分布,只是保证均匀
安装部署简单复杂mpp一般是一体化安装,hadoop是需要至少安装hive、hdfs、zk等组件
SQL开发能力MPP理论上可以更多的函数处理,hadoop有些特别的计算需要依赖代码实现

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1472643.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【国密算法】深入理解国密算法:原理、实践及注意事项

目录 引言 1. 国密算法概述 2. 国密算法的实践应用 2.1 对称加密(SM1算法) 2.2 非对称加密(SM2算法) 2.3 哈希算法(SM3算法) 3. 国密算法的注意事项 结论 引言 国密算法,即中国密码算法…

AI数字人SadTalker实战

1.概述 AI数字人在营销和品牌推广中扮演着至关重要的角色,许多企业和个人正积极利用数字技术来打造属于自己的财富。有没有一种简单而免费的方式来创建自己的数字人呢?本篇博客笔者将为大家介绍如何搭建属于自己的AI数字人。 2.内容 2.1 什么是SadTalker…

内存卡无法读取?这里有救!

一、遭遇内存卡无法读取的困境 在日常生活和工作中,我们越来越依赖电子设备来存储和传输数据。然而,当遇到内存卡无法读取的问题时,很多人会感到困惑和焦虑。无论是重要的工作文件、珍贵的家庭照片,还是其他个人数据,…

基于springboot+vue的音乐网站(前后端分离)

博主主页:猫头鹰源码 博主简介:Java领域优质创作者、CSDN博客专家、阿里云专家博主、公司架构师、全网粉丝5万、专注Java技术领域和毕业设计项目实战,欢迎高校老师\讲师\同行交流合作 ​主要内容:毕业设计(Javaweb项目|小程序|Pyt…

C++力扣题目 42--接雨水 84--柱状图中最大的矩形

42. 接雨水 力扣题目链接(opens new window) 给定 n 个非负整数表示每个宽度为 1 的柱子的高度图,计算按此排列的柱子,下雨之后能接多少雨水。 示例 1: 输入:height [0,1,0,2,1,0,1,3,2,1,2,1]输出:6解释&#xff…

C++17之折叠表达式

相关文章系列 深入理解可变参数(va_list、std::initializer_list和可变参数模版) 目录 1.介绍 2.应用 2.1.使用折叠表达式 2.2.支持的运算符 2.3.使用折叠处理类型 3.总结 1.介绍 折叠表达式是C17新引进的语法特性。使用折叠表达式可以简化对C11中引入的参数包的处理&…

原型设计工具Axure RP

Axure RP是一款专业的快速原型设计工具。Axure(发音:Ack-sure),代表美国Axure公司;RP则是Rapid Prototyping(快速原型)的缩写。 下载链接:https://www.axure.com/ 下载 可以免费试用…

windows安装onlyoffice8.0

安装erlang 安装Erlang25.3 下载地址 设置环境变量 ERLANG_HOME C:\Program Files\Erlang OTP Path下设置%ERLANG_HOME%\bin 打开cmd输入erl不报错即可 安装rabbitmq rabbitmq和erlang对应的关系 下载地址 执行完exe文件后,找到安装目录下的sbin&am…

H12-821_77

77.如图所示的交换网络,所有交换机都运行了STP协议,当拓扑稳定后,在以下哪台交换机上修改配置BPDU的发送周期,可以影响STD配置BPDU的发送周期? A.STC B.SWD C.SWA D.SWB 答案:C 注释: 在根桥上…

MATLAB环境下基于超高斯全自动组织学图像的盲彩色反卷积方法

图像盲反卷积问题仅根据模糊图像估计清晰图像和模糊核,也是一个欠定问题且求解更加困难。但图像盲反卷积算法更实际,因为许多情况下,模糊核都是未知或部分已知的。求解盲反卷积问题需要为未知量选择适当的先验模型,以得到清晰图像…

二叉树与堆

目录 1.树概念及结构 1.1树的概念 1.2 树的相关概念 1.3 树的表示 1.4 树在实际中的运用(表示文件系统的目录树结构) 2.二叉树概念及结构 2.1概念 2.2现实中的二叉树: 2.3 特殊的二叉树: 2.4 二叉树的性质 2.5 二叉树的…

基于springboot+vue的二手图书交易平台(源码+论文)

文章目录 目录 文章目录 前言 一、功能设计 二、功能实现 前台系统功能模块分为 后台系统功能模块分为 三、库表设计 四、论文 前言 在互联网上所有产品的分类信息中,电子类的产品信息无疑是最丰富的,一大批电子资讯类网站从中国互联网诞生初期就开始为…

力扣模板题:回文链表

请牢记检测回文串的模板 /*** Definition for singly-linked list.* struct ListNode {* int val;* struct ListNode *next;* };*/ bool isPalindrome(struct ListNode* head) {int size0;struct ListNode* pointhead;while(point){size;pointpoint->next;}int arr…

每日学习-2月22日

知识点:二叉树 二叉树的性质: 二叉树的存储结构: 顺序存储: 用数组存储,tree[ 0 ]处空缺,以便编号与下标一致对标完全二叉树,按序号存储在相应索引的位置 i的左孩子:2i i的右孩…

代码随想录Leetcode416. 分割等和子集

题目&#xff1a; 代码(首刷看解析 2024年2月23日&#xff1a; class Solution { public:bool canPartition(vector<int>& nums) {/*因为数值 < 100, length < 200 , 数值 < 20000*/vector<int> dp(10001, 0);int sum accumulate(nums.begin(), num…

武汉建筑安全员ABC小题库不存在未雨绸缪“时间够”

武汉建筑安全员ABC小题库不存在未雨绸缪“时间够” 关于武汉三类人员&#xff08;安全员ABC&#xff09;考试小题库&#xff0c;一般都是考试时间出来&#xff0c;准考证下来了&#xff0c;匹配题库&#xff0c;好好看题&#xff08;认真练习即可&#xff09;&#xff0c;一般…

校园微社区微信小程序源码/二手交易/兼职交友微信小程序源码

云开发校园微社区微信小程序开源源码&#xff0c;这是一款云开发校园微社区-二手交易_兼职_交友_项目微信小程序开源源码&#xff0c;可以给你提供快捷方便的校园生活&#xff0c;有很多有趣实用的板块和功能&#xff0c;如&#xff1a;闲置交易、表白交友、疑问互答、任务兼职…

C++ 之LeetCode刷题记录(三十四)

&#x1f604;&#x1f60a;&#x1f606;&#x1f603;&#x1f604;&#x1f60a;&#x1f606;&#x1f603; 开始cpp刷题之旅。 目标&#xff1a;执行用时击败90%以上使用 C 的用户。 12. 整数转罗马数字 罗马数字包含以下七种字符&#xff1a; I&#xff0c; V&#xf…

操作系统-复试笔记

http://t.csdnimg.cn/PJLWh 操作系统基础 什么是操作系统&#xff1f; 操作系统&#xff08;Operating System&#xff0c;简称 OS&#xff09;是管理计算机硬件与软件资源的程序&#xff0c;是计算机的基石。操作系统本质上是一个运行在计算机上的软件程序 &#xff0c;用于…

Node.js中的错误处理和日志记录

在Node.js应用程序中&#xff0c;错误处理和日志记录是非常重要的方面。正确的错误处理和日志记录可以帮助我们更好地跟踪问题、排查 bug&#xff0c;并提供更好的用户体验。在本篇博客中&#xff0c;我将为大家介绍在Node.js中如何进行错误处理和日志记录&#xff0c;以及一些…