MapReduce学习与理解

news2024/9/28 12:41:00

MapReduce为google分布式三驾马车之一。分别为《The Google File System》、《MapReduce: Simplified Data Processing on Large Clusters》、《Bigtable: A Distributed Storage System for Structured Data》。三遍论文奠定了分布式存储和计算的基础。本篇文章来说说mapreduce.

一、MapReduce介绍

mapreduce将复杂的、在大规模集群的并行运算抽象到两个函数：Map和Reduce。核心思想是“分而治之”。由传输<key,value>类型的键值对到Map,map则对这些数据根据map函数做相应的处理，输出为<key,List<value>>的键值对，再到reduce中对value做最后的统计。这样说有点抽象。我在另一篇文章中看见一个很形象的例子：

我们的目的是做辣椒酱，但是有很多种类比如：洋葱辣椒酱、番茄辣椒酱、青椒辣椒酱等，在输入到map的过程就是将大量的原粮（包含洋葱、番茄、青椒等的混合）放入map中，而map会根据这些品种，分类、并且将其分割完成。那么此时的输出就是<洋葱,List<洋葱瓣>>、<番茄、List<番茄块>>等，此时再作为reduce的输入，reduce则负责最终的搅拌过程，最终输出为各种辣椒酱。这个例子就很形象。

1.Map和Reduce函数表

函数

输入

输出

说明

Map

<k1,v1>：

<1,hello world>

<2,hello Jack>

List(<k2,v2>):

<hello,1>

<world,1>

<hello,1>

<Jack,1>

1.将输入的数据进一步解析成<key,value>对，输入Map函数中进行处理

2.经过map函数输出为一批键值对。此时为中间结果

Reduece

<k2,List<v2>>

<hello,{1,1}>

<world,1>

<Jack,1>

<k3,v3>

<hello,2>

<world,1>

<Jack,1>

reduce得到map输出的中间结果，合并计算到最后的结果

在这个表中是以单词划分为例，可能会疑惑为什么map的输出为LIst的键值对，而reduce的输入却是<k2,List>,这就涉及到MapReduece的管理系统，别急继续往下看。

二、MapReduce体系结构

1.client

用户编写的MapReduce程序通过Client提交到JobTracker端，用户可以通过Client提供的接口查看作业运行状态

2.JobTracker（也就是Master）

JobTracker负责资源监控和作业调度JobTrack监控所有的TaskTracker与Job的健康情况，通过心跳机制来检测，一旦发生问题则重新将map中处理的任务重新去完成，因为map完成的任务会存放在他本地的磁盘中，无法得到。那么Master会重新安排其他的Map去做。而reduce失败之后，完成的任务不会再重新进行，它会存放在HDFS中。JobTracker会跟踪任务的执行进度、资源使用量等问题，并将这些信息告诉任务调度器（TaskScheduler），TaskScheduler就会调度任务。

3.TaskTracker

TaskTracker会周期性地通过“心跳”将本地节点上的情况告诉给JobTracker,同时执行相应的操作。TaskTracker使用“slot”等量划分本节点上资源量（CPU、内存等）。一个Task获取到slot后才有机会运行，而Hadoop调度器的作用就是将各个TaskTracker上空闲的slot分配给Task使用。slot分为Map slot和Reduce slot 两种分别提供给MapTask和Reduce Task使用。

4.Task

Task分为Map Task 和 Reduce Task两种，均由TaskTracker启动

5.TaskScheduler则负责任务的分发以及错误发生后未完成的task的重新分发。