经典论文解读系列：MapReduce 论文精读总结：简化大规模集群上的数据处理

news2025/4/2 7:29:49

🧠 MapReduce 论文解读总结：简化大规模集群上的数据处理

原文标题：MapReduce: Simplified Data Processing on Large Clusters
作者：Jeffrey Dean & Sanjay Ghemawat
发表时间：2004 年
发表机构：Google

📌 引言：大数据的挑战

在 2000 年代初，随着互联网的发展，数据量呈指数增长。处理 TB、PB 级别的数据变得非常困难，尤其是在成千上万台机器组成的分布式集群中：

如何并行处理任务？
如何处理节点失败？
如何高效调度和通信？

Google 提出了一种简单但强大的编程模型 —— MapReduce，极大地简化了大规模数据处理任务。

🧰 核心思想：Map + Reduce 两步走

MapReduce 编程模型由两个主要函数组成：

🔹 Map（映射）

将输入数据转为键值对（key, value），然后根据 key 进行分组。

map(String key, String value):
    // key: 文档ID, value: 文档内容
    for each word w in value:
        EmitIntermediate(w, 1)

🔹 Reduce（归约）

接收 Map 阶段生成的中间 key 及其所有 value 的集合，对这些值进行汇总处理。

reduce(String key, Iterator values):
    int result = 0
    for each v in values:
        result += v
    Emit(key, result)

🔄 执行流程

输入分片：将大文件切分为小块（通常为 64MB~128MB），每个 Map 任务处理一个块。
Map 阶段：每个 Map 任务处理输入片段，输出中间 key-value。
Shuffle & Sort：系统自动根据 key 对中间结果排序、分组，并传给对应 Reduce 任务。
Reduce 阶段：每个 Reduce 任务处理一个或多个 key 的聚合值，最终写入输出文件。

⚙️ 系统优势

特性	描述
自动并行	系统自动调度任务在多个机器上并行执行
容错处理	节点失败后，任务会被重新调度
高扩展性	支持数千台机器，处理 TB~PB 级数据
简单易用	开发者只需实现 `map()` 和 `reduce()` 两个函数

📚 示例应用：词频统计（Word Count）

输入若干文档，统计每个单词出现次数：

Input:
doc1: "hello world"
doc2: "hello mapreduce"

Map 输出：
("hello", 1), ("world", 1), ("hello", 1), ("mapreduce", 1)

Reduce 输出：
("hello", 2), ("world", 1), ("mapreduce", 1)