MapReduce 是一种用于大规模数据处理的编程模型和计算框架，最初由 Google 提出，主要用于在分布式环境下并行处理海量数据。它将复杂的处理任务分解为两个核心阶段：Map（映射）和Reduce（归约）。
核心思想
- Map 阶段：将输入数据分割成键值对（key-value pairs），并对每个数据块执行用户定义的 map 函数，生成中间结果。
- Shuffle 与 Sort 阶段：系统自动将 Map 输出的中间结果按照 key 进行排序、分组，并分发到对应的 Reduce 节点。
- Reduce 阶段：对相同 key 的中间结果进行聚合处理，输出最终结果。
工作流程示例（词频统计 WordCount）
# 伪代码实现# 输入: ("doc1", "hello world hello"), ("doc2", "world of big data")# Map 函数defmap(doc_id,text):forwordintext.split():emit(word,1)# Map 输出: ("hello",1), ("world",1), ("hello",1), ("world",1), ("of",1), ...# Shuffle & Sort 后:# ("hello", [1,1]), ("world", [1,1]), ("of", [1]), ...# Reduce 函数defreduce(word,counts):total=sum(counts)emit(word,total)# 最终输出: ("hello",2), ("world",2), ("of",1), ...特点
- 容错性强：任务失败可自动重试。
- 高扩展性：可在数千台普通服务器上运行。
- 适合批处理：不适用于实时或交互式查询。
- 磁盘 I/O 较高：中间结果写入磁盘，影响性能。
典型应用场景
- 日志分析
- 网页索引构建
- 数据清洗与转换
- 大规模图计算（需迭代时效率较低）
Hadoop 是最著名的开源 MapReduce 实现，广泛应用于大数据生态系统中。
MapReduce 中的Shuffle 过程是连接 Map 阶段和 Reduce 阶段的核心机制，其主要目标是将所有 Map 任务输出的中间结果中，相同 key 的数据汇聚到同一个 Reduce 任务中进行处理。这个过程由框架自动完成，对开发者透明，但理解其工作原理对性能调优至关重要。
Shuffle 工作流程详解：
1.Map 输出阶段
- 每个 Map 任务在处理完输入分片后，生成一系列
<key, value>对。 - 这些中间结果首先被写入内存缓冲区（环形缓冲区）。
- 当缓冲区达到阈值（如 80%满），会启动溢写（spill）操作。
2.分区（Partitioning）
- 在溢写前，数据会根据 Reduce 任务数量进行分区（Partitioning），通常使用哈希分区：
partition=hash(key)%num_reduce_tasks - 每个分区对应一个 Reduce 任务，确保相同 key 落入同一分区。
3.排序与合并（Sorting & Merging）
- 溢写时，每个分区内的数据按 key排序。
- 可选地执行Combiner 函数（相当于本地 Reduce），减少网络传输量。
- 多次溢写产生多个有序的 spill 文件。
4.磁盘持久化
- 所有 spill 文件保存在本地磁盘，等待 Reduce 拉取。
5.Reduce 端拉取数据（Fetch）
- Reduce 任务启动后，通过HTTP 协议向各个 Map 节点请求属于自己的分区数据。
- 这个过程称为Copy Phase或Fetch Phase。
6.归并排序（Merge）
- Reduce 端接收到多个来自不同 Map 任务的有序文件。
- 将这些文件进行归并排序（merge sort），形成一个整体有序的输入流。
7.输入 Reduce 函数
- 最终合并后的数据传给用户定义的
reduce()函数进行处理。
关键特性
| 特性 | 说明 |
|---|---|
| 自动完成 | 开发者无需手动实现，由 Hadoop 框架管理 |
| 网络密集型 | 大量数据通过网络传输，影响性能 |
| 磁盘 I/O 高 | 中间结果频繁写入磁盘 |
| 可配置 | 可自定义 Partitioner、Combiner、Sort Comparator 等 |
性能优化建议
- 使用合适的Partitioner避免数据倾斜。
- 合理设置Combiner减少网络传输。
- 调整缓冲区大小和溢写阈值提升效率。
- 开启压缩（如 Snappy、LZO）减少 I/O。
Shuffle 是 MapReduce 性能瓶颈的主要来源之一，因此 Spark 等新一代框架通过“内存计算 + DAG 执行引擎”来减少不必要的 Shuffle 操作。
