文章目录
- Hadoop 组成部分
- 1.HDFS
- 2.MapReduce 架构概述
- 3. yarn 架构概述
- 4.HDFS、YARN、MapReduce三者关系
Hadoop 组成部分
1.HDFS
Hadoop Distributed File System，简称 HDFS，是一个分布式文件系统。
HDFS 架构概述
主要分为
- NameNode (mn):存储文件的元数据，如文件名，文件目录结构，文件属性(生成时间、副本数文件权限)，以及每个文件的块列表和块所在的DataNode等。
- DataNode(dn): 在本地文件系统存储文件块数据，以及块数据的校验和
- Secondary NameNode(2nn): 每隔一段时间对NameNode元数据备份
2.MapReduce 架构概述
MapReduce 将计算过程分为两个阶段:Map 和 Reduce
1)Map 阶段并行处理输入数据
2)Reduce阶段对 Map 结果进行汇总
3. yarn 架构概述
4.HDFS、YARN、MapReduce三者关系
client 发送一个任务，有yarn去调度任务 ，由resourceManager 下发到nodeManger ，nodeManager在本地创建app mastr ，appMastr去调用MapReduce 的MapTask 去读取HDFS数据并输入 ，然后通过 Reduce Task对 Map Task 读取的数据进行汇总，最终将结果输出到 nameNode 中，同时保存到SecondaryNameNode中
