1. Hadoop是什么
- Hadoop是一个由Apache基金会所开发的
分布式系统基础架构。 - 主要解决，
海量数据的存储和海量数据的分析计算问题。 - 广义上来说，Hadoop通常是指一个更广泛的概念——
Hadoop生态圈。
2. Hadoop的三大发行版本
- Apache版本最原始（最基础）的版本，对于入门学习最好。2006年
- Cloudera内部集成了很多大数据框架，对应产品
CDH,2008年 - Hortonworks 文档较好，对应产品
HDP, 2011年 - Hortonworks现在已经被Cloudera公司收购，推出新的品牌
CDP。
3. Hadoop的优势
1）高可靠性:Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元素或存储出现故障，也不会导致数据的丢失。
2）高扩展性:在集群间分配任务数据，可方便的扩展数以千计的节点。
3）高效性:在MapReduce的思想下，Hadoop是并行工作的，以加快任务处理速度。
4）高容错性:能够自动将失败的任务重新分配。
4. Hadoop的组成(面试重点)
Hadoop1.x组成: common(辅助工具),HDFS(数据存储),MapReduce(计算+资源调度)
Hadoop2.x组成: common(辅助工具),HDFS(数据存储),MapReduce(计算),Yarn(资源调度)
Hadoop3.x组成: 在组成上和2.x没有任何区别
6. HDFS的概述
- Hadoop Distributed File Sytem ,简称HDFS , 是一个分布式文件系统
NameNode(nn): 存储文件的元数据,如文件名,文件目录结构,文件属性(生成时间,副本数,文件权限),以及每个文件的块列表和块所在的DataNode等DataNode(du): 在本地文件系统存储文件块数据,以及块数据的校验和SeconDary Name(2nn):每隔一段时间内对NameNode元数据进行备份
