1. Hadoop的主要部分及其作用
HDFS(Hadoop分布式文件系统)
HDFS是一个高容错、高可靠性、高可扩展性、高吞吐率的分布式文件存储系统,负责海量数据的存储。
YARN(资源管理调度系统)
YARN是Hadoop的资源管理调度系统,负责Hadoop生态系统中任务的调度和监控。
MapReduce(分布式并行计算框架)
MapReduce是基于HDFS和YARN的分布式并行计算框架,负责海量数据的计算。
2. Hadoop生态圈组件及其作用
Hive(离线数据仓库)
Hive是基于HDFS,结合类SQL引擎,底层执行MapReduce任务,用于OLAP分析查询的数据仓库。它使得不熟悉MapReduce的用户也能通过类SQL语言(HQL)进行数据查询和分析。
Zookeeper(管理员)
Zookeeper是一个分布式协调服务,为用户的分布式应用程序提供协调服务,如主从协调、服务器节点动态上下线、统一配置管理、分布式共享锁、统一名称服务等。
Kafka(消息通信中间件)
Kafka是一个高吞吐量的分布式发布订阅消息系统,主要用于处理实时数据流。
Flume(日志传输组件)
Flume是一个分布式、可靠、高可用的海量日志收集、聚合、移动的工具,通俗来说,Flume就是一个日志采集工具。
Spark(批处理计算框架)
Spark是一个快速、通用的集群计算系统,支持批处理和流处理,适用于数据挖掘和机器学习等需要迭代的算法。
Flink(流处理计算框架)
Flink是一个基于内存的分布式并行处理框架,主要用于流数据处理,但也支持批处理。
3. Hadoop集群工作时启动的进程及其作用
NameNode(NN)
NameNode是Hadoop中的主服务器,管理文件系统名称空间和对集群中存储的文件访问。
Secondary NameNode(SNN)
Secondary NameNode不是NameNode的冗余守护进程,而是提供周期性检查点和清理任务,帮助NameNode合并editslog,减少NameNode的启动时间。
DataNode(DN)
DataNode提供真实的文件数据的存储服务,以数据块的形式存储HDFS文件,并响应HDFS客户端的读写请求。
ResourceManager(RM)
ResourceManager负责整个集群资源的管理和调度,包括对ApplicationMaster的管理、NodeManager的管理、Application管理等。
NodeManager(NM)
NodeManager主要处理来自ResourceManager分配的任务,监测并报告Container使用信息给ResourceManager。
JournalNode(JN)
JournalNode用于两个NameNode之间的数据同步,确保在集群出错时,命名空间状态已经完全同步。
4. Hadoop集群计算的主要瓶颈
- 网络带宽:网络带宽不足会导致数据传输速度慢,影响集群计算性能。
- 存储性能:存储系统的读写能力较低会影响数据的读取和写入速度。
- 处理能力:节点的计算能力和数据量都会影响整体计算能力。
- 内存容量:内存不足会导致数据无法完全加载到内存中,影响性能。
- 数据倾斜:数据分布不均匀会导致某些节点的数据负载过重,成为集群的瓶颈。
5. Hadoop集群的XML配置文件
- core-site.xml:配置Hadoop的核心参数,如文件系统默认方案、HDFS地址等。
- hdfs-site.xml:配置HDFS的相关参数,如副本数量、数据块大小等。
- mapred-site.xml:配置MapReduce相关参数,如作业跟踪器地址、任务分配器等。
- yarn-site.xml:配置YARN相关参数,如资源管理器地址、节点管理器等。
- hive-site.xml:配置Hive的相关参数,如元数据存储位置、数据库连接等。
6. Hadoop的Checkpoint流程
-
启动 Secondary NameNode
Secondary NameNode 启动并定期检查 NameNode 的 EditLog 和 FsImage。 -
下载元数据
Secondary NameNode 从 NameNode 下载最新的 FsImage 和 EditLog 文件。 -
合并元数据
Secondary NameNode 将 EditLog 中的变更操作应用到下载的 FsImage 上,生成一个新的合并后的 FsImage 文件。 -
上传新 FsImage
Secondary NameNode 将新的 FsImage 文件上传回 NameNode,并通知 NameNode 该文件已生成。 -
更新元数据
NameNode 将新的 FsImage 文件保存为当前的元数据快照,并将 EditLog 文件截断或重命名为新的文件,开始记录新的变更操作。
补充说明:
EditLog(edits)
NameNode 持续记录文件系统元数据的所有变更操作到 EditLog 文件中。
FsImage(fsimage)
NameNode 会定期将当前的文件系统元数据快照存储到 FsImage 文件中。
Checkpoint
Secondary NameNode 会周期性地将 EditLog 应用到最新的 FsImage 上,并生成一个新的合并后的 FsImage 文件,称为 checkpoint。