大数据框架之Hadoop：HDFS（五）NameNode和SecondaryNameNode（面试开发重点）

news2024/11/25 19:19:40

5.1NN和2NN工作机制

5.1.1思考：NameNode中的元数据是存储在哪里的？

首先，我们做个假设，如果存储在NameNode节点的磁盘中，因为经常需要进行随机访问，还有响应客户请求，必然是效率过低。因此，元数据需要存放在内存中。但如果只存在内存中，一旦断电，元数据丢失，整个集群就无法工作了。因此产生在磁盘中备份元数据的FsImage。

这样又会带来新的问题，当在内存中的元数据更新时，如果同时更新FsImage，就会导致效率过低，但如果不更新，就会发生一致性问题，一旦NameNode节点断电，就会产生数据丢失。因此，引入Edits文件(只进行追加操作，效率很高)。每当元数据有更新或者添加元数据时，修改内存中的元数据并追加到Edits中。这样，一旦NameNode节点断电，可以通过FsImage和Edits的合并，合成元数据。

但是，如果长时间添加数据到Edits中，会导致该文件数据过大，效率降低，而且一旦断电，恢复元数据需要的时间过长。因此，需要定期进行FsImage和Edits的合并，如果这个操作由NameNode节点完成，又会效率过低。因此，引入一个新的节点SecondaryNamenode，专门用于FsImage和Edits的合并。

Untitled (3)

5.1.2NameNode工作机制

NN和2NN工作机制，如下图所示。

Untitled (4)

  1. 第一阶段：NameNode启动

（1）第一次启动NameNode格式化后，创建Fsimage和Edits文件。如果不是第一次启动，直接加载编辑日志和镜像文件到内存。

（2）客户端对元数据进行增删改的请求。

（3）NameNode记录操作日志，更新滚动日志。

（4）NameNode在内存中对数据进行增删改。

  1. 第二阶段：Secondary NameNode工作

（1）Secondary NameNode询问NameNode是否需要CheckPoint。直接带回NameNode是否检查结果。

（2）Secondary NameNode请求执行CheckPoint。

（3）NameNode滚动正在写的Edits日志。

（4）将滚动前的编辑日志和镜像文件拷贝到Secondary NameNode。

（5）Secondary NameNode加载编辑日志和镜像文件到内存，并合并。

（6）生成新的镜像文件fsimage.chkpoint。

（7）拷贝fsimage.chkpoint到NameNode。

（8）NameNode将fsimage.chkpoint重新命名成fsimage。

5.1.3NN和2NN工作机制详解

Fsimage：NameNode内存中元数据序列化后形成的文件。

Edits：记录客户端更新元数据信息的每一步操作（可通过Edits运算出元数据）。

NameNode启动时，先滚动Edits并生成一个空的edits.inprogress，然后加载Edits和Fsimage到内存中，此时NameNode内存就持有最新的元数据信息。Client开始对NameNode发送元数据的增删改的请求，这些请求的操作首先会被记录到edits.inprogress中（查询元数据的操作不会被记录在Edits中，因为查询操作不会更改元数据信息），如果此时NameNode挂掉，重启后会从Edits中读取元数据的信息。然后，NameNode会在内存中执行元数据的增删改的操作。

由于Edits中记录的操作会越来越多，Edits文件会越来越大，导致NameNode在启动加载Edits时会很慢，所以需要对Edits和Fsimage进行合并（所谓合并，就是将Edits和Fsimage加载到内存中，照着Edits中的操作一步步执行，最终形成新的Fsimage）。SecondaryNameNode的作用就是帮助NameNode进行Edits和Fsimage的合并工作。

SecondaryNameNode首先会询问NameNode是否需要CheckPoint（触发CheckPoint需要满足两个条件中的任意一个，定时时间到和Edits中数据写满了）。直接带回NameNode是否检查结果。SecondaryNameNode执行CheckPoint操作，首先会让NameNode滚动Edits并生成一个空的edits.inprogress，滚动Edits的目的是给Edits打个标记，以后所有新的操作都写入edits.inprogress，其他未合并的Edits和Fsimage会拷贝到SecondaryNameNode的本地，然后将拷贝的Edits和Fsimage加载到内存中进行合并，生成fsimage.chkpoint，然后将fsimage.chkpoint拷贝给NameNode，重命名为Fsimage后替换掉原来的Fsimage。NameNode在启动时就只需要加载之前未合并的Edits和Fsimage即可，因为合并过的Edits中的元数据信息已经被记录在Fsimage中。

5.2 Fsimage和Edits解析

  1. 概念

NameNode被格式化之后，将在/opt/modult/hadoop-2.7.7/data/tmp/dfs/name/current目录中产生如下文件

edits_inprogress_0000000000000004969
fsimage_0000000000000004966
seen_txid
VERSION

（1）fsimage文件：HDFS文件系统元数据的一个永久性检查点，其中包含HDFS文件系统的所有目录和文件inode的序列化信息。

（2）edits文件：存放HDFS文件系统的所有更新操作的路径，文件系统客户端执行的所有写操作首先会被记录到edits文件中。

（3）seen_txid文件：存放最后一个edits的数字。

（4）每次NameNode启动的时候都会将fsimage文件读入内存，加载edits里面的更新操作，保证内存中的元数据信息是最新的、同步的，可以看成NameNode启动的时候就将fsimage文件进行了合并。

  1. oiv查看Fsimage文件

（1）查看oiv和oev命令

[root@hdp101 current]# hdfs
oiv            apply the offline fsimage viewer to an fsimage
oev            apply the offline edits viewer to an edits file

（2）基本语法

hdfs oiv -p 文件类型 -i镜像文件 -o 转换后文件输出路径

（3）案例实操

[root@hdp101 current]# pwd
/opt/module/hadoop-2.7.7/data/tmp/dfs/name/current
[root@hdp101 current]# hdfs oiv -p XML -i fsimage_0000000000000000025 -o /opt/module/hadoop-2.7.7/fsimage.xml
[root@hdp101 current]# cat /opt/module/hadoop-2.7.7/fsimage.xml

将显示的xml文件内容拷贝到Eclipse中创建的xml文件中，并格式化。

思考：可以看出，Fsimage中没有记录块所对应DataNode，为什么？

在集群启动后，要求DataNode上报数据块信息，并间隔一段时间后再次上报。

  1. oev查看Edits文件

（1）基本语法

hdfs oev -p 文件类型 -i编辑日志 -o 转换后文件输出路径

（2）案例实操

[root@hdp101 current]# hdfs oev -p XML -i edits_0000000000000000012-0000000000000000013 -o /opt/module/hadoop-2.7.7/edits.xml

[root@hdp101 current]# cat /opt/module/hadoop-2.7.7/edits.xml

将显示的xml文件内容拷贝到Eclipse中创建的xml文件中，并格式化。

5.3CheckPoint时间设置

（1）通常情况下，SecondaryNameNode每隔一小时执行一次。

[hdfs-default.xml]

<property>
    <name>dfs.namenode.checkpoint.period</name>
    <value>3600</value>
</property>

（2）一分钟检查一次操作次数，当操作次数达到1百万时，SecondaryNameNode执行一次。

<property>
    <name>dfs.namenode.checkpoint.txns</name>
    <value>1000000</value>
    <description>操作动作次数</description>
</property>

<property>
    <name>dfs.namenode.checkpoint.check.period</name>
    <value>60</value>
    <description> 1分钟检查一次操作次数</description>
</property >

5.4NameNode故障处理

NameNode故障后，可以采用如下两种方法恢复数据。

方法一：将SecondaryNameNode中数据拷贝到NameNode存储数据的目录；

  1. kill -9 NameNode进程
  2. 删除NameNode存储的数据（/opt/module/hadoop-2.7.7/data/tmp/dfs/name）
[root@hdp101 hadoop-2.7.7]# rm -rf /opt/module/hadoop-2.7.7/data/tmp/dfs/name/*
  1. 拷贝SecondaryNameNode中数据到原NameNode存储数据目录
[root@hdp101 dfs]# scp -r root@hdp103:/opt/module/hadoop-2.7.7/data/tmp/dfs/namesecondary/* ./name/
  1. 重新启动NameNode
[root@hdp101 hadoop-2.7.7]# sbin/hadoop-daemon.sh start namenode

方法二：使用-importCheckpoint选项启动NameNode守护进程，从而将SecondaryNameNode中数据拷贝到NameNode目录中。

  1. 修改hdfs-site.xml中的
<property>
    <name>dfs.namenode.checkpoint.period</name>
    <value>120</value>
</property>

<property>
    <name>dfs.namenode.name.dir</name>
    <value>/opt/module/hadoop-2.7.7/data/tmp/dfs/name</value>
</property>

  1. kill -9 NameNode进程

  2. 删除NameNode存储的数据（/opt/module/hadoop-2.7.7/data/tmp/dfs/name）

[root@hdp101 hadoop-2.7.7]# rm -rf /opt/module/hadoop-2.7.7/data/tmp/dfs/name/*
  1. 如果SecondaryNameNode不和NameNode在一个主机节点上，需要将SecondaryNameNode存储数据的目录拷贝到NameNode存储数据的平级目录，并删除in_use.lock文件
[root@hdp101 dfs]# scp -r root@hdp103:/opt/module/hadoop-2.7.7/data/tmp/dfs/namesecondary ./

[root@hdp101 namesecondary]# rm -rf in_use.lock

[root@hdp101 dfs]# pwd
/opt/module/hadoop-2.7.7/data/tmp/dfs
[root@hdp101 dfs]# ls
data  name  namesecondary
  1. 导入检查点数据（等待一会ctrl+c结束掉）
[root@hdp101 hadoop-2.7.7]# bin/hdfs namenode -importCheckpoint
  1. 启动NameNode
[root@hdp101 hadoop-2.7.7]# sbin/hadoop-daemon.sh start namenode

5.5 集群安全模式

5.5.1概述

1、NameNode启动

NameNode启动时，首先将镜像文件（Fsimage）载入内存，并执行编辑日志（Edits）中的各项操作。一旦在内存中成功建立文件系统元数据的映像，则闯将一个新的Fsimage文件和一个空的编辑日志。此时，NameNode开始监听DataNode的请求。这个过程期间，NameNode一直运行在安全模式，即NameNode的文件系统对于客户端来说是只读的。

2、DataNode启动

系统中的数据块的位置并不是由NameNode维护的，而是以块列表的形式存储在DataNode中。在系统正常操作期间，NameNode会在内存中保留所有块位置的映射信息。在安全模式下，各个DataNode会向NameNode发送最新的块列表信息，NameNode了解到足够多的块信息之后，即可高效运行文件系统。

3、安全模式退出判断

如果满足“最小副本条件”，NameNode会在30s之后就退出安全模式。所谓的最小副本条件指的是在整个文件系统中99.99%的块满足最小副本级别（默认值：dfs.replication.min=1）。在启动一个刚刚格式化的HDFS集群时，因为系统中还没有任何块，所以NameNode不会进入安全模式。

5.5.2基本语法

集群处于安全模式，不能执行重要操作（写操作）。集群启动完成后，自动退出安全模式。

（1）bin/hdfs dfsadmin -safemode get （功能描述：查看安全模式状态）

（2）bin/hdfs dfsadmin -safemode enter （功能描述：进入安全模式状态）

（3）bin/hdfs dfsadmin -safemode leave （功能描述：离开安全模式状态）

（4）bin/hdfs dfsadmin -safemode wait （功能描述：等待安全模式状态）

5.5.3案例

模拟等待安全模式

（1）查看当前模式

[root@hdp101 hadoop-2.7.7]# hdfs dfsadmin -safemode get
Safe mode is OFF

（2）先进入安全模式

[root@hdp101 hadoop-2.7.7]# bin/hdfs dfsadmin -safemode enter

（3）创建并执行下面的脚本

在/opt/module/hadoop-2.7.7路径上，编辑一个脚本safemode.sh

[root@hdp101 hadoop-2.7.7]# touch safemode.sh
[root@hdp101 hadoop-2.7.7]# vim safemode.sh

#!/bin/bash
hdfs dfsadmin -safemode wait
hdfs dfs -put /opt/module/hadoop-2.7.7/README.txt /
[root@hdp101 hadoop-2.7.7]# chmod 777 safemode.sh
[root@hdp101 hadoop-2.7.7]# ./safemode.sh

（4）再打开一个窗口，执行

[root@hdp101 hadoop-2.7.7]# bin/hdfs dfsadmin -safemode leave

（5）观察

（a）再观察上一个窗口
Safe mode is OFF
（b）HDFS集群上已经有上传的数据了。

5.6 NameNode多目录配置

  1. NameNode的本地目录可以配置成多个，且每个目录存放内容相同，增加了可靠性
  2. 具体配置如下

（1）在hdfs-site.xml文件中增加如下内容

<property>
    <name>dfs.namenode.name.dir</name>
    <value>file:///${hadoop.tmp.dir}/dfs/name1,file:///${hadoop.tmp.dir}/dfs/name2</value>
</property>

（2）停止集群，集群中删除data和logs中所有数据。

[root@hdp101 hadoop-2.7.7]$ rm -rf data/ logs/
[root@hadoop103 hadoop-2.7.7]$ rm -rf data/ logs/
[root@hadoop104 hadoop-2.7.7]$ rm -rf data/ logs/

（3）格式化集群并启动。

[root@hdp101 hadoop-2.7.7]$ bin/hdfs namenode –format
[root@hdp101 hadoop-2.7.7]$ sbin/start-dfs.sh

（4）查看结果

[root@hdp101 dfs]$ ll
总用量 12
drwx------. 3 root root 4096 12月 11 08:03 data
drwxrwxr-x. 3 root root 4096 12月 11 08:03 name1
drwxrwxr-x. 3 root root 4096 12月 11 08:03 name2

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/346067.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

FPGA入门系列17--task

FPGA入门系列17--task

文章简介 本系列文章主要针对FPGA初学者编写&#xff0c;包括FPGA的模块书写、基础语法、状态机、RAM、UART、SPI、VGA、以及功能验证等。将每一个知识点作为一个章节进行讲解&#xff0c;旨在更快速的提升初学者在FPGA开发方面的能力&#xff0c;每一个章节中都有针对性的代码…
阅读更多...
如何选择传感器输出模式——电流输出还是电压输出？

如何选择传感器输出模式——电流输出还是电压输出？

一 背景及挑战 传感器在汽车测试系统中发挥着信息的采集和传输作用&#xff0c;可以称为汽车的“神经元”。 按照功能可以将传感器分为压力传感器、流量传感器、温湿度传感器和电流传感器等。传感器的主要指标是精度、测量范围和响应时间等。在满足指标的情况下&#xff0c;通…
阅读更多...
御黑行动来袭--助力三月重保，构筑安全防线！

御黑行动来袭--助力三月重保，构筑安全防线！

三月重保在即&#xff0c;重要网站及业务系统“零风险 零事故”是终极目标&#xff0c;作为业界网络安全实战派“老兵”--知道创宇将一如既往&#xff0c;为您提供重保期间“万无一失”的重要网站及业务系统防护。 值此三月重保的重要备战期&#xff0c;知道创宇推出由主力产品…
阅读更多...
高灵敏度压电传感器频率温度特性测量中的TEC型精密温控系统

高灵敏度压电传感器频率温度特性测量中的TEC型精密温控系统

摘要&#xff1a;为解决石英晶体微量天平这类压电传感器频率温度特性全自动测量中存在的温度控制精度差和测试效率低的问题&#xff0c;本文在TEC半导体制冷技术基础上&#xff0c;提出了小尺寸、高精度和全自动程序温控的解决方案&#xff0c;给出了温控装置的详细结构和实现高…
阅读更多...
计算机网络常见面试题总结

计算机网络常见面试题总结

网络分层结构 计算机网络体系大致分为三种&#xff0c;OSI七层模型、TCP/IP四层模型和五层模型。一般面试的时候考察比较多的是五层模型。 TCP/IP五层模型&#xff1a;应用层、传输层、网络层、数据链路层、物理层。 应用层&#xff1a;为应用程序提供交互服务。在互联网中的…
阅读更多...
一、产品经理——【岗位和能力要求】【项目流程】【产品体验报告】

一、产品经理——【岗位和能力要求】【项目流程】【产品体验报告】

0. 产品经理课程路线图 产品基础阶段&#xff1a;核心目的是了解行业、掌握技能 1. 认识互联网行业 1.1. 传统行业 vs 互联网行业 1.2. 互联网行业概念 1.3. 小结 2. 认识产品经理 2.1. 不同场景下的产品经理的职责差异 公司团队、领导对产品经理的期望不同&#xff0c;做的…
阅读更多...
交叉编译的概念及交叉编译工具的安装

交叉编译的概念及交叉编译工具的安装

目录 一.什么是交叉编译 二.为什么要交叉编译&#xff1f; 三.交叉编译链的安装 四.相关使用方法 五.软连接 一.什么是交叉编译 交叉编译是指将一种编程语言编写的程序编译成另一种编程语言的程序&#xff0c;通常是在不同的操作系统或硬件环境中使用的。这种编译过程会产…
阅读更多...
【手写 Vuex 源码】第十一篇 - Vuex 插件的开发

【手写 Vuex 源码】第十一篇 - Vuex 插件的开发

一&#xff0c;前言 上一篇&#xff0c;主要介绍了 Vuex-namespaced 命名空间的实现&#xff0c;主要涉及以下几个点&#xff1a; 命名空间的介绍和使用&#xff1b;命名空间的逻辑分析与代码实现&#xff1b;命名空间核心流程梳理&#xff1b; 本篇&#xff0c;继续介绍 Vu…
阅读更多...
GWAS：mtag (Multi-Trait Analysis of GWAS) 分析

GWAS：mtag (Multi-Trait Analysis of GWAS) 分析

mtag (Multi-Trait Analysis of GWAS)作用&#xff1a;通过对多个表型相似的GWAS summary结果进行联合分析&#xff0c;发现更多的表型相关基因座。 以抑郁症状、神经质和主观幸福感这三个表型为例&#xff0c;分别对他们进行GWAS分析&#xff0c;鉴定得到32、9 和 13个基因座与…
阅读更多...
前端食堂技术周刊第 70 期：Volar 的新开端、Lighthouse 10、良好的组件设计、React 纪录片、2022 大前端总结

前端食堂技术周刊第 70 期：Volar 的新开端、Lighthouse 10、良好的组件设计、React 纪录片、2022 大前端总结

美味值&#xff1a;&#x1f31f;&#x1f31f;&#x1f31f;&#x1f31f;&#x1f31f; 口味&#xff1a;黑巧克力 食堂技术周刊仓库地址&#xff1a;https://github.com/Geekhyt/weekly 本期摘要 Volar 的新开端Chrome 110 的新功能Lighthouse 10Nuxt v3.2.0加速 JavaSc…
阅读更多...
【github】解决超限制文件上传失败问题

【github】解决超限制文件上传失败问题

之前因为push的一堆文件中有个104MB的大文件在里面&#xff0c;导致push一直失败一直失败超时又报错 一开始我还以为是VPN的问题&#xff0c;搞了好久都没解决 后来一步一步回撤发现是因为卡在了我那个104MB的文件这里 查阅了github的官方文档 关于 GitHub 上的大文件 - Git…
阅读更多...
【计算机网络期末复习】第五章 传输层

【计算机网络期末复习】第五章 传输层

✍个人博客&#xff1a;https://blog.csdn.net/Newin2020?spm1011.2415.3001.5343 &#x1f4e3;专栏定位&#xff1a;为想复习学校计算机网络课程的同学提供重点大纲&#xff0c;帮助大家渡过期末考~ &#x1f4da;专栏地址&#xff1a; ❤️如果有收获的话&#xff0c;欢迎点…
阅读更多...
运动蓝牙耳机怎么选、最适合运动的蓝牙耳机推荐

运动蓝牙耳机怎么选、最适合运动的蓝牙耳机推荐

很多人喜欢跑步时听歌来放松心情起到解压效果。但一般的无线蓝牙耳机很容易脱落丢失&#xff0c;甚至因为防水效果太菜导致耳机进水&#xff0c;很容易就损坏耳机了&#xff0c;加上运动出汗给耳腔带来的黏腻感与长期佩戴引发的疼痛感&#xff0c;这时一款好的运动设备就显得尤…
阅读更多...
基于ISO13400 (DoIP) 实现车辆刷写

基于ISO13400 (DoIP) 实现车辆刷写

近年来&#xff0c;在整车研发中基于以太网实现车辆高带宽通讯无疑是人们热议的话题。无论是车内基于车载以太网减少线束成本&#xff0c;实现ADAS、信息娱乐系统等技术&#xff0c;还是基于新的电子电气架构以及远程诊断需求&#xff0c;实现以太网诊断&#xff08;DoIP&#…
阅读更多...
prepend和append同时使用的时候，prepend中的内容不显示

prepend和append同时使用的时候，prepend中的内容不显示

前几天做项目的时候&#xff0c;遇到一个需求&#xff0c;需要做一个类似于下面的样式&#xff1a; 当我看完element的时候&#xff0c;自信满满&#xff0c;这不就是prepend和append嘛&#xff0c;简单&#xff01;&#xff01;&#xff01;此时的我不会想到后续经历的坎坷。 …
阅读更多...
手语检测识别

手语检测识别

论文&#xff1a;Real-Time Sign Language Detection using Human Pose Estimation Github&#xff1a;https://github.com/google-research/google-research/tree/master/sign_language_detection SLRTP 2020 手语识别任务包括手语检测&#xff08;Sign language detection&a…
阅读更多...
蓝桥杯C/C++VIP试题每日一练之回形取数

蓝桥杯C/C++VIP试题每日一练之回形取数

💛作者主页：静Yu 🧡简介：CSDN全栈优质创作者、华为云享专家、阿里云社区博客专家，前端知识交流社区创建者 💛社区地址：前端知识交流社区 🧡博主的个人博客：静Yu的个人博客 🧡博主的个人笔记本：前端面试题 个人笔记本只记录前端领域的面试题目，项目总结，面试技…
阅读更多...
以掘金示例，利用内链/外链进行网站SEO优化

以掘金示例，利用内链/外链进行网站SEO优化

前言 内链&#xff1a;从自己网站的一个页面指向另外一个页面。通过内链让网站内部形成网状结构&#xff0c;让蜘蛛的广度和深度达到最大化。 外链&#xff1a;在别的网站导入自己网站的链接。通过外链提升网站权重&#xff0c;提高网站流量。 一般来说&#xff0c;内链和外链…
阅读更多...
JVM类加载机制

JVM类加载机制

回到2018年的抖音哈哈. 回顾下&#xff1a; java开发环境: java编译运行过程: 1) 编译期&#xff1a;.java源文件&#xff0c;经过编译&#xff0c;生成.class字节码文件 2) 运行期&#xff1a;JVM加载.class并运行.class(0和1) 特点: 跨平台、一次编程,处处报错 名词解释: 1…
阅读更多...
线上商超博弈：老将固守，抖音掀浪

线上商超博弈：老将固守，抖音掀浪

配图来自Canva可画 2023年&#xff0c;抖音对本地生活服务的野心愈加膨胀了。 近日&#xff0c;关于“抖音将于3月1日上线全国外卖服务”的消息传得沸沸扬扬。虽然抖音官方出面回应“团购配送”项目在北京、上海、成都等城市试点中&#xff0c;目前暂无具体时间表&#xff0c;…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023