【Hadoop|HDFS篇】NameNode和SecondaryNameNode

news2024/11/15 10:24:35

1. NN和2NN的工作机制

思考：NameNode中的元数据是存储在哪里的？

首先，我们做个假设，如果存储在NameNode节点的磁盘中，因为经常需要进行随机访
问，还有响应客户请求，必然是效率过低。因此，元数据需要存放在内存中。但如果只存在
内存中，一旦断电，元数据丢失，整个集群就无法工作了。因此产生在磁盘中备份元数据的
Fslmage。
这样又会带来新的问题，当在内存中的元数据更新时，如果同时更新FsImage，就会导
致效率过低，但如果不更新，就会发生一致性问题，一旦NameNode节点断电，就会产生数
据丢失。因此，引入 Edits文件(只进行追加操作，效率很高)。每当元数据有更新或者添
加元数据时，修改内存中的元数据并追加到Edits 中。这样，一旦NameNode 节点断电，可
以通过 FsImage 和 Edits 的合并，合成元数据。

工作机制图解：

2. Fsimage文件解析

NameNode被格式化以后，将在如下目录产生一些文件。

[hexuan@hadoop102 current]$ ll
总用量 4128
-rw-rw-r--. 1 hexuan hexuan      42 9月   2 17:12 edits_0000000000000000001-0000000000000000002
-rw-rw-r--. 1 hexuan hexuan 1048576 9月   2 17:22 edits_0000000000000000003-0000000000000000010
-rw-rw-r--. 1 hexuan hexuan 1048576 9月   2 22:52 edits_0000000000000000011-0000000000000000138
-rw-rw-r--. 1 hexuan hexuan      42 9月   2 23:29 edits_0000000000000000139-0000000000000000140
-rw-rw-r--. 1 hexuan hexuan 1048576 9月   2 23:29 edits_0000000000000000141-0000000000000000141
-rw-rw-r--. 1 hexuan hexuan 1048576 9月   6 16:22 edits_inprogress_0000000000000000142
-rw-rw-r--. 1 hexuan hexuan    1737 9月   2 23:29 fsimage_0000000000000000140
-rw-rw-r--. 1 hexuan hexuan      62 9月   2 23:29 fsimage_0000000000000000140.md5
-rw-rw-r--. 1 hexuan hexuan    1707 9月   3 17:22 fsimage_0000000000000000141
-rw-rw-r--. 1 hexuan hexuan      62 9月   3 17:22 fsimage_0000000000000000141.md5
-rw-rw-r--. 1 hexuan hexuan       4 9月   3 17:22 seen_txid
-rw-rw-r--. 1 hexuan hexuan     219 9月   3 17:22 VERSION
[hexuan@hadoop102 current]$ pwd
/opt/module/hadoop-3.1.3/data/dfs/name/current

Fsimage文件：HDFS文件系统元数据的永久性的检查点，其中包含了HDFS文件系统的所有目录和文件inode的序列化信息。
Edits文件：存放HDFS文件系统的所有更新操作的路径，文件系统客户端执行的所有写操作首先被记录到Edits文件中。
seen_txid文件保存的是一个数字，就是最后一个edits_的数字。
每次NameNode启动的时候都会将Fsimage文件读入内存，加载Edits里面的更新操作，保证内存中的元数据信息是最新的，同步的，可以看成NameNode启动的时候将Fsimage和Edits文件进行了合并。

3. oiv和oev命令

1）查看oiv命令

语法：hdfs oiv -p 文件类型 -i 镜像文件 -o 转换后文件的输出路径

[hexuan@hadoop102 current]$ hdfs oiv -p XML -i fsimage_0000000000000000140 -o /opt/module/hadoop-3.1.3/fsimage.xml
2024-09-06 20:13:28,002 INFO offlineImageViewer.FSImageHandler: Loading 4 strings

2）查看oev命令

语法：hdfs oev -p 文件类型 -i 编辑日志 -o 转化后文件的输出路径