磁盘存储和文件系统管理
- 1. 磁盘结构
- 1.1设备文件
- 1. 设备类型：
- 2. 磁盘设备的设备文件命名：
- 3. 虚拟磁盘：
- 4. 不同磁盘标识：a-z,aa,ab…
- 5. 同一设备上的不同分区：1,2, ...
- 6. 创建设备文件
- 7. 工具 dd
- 常用选项
- 示例
- demo
- 8. hexdump指令
- 1.2 硬盘类型
- 1.硬盘接口类型
- 2. 服务器硬盘大小
- 3. 机械硬盘和固态硬盘
- 4. 硬盘存储术语 CHS
- CHS
- LBA（logical block addressing）
- 5. 识别SSD和机械硬盘类型
- 6. 测速
- 2. 管理存储
- 2.1 磁盘分区
- 1. 为什么分区
- 2. 分区方式
- MBR分区
- 备份MBR的分区表,并破坏后恢复
- GPT分区
- 3.BIOS和UEFI
- 4. BIOS和UEFI区别
- 5. 管理分区
- 6. 分区工具fdisk和gdisk
- 2.2 文件系统
- 1. 文件系统概念
- 2. 查看系统支持的文件系统
- 3. 文件系统类型
- 4. 常用文件系统
- 5. 查看支持的文件系统
- 6. 文件系统的组成部分
- 7. 创建文件管理工具
- 挂载设备
- 管理swap空间
- RAID管理
- LVM管
- LVM快照
1. 磁盘结构
1.1设备文件
1. 设备类型：
块设备：block，存取单位“块”，磁盘
字符设备：char，存取单位“字符”，键盘
2. 磁盘设备的设备文件命名：
/dev/DEV_FILE
/dev/sdX # SAS,SATA,SCSI,IDE,USB
/dev/nvme0n# #nvme协议硬盘，如：第一个硬盘：nvme0n1，第二个硬盘：nvme0n2
3. 虚拟磁盘：
云主机
/dev/vd
/dev/xvd
4. 不同磁盘标识：a-z,aa,ab…
示例：
/dev/sda，/dev/sdb, ...
5. 同一设备上的不同分区：1,2, …
/dev/sda1
/dev/sda5
6. 创建设备文件
- mknod : make block or character special files，即创建块设备或者字符设备文件。
- make node : 创建一个设备节点（设备节点又名设备文件）
[root@centos8 ~]#ll /dev/zero
crw-rw-rw- 1 root root 1, 5 Apr 13 08:03 /dev/zero
[root@centos8 ~]#mknod /data/zero c 1 5
[root@centos8 ~]#ll /data/zero
crw-r--r-- 1 root root 1, 5 Apr 13 09:17 /data/zero
1: 设备类型
5: 设备中的第几个设备
文件b开头： 块设备
文件c开头： 字符设备
7. 工具 dd
- dd 命令：convert and copy a file 转换并拷贝一个文件
格式：
dd if=/PATH/FROM/SRC of=/PATH/TO/DEST bs=# count=#
常用选项
if=file 从所命名文件读取而不是从标准输入
of=file 写到所命名的文件而不是到标准输出
ibs=size 一次读size个byte
obs=size 一次写size个byte
bs=size block size,指定块大小（既是是ibs也是obs)
cbs=size 一次转化size个byte
skip=blocks 从开头忽略blocks个ibs大小的块
seek=blocks 从开头忽略blocks个obs大小的块
count=n 复制n个bs
conv=conversion [,conversion...]用指定的参数转换文件
#conversion 转换参数:
ascii 转换 EBCDIC 为 ASCII
ebcdic 转换 ASCII 为 EBCDIC
lcase 把大写字符转换为小写字符
ucase 把小写字符转换为大写字符
nocreat 不创建输出文件
noerror 出错时不停止
notrunc 不截短输出文件
sync 把每个输入块填充到ibs个字节，不足部分用空(NUL)字符补齐
fdatasync 写完成前，物理写入输出文件
示例
[root@centos8 ~]#cat f1.txt;
abcdef
[root@centos8 ~]#cat f2.txt
123456789
[root@centos8 ~]#dd if=f1.txt of=f2.txt bs=1 count=2 skip=3 seek=4 conv=notrunc
2+0 records in
2+0 records out
2 bytes copied, 7.6153e-05 s, 26.3 kB/s
[root@centos8 ~]#cat f2.txt
1234de789
bs=1 : 块的大小为一个字符
count=2 ： 复制两个字符
skip=3： 跳过三个字符
seek=4： 从第四个字符后面的插入
conv=notrunc： 不截断后面的文本
demo
#备份MBR
dd if=/dev/sda of=/tmp/mbr.bak bs=512 count=1
#破坏MBR中的bootloader
dd if=/dev/zero of=/dev/sda bs=64 count=1 seek=446
#有一个大与2K的二进制文件fileA。现在想从第64个字节位置开始读取，需要读取的大小是128Byts。又有
fileB, 想把上面读取到的128Bytes写到第32个字节开始的位置，替换128Bytes，实现如下
dd if=fileA of=fileB bs=1 count=128 skip=63 seek=31 conv=notrunc
#将本地的/dev/sdx整盘备份到/dev/sdy
dd if=/dev/sdx of=/dev/sdy
#将/dev/sdx全盘数据备份到指定路径的image文件
dd if=/dev/sdx of=/path/to/image
#备份/dev/sdx全盘数据，并利用gzip压缩，保存到指定路径
dd if=/dev/sdx | gzip >/path/to/image.gz
#将备份文件恢复到指定盘
dd if=/path/to/image of=/dev/sdx
#将压缩的备份文件恢复到指定盘
gzip -dc /path/to/image.gz | dd of=/dev/sdx
#将内存里的数据拷贝到root目录下的mem.bin文件
dd if=/dev/mem of=/root/mem.bin bs=1024
#拷贝光盘数据到root文件夹下，并保存为cdrom.iso文件
dd if=/dev/cdrom of=/root/cdrom.iso
#销毁磁盘数据
dd if=/dev/urandom of=/dev/sda1
#通过比较dd指令输出中命令的执行时间，即可确定系统最佳的block size大小
dd if=/dev/zero of=/root/1Gb.file bs=1024 count=1000000
dd if=/dev/zero of=/root/1Gb.file bs=2048 count=500000
dd if=/dev/zero of=/root/1Gb.file bs=4096 count=250000
#测试硬盘写速度
dd if=/dev/zero of=/root/1Gb.file bs=1024 count=1000000
#测试硬盘读速度
dd if=/root/1Gb.file bs=64k | dd of=/dev/null
1. 创建一个2G的文件系统，块大小为2048byte，预留1%可用空间,文件系统ext4，卷标为TEST，要求
此分区开机后自动挂载至/test目录，且默认有acl挂载选项
2、写一个脚本，完成如下功能：
(1) 列出当前系统识别到的所有磁盘设备
(2) 如磁盘数量为1，则显示其空间使用信息, 否则，则显示最后一个磁盘上的空间使用信息
8. hexdump指令
hexdump主要用来查看“二进制”文件的十六进制编码
hexdump -C a.txt
1.2 硬盘类型
1.硬盘接口类型
SATA：6Gbps，SATA数据端口与电源端口是分开的，即需要两条线，一条数据线，一条电源线
SAS：6Gbps，SAS是一整条线，数据端口与电源端口是一体化的，SAS中是包含供电线的，而SATA中不包含供电线。SATA标准其实是SAS标准的一个子集，二者可兼容，SATA硬盘可以插入SAS主板上，反之不行
USB：480MB/s
M.2：
注意：速度不是由单纯的接口类型决定，支持Nvme协议硬盘速度是最快的
2. 服务器硬盘大小
LFF：3.5寸，一般见到的那种台式机硬盘的大小
SFF：Small Form Factor 小形状因数，2.5寸，注意不同于2.5寸的笔记本硬盘
L、S分别是大、小的意思，目前服务器或者盘柜采用sff规格的硬盘主要是考内虑增大单位密度内的磁盘
容量、增强散热、减小功耗
3. 机械硬盘和固态硬盘
机械硬盘（HDD）：Hard Disk Drive，即是传统普通硬盘，主要由：盘片，磁头，盘片转轴及控制电机，磁头控制器，数据转换器，接口，缓存等几个部分组成。
固态硬盘（SSD）：Solid State Drive，用固态电子存储芯片阵列而制成的硬盘，由控制单元和存储单元（FLASH芯片、DRAM芯片）组成。
相较于HDD，SSD在防震抗摔、传输速率、功耗、重量、噪音上有明显优势，SSD传输速率性能是HDD的2倍。 相较于SSD，HDD在价格、容量占有绝对优势。 硬盘有价，数据无价，目前SSD不能完全取代HHD
4. 硬盘存储术语 CHS
- head：磁头 磁头数=盘面数
- track：磁道 磁道=柱面数
- sector：扇区，512bytes
- cylinder：柱面 1柱面=512 * sector数/trackhead数=51263*255=7.84M
- CentOS 5 之前版本 Linux 以柱面的整数倍划分分区，CentOS 6之后可以支持以扇区划分分区
- fdisk -u=cylinder -l /dev/sda ： 查看chs
CHS
CHS采用 24 bit位寻址
其中前10位表示cylinder，中间8位表示head，后面6位表示sector
最大寻址空间 8 GB
LBA（logical block addressing）
LBA是一个整数，通过转换成 CHS 格式完成磁盘具体寻址,ATA-1规范中定义了28位寻址模式，以每扇区512位组来计算，ATA-1所定义的28位LBA上限达到128 GiB。2002年ATA-6规范采用48位LBA，同样以每扇区512位组计算容量上限可达128 Petabytes
由于CHS寻址方式的寻址空间在大概8GB以内，所以在磁盘容量小于大概8GB时，可以使用CHS寻址方式或是LBA寻址方式；在磁盘容量大于大概8GB时，则只能使用LBA寻址方式
5. 识别SSD和机械硬盘类型
[root@centos8 ~]#lsblk -d -o name,rota
NAME ROTA
sda 1
sr0 1
nvme0n1 0
nvme0n2 0
[root@centos8 ~]#ls /sys/block/
nvme0n1 nvme0n2 sda sr0
[root@centos8 ~]#cat /sys/block/*/queue/rotational
0
0
1
1
[root@centos8 ~]#cat /sys/block/sda/queue/rotational
1
[root@centos8 ~]#cat /sys/block/sr0/queue/rotational
1
[root@centos8 ~]#cat /sys/block/nvme0n1/queue/rotational
0
[root@centos8 ~]#cat /sys/block/nvme0n2/queue/rotational
0
6. 测速
[root@ubuntu1804 ~]#dd | hdparm -t /dev/sda
/dev/sda:
Timing buffered disk reads: 1854 MB in 3.00 seconds = 617.80 MB/sec
2. 管理存储
使用磁盘空间过程
- 设备分区
- 创建文件系统
- 挂载新的文件系统
2.1 磁盘分区
1. 为什么分区
优化I/O性能
实现磁盘空间配额限制
提高修复速度
隔离系统和程序
安装多个OS
采用不同文件系统
2. 分区方式
- 两种分区方式：MBR，GPT
MBR分区
MBR：Master Boot Record 主引导记录，1982年，使用32位表示扇区数，分区不超过（fdisk指令）2T
MBR分区中一块硬盘最多有4个主分区，也可以3主分区+1扩展(N个逻辑分区)
MBR分区：主和扩展分区对应的1--4，/dev/sda3，逻辑分区从5开始，/dev/sda5
备份MBR的分区表,并破坏后恢复
也可以利用分区策略相同的另一台主机的分区表来还原和恢复当前主机破环的分区表
#备份MBR分区表
[root@centos8 ~]#dd if=/dev/sda of=/data/dpt.img bs=1 count=64 skip=446
[root@centos8 ~]#scp /data/dpt.img 10.0.0.102:
#破坏MBR分区表
[root@centos8 ~]#dd if=/dev/zero of=/dev/sda bs=1 count=64 seek=446
#无法启动
[root@centos8 ~]#reboot
#用光盘启动,进入rescue mode,选第3项skip to shell
#配置网络
#ifconfig ens160 10.0.0.8/24
#ip a a 10.0.0.8/24 dev ens160
#scp 10.0.0.102:/root/dpt.img .
#恢复MBR分区表
#dd if=dpt.img of=/dev/sda bs=1 seek=446
#reboot
GPT分区
- GPT: 全局唯一标识符分区表
- GPT分区结构分为4个区域：
GPT头
分区表
GPT分区
备份区域
GPT：GUID（Globals Unique Identifiers） partition table 支持128个分区，使用64位，支持8Z（512Byte/block ）64Z （ 4096Byte/block）使用128位UUID(Universally Unique Identifier) 表示磁盘和分区 GPT分区表自动备份在头和尾两份，并有CRC校验位
3.BIOS和UEFI
BIOS是固化在电脑主板上的程序，主要用于开机系统自检和引导操作系统。目前新式的电脑基本上都是UEFI启动
BIOS（Basic Input Output System 基本输入输出系统）主要完成系统硬件自检和引导操作系统，操作系统开始启动之后，BIOS的任务就完成了
EFI（Extensible Firmware Interface）可扩展固件接口，是 Intel 为 PC 固件的体系结构、接口和服务提出的建议标准。
UEFI(Unified Extensible Firmware Interface)统一的可扩展固件接口， 是一种详细描述类型接口的标
准。UEFI 相当于一个轻量化的操作系统，提供了硬件和操作系统之间的一个接口，提供了图形化的操
作界面。最关键的是引入了GPT分区表，支持2T以上的硬盘，硬盘分区不受限制
4. BIOS和UEFI区别
BIOS采用了16位汇编语言编写，只能运行在实模式（内存寻址方式由16位段寄存器的内容乘以16(10H)
当做段基地址，加上16位偏移地址形成20位的物理地址）下，可访问的内存空间为1MB，只支持字符
操作界面
UEFI采用32位或者64位的C语言编写，突破了实模式的限制，可以达到最大的寻址空间，支持图形操作
界面，使用文件方式保存信息，支持GPT分区启动，适合和较新的系统和硬件的配合使用\
MSDN (Microsoft Developer Network) 指出，Windows 只能安装于 BIOS + MBR 或是 UEFI + GPT 的
组合上，而 BIOS + GPT 和 UEFI + MBR 是不允许的。但是 BIOS + GPT + GRUB 启动Linux 是可以的
5. 管理分区
1. 列出块设备
+ lsblk
2. 创建分区命令
+ fdisk 管理MBR分区(<2T)
+ gdisk 管理GPT分区(>2T)
+ parted 高级分区操作，可以是交互或非交互方式
重新设置内存中的内核分区表版本
+ partprobe : 部分探查
适合于除了CentOS 6 以外的其它版本 5，7，8
6. 分区工具fdisk和gdisk
fdisk -l [-u] [device...] 查看分区
fdisk [device...] 管理MBR分区
gdisk [device...] 类fdisk 的GPT分区工具
p 分区列表
t 更改分区类型
n 创建新分区
d 删除分区
v 校验分区
u 转换单位
w 保存并退出
q 不保存并退出
查看内核是否已经识别新的分区
cat /proc/partitions
CentOS 7,8 同步分区表:
partprobe
CentOS 6的指令不同：
新增分区：partx -a /dev/DEVICE
删除分区： partx -d --nr M-N /dev/DEVICE
2.2 文件系统
1. 文件系统概念
文件系统是操作系统用于明确存储设备或分区上的文件的方法和数据结构；即在存储设备上组织文件的
方法。操作系统中负责管理和存储文件信息的软件结构称为文件管理系统，简称文件系统
从系统角度来看，文件系统是对文件存储设备的空间进行组织和分配，负责文件存储并对存入的文件进
行保护和检索的系统。具体地说，它负责为用户建立文件，存入、读出、修改、转储文件，控制文件的
存取，安全控制，日志，压缩，加密等
2. 查看系统支持的文件系统
- ll lib/modules/
uname -r/kernel/fs
3. 文件系统类型
Linux 常用文件系统
ext2：Extended file system 适用于那些分区容量不是太大，更新也不频繁的情况，例如 /boot 分
区
ext3：是 ext2 的改进版本，其支持日志功能，能够帮助系统从非正常关机导致的异常中恢复
ext4：是 ext 文件系统的最新版。提供了很多新的特性，包括纳秒级时间戳、创建和使用巨型文件
(16TB)、最大1EB的文件系统，以及速度的提升
xfs：SGI，支持最大8EB的文件系统
swap
iso9660 光盘
btrfs（Oracle）
reiserfs
Windows 常用文件系统
FAT32
NTFS
exFAT
Unix：
FFS（fast）
UFS（unix）
JFS2
网络文件系统：
NFS
CIFS
集群文件系统：
GFS2
OCFS2（oracle）
分布式文件系统：
fastdfs
ceph
moosefs
mogilefs
glusterfs
Lustre
RAW：
裸文件系统,未经处理或者未经格式化产生的文件系统
4. 常用文件系统
FAT32
最多只能支持16TB的文件系统和4GB的文件
NTFS
最多只能支持16EB的文件系统和16EB的文件
EXT3
最多只能支持32TB的文件系统和2TB的文件，实际只能容纳2TB的文件系统和16GB的文件
Ext3目前只支持32000个子目录
Ext3文件系统使用32位空间记录块数量和 inode数量
当数据写入到Ext3文件系统中时，Ext3的数据块分配器每次只能分配一个4KB的块
EXT4：
EXT4是Linux系统下的日志文件系统，是EXT3文件系统的后继版本
Ext4的文件系统容量达到1EB，而支持单个文件则达到16TB
理论上支持无限数量的子目录
Ext4文件系统使用64位空间记录块数量和 inode数量
Ext4的多块分配器支持一次调用分配多个数据块
修复速度更快
XFS
根据所记录的日志在很短的时间内迅速恢复磁盘文件内容
用优化算法，日志记录对整体文件操作影响非常小
是一个全64-bit的文件系统，最大可以支持8EB的文件系统，而支持单个文件则达到8EB
能以接近裸设备I/O的性能存储数据
5. 查看支持的文件系统
- cat /proc/filesystems
6. 文件系统的组成部分
- 内核中的模块：ext4, xfs, vfat
- Linux的虚拟文件系统：VFS
- 用户空间的管理工具：mkfs.ext4, mkfs.xfs,mkfs.vfat
7. 创建文件管理工具
mkfs命令：
(1) mkfs.FS_TYPE /dev/DEVICE
ext4
xfs
btrfs
vfat
(2) mkfs -t FS_TYPE /dev/DEVICE
-L 'LABEL' 设定卷标
mke2fs：ext系列文件系统专用管理工具
常用选项：
-t {ext2|ext3|ext4|xfs} 指定文件系统类型
-b {1024|2048|4096} 指定块 block 大小
-L ‘LABEL’ 设置卷标
-j 相当于 -t ext3， mkfs.ext3 = mkfs -t ext3 = mke2fs -j = mke2fs -t ext3
-i # 为数据空间中每多少个字节创建一个inode；不应该小于block大
小
-N # 指定分区中创建多少个inode
-I 一个inode记录占用的磁盘空间大小，128---4096
-m # 默认5%,为管理人员预留空间占总空间的百分比
-O FEATURE[,...] 启用指定特性
-O ^FEATURE 关闭指定特性
挂载设备
管理swap空间
RAID管理
LVM管
理
LVM快照
我的博客即将同步至腾讯云开发者社区，邀请大家一同入驻：https://cloud.tencent.com/developer/support-plan?invite_code=s1qzinwpuhua
