mount disk from FC-SAN
配置硬盘域、存储池、LUN、主机及LUN与与主机之间的映射。
fc-san多路径范例1
fc-san多路径2
mount disk from iSCSI
[root@qionghai11g ~]# iscsiadm -m discovery -t sendtargets -p 192.16.10.188:3260
Starting iscsid: [ OK ]
192.16.10.188:3260,1 iqn.2004-01.com.storbridge:block02-wt
192.16.10.188:3260,1 iqn.2004-01.com.storbridge:block01-wt
映射逻辑卷到Linux系统中:
[root@qionghai11g ~]# iscsiadm -m node -T iqn.2004-01.com.storbridge:block01-wt -p 192.16.10.188:3260 -l
Logging in to [iface: default, target: iqn.2004-01.com.storbridge:block01-wt, portal: 192.16.10.188,3260] (multiple)
Login to [iface: default, target: iqn.2004-01.com.storbridge:block01-wt, portal: 192.16.10.188,3260] successful.
[root@qionghai11g ~]# iscsiadm -m node -T iqn.2004-01.com.storbridge:block02-wt -p 192.16.10.188:3260 -l
Logging in to [iface: default, target: iqn.2004-01.com.storbridge:block02-wt, portal: 192.16.10.188,3260] (multiple)
Login to [iface: default, target: iqn.2004-01.com.storbridge:block02-wt, portal: 192.16.10.188,3260] successful.
设置开机自动映射
[root@qionghai11g ~]# iscsiadm -m node -T iqn.2004-01.com.storbridge:block02-wt -p 192.16.10.188:3260 --op update -n node.startup -v automatic
[root@qionghai11g ~]# iscsiadm -m node -T iqn.2004-01.com.storbridge:block01-wt -p 192.16.10.188:3260 --op update -n node.startup -v automatic
iSCSI multipath
multipath
Multipath
apt install multipath-tools
pvcreate /dev/mapper/mpath0
pvs
vgcreate vg01 /dev/mapper/mpatha
fdisk /dev/mapper/mpath0
ls -l /dev/mapper/
mkfs.ext3 /dev/mapper/mpath0p1 #format partition
mount /dev/mapper/mpath0p1 /ipsan/
multipath -ll
lsblk
fdisk -l
fdisk
Linux下的fdisk功能是极其强大的,用它可以划分出最复杂的分区,下面简要介绍一下它的用法:
对于IDE硬盘,每块盘有一个设备名:对应于主板的四个IDE接口,设备名依次为:/dev/hda,/dev/hdb,/dev/hdc,/dev/hdd等,
如果还有IDE Raid卡,则依次为:/dev/hde,/dev/hdf,/dev/hdg,/dev/hdh。对于SCSI硬盘,则设备名依次为/dev/sda,/dev/sdb…等等
fdisk的命令行用法为: fdisk 硬盘设备名
进入fdisk后,首先键入’m’,即可显示fdisk全部菜单。
再键入’p’,显示当前分区表状态。
键入’n’,增加一个分区,然后会提示你选择分区类型(基本分区或扩展分区),再选择分区号(1-4)。注:MBR每块硬盘最多可划分四个主分区(包括基本分区和扩展分区),其中:基本分区最多可划分四个,扩展分区最多可划分一个,但扩展分区内可再划分多个逻辑分区(最多几个我没试过,总之很多)。选中你要建立的分区类型和分区号后,会提示输入起始柱面,从1开始;然后再输入终止柱面,此时可输入实际的柱面数,也可用”+分区尺寸”的方式输入,如:+1024M表示在起始柱面后加上1024M。主分区的设备名依次为:/dev/hda1,/dev/hda2,/dev/hda3,/dev/hda4,逻辑分区的设备名依次为:/dev/hda5,/dev/hda6,/dev/hda7…等等。
键入’d‘,删除分区,输入分区号即可删除。注意,删除扩展分区时,将会同时删除所有的逻辑分区。
键入’t‘,改变分区标志(这是Linux的fdisk最精华的部份!),新建的分区默认标志是83(Linux Ext2),你可以把它改为82(Linux 交换区)、或是’b’(FAT32)、’f’(FAT32 Extend,只限于扩展分区)、’86′(NTFS)。。。等几十种类型。这样一来,使用多操作系统的朋友们就可以用Linux的fdisk划分出你想要的所有分区了!
键入’a’,切换分区激活开关。请注意:每键入一次,被选的分区就会在激活与非激活间变化一次,但你必须保证最后只有一个分区被激活。这时就用得到’p’命令了,被激活的分区上会有个’*’号。
除以上的几个命令外,还有其它几个,但不太常用。
最后,键入’w’,你对分区所做的改变被写入硬盘;键入’q’,则放弃所有的修改。
MBR/GPT
MBR中分区表的组织将磁盘的可寻址存储空间限制为2TB(232×512字节)。并且只支持4个主分区,或者3个主分区和1个扩展分区的组合。如果要创建更多分区,则需要在扩展分区内创建更多逻辑分区。
GPT 分区表磁盘支持长达 2^64 个块的卷,例如对于具有 512-字节扇区,即 9.44 ZB,并且能够拥有多达 128 个主分区。
WARNING: GPT (GUID Partition Table) detected on ‘/dev/sdb’! The util fdisk doesn’t support GPT. Use GNU Parted.
mkfs.ext3 /dev/sdb1
mount /dev/sdb1 /home
SAN
iSCSI/IP-SAN is SCSI over IP.
FC-SAN is SCSI over FC.
FC(Fibre Channel,光纤通道)协议是SAN(Storage Area Networks,存储区域网络)中使用的一种数据传输协议。SAN可以分为FC SAN和IP SAN,其中FC SAN使用FC协议族,而IP SAN使用TCP/IP协议族(例如iSCSI协议)。
在FC SAN中,通信的双方,通常一端为服务器,另一端为磁盘设备。服务器与磁盘设备之间可以通过光纤直接连接在一起(点对点架构),也可以通过FC交换机间接连接在一起(交换式架构)。
在FC SAN中,服务器和磁盘设备都统称为Node(节点),每个节点使用一个64位的地址来唯一标识,称为WWN(World Wide Name,全球名字)。FC的上层协议通过WWN识别节点并相互通信。
在FC SAN中,FC协议底层使用FC_ID进行寻址访问。FC_ID的长度为24bit,分为三个字段:Domain_ID、Area_ID和Port_ID,每个字段的长度均为8bit。
为了保证FC存储服务的安全性,通常会将物理上连通的FC SAN网络划分为多个VSAN,实现不同服务器之间的隔离访问。同时一个VSAN内的磁盘资源,又可以进一步划分为多个Zone,分别指派给不同的Port,达到访问控制的目的。
服务器需要通过光纤连接到FC存储,但用普通的光口是不行的。FC HBA(全称Host Bus Adapter)是一种专门用于FC存储通信的网卡,通常拥有光纤接口(SFP或GBIC)。每个HBA是一个FC交换对象,拥有一系列特殊的属性,包括HBA ID、Node WWN、Port WWN等参数信息。
服务器如果需要连接到FC SAN使用存储资源,需要配置一块FC HBA卡。HBA卡通常插在服务器的PCI或PCI-E插槽上,然后通过光纤连接到FC存储或FC交换机。
ceph
存储种类及其工作原理
LVM
# lsblk
# fdisk /dev/sdb
Command (m for help): p
Command (m for help): n
Select (default p): p
Partition number (1-4, default 1): ENTER
First sector (2048-41943039, default 2048): ENTER
Last sector, +sectors or +size{K,M,G,T,P} (2048-41943039, default 41943039): ENTER
*Created a new partition 1 of type ‘Linux’ and of size 20 GiB.*
Command (m for help): l
Command (m for help): t
Hex code (type L to list all codes): 8e
Command (m for help): p
Command (m for help): w
# partprobe
# pvcreate /dev/sdb1
# pvcreate /dev/sdc1
# pvs
#vgcreate volumegroup /dev/sdb1 /dev/sdc2
# vgs
# lvcreate -L 200M volumegroup -n LVM1
# lvs
# mkfs.ext4 /dev/volumegroup/LVM1
# mkdir /lvm_folder
# mount /dev/volumegroup/LVM1 /lvm_folder/
# df -hT
# pvcreate /dev/xvdc
# vgextend volumegroup /dev/xvdc
# lvextend -l +100%FREE /dev/volumegroup/LVM1
# resize the filesystem