一、前言

DDN-03.11-File Level Redundancy (FLR)
Category:FLR

1、功能介绍

在文件级冗余（File Level Redundancy，FLR）特性出现之前，Lustre文件系统数据冗余完全依赖于后端存储设备（如RAID6）。
Lustre在Lustre 2.11.0版本引入了FLR特性来解决文件冗余问题，通过为多个OST的数据指定镜像文件布局来减轻这种依赖，以便于在OSS/OST异常情况下，文件数据仍然可用，通过比较镜像文件，可以检查和修复数据的完整性。此外，通过多个镜像文件可以提高单个文件并行读取聚合性能。

2、实现方式

目前文件级冗余功能通过延迟写入（异步复制）方式实现，文件写入过程中，只有一个主镜像文件会在写入的时候直接更新，其他镜像文件则会被标记为失效状态（stale），之后，再通过命令行工具（由用户直接运行或通过自动监控工具运行）在镜像之间进行数据同步，当同步完成后，该文件将会再次恢复到镜像状态。

二、部署说明

1、创建镜像文件或目录

通用格式

lfs mirror create：创建镜像文件或目录
为保证冗余容错性，需保证不同的镜像在不同OST，甚至不同OSS或机架。用户需了解集群拓扑结构，利用现有的OST池机制分离OST来保证不同级别的故障域（硬盘、服务器、机架），创建镜像时指定镜像可使用哪些OST池

lfs mirror create <--mirror-count|-N[mirror_count] [setstripe_options|[--flags<=flags>]]> ... <filename|directory>

• –mirror-count|-N[mirror_count]
  用于设置使用setstripe_option所创建的镜像数量，该参数可重复多次使用，指定不同镜像存在不同布局的存储池上
  注：mirror_count为可选参数，当不指定时，默认为1；当指定时，所设置参数值需紧挨着选项不留空格（如-N2，表示保留2个镜像文件）

• setstripe_option
  可选参数，用于设置镜像的特定布局，该参数等同于lfs setstripe命令设置，可以为具有特定条带模式的简单布局或复合布局（如渐进式文件布局，Progressive File Layout(PFL)）

• 当不指定时，默认从上一个组件继承条带设置

• 当这为第一个组件时，stripe_count和stripe_size将继续文件系统范围的默认值，OSTpool_name将继承父目录设定值

• –flags<=flags>
  可选参数，用于为创建的镜像设置标记，当前只支持prefer标记，prefer标记用于提示lustre哪些镜像将用于为I/O提供服务
  注：该标记将被设置为属于对应镜像的所有组件，如需创建镜像时为单个组件设置标识，则使用--comp-flags参数

• 当读取镜像文件时，优先选择带有prefer标记的组件提供服务

• 当写入镜像文件时，MDT优先选择带有prefer标记的组件提供服务，同时将该镜像组下其他组件标记为失效（stale）状态

• 当读写镜像文件时，如果所有带有prefer标记的组件不可访问时，Lustre将会选择该镜像组下其他组件提供服务

示例说明

创建镜像目录/mnt/lustrefs/mirror2，镜像1存放于node91存储池，镜像2存放于node92存储池，设置条带数量为2，设置条带大小为4MB

lfs mirror create -N -c 2 -S 4M -p lustrefs.node91 -N -p lustrefs.node92  /mnt/lustrefs/mirror2

2、查看镜像文件或目录

通用格式

lfs getstripe：查看镜像文件/目录状态信息

lfs getstripe <directory|filename>

示例说明

[root@node91 ~]# lfs getstripe /mnt/lustrefs/mirror2/file02
/mnt/lustrefs/mirror2/file02
  lcm_layout_gen:    3
  lcm_mirror_count:  2
  lcm_entry_count:   2
    lcme_id:             65537
    lcme_mirror_id:      1
    lcme_flags:          init
    lcme_extent.e_start: 0
    lcme_extent.e_end:   EOF
      lmm_stripe_count:  2
      lmm_stripe_size:   4194304
      lmm_pattern:       raid0
      lmm_layout_gen:    0
      lmm_stripe_offset: 1
      lmm_pool:          node91
      lmm_objects:
      - 0: { l_ost_idx: 1, l_fid: [0x100010000:0x87:0x0] }
      - 1: { l_ost_idx: 0, l_fid: [0x100000000:0x87:0x0] }

    lcme_id:             131074
    lcme_mirror_id:      2
    lcme_flags:          init,stale
    lcme_extent.e_start: 0
    lcme_extent.e_end:   EOF
      lmm_stripe_count:  2
      lmm_stripe_size:   4194304
      lmm_pattern:       raid0
      lmm_layout_gen:    0
      lmm_stripe_offset: 3
      lmm_pool:          node92
      lmm_objects:
      - 0: { l_ost_idx: 3, l_fid: [0x100030000:0x3a4:0x0] }
      - 1: { l_ost_idx: 2, l_fid: [0x100020000:0x3c4:0x0] }

• lcm_mirror_count：镜像数量
• lcme_mirror_id：镜像ID，镜像唯一数字标识，ID从1开始
• lcme_flags：镜像组件标志，有效标志有init、stale、prefer三种
• init：表示镜像组件已完成初始化（即已分配OST对象）
• stale：表示镜像组件没有最新的数据，有此标志的镜像组件不会用于读写操作，如需要同步到最新的镜像数据，需执行lfs mirror resync执行镜像数据同步，同步完成后可用于读写操作
• prefer：表示优先使用该镜像组件用于读写操作，该标志可在创建镜像时加--flags=prefer参数指定，通常是为了加快读写访问速度而设置，如镜像组件位于SSD上，或者网络距离上离客户端距离更近等

3、扩展镜像文件

通用格式

lfs mirror extend：扩展镜像文件
通过该命令可以追加创建由setstripe_options指定布局的镜像文件，指定的文件必须为已存在的文件（可以为非镜像文件或镜像文件），如该文件为非镜像文件，通过追加新的镜像文件可以使得该文件转变为镜像文件（如单副本文件通过追加创建新的副本，使其转变为二副本文件）

lfs mirror extend {--mirror-count|-N}[mirror_count] [setstripe_options|-f <victim_file>] [--no-verify]  ... <filename>

• –mirror-count|-N[mirror_count]
  用于指定使用setstripe_options所创建的镜像数量，该参数可重复多次使用，指定不同镜像存在不同布局的存储池上
  注：mirror_count为可选参数，当不指定时，默认为1；当指定时，所设置参数值需紧挨着选项不留空格（如-N2，表示保留2个镜像文件）
• setstripe_option
  可选参数，用于设置镜像的特定布局，该参数等同于lfs setstripe命令设置，可以为具有特定条带模式的简单布局或复合布局（如渐进式文件布局，Progressive File Layout(PFL)），当该参数不指定时，默认从上一个组件继承条带设置
• -f <victim_file>
  可选参数，该参数与setstripe_option参数不可同时设置，当指定victim_file时，该命令会从该文件拆除文件布局并作为镜像添加到已有文件，当添加完成后，对应victim_file会被删除
• –no-verify
  可选参数，当指定victim_file时，会校验victim_file与已有文件内容是否一致，当校验两者文件内容不一致时，扩展镜像文件命令会执行失败
  注：文件很大情况下校验内容通常需要花费较多时间，如果可以明确两者文件内容一致时，可添加--no-verify跳过校验过程

示例说明

# 存在一个非镜像文件file01
[root@node91 ~]# lfs getstripe /mnt/lustrefs/testdir/file01 
/mnt/lustrefs/testdir/file01
lmm_stripe_count:  1
lmm_stripe_size:   1048576
lmm_pattern:       raid0
lmm_layout_gen:    0
lmm_stripe_offset: 1
lmm_pool:          node91
    obdidx         objid         objid         group
         1               136             0x88                 0
# 对file01追加创建新的镜像，指定条带大小为4M，条带数量为2，存放存储池为node92
[root@node91 ~]# lfs mirror extend -N -S 4M -c 2 -p node92 /mnt/lustrefs/testdir/file01 
# 再次查看file01文件属性，此时已转变为镜像文件（存在两个镜像，新增镜像与参数指定设置一致）
[root@node91 ~]# lfs getstripe /mnt/lustrefs/testdir/file01 
/mnt/lustrefs/testdir/file01
  lcm_layout_gen:    2
  lcm_mirror_count:  2
  lcm_entry_count:   2
    lcme_id:             65537
    lcme_mirror_id:      1
    lcme_flags:          init
    lcme_extent.e_start: 0
    lcme_extent.e_end:   EOF
      lmm_stripe_count:  1
      lmm_stripe_size:   1048576
      lmm_pattern:       raid0
      lmm_layout_gen:    0
      lmm_stripe_offset: 1
      lmm_pool:          node91
      lmm_objects:
      - 0: { l_ost_idx: 1, l_fid: [0x100010000:0x88:0x0] }

    lcme_id:             131073
    lcme_mirror_id:      2
    lcme_flags:          init
    lcme_extent.e_start: 0
    lcme_extent.e_end:   EOF
      lmm_stripe_count:  2
      lmm_stripe_size:   4194304
      lmm_pattern:       raid0
      lmm_layout_gen:    0
      lmm_stripe_offset: 2
      lmm_pool:          node92
      lmm_objects:
      - 0: { l_ost_idx: 2, l_fid: [0x100020000:0x422:0x0] }
      - 1: { l_ost_idx: 3, l_fid: [0x100030000:0x3e2:0x0] }

4、拆分镜像文件

通用格式

lfs mirror split：拆分镜像文件
通过该命令可以从已有镜像文件中拆分出指定镜像（可通过mirror id、component id、pool name任一方式指定镜像），指定的文件必须为已存在的镜像文件，当镜像文件拆分后只剩一个镜像时，该文件将转变为非镜像文件

• 默认情况下，拆分出指定ID的镜像会新建一个文件，文件命名格式为<mirrored_file>.mirror~<mirror_id>
• 当指定--destroy|-d参数时，拆分出指定ID的镜像会自动删除，不会另存为新文件
• 当指定-f <new_file>参数时，拆分出指定ID的镜像会新建一个文件，文件命名格式为<new_file>

lfs mirror split <--mirror-id <mirror_id> | <--component-id|-I <comp_id>|-p <pool>> [--destroy|-d] [-f <new_file>] <mirrored file>

• –mirror-id <mirror_id>：用于指定需要拆分的镜像ID，可通过lfs getstripe命令获取，对应lcme_mirror_id参数值
• -I <comp_id>：用于指定需要拆分的镜像组件ID，可通过lfs getstripe命令获取，对应lcme_id参数值
• -p ：用于指定需要拆分的镜像存储池名称，可通过lfs getstripe命令获取，对应lmm_pool参数值
• -d：表示拆分镜像不做保存，直接删除
• -f <new_file>：表示拆分镜像需要保存为新文件，文件名称为<new_file>
• mirrored file：表示需要拆分镜像的原文件路径

示例说明

# 创建有4个镜像的镜像文件file-replica4
lfs mirror create -N2 -p node91 -N2 -p node92 /mnt/lustrefs/file-replica4
# 从镜像文件file-replica4中拆分镜像ID为1的镜像，镜像另存为新文件file-replica4.mirror~1
lfs mirror split --mirror-id 1 /mnt/lustrefs/file-replica4
# 从镜像文件file-replica4中拆分组件ID为131074的镜像，镜像直接删除
lfs mirror split -I 131074 -d /mnt/lustrefs/file-replica4
# 从镜像文件file-replica4中拆分存储池名称为node92的镜像，镜像另存为新文件file-new
lfs mirror split -p node92 -f /mnt/lustrefs/file-new /mnt/lustrefs/file-replica4

5、同步待同步镜像文件

通用格式

lfs mirror resync：同步待同步镜像文件
FLR功能通过延迟写入实现，当对进行镜像文件进行写入操作时，只有主镜像（当不指定prefer参数时通常是镜像ID为1的镜像）会写入文件，其余镜像标记为init,stale失效状态，当文件写入完成后，需要手动执行该命令来同步所有镜像数据，当所有镜像数据完成同步之后，所有镜像均标记为init正常状态

lfs mirror resync [--only <mirror_id[,...]>] <mirrored file> [<mirrored file2>...]

• –only mirror_id[,…]：可选参数，当不指定时表示同步所有镜像，当指定mirror_id时表示只同步指定ID的镜像（当存在多个mirror_id时用逗号,隔开）
• mirrored file：必选参数，可以指定多个镜像文件进行数据同步操作

示例说明

# 对镜像文件file02执行同步镜像文件操作，只同步ID为2的镜像数据
lfs mirror resync --only 2,3 /mnt/lustrefs/replica4/file02
# 对镜像文件file01、file02执行同步镜像文件操作，同步所有镜像数据
lfs mirror resync /mnt/lustrefs/replica4/file01 /mnt/lustrefs/replica4/file02

6、校验已同步镜像文件

通用格式

lfs mirror verify：校验已同步镜像文件
当镜像文件完成同步数据操作之后，所有镜像都是最新的数据，但随着时间流逝，可能会出现某一个镜像数据损坏情况，故需要定期手动执行该命令校验所有已同步镜像文件所有镜像是否一致
注：当校验出现镜像数据不一致时，通常需要管理员检查每个镜像文件内容并决定哪一个是正确的，随后调用lfs mirror resync命令进行手动修复

lfs mirror verify [--only <mirror_id,mirror_id2[,...]>] [--verbose|-v] <mirrored_file> [<mirrored_file2> ...]

• –only mirror_id[,…]：可选参数，当不指定时默认校验所有镜像数据是否一致，当指定多个mirror_id时校验指定镜像之间数据是否一致（至少需要指定两个mirror_id，使用该参数时不可指定多个镜像文件同时校验）
• –verbose|-v：可选参数，用于数据不匹配时显示哪些地方出现异常，当不指定时只有校验出现异常才会返回错误信息（如校验一致则不返回任何信息），当指定时可以输出更多信息用于定位（可指定多次，比如-v、-vv等）

7、查找镜像文件

通用格式

lfs find：查找镜像文件
lfs find命令用于查找包含指定属性的文件或目录，涉及镜像文件相关属性有以下几个参数

lfs find <directory|filename> [[!] --mirror-count|-N [+-]<n>] [[!] --mirror-state <[^]state>]  [--type|-t <filetype>]

• [!] --mirror-count|-N [±]
  用于表示镜像数量，数值前的[+-]用于表示范围

• -N +<n>：表示大于n的范围，如-N +2表示查找大于两个镜像的镜像文件

• -N -<n>：表示小于n的范围，如-N -2表示查找小于两个镜像的镜像文件

• -N <n>：表示等于n的范围，如-N 2表示查找等于两个镜像的镜像文件
  参数前的[!]用于表示否定条件，如! -N 2表示查找不等于两个镜像的镜像文件（即包括小于两个镜像和大于两个镜像的镜像文件）

• [!] --mirror-state <[^]state>
  用于表示镜像状态，可选参数值有ro、wp、sp，只能指定一种状态，如果使用^state，则仅输出不匹配状态的文件

• ro：只读状态，表示所有镜像均包含了最新的数据（即已同步的镜像文件）

• wp：写入状态

• sp：重新同步状态

• –type|-t filetype
  用于表示文件类型，可选参数有f、d，当指定-t f时表示只匹配文件，当指定-t d时表示只匹配目录

示例说明

# 只查找镜像数量≥2的镜像文件
lfs find /mnt/lustrefs/ ! -N -2 -t f
# 只查找待同步的镜像文件
lfs find /mnt/lustrefs --mirror-state ^ro