7.参数选择
7.1.综合性能goal
根据权重和性能指标，本方案为每个文件确定最佳的纠删码参数，并将文件分组到不同的数据池中。本文使用了以下公式计算每个文件的评分，表示该文件在使用不同的纠删码参数时的综合性能。
s
i
j
k
=
∑
j
=
1
6
c
j
∗
p
i
j
k
s_{ijk}=\sum_{j=1}^6c_j*p_{ijk}
sijk=∑j=16cj∗pijk
其中，sijk表示第i个文件大小在使用第j个数据块个数和第k个冗余块个数时的评分，cj表示第j个性能指标的critic权重，pijk表示第i个文件大小对应的第j个数据块个数和第k个冗余块个数对应的第j个性能指标的归一化数据。
7.2.确定每个文件的最佳参数
本文使用了以下公式确定每个文件的最佳纠删码参数，即使得评分最大的数据块个数和冗余块个数：
(
k
i
∗
,
m
i
∗
)
=
argmax
j
,
k
s
i
j
k
(k^*_i,m^*_i)=\operatorname*{argmax}_{j,k} s_{ijk}
(ki∗,mi∗)=argmaxj,ksijk
其中， ( k i ∗ , m i ∗ ) (k^*_i,m^*_i) (ki∗,mi∗)表示第i个文件大小对应的最佳纠删码参数。表示在三维数组中，找到一个元素使sijk最大。
经过参数选择后，本文得到了每个文件大小对应的最佳纠删码参数。
7.3.确定每个数据池的纠删码参数
为了实现最低存储成本和最高可靠性的权衡，本文将文件按照不同的大小范围分组到不同的数据池中，并为每个数据池设置不同的纠删码参数。本文使用了以下公式确定文件大小的分组范围：
[
F
S
m
i
n
,
F
S
m
a
x
]
=
[
n
−
1
5
,
i
5
]
∗
F
S
m
a
x
[FS_{min},{FS_{max}}]=[\frac{n-1}{5},\frac{i}{5}]*FS_{max}
[FSmin,FSmax]=[5n−1,5i]∗FSmax
（暂时没有想好）
其中，[FSmin,FSmax]表示第i组文件大小的分组范围，i表示分组编号，取值为1-5，FSmax表示文件大小的最大值，即1GB。
本文使用了以下公式确定每个数据池的纠删码参数：
(
K
,
M
)
=
(
∑
F
S
m
a
x
i
=
F
S
m
i
n
∗
k
i
∗
F
S
m
a
x
−
F
S
m
i
n
+
1
,
∑
F
S
m
a
x
i
=
F
S
m
i
n
∗
m
i
∗
F
S
m
a
x
−
F
S
m
i
n
+
1
)
(K,M)=(\frac{\sum^{FS_{max}^{i=FS_{min}}*k_i^*}}{FS_{max}-FS_{min}+1},\frac{\sum^{FS_{max}^{i=FS_{min}}*m_i^*}}{FS_{max}-FS_{min}+1})
(K,M)=(FSmax−FSmin+1∑FSmaxi=FSmin∗ki∗,FSmax−FSmin+1∑FSmaxi=FSmin∗mi∗)
其中，(K,M)表示第i组数据池的纠删码参数， ( k i ∗ , m i ∗ ) (k^*_i,m^*_i) (ki∗,mi∗)表示第i个文件大小对应的最佳纠删码参数。
经过分组策略后，本文得到了每个数据池对应的纠删码参数，如表4所示。
8.实验结果和分析
8.1.最低存储成本最高可靠性表
综合评分随着文件大小的增加而增加，随着k或m的增加而减少。这是因为，文件大小越大，各项性能指标越差；k或m越大，各项性能指标越好。我们选出了每个文件大小对应的最高评分作为其最佳参数，并得到了一张最低存储成本最高可靠性的file_size,k,m表。
8.2.数据池建立和建议
为了给云服务存储提供商提供不同的数据存储方案，我们将上一节得到的最低存储成本最高可靠性的file_size,k,m表分为5组，分别建立5个数据池。每个数据池包含了一定范围内的文件大小和相应的最佳纠删码参数。我们根据不同的数据池的特点，给企业提出了相应的建议，以实现存储成本和可靠性之间的最佳权衡。具体如下：
- 数据池1：文件大小为0MB-200MB，最佳纠删码参数为(2,1)-(8,7)。这个数据池适合存储一些小型且重要的文件，例如文档、表格、图表等。这些文件占用的空间较少，但是需要高度的可靠性和恢复性能。
- 数据池2：文件大小为200MB-400MB，最佳纠删码参数为(9,8)-(12,11)。这个数据池适合存储一些中型且较重要的文件，例如图片、视频、音频等。这些文件占用的空间较多，但是也需要较高的可靠性和恢复性能。
- 数据池3：文件大小为400MB-600MB，最佳纠删码参数为(13,12)-(14,13)。这个数据池适合存储一些大型且一般重要的文件，例如电影、游戏、软件等。这些文件占用的空间很多，但是可以容忍一定程度的故障。
- 数据池4：文件大小为600MB-800MB，最佳纠删码参数为(15,14)。这个数据池适合存储一些超大型且不太重要的文件，例如备份、归档、日志等。这些文件占用的空间非常多，但是可以忽略故障。
- 数据池5：文件大小为800MB-1000MB，最佳纠删码参数为(16,15)。这个数据池适合存储一些极大型且无关紧要的文件，例如测试、演示、样例等。这些文件占用的空间极其多，但是可以完全忽略故障。
8.3.实验评估
为了验证本文提出的基于critic客观权重法的纠删码参数选择方法的有效性和优越性，本文设计了以下四种对比方法：
- Random：一种随机选择纠删码参数的方法，它对每个文件随机地选择一个纠删码参数，本文使用了均匀分布的随机数生成器，用于随机生成纠删码参数。
- Regular：一种固定纠删码参数方法，即对所有文件大小，都是使用想要的纠删码参数，本文选择（5,3）的RS纠删码作为固定纠删码参数。
- Cost：一种基于存储成本最小化的纠删码参数选择方法，它对每个文件选择一个使得存储成本最小的数据块个数和一个冗余块个数，不考虑其他性能指标。
- Reliability：一种基于可靠性最大化的纠删码参数选择方法，它对每个文件选择一个使得可靠性最大的数据块个数和一个冗余块个数，不考虑其他性能指标。
仍然选择RD、SC、TO、CO、RE、RT六中性能指标，具体请见6.1节 数据获取。
本文使用了两种数据集来进行实验，一种是人工生成的数据集，另一种是真实的数据集。人工生成的数据集是根据不同的文件大小，随机生成的二进制文件，共有15360个文件，每个文件大小为0MB-1GB之间的64MB的倍数。真实的数据集是从互联网上下载的一些常见的文件，包括文本文件、图片文件、音频文件、视频文件等，共有1000个文件，每个文件大小为0MB-1GB之间的任意值。本文将这两种数据集分别存储在Hadoop软件上，使用本文方法、固定纠删码参数的方法和随机纠删码参数的方法对这些文件进行编码和恢复，得到了不同方法的性能指标数据。
从表5中可以看出，本文提出的基于critic客观权重法的纠删码参数选择方法在所有的性能指标上都优于其他方法，说明该方法可以有效地实现最低存储成本和最高可靠性的权衡，同时也优化了数据恢复和应用程序性能。具体来说，该方法相比于其他方法有以下优点：
- 相比于Random方法，该方法可以根据文件大小和多个性能指标，自动地为每个文件确定最佳的纠删码参数，并将文件分组到不同的数据池中，而不是随机地选择纠删码参数，从而提高了系统运行效果和效率。
- 相比于Cost方法，该方法可以兼顾多个性能指标，如数据冗余度、存储成本、传输开销、可靠性、恢复性能、应用程序性能、总新能、性价比等，并为每个文件自动地确定最佳的纠删码参数，而不是只考虑存储成本，从而提高了数据可靠性和容错性。
- 相比于Reliability方法，该方法可以兼顾多个性能指标，如数据冗余度、存储成本、传输开销、可靠性、恢复性能、应用程序性能、总新能、性价比等，并为每个文件自动地确定最佳的纠删码参数，而不是只考虑可靠性，从而降低了数据存储成本和传输开销。
8.4.实验分析
本节对实验结果进行了分析，主要包括不同文件大小和不同纠删码参数的影响。
8.4.1不同文件大小的影响
为了分析不同文件大小对纠删码参数选择的影响，本文将文件大小分为五个等级，分别为[0,200]MB、(200,400]MB、(400,600]MB、(600,800]MB和(800,1000]MB，并计算了每个等级的平均性能指标，如表6所示。
表6：不同文件大小等级的平均性能指标
从表6中可以看出，随着文件大小的增加，各个性能指标都呈现出一定程度的下降趋势，说明文件大小对纠删码参数选择有一定的影响。具体来说，文件大小越大，有以下特点：
- 存储成本越高，因为需要存储更多的编码块。
- 可靠性越低，因为需要恢复更多的数据块。（不一定，需要看实验得出）
- 恢复性能越差，因为需要花费更多的时间和资源。
本文提出的基于critic客观权重法的纠删码参数选择方法可以根据不同的文件大小自动地为每个文件确定最佳的纠删码参数，并将文件分组到不同的数据池中，以实现最低存储成本和最高可靠性的权衡。从表6中可以看出，该方法在每个文件大小等级上都优于其他方法，在整体上也达到了最优的平均性能指标。这说明该方法可以有效地适应文件大小的变化和多样性，并为每个文件选择合适的纠删码参数。
9.结论和今后工作
本文提出了一种基于critic客观权重法的纠删码参数选择方法，该方法可以根据文件大小和多个性能指标，自动地为每个文件确定最佳的纠删码参数，并将文件分组到不同的数据池中，以实现最低存储成本和最高可靠性的权衡。本文在Hadoop平台上进行了实验，结果表明，该方法可以有效地降低数据存储成本，提高数据可靠性。与现有方法相比，本文方法具有以下优点：
- 可以兼顾多个性能指标，如数据冗余度、存储成本、传输开销、可靠性、恢复性能、应用程序性能、总新能、性价比等，并为每个文件自动地确定最佳的纠删码参数。
- 可以处理不同的文件大小和编码块大小，而不需要固定或预设任何参数，可以自动地根据文件大小的变化和多样性进行调整。
本文的工作为纠删码参数选择问题提供了一种新的思路和方法，也为数据存储和管理领域提供了一种新的解决方案。本文的工作还有以下几个方面可以进一步改进和拓展：
- 可以考虑更多的性能指标和影响因素，如网络延迟、编码复杂度等，以更加全面地评价纠删码参数选择的效果。
- 可以考虑更大文件的纠删码参数配置实验，以适应现有海量数据的存储。
- 可以降低现实生活中在服务器上配置纠删码方案消耗的成本，以方便更加灵活的自适应选择由文件大小直接确定纠删码方案。
- 实验的数据类型可以更加多元，如图片、视频等等，使实验结果更具说服力。
![[万字解析]从零开始使用transformers微调huggingface格式的中文Bert模型的过程以及可能出现的问题](https://i-blog.csdnimg.cn/direct/0b4a903e40a648969e3cdc937359df72.png)
