目录
•1、网络整体框架
•2 、Patch Merging
•3 、W-MSA
MSA模块计算量
W-MSA模块计算量
•4、 SW-MSA
•5 、Relative Position Bias
•1、网络整体框架
•2 、Patch Merging
这里看着挺复杂，其实就相当于先对特征图进行LayerNorm，然后再进行一个卷积核大小为2×2，步距为2的深度可分离卷积。
•3 、W-MSA
MSA模块计算量
W-MSA模块计算量
•4、 SW-MSA
采用W-MSA模块时，只会在每个窗口内进行自注意力计算，所以窗口与窗口之间是无法进行信息传递的。为了解决这个问题，作者引入了SW-MSA模块，即进行偏移的W-MSA。可以理解成窗口从左上角分别向右侧和下方各偏移了M/2
可以发现通过将窗口进行偏移后，由原来的4个窗口变成9个窗口了。后面又要对每个窗口内部进行MSA，为了避免进行太多的窗口多头自注意力
为了防止不同窗口之间的信息乱窜，在实际计算中使用的是masked MSA即带蒙板mask的MSA，这样就能够通过设置蒙板来隔绝不同区域的信息。
•5 、Relative Position Bias
这里描述的是相对位置索引，也就是相对位置关系，并不是相对位置偏置参数。可以根据相对位置索引去获取对应的参数。关键是怎么根据位置索引获取相对位置偏置参数？
为了方便把二维索引转成一维索引。但如果将行标和列表直接简单相加会出现问题。比如相对位置索引中有(0 , -1)和(-1 , 0) 在二维的相对位置索引中明显是代表不同的位置，但如果简单相加都等于-1那就出问题了。
这样每个位置就得到了自己唯一的相对位置索引
我们可以创建一个可训练的相对位置偏置列表，在列表之找到对应的相对位置偏置。
