240630_昇思学习打卡-Day12-Transformer中的Multiple-Head Attention
以下为观看大佬课程及查阅资料总结所得，附大佬视频链接：Transformer中Self-Attention以及Multi-Head Attention详解_哔哩哔哩_bilibili，强烈建议先去看大佬视频，然后自己做笔记。
附上期Self-Attention链接：240629_昇思学习打卡-Day11-Vision Transformer中的self-Attention-CSDN博客，本文中用到了上期的思想，建议先看上期。
Multi-Head Attention和Self-Attention在前半部分是差不多的，只是在得到了对应的
q
i
q^i
qi，
k
i
k^i
ki，
v
i
v^i
vi之后，再把这三个进行均分，有多少个Head就均分多少份，这里的均分就是直接拆分，比如
q
1
q^1
q1是
(
1
,
1
,
0
,
1
)
(1,1,0,1)
(1,1,0,1)，均分两份后就是
(
1
,
1
)
(1,1)
(1,1)和
(
0
,
1
)
(0,1)
(0,1)，当然，这样说可能有点过于简单了，观察原公式，原公式中他是乘以一个矩阵
W
i
Q
W_i^Q
WiQ，我们可以其设置成对应值实现均分，比如
q
1
=
(
1
,
1
,
0
,
1
)
q^1=(1,1,0,1)
q1=(1,1,0,1)
W 1 Q = ( 1 0 0 1 0 0 0 0 ) W_1^Q=\begin{pmatrix} 1 & 0\\ 0 & 1\\ 0 & 0\\ 0 & 0\end{pmatrix} W1Q= 10000100
此时
q
1
,
1
=
q
1
∗
W
i
Q
=
(
1
,
1
)
q^{1,1}=q^1*W_i^Q=(1,1)
q1,1=q1∗WiQ=(1,1)
同理如果我们要求
q
1
,
2
q^{1,2}
q1,2，就给
W
2
Q
W_2^Q
W2Q赋值为：
W
2
Q
=
(
0
0
0
0
0
0
0
1
)
W_2^Q=\begin{pmatrix} 0 & 0\\ 0 & 0\\ 0 & 0\\ 0 & 1\end{pmatrix}
W2Q=
00000001
这样我们就可以通过乘法计算出
q
1
,
2
q^{1,2}
q1,2，但是要问这个矩阵是怎么确定的，我暂时还不知道，大佬文章中也暂时没提到，我只是通过直接拆分的方法知道他的目标值，然后逆推导出的这个矩阵。后面等搞明白了回来修复，如有大佬指正不胜感激。
通过以上方法（直接拆分）可以得到每个Head对应的 q i q^i qi， k i k^i ki， v i v^i vi参数，接下来针对每个head使用和Self-Attention中相同的方法即可得到对应的结果。（以下为Self-Attention公式）
接下来就要将每个head的结果进行拼接，此时还是以两个head举例：
这个图里面的b大家可能忘了，这个b就是Self-Attention中求得的最后结果，在多头注意力这边，这个结果还要再进行计算。
将每个head得到的结果进行concat拼接，比如下图中的 b 1 , 1 b_{1,1} b1,1（ h e a d 1 head_1 head1得到的 b 1 b_1 b1）和 b 1 , 2 b_{1,2} b1,2（ h e a d 2 head_2 head2得到的 b 1 b_1 b1）拼接在一起。
根据原公式，我们这里拼接完了之后还要给一个参数 W 0 W^0 W0和他相乘进行融合，这里这个 W 0 W^0 W0是可学习的参数，其维度参考拆分前的 q 1 q^1 q1， q 1 q^1 q1是4，这里 W 0 W^0 W0是4X4。融合后得到最后的结果。
注意这里是拼接两次，分别把 b 1 , 1 b_{1,1} b1,1和 b 1 , 2 b_{1,2} b1,2， b 2 , 1 b_{2,1} b2,1和 b 2 , 2 b_{2,2} b2,2在列上进行拼接后，还要把他两的结果进行在行上拼接（我也不知道我的措辞用反了没有，大家看图，上面是第一次拼接，下面图右下角是第二次拼接），然后在和 W 0 W^0 W0进行运算
至此结束，大家记得去看大佬的视频，我的记录肯定不太详尽。
另外，我真的很好奇，csdn这个md编辑器到底是什么情况，为什么有时候行内公式就能显示，有时候行间公式都显示不了。
打卡图片：
参考博客：
11.1 Vision Transformer(vit)网络详解_哔哩哔哩_bilibili
详解Transformer中Self-Attention以及Multi-Head Attention_transformer multi head-CSDN博客
Vision Transformer详解-CSDN博客
一文搞定自注意力机制（Self-Attention）-CSDN博客
以上图片均引用自以上大佬博客，如有侵权，请联系删除
