一.Transformer架构

左半边是Encoder，右半边是Decoder。

二.Vision Transformer

Vision Transformer取了Transformer的左半边。包含

1. Input Embedding
2. Positional Encoding
3. 多头注意力机制 + Add & Norm
4. (前馈网络)Feed Forward + Add & Norm
   

2.1 Input Embedding

2.2 Positional Encoding

1. 为什么需要位置编码？

Transformer替代的是RNN(循环神经网络)，RNN本身是一种训练网络，天然包含句子之间的位置信息，Tranformer用attention替代了RNN，所以就缺乏位置信息。模型没有办法知道每个单词在句子中的相对位置和绝对位置。

2. 具体实现方法是：

每个奇数时间步，使用余弦函数创建一个向量。

3. 偶数时间步，使用正弦函数创建向量
   
   然后将这些向量添加到相应的嵌入向量中。

这样就成功了为网络提供了每个向量的信息。选用正弦和余弦函数，是因为他们有线性特性。

2.3 多头注意力机制

它的内部如下：

多头注意力机制是多个自注意力。
多头注意力模块运用了自注意力，自注意力机制可将输入的每个单词和其它单词关联起来。
比如：模型将You与How 和 are联系起来。

1. 自注意力机制中的Q,K,V

为了实现自注意力，将输入分别输入到三个不同的全连接层，来创建查询向量、键向量、值向量。

查询向量、键向量、值向量来自检索系统，
Q:例如当在youtube上输入一个查询词Q，搜索某个视频。
K:搜索引擎将你的查询值映射到一组键K中(如视频标题，视频描述)。
V:与数据库的候选视频相关联。

2. 自注意力机制中的第一个MatMul

查询和键经过点积矩阵乘法产生一个分数矩阵。分数矩阵确定了一个单词应该如何关注其它单词。

(MatMul)点乘获得分数矩阵：

分数矩阵确定一个单词应该如何关注其它单词。

每个单词都会有一个与时间步长中的其他单词相对应的分数。分数越高，关注度越高。这就是查询如何映射到键的。

3.缩放

将查询和键的维度开平方将得分缩放，因为这样可以让梯度更稳定，因为乘法可能会产生爆炸效果。

4. softmax

对缩放后的得分进行softmax计算，得到注意力权重，进行softmax计算后，较高的得分会得到增强，较低的得分得到抑制。

得到的是注意力权重。

5. 第二个MatMul操作

将注意力权重 和 值向量相乘。得到输出向量。

6. concat层

为了使这个计算成为多头注意力计算，在应用自注意力之前将查询、键、值分成N个向量。分割后的向量分别经过相同的自注意力，每个自注意力过程称为一个头，每个头产生一个输出向量。这些向量经过最后的线性层之前被拼接成一个向量。

理论上，每个头都会学到不同的东西。从而为编码器模型提供更多的表达能力。

7.多头注意力机制总结

多头注意力是一个模块，用于计算输入的注意力权重，并生成一个带有编码信息的输出向量，指示序列中每个词应该如何关注其它所有词。

8.多头注意力机制后的Add & Norm

接下来，使用残差连接，将多头注意力机制输出向量，加到原始输入上。

2.4 前馈网络 + Add & Norm

残差连接的输出经过层归一化(LayerNorm)。归一化后的残差输出被送入点对点前馈网络进行进一步处理。点对点前馈网络是几个线性层，中间有ReLu激活函数。

残差连接有助于网络训练，因为它允许梯度直接流过网络。

使用层归一化来稳定网络，显著减少所需训练时间。

最后：

可将编码器堆叠n次，以进一步编码信息。其中每一层都有机会学习不同的注意力表示。从而有可能提高transformer网络的预测能力。

参考

超强动画，一步一步深入浅出解释Transformer原理！
https://www.bilibili.com/video/BV1ih4y1J7rx/?spm_id_from=333.999.top_right_bar_window_history.content.click&vd_source=ebc47f36e62b223817b8e0edff181613