我们本篇文章来详细讲解Transformer:

首次提出在：Attention is all you need (arxiv.org)

简单来说，Transfomer就是一种Seq2seq结构，它基于多头自注意力机制，解决了传统RNN在计算过程中不能够并行化的问题。即相较于RNN而言，Transfomer所采用的多头自注意力机制更快，因为，对于每个单词(即被分割的每个单位)，它可以并行计算。而不是向传统RNN那样，必须要在前面的单词(特征)计算出来之后，才可以对后面的单词(特征)进行计算。

对于Transformer的整体结构而言，它可以分成两块，即Encoder和Decoder，分别是编码器和解码器部分。在这两部分中，均采用了多头自注意力机制这样一个组件。

如上图所示，左侧为Encoder，右侧为Decoder。

在Encoder中，先将inputs进行input Embedding(单词编码，可以有很多种方式，例如可以采用 Word2Vec、Glove 等算法预训练得到，也可以在 Transformer 中训练得到)。

紧接着进行位置编码(Positional Encoding)，它的目的是为了防止该模型结构变成了一个词袋模型。因为从后面的介绍将会看出，自注意力机制所计算出来的结果是和位置无关的。具体来说，将输入的向量a加上一个向量e，也即位置编码。这个e是认为计算出来的。通常采用正弦位置编码方案。

$P{E}_{(pos,2i)}=sin(pos/10000^{2i/d})$

$P{E}_{(pos,2i+1)}=cos(pos/10000^{2i/d})$

其中，pos表示单词在句子中的位置，d表示PE的维度，其中2i表示偶数维度，2i+1表示奇数维度。

这样做的好处（即算出来，而不是train出来的好处）：

1、使 PE 能够适应比训练集里面所有句子更长的句子，假设训练集里面最长的句子是有 20 个单词，突然来了一个长度为 21 的句子，则使用公式计算的方法可以计算出第 21 位的 Embedding。

2、可以让模型容易地计算出相对位置，对于固定长度的间距 k，PE(pos+k) 可以用 PE(pos) 计算得到。因为 Sin(A+B) = Sin(A)Cos(B) + Cos(A)Sin(B), Cos(A+B) = Cos(A)Cos(B) - Sin(A)Sin(B)。（中学时三角函数变换计算）

至于为什么是相加，解释起来有点复杂：

假设我不是加上去的，因为这样多多少少有些突兀，我是拼接上去的。也即，我把能够代表位置的向量拼接到原本的input Embedding中。

在input Embedding时，会乘以一个矩阵来进行编码变换的。我们设该矩阵为A，原本的单词向量我们设置为a，那么得到的就是$W=A^T\cdot a$

接着，如果我要是拼上去的，那么我假设我需要用的矩阵就是A’ ，那么$W^{\prime }=A^{\prime T}\cdot a$。如下图所示：

接下里，我们介绍多头自注意力机制。在此之前，我们先来介绍自注意力机制。

在传统的RNN当中，由于它存在无法并发执行、梯度丢失等问题。如果我们考虑CNN来去解决这类问题，但是想要用CNN来去解决又往往需要叠很多的卷积层。也不很合适。于是，就有人提出了一种基于自注意力机制的组件，来去解决这类问题。它可以做到，通过注意力机制，关联句子中长距离的语义关系，而且，Self-Attention可以比RNN更好地解决长时依赖问题。因为它的计算量比RNN低，它可以进行并行计算。

具体来说，自注意力机制可以这样解释：

如上图。对于输入的单词向量$x_1$…$x_n$，经过单词编码和位置编码，得到$a_1$…$a_n$。

然后，我们要得到三个不同的向量。分别成为query(q)、key(k)和value(v)，其中，q和k是用来计算关联程度的，而v是用来进行关联度查询。这三个向量的得到，是由$a$分别乘以$W^Q$、$W^K$、$W^v$得到。

也就是说，所有的$q$，即$q_1、q_2...q_r$，是由$a_1、a_2...a_r$乘以$W^Q$得到，

同理，所有的$k$，即$k_1、k_2...k_r$，是由$a_1、a_2...a_r$乘以$W^K$得到，

所有的$v$，即$v_1、v_2...v_r$，是由$a_1、a_2...a_r$乘以$W^V$得到。

接下来，计算q和k的Attention。即他们关联由多大。计算公式为$a_{i,j}=\frac{q_i^T\cdot k_j}{\sqrt{d_{q,k}}}$，这里的d表示的是q、k的维数。需要注意的是，是每一个$q$，和每一个$k$都要计算。

以上图为例，$q1$和$k1$，那么得到的就是$a_{1,1}=\frac{q_1^T\cdot k_1}{\sqrt{d_{q,k}}}$，我们将结果记为$a_{1,1}$，与此同时，按照同样的方法，得到$a_{1,2}、a_{1,3}$…

接着，再将所有的$a$进行softmax函数操作。所谓softmax，和sigmod类似。函数表达式：$softmax(x)=\frac{e^{x_i}}{{\sum }_{j=1}^n{e}^{x^j}}$它的作用是求每一部分的概率，映射到同一区域内(输出为互斥类别，且只能选择一个类别)。这样以后，就得到${\hat{a}}_{1,j}$

最后，将$a_{1,j}(softmax后的)$分别和$v_j$相乘，然后求和，就得到$b_1$，

同理，将$a_{2,j}(softmax后的)$分别和$v_j$相乘，然后求和，就得到$b_2$，

…

直至全部输出$b_1...b_n$，

不过，与RNN相比较，可以看到，我们的transformer在计算到$b_1...b_n$时，是可以同步的。因为它可以通过一个矩阵，来一次性全部计算完。如下图（右侧公式）：

在这样一个组件中，我们每一个$b$的得到，和输入的每个$a$都是相关的。所以，我们就可以通过学习，得到某些单词之间的相关性应该是高还是低。即便两个单词相距很远，但仍可以察觉到关联。因为在整个注意力机制中，它和位置是无关的。“天涯若比邻”。

这就是自注意力机制。

我们下面来介绍多头自注意力机制。

所谓多头，就是同时有多个自注意力机制。每个注意力机制中，所关注的关联有一定区别，从而，在训练过程中，可以充分考虑不同单词之间的关联程度，从而可以很好地实现泛化。

那多头注意力机制，是怎么训练的呢？答：和单个的自注意力机制一模一样。在Transformer模型中，一共用到了8个头。这样，一组输入通过八个自注意力机制，就得到了八个输出矩阵。然后，我们将这八个矩阵Contact（拼接）在一起，然后进行一个Liner变换，最终得到一个n×n的矩阵。具体过程如下图所示：

（原论文中的图，在此图中，直观地展示了多头自注意力的运转过程）

下图中，展示了具体过程：

多头自注意力机制到此介绍完毕。接下来继续介绍Transformer。

还是刚刚的那个图

左侧，Encoder部分，经过了Multi-Head Attention后，得到的输出，和Multi-Head Attention的输入，进行Add&Norm，即残差连接加归一化（标准化）。

残差连接刚刚已说过，就是X(输入) + Multi-Head-Attention)(X)->输入加输出的方式，让其可以更好地只关注差异。

Norm这里指归一化，所使用的是 Layer Normalization，将每一层神经元的输入都转成均值方差都一样的，用来加快收敛。注意，这里的每一层，而不是每一个维度(每一个维度是Batch Normalization)。所采用的归一化公式是z-score归一化。因为样本范围不确定。

进行Add&Norm之后，进行Feed Forward运算。Feed Forward实际上很简单，是一个两层的全连接层，第一层的激活函数为 Relu，第二层不使用激活函数。因此，它的公式为：$max(0,X{W}_1+b_1)W_2+b_2$

X是输入，Feed Forward 最终得到的输出矩阵的维度与X一致。

然后继续进行Add&Norm。

这样以后，算是经过了一个Encoder Block。通过多个 Encoder block 叠加就可以组成 Encoder(Transformer用到了N个)。

第一个 Encoder block 的输入为句子单词的表示向量矩阵，后续 Encoder block 的输入是前一个 Encoder block 的输出，最后一个 Encoder block 输出的矩阵就是编码信息矩阵 C，这一矩阵后续会用到 Decoder 中。

---

到此为止，Encoder解释完毕。

接下来看Decoder。我们先来看右下角的Masked Multi-Head Attention

需要明白，在Decoder中，需要根据之前的翻译，来去找到当前最可能的翻译。没有被翻译出来的内容不能被看到。

所以，这里引入了一个Masked自注意力机制。它的输入是已经输出出来的单词(因为需要根据之前的翻译来去推测之后的翻译)。而在最一开始的时候，是一个类似于标志位的东西。所谓Masked，就是对矩阵进行遮挡。把不知道的部分变成0。

如下图，对于原本的输入矩阵，在 Mask 可以发现单词 0 只能使用单词 0 的信息，而单词 1 可以使用单词 0, 1 的信息，即只能使用之前的信息。

注意，这里的Masked矩阵，在训练当中，由于我们已经提前知道了其正确答案，所以遮挡住有其必要性。否则拿未预测出的部分去预测自己，就相当于作弊了。

而在预测时，我们实际上本身就不知道后面的内容到底是什么。即便我们不遮挡，我们也是不知道后面是什么的——但换一种理解方式，就好似后面的内容被遮挡住了，所以我们看不见。

确定了输入矩阵之后，接下来的操作就和之前的self-Attention一样了。通过输入矩阵X，来去计算Q、K、V。然后计算Q和K的Attention score，然后再用Mask矩阵进行遮挡。遮挡操作如图：

得到Mask $Q{K}^T$之后，再去进行softmax，然后和V相乘，然后再关联、做Liner变换、求和。

Masked Multi-Head Attention介绍完毕。

然后看上面的Multi-Head Attention部分。

Decoder block 第二个 Multi-Head Attention 变化不大， 主要的区别在于其中 Self-Attention 的 K, V矩阵不是使用 上一个 Decoder block 的输出计算的，而是使用 Encoder 的编码信息矩阵 C 计算的。

根据 Encoder 的输出 C计算得到 K, V，根据上一个 Decoder block 的输出 Z 计算 Q (如果是第一个 Decoder block 则使用输入矩阵 X 进行计算)，后续的计算方法与之前描述的一致。

这样做的好处是在 Decoder 的时候，每一位单词都可以利用到 Encoder 所有单词的信息 (这些信息无需 Mask)。

这样，就能构成一个Decoder block。

Decoder block 最后的部分是利用 Softmax 预测下一个单词，在之前的网络层我们可以得到一个最终的输出 Z，因为 Mask 的存在，使得单词 0 的输出 Z0 只包含单词 0 的信息，如下：

与Encoder一样，Decoder也是由N个Decoder block组成（就是多个）

Transformer介绍到这里基本结束。

参考：

1、Transformer模型详解（图解最完整版） - 知乎 (zhihu.com)

2、1706.03762.pdf (arxiv.org)

3、Multi-headed Self-attention（多头自注意力）机制介绍 - 知乎 (zhihu.com)

4、Transformer,BERT模型介绍 - 知乎 (zhihu.com)

5、Transformer - YouTube