神经网络算法 - 一文搞懂Transformer

本文将从Transformer的本质、Transformer的原理、Transformer架构改进三个方面，带您一文搞懂Transformer。

**__**一、**_**_Transformer_**的本质_****__**

Transformer架构：主要由输入部分（输入输出嵌入与位置编码）、多层编码器、多层解码器以及输出部分（输出线性层与Softmax）四大部分组成。****

Transformer架构

输入部分：
源文本嵌入层： 将源文本中的词汇数字表示转换为向量表示，捕捉词汇间的关系。
位置编码器： 为输入序列的每个位置生成位置向量，以便模型能够理解序列中的位置信息。
目标文本嵌入层（在解码器中使用）：将目标文本中的词汇数字表示转换为向量表示。
编码器部分：
由N个编码器层堆叠而成。
每个编码器层由两个子层连接结构组成：第一个子层是一个多头自注意力子层，第二个子层是一个前馈全连接子层。每个子层后都接有一个规范化层和一个残差连接。
解码器部分：
由N个解码器层堆叠而成。
每个解码器层由三个子层连接结构组成：第一个子层是一个带掩码的多头自注意力子层，第二个子层是一个多头注意力子层（编码器到解码器），第三个子层是一个前馈全连接子层。每个子层后都接有一个规范化层和一个残差连接。
输出部分：
线性层： 将解码器输出的向量转换为最终的输出维度。
Softmax层： 将线性层的输出转换为概率分布，以便进行最终的预测。

Encoder-Decoder（编码器-解码器）： 左边是N个编码器，右边是N个解码器，Transformer中的N为6。

Encoder-Decoder（编码器-解码器）

Encoder编码器：
Transformer中的编码器部分一共6个相同的编码器层组成。

每个编码器层都有两个子层，即多头自注意力层(Multi-Head Attention)层和逐位置的前馈神经网络(Position-wise Feed-Forward Network)。 在每个子层后面都有残差连接（图中的虚线）和层归一化（LayerNorm）操作，二者合起来称为Add&Norm操作。

Encoder（编码器）架构

Decoder解码器：
Transformer中的解码器部分同样一共6个相同的解码器层组成。

每个解码器层都有三个子层， 掩蔽自注意力层(Masked Self-Attention)、 Encoder-Decoder注意力层、逐位置的前馈神经网络。 同样，在每个子层后面都有残差连接（图中的虚线）和层归一化（LayerNorm）操作，二者合起来称为Add&Norm操作。

Decoder（解码器）架构

_**二、**_Transformer_**_**_**_**_****_的原理_****_**_**_**_**_

Transformer工作原理

Multi-Head Attention（多头注意力）：它允许模型同时关注来自不同位置的信息。通过分割原始的输入向量到多个头（head），每个头都能独立地学习不同的注意力权重，从而增强模型对输入序列中不同部分的关注能力。

Multi-Head Attention（多头注意力）

**Scaled Dot-Product Attention（缩放点积注意力）**：它是Transformer模型中多头注意力机制的一个关键组成部分。

Scaled Dot-Product Attention（缩放点积注意力）

Query、Key和Value矩阵：
Query矩阵（Q）：表示当前的关注点或信息需求，用于与Key矩阵进行匹配。
Key矩阵（K）：包含输入序列中各个位置的标识信息，用于被Query矩阵查询匹配。
Value矩阵（V）：存储了与Key矩阵相对应的实际值或信息内容，当Query与某个Key匹配时，相应的Value将被用来计算输出。
点积计算：
通过计算Query矩阵和Key矩阵之间的点积（即对应元素相乘后求和），来衡量Query与每个Key之间的相似度或匹配程度。
缩放因子：
由于点积操作的结果可能非常大，尤其是在输入维度较高的情况下，这可能导致softmax函数在计算注意力权重时进入饱和区。为了避免这个问题，缩放点积注意力引入了一个缩放因子，通常是输入维度的平方根。点积结果除以这个缩放因子，可以使得softmax函数的输入保持在一个合理的范围内。
Softmax函数：
将缩放后的点积结果输入到softmax函数中，计算每个Key相对于Query的注意力权重。Softmax函数将原始得分转换为概率分布，使得所有Key的注意力权重之和为1。
加权求和：
使用计算出的注意力权重对Value矩阵进行加权求和，得到最终的输出。这个过程根据注意力权重的大小，将更多的关注放在与Query更匹配的Value上。