transformer

ENCODER

输入部分

对拆分后的语句x = [batch_size, seq_len]进行以下操作

1. Embedding
   将离散的输入（如单词索引或其他类别特征）转换为稠密的实数向量，以便可以在神经网络中使用。
2. 位置编码
   与RNN相比，RNN是一个字一个字的输入，自然每个字的顺序关系信息就会保留下来。但在Encoder中，一个句子的每一个字（词）是并行计算的（下一节解释），所以我们在输入的时候需要提前引入位置信息。
   位置信息由： pos（一句话中的第几个字） 和 i （这个字编码成向量后的第i维) 来确定
   下面是Positional Encoding的公式：
   i为 偶 数 时 , $P{E}_{pos,i}=sin(pos/10000^{2i/d_{model}})$
   i为 奇 数 时 , $P{E}_{pos,i}=cos(pos/10000^{2i/d_{model}})$
   $d_{model}$指想用多长的 vector 来表达一个词(embedding_dim)

通过输入部分
x： [batch_size, seq_len, embedding_dim]

多头注意力机制

1. 单头注意力机制
   对一句话中第i个字的字向量$a_i$，产生三个矩阵Q, K ，V
   Q,K,V的维度都为[batch_size, seq_len, embedding_dim]

将$a_i$分别与上面三个矩阵相乘，得到三个向量$q_i,k_i,v_i$
如果要计算第1个字向量与句子中所有字向量的注意力：
将查询向量$q_1$与 所有的字向量的键向量$k_i$相乘得到$alph{a}_{10},alph{a}_{11},...,alph{a}_{1,seqlen}$
将这写数值进行softmax处理后， 分别与$v_i$相乘再合加得到最终结果$b_1$

2. 多头注意力机制
   把$Q,K,V$三个大矩阵变成n个小矩阵（seq_len, embedding_dim/n) n=8
   用上节相同的方式计算8个矩阵，然后把每一个head-Attention计算出来的b矩阵拼在一起，作为输出

Add&LN

Add是用了残差神经网络的思想，也就是把Multi-Head Attention的输入的a矩阵直接加上Multi-Head Attention的输出b矩阵（好处是可以让网络训练的更深）得到的和 $\bar{b}$矩阵

再在经过Layer normalization（归一化，作用加快训练速度，加速收敛）把
每一行（也就是每个句子）做归一为标准正态分布，最后得到$\hat{b}$
BN 和 LN：

1. LN： 在一个样本内做归一化 适于RNN,transformer
2. BN： 对batch_size里面的样本按对应的特征做归一化 适于CNN
   

Feed_forward前馈神经网络

把Add & Layer normalization输出$\hat{b}$，经过两个全连接层，再经过Add & Layer normalization得到最后输出 o 矩阵

DECODER

masked_多头注意力机制

比如我们在中英文翻译时候，会先把"我是学生"整个句子输入到Encoder中，得到最后一层的输出后，才会在Decoder输入"S I am a student"（s表示开始）,但是"S I am a student"这个句子我们不会一起输入，而是在T0时刻先输入"S"预测，预测第一个词"I"；在下一个T1时刻，同时输入"S"和"I"到Decoder预测下一个单词"am"；然后在T2时刻把"S,I,am"同时输入到Decoder预测下一个单词"a",依次把整个句子输入到Decoder,预测出"I am a student E"

多头注意力机制

Decoder 的 Multi-Head Attention 的输入来自两部分，
K，V 矩阵来自Encoder的输出，
Q 矩阵来自 Masked Multi-Head Attention 的输出