transformer的理解

Q、K、V的理解

核心是自注意力机制。即每个位置的结果为所有位置的加权平均和。为了得到每个位置的权重，需要Q*K得到。

整个多头的self-attention过程

单个encoder

encoder-decoder

encoder中的K和V会传到decoder中的encoder-decoder attention中。

整个过程

参考：
http://jalammar.github.io/illustrated-transformer/
https://