一、Attention原理

  将$Source$中的构成元素想象成是由一系列的$<Key,Value>$数据对构成，此时给定$Target$中的某个元素$Query$，通过计算$Query$和各个$Key$的相似性或者相关性，得到每个$Key$对应$Value$的权重系数，然后对$Value$进行加权求和，即得到了最终的$Attention$数值。所以本质上$Attention$机制是对$Source$中元素的$Value$值进行加权求和，而$Query$和$Key$用来计算对应$Value$的权重系数。即可以将其本质思想改写为如下公式：

$$Attention(Query,Source)=\sum _{i=1}^{L_x}Similarity(Query,Ke{y}_i)\ast Valu{e}_i$$

二、向量内积

  向量内积又叫向量点乘，公式如下：

$$\vec{a}\cdot \vec{c}=\parallel \vec{a}\parallel \times \parallel \vec{c}\parallel \times cos\theta$$

  向量内积的求导公式如下：

$$\frac{\partial (\bar{x}\cdot \bar{w})}{\partial \bar{w}}={\bar{x}}^T$$

三、Transformer中的Scaled Dot-Product Attention

  公式如下：

$$Attention(Q,K,V)=softmax(\frac{Q{K}^T}{\sqrt{d_k}})V$$

  对一组key-value对和n个query,可以使用两次矩阵乘法，并行的计算里面的每个元素。