来源：https://www.bilibili.com/video/BV1Bb4y1L7FT?p=1&vd_source=f66cebc7ed6819c67fca9b4fa3785d39

self-attention要解决的问题：输入的sequence是变长的、长度不等。

引言

如何解决输入同样的saw，第一个输出v.第二个输出n.？
使用FC可以考虑上下文的资讯。

如何考虑一整个sequence的资讯呢？
把Windows开到sequence中最大的长度。

self-attention

可以将self-attention与FC交替使用：
self-attention处理整个句子的资讯
FC专注于处理某一个位置的资讯、

运作机制

b1是如何产生的

1、计算出attention score $\alpha$：在这个长长的sequence里找出和a1有关联的vector，每个向量与a1的关联性用数值$\alpha$表示。


2、根据attention score抽取sequence里的重要资讯，即可计算出b1

注：b1-b4是同时被产生的

怎么求关联性数值$\alpha$

两种方法：

最常用的是向量点积法，也是用在transformer里的方法。

从矩阵乘法的角度再来一次

从A得到Q、K、V

从Q、K得到$\alpha$矩阵

由V和A’得到b1-b4

总结：从I到O就是在做self-attention

Muti-head Self-attention

几个head，是一个需要调的超参。
为什么要用Muti-head？
使用不同的q代表不同种类的相关性。

位置编码