写在前面
注意力机制是一个很不错的科研创新点方向，但是没有系统记录过学习过程，这里记录科研中遇到的各种注意力机制。

Attention机制解释

本质上来说用到attention的任务都有Query，Key，Value三个关键components，目标则是输入query，然后根据query和key的关系以及key和value的关系求出最终的value。所谓注意力机制就是重点体现在query和key的关系设定上。

例子1 根据腰围估计体重

参考视频，这个大佬up讲的非常好，值得大家去一键三连！

图1

如图1所示，这个例子是想通过输入一个腰围（q），得到最后的体重预测值（v）。每一个k对应一个v，但是q要跟三个k都有一个加权，如图2所示。

图2 其中，$\alpha(q, k_1)$