注意力机制基本思想（二）（自注意力机制）

news2025/1/18 11:55:21

🌈 个人主页：十二月的猫-CSDN博客
🔥 系列专栏： 🏀《深度学习基础知识》

相关专栏： ⚽《机器学习基础知识》

🏐《机器学习项目实战》
🥎《深度学习项目实战（pytorch）》

💪🏻 十二月的寒冬阻挡不了春天的脚步，十二点的黑夜遮蔽不住黎明的曙光

回顾

注意力机制

看一个物体的时候，我们倾向于一些重点，把我们的焦点放到更重要的信息上

所以，现在要求我们的深度学习模型也要能够为其学习的信息提供不同的注意力分配，从而让模型能够学习到更高价值的信息并且释放更多的算力资源

机制流程

1、QK 相乘：求爱好偏向和具体内容块的相似度

2、Scale变化：未来做 softmax 的时候避免出现极端情况，公式如下图

$a=\frac{q*k}{\sqrt d}$

3、softmax求注意力概率分配：利用softmax函数让相似度转化为注意力的分配值（在0-1之间，总和为1）

4、MatMul生成新的查询对象：将原查询对象V乘上注意力分配值得到新的查询对象V’，此时新查询对象就带上了注意力的信息

问题思考

注意力机制能够正常执行关键的点在于给模型提供爱好偏向。如果爱好偏向是人为外部提供的，那么对于每一个模型、每一种应用情况，我们都必须要提供不同的爱好偏向。所以，注意力机制这个模型的泛化性是很差的，这也导致这个模型并不完全智能

总之，

问题在于：注意力机制对外界信息依赖度过高

我们的设想：

给注意力机制模型一个信息（待查询对象），模型能够自己学习待查询对象哪里重要，然后分配注意力并给出带有注意力信息的全新查询对象

自-注意力机制（Self-Attention）

概述

自注意力机制最关键的点在于：K、Q、V来源于同一个X，这三者是同源的

现在外界只提供一个待查询对象X，我们需要从这个对象中提炼出板块分配K，爱好信息Q，以及实际查询对象V

提炼的方式：

1、分配三个参数 $w_Q,w_K,w_V$ 给Q、K、V

2、通过监督学习提供的大量数据，来学习 $w_Q,w_K,w_V$ 的值

3、实现通过内部数据学习得到三个信息

详细流程

一、Q、K、V的获取

假如，通过随机梯度等模型参数训练方法以及监督学习模型提供的参数，我们已经训练好了一个模型，有了模型的参数 $w_Q,w_K,w_V$

此时提供Thinking、Machine两个词，让模型学习单词内部的信息。首先，通过word2dev我们先将两个词变为向量的形式X1，X2。然后再分别乘上三个参数便可以得到对应的q、k、v

二、计算各单词注意力

关键点：

1、每一个单词都有：自己的被查询对象（v），关键判断（k），在本模型中对该单词的爱好偏向特征

2、爱好偏向特征指的是：对单词特征抽象化提取后的喜欢程度。也就是说Thinking的爱好偏向特征，在其他单词中也可能存在（高维度特征，不是具象化表明的特征）。所以q1*k2也要考虑，因为Machine单词也可能有和Thinking一样被爱好的特征

3、每一个单词最后得到的注意力得分值的含义是：该单词（内部特征）在全体数据中（句子）所应该分配的注意力值

4、一个单词将融入其他单词的信息，增加了语言处理中对上下文关联信息提取的能力