1，概念

是一种基于自注意力机制（Self-Attention Mechanism）的深度学习架构，在自然语言处理、计算机视觉等多个领域都有着极为重要的应用。

2，基本结构

1）编码器（Encoder）

通常由多个相同的编码器层堆叠而成。
每个编码器层包含了多头自注意力机制、前馈神经网络以及一些规范化和残差连接等组件。

1>传统的序列处理模型

按照固定的顺序依次处理每个元素。

2>自注意力机制（Self-Attention Mechanism）

计算输入序列中每个位置与其他所有位置之间的关联程度，通过给不同位置分配不同的权重，让模型聚焦于输入序列中不同位置的相关信息。
它可以捕捉长距离依赖关系，即能够关联序列中相隔较远的元素之间的联系。
例如，在处理一个句子的文本序列时，自注意力机制可以衡量句子中每个单词与其他单词的关联，确定某个单词在语义理解上更应该关注哪些其他单词，从而更好地捕捉句子的语义和语法结构。
自注意力机制是深度学习领域，尤其是自然语言处理（NLP）等领域中一种非常重要的技