定义与原理

跳跃注意力模块（Skip Attention Module, SAM）是一种创新的深度学习技术，旨在解决传统注意力机制在处理长序列数据时面临的挑战。它通过引入多跳机制，实现了对输入数据更全面、更细致的特征表示，从而提高了模型的性能。

定义

跳跃注意力模块是一种将多跳上下文信息融入到注意力计算的每一层的方法。它通过分散注意力分数到整个网络，增加了每一层的感受野，从而能够捕捉输入中的复杂语义关系。

原理

SAM的核心原理是 多跳注意力计算 。它通过多次关注输入中的不同部分，逐步提取更加细致和全面的语义信息。这种机制类似于人类阅读复杂文本时的思维过程：我们通常需要多次回顾之前的内容，不断更新自己的理解。

在SAM中，这种多跳注意力计算通过 注意力扩散过程 来实现。具体而言，它包括两个主要阶段：

1. 边缘注意力计算 ：在每一层，为每个三元组（节点，关系，节点）计算矢量消息。这些消息随后被聚合成一条消息，用于更新下一层的节点表示。

2. 多跳邻居注意力扩散 &#