摘要：

这篇论文的摘要介绍了一种名为Transformer的新型神经网络架构，该架构完全基于自注意力机制，用于解决序列转换任务。Transformer在机器翻译任务中取得了领先的性能，并且相比基于循环或卷积神经网络的传统架构，Transformer的训练速度显著更快。此外，还提到了Transformer在处理其他输入输出模态（如图像、音频和视频）方面的潜在应用，并强调了其在减少顺序计算方面的优势。总的来说，摘要突出了Transformer作为一种基于注意力机制的模型架构，其在序列转换任务中的性能优势和潜在应用前景。

自注意力机制

网络架构

嵌入向量生成

这段代码的功能是从一个图像张量中提取固定大小的 patch，并将这些 patch 转换为特定的排列形式。下面逐步说明这段代码的操作：

嵌入向量与位置向量叠加

多头注意力机制