Efficient Multi-Head Self-Attention
- Efficient注意力介绍
- 代码
-
- common代码
- yaml文件
- 参数结果
论文： ResT: An Efficient Transformer for Visual
Recognition
Efficient注意力介绍
本文提出了一个高效的多尺度视觉变换器，称为ResT，它可以作为图像识别的通用支柱。可以作为图像识别的通用骨干。不同于
现有的变换器方法，采用标准的变换器模块来处理具有固定分辨率的原始图像。
我们的ResT有几个优点：
- 构建了一个内存高效的多头自关注，它通过简单的深度卷积压缩了内存。
- 构建了一个内存高效的多头自我注意，它通过一个简单的深度卷积来压缩内存，并将交互作用投射到整个
注意力-头的维度，同时保持多头的多样性能力；(2)
位置编码被构建为空间注意，它更加灵活，可以处理任意的输入图像
