前言:Hello大家好,我是小哥谈。RepViT是一种基于Transformer的视觉模型,它的全称是Representation Learning with Visual Tokens。与传统的卷积神经网络不同,RepViT使用了Transformer的自注意力机制来提取图像中的特征。具体来说,RepViT将图像分成若干个视觉标记(visual tokens),然后将这些标记作为Transformer的输入,通过多层Transformer编码器来提取特征。这种方法可以有效地减少卷积神经网络中的参数数量,同时也能够更好地处理图像中的长程依赖关系。🌈
前期回顾: