【深度学习遥感分割|论文解读7】UNetFormer：一种类UNet的Transformer，用于高效的遥感城市场景图像语义分割

【深度学习遥感分割|论文解读7】UNetFormer：一种类UNet的Transformer，用于高效的遥感城市场景图像语义分割

---

---

欢迎宝子们点赞、关注、收藏！欢迎宝子们批评指正！
祝所有的硕博生都能遇到好的导师！好的审稿人！好的同门！顺利毕业！

大多数高校硕博生毕业要求需要参加学术会议，发表EI或者SCI检索的学术论文会议论文：
可访问艾思科蓝官网，浏览即将召开的学术会议列表。会议入口：https://ais.cn/u/mmmiUz

论文地址：https://www.sciencedirect.com/science/article/abs/pii/S0924271622001654

5. Discussion

5.1. Global-local context

**高效全局-局部注意力模块的双分支结构具有显著优势，它能够在保留细粒度局部信息的同时提取充足的全局上下文信息。**为了展示这一点，我们在图12中可视化了该模块的特征图。可以看出，局部分支提取的局部上下文保留了丰富的局部特征，但空间一致性较差；而全局分支捕获的全局上下文则具有更高的空间一致性，但缺乏局部细节。此外，全局分支在局部窗口内执行自注意力操作会导致窗口上下文出现锯齿状边缘。为解决此问题，我们引入了十字形窗口上下文交互模块，以增强窗口间的上下文聚合，从而消除锯齿现象。最终提取的具备局部性和空间一致性的全局-局部上下文，明显优于单一的全局或局部上下文。

5.2. Model efficiency

提出的UNetFormer采用了基于CNN的编码器与基于Transformer的解码器的混合结构，以实现实时性能。该混合设计在与其他编码器-解码器组合的对比中表现出优越性（表5）。此外，高效全局-局部注意力模块通过十字形窗口上下文交互模块代替平移窗口注意力，用于捕获跨窗口关系，从而进一步提高了效率（表2）。精度与效率的卓越平衡，使得UNetFormer在城市环境中用于实时无人机图像的环境感知和监测方面具有潜力。

5.3. Transformer-based encoder

如表4和表5所示，Transformer具有强大的编码能力，但极大地降低了处理速度。尽管基于Transformer的编码器不适合实时应用，但在追求高精度上具有优势。为此，我们构建了一个全Transformer网络（FT-UNetFormer），以进一步探索所提出的基于Transformer的解码器的潜力。为与同级别的先进模型进行对比，我们将轻量级ResNet18编码器替换为Swin Transformer（Swin-Base）（Liu et al., 2021）。在Vaihingen测试集上，FT-UNetFormer取得了91.3%的F1分数和84.1%的mIoU，达到了当前最先进的结果，F1分数至少比其他网络高出0.3%。在Potsdam数据集上，我们的方法也取得了具有竞争力的结果（表12）。这些结果进一步验证了所提出的基于Transformer解码器的有效性及其在全Transformer结构中的潜力。

6. Conclusion

本文提出了一种新颖的基于Transformer的解码器，构建了一个类似于UNet的Transformer网络（UNetFormer），用于高效的遥感城市场景图像语义分割。鉴于全局和局部上下文对城市场景分割同样重要，我们设计了一个全局-局部Transformer块（GLTB）来构建解码器，并开发了特征精细化头（FRH）来优化提取的全局-局部上下文。为实现高效分割，所提出的基于Transformer的解码器与轻量级CNN编码器相结合。在ISPRS Vaihingen和Potsdam数据集、UAVid数据集以及LoveDA数据集上进行的一系列基准实验和消融研究，验证了该方法在实时城市应用中的有效性和高效性。此外，所提出的基于Transformer的解码器在全Transformer结构中也表现良好，并在Vaihingen数据集上取得了当前最优表现。未来研究中，我们将继续探索Transformer在地理空间视觉任务中的潜力和可行性。

欢迎宝子们点赞、关注、收藏！欢迎宝子们批评指正！
祝所有的硕博生都能遇到好的导师！好的审稿人！好的同门！顺利毕业！

大多数高校硕博生毕业要求需要参加学术会议，发表EI或者SCI检索的学术论文会议论文：
可访问艾思科蓝官网，浏览即将召开的学术会议列表。会议入口：https://ais.cn/u/mmmiUz