随着transform 的出现,现在语义分割网路结构越来越复杂,轻量化网路也较少了,有些轻量化也只是名义上的轻量化。今天我看到一篇很好的论文,上海交大发表在 MICCAI 2023
的最新研究工作,一个称为Efficient Group Enhanced UNet, EGE-UNet
的模型,基于 U-Net
进行魔改,用于解决医学图像(尤其是皮肤病变)分割中面临的问题。其实一开始看到这个网络结构,我感觉有点恍惚,这都2023年了,还有人 这样魔改U-Net, 但是当我看我以后,发现了一些新的思路与方法。先看一下这篇网络的整体结构图:
整体看起来,网络有点复杂。 但是EGE-UNet
的设计沿用了 U 形架构,包括对称的编码器-解码器部分。编码器由六个 stage
组成,各阶段的通道数量为{8, 16, 24, 32, 48, 64}。前三个阶段采用了普通卷积,而后三个阶段使用提出的 GHPA 来从多视角提取表征信息。相较于 UNet 中简单的 Skip connection
连接,EGE-UNet 在编码器和解码器之间的每个阶段都集成了 GAB
。此外,模型还利用深监督生成不同规模的掩膜预测,这些预测用于损失函数并作为 GAB 的输入之一。通过这些高级模块的集成,EGE-UNet 在比先前的方法提升了分割性能的同时,显著减少了参数和计算负载。
具体网络结构与细节,大家可以具体看看论文,我看完这篇文章的感觉,不在于模型设计的两个模块的精巧,而是看到原来还可以这样多层预测进行分割呀。后续我也会进行相关的实验,这个给我了一个新的思路与方法。