计算机视觉算法分享。问题或建议，请文章私信或者文章末尾扫码加微信留言。

1 论文题目

• 带有信道坐标注意特征融合模块的双光谱语义分割网络

2 论文摘要

• 双光谱（RGB-hehtir）语义分割是在恶劣成像环境（如黑暗、雨、雾）下自动驾驶视觉感知的基本任务。近年来，编解码器双谱语义分割网络取得了令人满意的效果。然而，现有的网络很少关注每个特征融合阶段的红外和RGB特征的特征融合策略，这限制了语义分割的性能。本研究提出了一种新的基于编解码器的双光谱语义分割网络。设计了通道协调注意特征融合模块（CCAFFMs），并将其插入到每个特征融合阶段，以获得红外特征和RGB特征之间的通道和空间相关性。因此，融合的特征图将以这种方式进行细化。设计了一个具有跳过连接的向下连接解码器来恢复特征图的分辨率，并确保它包含更多的对象细节和更清晰的边界轮廓。此外，我们还手动标注和扩充了道路场景数据集，以构建道路场景设置数据集。这样，双光谱语义分割就可以扩展到不同的自动驾驶环境中。在MF和RoadScene-seg数据集上的大量实验结果证明了所提出的网络优于最先进的方法。

3 论文创新点

• 设计CCAFFM并将其插入RGB编码器的每个特征融合阶段，以获得具有RGB与热特征之间的通道和空间相关性的特征融合图。
• 采用下上连接跳跃连接解码器，利用多层语义特征，获得具有详细的目标信息和更清晰的边界轮廓的分割结果。
• 对道路场景数据集[21]进行了手动注释和扩充，以构建道路场景设置数据集，该数据集包含了更多多样化的自动驾驶场景。
• 在MF数据集[15]和道路场景-seg数据集上进行了大量的定性和定量实验，验证了所提网络的有效性，并与最先进的网络进行了比较。

4 论文架构

5 不足之处

• 无

6 未来展望

• 在未来的工作中，我们将研究一个基于变压器的主干模块
• 递归特征融合模块
• 更复杂的解码器，以进一步提高双谱语义分割的性能。

7 论文地址

• https://www.sciencedirect.com/science/article/abs/pii/S0925231221017331

8 论文代码

• 无

计算机视觉最新进展-Sora

• 尽管Sora目前尚未向公众开放，但据悉，它可能首先向OpenAI的付费用户提供，如ChatGPT Plus用户（升级 ChatGPT Plus 的教程）。Sora的推出将极大地简化视频创作流程，并提供前所未有的高效性和便利性。如果您有兴趣了解如何使用Sora，可关注官方网站获取最新信息。

• 具体Sora介绍和ChatGPT4 升级教程

• 如有其他疑问可以加以下微信二维码联系
  

• 更多计算机视觉最新最先进算法请扫描关注以下公众号