特征上采样是现代卷积神经网络架构中的关键操作,例如特征金字塔。其设计对于密集预测任务,如目标检测和语义/实例分割至关重要。在本研究中,我们提出了一种称为内容感知特征重组(CARAFE)的通用、轻量级且高效的操作符,以实现这一目标。CARAFE具有以下几个优点:(1)大的视野。与之前的方法(例如双线性插值)只利用亚像素邻域不同,CARAFE可以在大的感受野内聚合上下文信息。(2)内容感知处理。CARAFE通过生成实时自适应的卷积核,实现了实例特定的内容感知处理,而不是对所有样本使用固定的卷积核(例如反卷积)。(3)轻量且计算速度快。CARAFE引入了很少的计算开销,并且可以轻松地集成到现代网络架构中。我们在目标检测、实例/语义分割和修复等标准基准上进行了全面评估。CARAFE在所有任务中都显示出一致且显著的性能提升(分别为1.2% AP、1.3% AP、1.8% mIoU和1.1dB),计算开销几乎可以忽略不计。它具有作为未来研究的强大构建块的潜力。
论文地址:https://arxiv.org/abs/1905.02188
代码地址:https: //github.com/open-mmlab/mmdetection