mrcnn (mask rcnn)
不足:框架没有解决实例分割评分
对mask head输出的K(类别)个mask,选择哪个mask作为最终的输出,取决于分类支路置信度最高的类别。也就是用分类置信度来衡量mask质量,这会导致下图的现象:
左侧四幅图像显示出良好的检测结果,具有高分类分数但掩模质量低(即IOU低),这会导致AP下降
ms rcnn (mask scoring rcnn)
为解决上述不足的思路:
让分类置信度与mask质量之间能有高的相关性
解决方案:
- 将IOU ( 文中称MaskIoU ) 与分类分数相乘,这样得到的分数对语义类别和实例掩模均很敏感
- 在Mask R-CNN网络中加入了一个MaskIoU head,这个head将Mask Head的输出和感兴趣区域的特征作为输入,并运用一个简单的回归损失进行训练。