1.introduction
输入可以是trimap,粗略二进制分割图,低质量alpha,
2.MG Matting
2.1 Progressive refinement network
网络以图像和粗略mask作为输入,并输出抠图 ,在解码过程中,RPN在每个特征级别产生一个边缘抠图输出,在不同尺度上已经证明边缘输出对于改善特征学习是有效的,线性融合边缘输出对于抠图不理想,因为靠近物体边界的图像区域需要较低级别特征来勾勒前景,而识别物体内部区域需要更高级别的指导。为了解决这个问题,在每个特征级别引入了逐渐细化模块(PRM),选择性的融合来自先前级别和当前级别的抠图输出。0代表黑,1代表白,结合上面这张图分析,PRM的第一行,当前级别l,使用以下函数从前一个级别的抠图输入alphal-1生成gl,如何生成呢?
上面这个式子,alphal-1是decoder预测的概率图,这个图上的值在0-1之间的值都设为1,其他的都是0,把边缘区域凸显出来了,从背景到前景是0-1的,1是物体,0是背景,0-1之间即为过渡区域, 第三行,将alphal-1上采样以匹配当前层级输出概率图alph'l的尺寸,从当前概率图中获取边缘区域,第二行,alphal-1和1-gl相乘,1-gl除了边缘区域均保存,也就是说,要当前区域的边缘区,上一层级的其他区域,然后组合得到gl,在实践中,在stride为8,4,1的三个特征层级上获得alpha通道边缘输出,并略微膨胀。
2.2 训练方案
l1,合成损失和laplacian损失。
3.Experiments on synthetic datasets
评估指标:sad,mse,grad,Conn
网络架构:resnet34-unet,aspp作为rpn主干,首个卷积被调整为接受4通道输入,包括RGB和外部引导,此外针对stride为4和8的特征上分别附上了一个alpha预测head。Composition-1k数据集,imagenet权重初始化,512尺寸,4个gpu训练,bs为40,adam,