论文:https://arxiv.org/pdf/1703.03872.pdf
代码:GitHub - foamliu/Deep-Image-Matting-PyTorch: Deep Image Matting implementation in PyTorch
1、动机
在此之前的Matting方法要么是用传统方法,要么是传统+深度学习的组合,他们都难以达到理想效果。因此,本文提出了一个利用trimap来作为辅助输入,并完全使用深度学习方法来进行Matting的方法,这开创了trimap-based Deep Learning Matting的先河。
此外,考虑到此前数据集的匮乏,作者还提出了一个比较大的数据集,包含49300张训练图像和1000张测试图像。
2、方法
尽管是比较早的Matting方法,且是trimap-based的,但了解其内容仍对我们了解利用深度学习进行Matting的基础知识掌握有着积极作用。下面我们就简单了解一些该paper的主要思想。
本文主要提出了一个两阶段的Matting网络,第一阶段利用一个Encoder-Decoder获取alpha matte,第二阶段利用一个小型的残差网络对第一阶段得到的alpha matte进行细化。具体结构如图所示:
网络包含两个阶段:
- 第一阶段,原图+trimap一起送入Encoder-Decoder,得到raw alpha;
- 第二阶段,raw alpha和原图一起送入一个小型残差网络,得到细化的alpha;
两个阶段各有其损失函数:
第一阶段中包含两个损失,raw alpha与GT之间的预测loss,以及成分loss:
第二阶段只有一个损失,是细化后的alpha和GT之间的loss,同上面的公式(2)。
3、实验结果