论文链接：https://arxiv.org/abs/2305.05803
论文代码：https://github.com/cskyl/sam_wsss

目的

探索如何结合SAM在image-level supervision下改善WSSS的性能

结论

可以在 seed maks，pseudo label，prediction三处结合SAM来改善WSSS performance。而本文主要展示在pseudo label处结合SAM得到更优的pseudo label。SAM的一些segment会包含多个object，这些segments会影响改进的性能，需要进一步解决。

方法

基于现有的SOTA的方案来得到pseudo label，而SAM则用seg anythin mode, 根据算法1来合并segment,当中两个阈值文中分别设置为0.5、0.85。

实验

伪标签的质量大幅提升

recall与part activation相关，recall的提升，源于SAM对object分割比较完整，有效改进CAM只激活discriminative region的情况；
precision与false activation相关，precision的提升，源于SAM对object分割的边界比较精细，有效改进CAM对背景误激活的情况

结合SAM，可以省略掉WSSS pipeline中 额外训练网络去refine seed mask的步骤

存在问题

看(e)到(g),发现(g)会包含多个object，而这种segment在算法1下得到enhanced pseudo label表现变差。本文没有针对这种情况设计方法去过滤这种mask。但提出了一种可能解：就是去避免生成这种segment，通过调整SAM的参数’box-nms-thresh’

---

CAM本身的漏检和误检，在本文的方法框架下，结合SAM也无济于事