论文链接:
代码链接:
目的
探索SAM在few-shot setting的object counting的能力。
结论
它目前落后于最先进的few-shot object counting方法,特别是对于小而拥挤的物体。两个主要原因。首先,SAM倾向于使用单个掩码分割同一类别的拥挤对象。其次,SAM 使用缺乏语义类注释的掩码进行训练,这可能会阻碍其区分不同对象的能力。
如何将SAM用到few-shot object counting
不使用额外的zero-shot detector(grounding DINO)或者zero-shot classifier(CLIP),使用SAM的原始图像特征来区分不同的物体。这样做是为了节省计算资源。
- 首先,通过使用SAM的图像编码器(ViT-H)提取给定的密集图像特征图像。
- 我们利用给定的边界框作为提示来生成参考示例的分割掩码。然后将这些掩码与密集图像特征相乘,然后平均以生成参考对象的特征向量。
- 我们使用点网格(每边 32 个点)**作为提示来分割所有内容,输出掩码与密集图像特征相乘,然后平均以生成所有掩码的特征向量**。
- 我们计算了预测掩码的特征向量与参考示例之间的余弦相似性。如果余弦相似度超过预定阈值,我们将它视为目标对象。
实验数据