ICCV 2021

Abstract

• 一个度量学习方法，通过浏览语义引导的局部集合去优化内在深度表示。
• 一个新颖的特征融合模块能有效利用跨模态特异质特征。

Senantics-guided Triplet Loss

基本假设：

• 在场景语义分割图像中，目标内部相邻像素拥有同样的深度值，而跨目标边界上深度值变化很大。
  

方法

• 将语义图像分割成KxK大小的块，stride为1。在每一个块，中心点为anchor,与anchor有相同标签的点为positive 像素$P_i^{+}$，反之为Negative像素$P_i^{-}$。

• 如果$|P_i^{-}|$=0,则$P_i$位于目标内部,若$|P_i^{-}|$和$|P_i^{+}|$都大与0，意味着$P_i$跨域了边界。

• 对正负距离的定义：
  

• 目的在于减少anchor与正样本的距离增加与负样本的距离。

• 然而目标间的深度变化并非必然的远，因此当负距离超过正距离一定程度，设置一个超参：
  

• semantics-guided triplet los $L_{SGT}$是$L_{p_i}$的均值，但只包含满足条件:$|P_i^{-}|$和$|P_i^{+}|$都大于T。

(To be continued)