DeepSort详解
- 1、Sort回顾
- 2、DeepSort的状态向量
- 3、DeepSort的外观特征
- 4、DeepSort的track状态
- 5、DeepSort的代价矩阵以及门控矩阵
- 6、DeepSort的级联匹配
1、Sort回顾
查看这篇博客
2、DeepSort的状态向量
Sort中的卡尔曼滤波使用的目标的状态向量是一个7维的向量，如下图所示：
其中，u，v表示目标中心的水平和垂直像素的位置；s，r表示目标边界框的面积和纵横比。
DeepSort的状态量中加入了一个纵横比的变化率，如下图所示：
从理论上来讲，加入了一个纵横比的变化率确实能够提高目标跟踪的准确性，比较目标一直在移动会有遮挡，显示的检测框的纵横比肯定也不是固定的。这是DeepSort的运动特征表示。下面我们看DeepSort的外观特征表示。
3、DeepSort的外观特征
为了解决Sort跟踪算法中，对于目标遮挡或检测失效等问题带来的，id消失之后再出现时的id不断变化的问题，DeepSort加入了一个特征提取网络来进行对特征进行匹配，可以关联上长时间被遮挡但又出现的目标、。DeepSort使用了一个简单的卷积神经网络来提取检测框中的目标特征向量，这里的网络可以自己diy，也可以使用目前主流的现有的CNN，如ResNet18，ResNet50等。在跟踪的过程中，DeepSort会将目标在当前帧的特征向量进行提取，并保存在track对象的属性中。在后面的每一帧中，都会执行一次将当前帧的目标特征向量与gallery中的特征向量进行相似度的计算（比如余弦相似度）。这个相似度将会作为DeepSort匹配阶段的一个重要的判别依据。
4、DeepSort的track状态
DeepSort源码中的track类有三种状态，Tentative（暂定状态），Confirmed（确定状态），Deleted（删除态）。在开始检测时，检测的对象都会初始化一个track对象，此时的track为Tentative暂定状态，当这个track关联的检测对象连续三帧被检测到并且关联上这个track时，那么在第四帧就会将这个track的状态升级为Confirmed状态，如果track状态为Tentative并且当前帧失配了或者track的update次数已经超过了最大age，则将track的状态降级为Deleted状态。
5、DeepSort的代价矩阵以及门控矩阵
将当前帧的检测框与先前存在的track进行关联的方式可以依靠匈牙利匹配算法来实现。但是在这之前，我们需要解决代价矩阵的问题。Sort的代价矩阵是由当前帧的运动特征与前一帧的运动特征的卡尔曼预测值进行iou的比对来产生的，这样做会导致较大的局限性。因此，DeepSort寻找了两个适当的指标来结合运动特征和外观特征。
-
首先我们来看运动特征：作者采用了马氏距离来衡量卡尔曼预测态和当前测量值之间的差异。关于马氏距离的解释可以查看这篇博客。下图则是DeepSort中外观特征的马氏距离计算公式：
其中yi，si表示第i个track分布到测量空间的投影，dj表示第j个目标检测框，在代码中的体现：
我们计算出外观特征的距离之后，我们还需要一个阈值来判断是否是我们想要的匹配，其中四维空间的马氏阈值为9.4877，这在代码中也有体现：
有了阈值之后，我们就可以来卡满足匹配要求的外观特征和不满足匹配要求的外观特征了：
在计算出了feature的余弦相似度之后，我们可以使用这个外观特征的门控特性来卡，大于这个马氏阈值的，我们将feature的余弦相似度设置成一个很大的固定值，小于这个马氏阈值的，我们则保留本来的余弦相似度，代码中的体现：
-
外观特征：作者在每一个track中都创建了一个gallery来存储这个track在不同帧中的外观特征，并且每个外观特征的模长为1（特征层经过了归一化），论文中用Rk表示，Rk中最多存储100个外观特征。因此，当我们获取当前帧的所有检测框时就得到了所有当前帧的外观特征，我们拿这些外观特征与不同track对象中的Rk库进行余弦相似度的计算，并得到其中的最小值：
其中rj表示当前帧的第j个检测框，rk(i)表示第i个track的gallery特征库（余弦相似度值越大，说明两个目标之间越相似），因此这里的值取最小值表示最相似的。同样，设定一个阈值来卡余弦相似度：
在源码中，这里的阈值设置为0.2，即大于0.2的都置为一个固定值：
-
运动特征与外观特征的融合：运动特征与外观特征的作用是相辅相成的，试想一下，运动特征可以匹配上短期内的物体位移带来的目标位置变化，但是遮挡之后目标的位置中断导致无法匹配上，而外观特征可以搜寻过往的track的特征，来进行匹配。但是当画面中出现两个目标的外观特征十分相似而空间上的分离能让我们确定他们时两个物体时，这时使用外观特征则会导致将他们视为一个track的误判，这时就需要运动特征来提供判断依据，因此作者采用了加权的方式来综合两个代价矩阵，得到最终的代价矩阵：
最后，我们联合运动门控矩阵（马氏距离阈值得到）与外观门控矩阵（max_distance阈值得到），得到了最终的关联性门控矩阵：
然后结合最终的代价矩阵和门控矩阵来得到最终用于匈牙利匹配的矩阵并进行级联匹配。
6、DeepSort的级联匹配
对confirmed状态下的tracks和当前的检测框进行级联匹配，这里的级联指的是不同update次数下的tracks我们都需要与当前的所有检测框进行匹配。先遍历当前的所有tracks，并将其分成confirmed和unconfirmed的两种track，记录下他们的索引在对应列表中。然后进入matching_cascade方法中，从0开始遍历到cascade_depth，源码中设置为70，即我们遍历到最多在有70帧还未更新的track，遍历当前level下的所有tracks，挑出满足的tracks，然后进入min_cost_matching函数中与当前帧的检测框进行匹配，返回的是已经配对上的track索引和检测框索引，以及还剩下的未匹配的检测框索引；这个循环一直持续，当未匹配的检测框列表为空时，提前退出循环，算法流程如下图所示：
min_cost_matching函数中调用了gated_metric函数来进行代价矩阵的计算：
def gated_metric(tracks, dets, track_indices, detection_indices):
features = np.array([dets[i].feature for i in detection_indices])
targets = np.array([tracks[i].track_id for i in track_indices])
# 通过最近邻（余弦距离）计算出成本矩阵（代价矩阵）
cost_matrix = self.metric.distance(features, targets)
# 计算门控后的成本矩阵（代价矩阵）
cost_matrix = linear_assignment.gate_cost_matrix(
self.kf, cost_matrix, tracks, dets, track_indices,
detection_indices)
return cost_matrix
gated_metric函数中得到了外观特征代价矩阵，并且得到了运动特征的马氏距离门控矩阵，对代价矩阵进行了第一次的门控。
这里的distance_metric就是我们刚才提到的gated_metric在这里的调用，然后红框内的第二行就是使用最大余弦相似度进行第二次的门控，这样一来，关于卡尔曼状态的门控和外观特征的门控我们就都用上了。
最后说一下我对公式5的理解，我一开始以为的是作者想每次都把这两者给算出来然后按照一定的权重进行相加得到代价矩阵，结果在代码中找了很久并没有发现这一个操作。然后我才发现，也许这里的lambda不是1就是0，也就是说外观的代价矩阵还是外观的，在这一阶段我们利用外观代价矩阵进行匹配，在另一个阶段我们就会利用运动代价矩阵进行匹配。因此在级联匹配之后，还有一个利用iou的运动代价矩阵来对级联匹配中还没有匹配成功的目标进行二次匹配。也就是上文中我说的相辅相成的功能。 如有理解不对的地方，还请大家多多指出~~
