跨镜头目标融合__追踪之目标重识别研究（跨镜头目标追踪）

文章目录

- - 标题：
  - - - 跨镜头目标融合；目标重识别；跨镜头目标追踪；
  - 1 目的：
  - 2 实现方法/策略：
  - - 2.1 目标类型+位置匹配（或考虑结合目标轨迹）
    - 2.2 目标重识别
    - 2.3 目标类型+位置匹配(轨迹)+目标重识别
  - 3 目标重识别方案
  - - 3.1 facenetReID
    - - 3.1.1 本地源码位置：
      - 3.1.2 训练方法：
      - 3.1.3 测试方法：
      - 3.1.4 转换为TRT模型
      - 3.1.5 部署：前处理
      - 3.1.6 部署：后处理
    - 3.2 deep-person-reid-master
    - - 3.2.1 源码
      - 3.2.2 数据准备
      - 3.2.3 训练方法
      - 3.2.4 测试方法
      - 3.2.5 转换为TRT模型
      - 3.2.6 部署：前处理
      - 3.2.7 部署：后处理
    - 3.3 TransReID
    - 3.4 相关数据集
    - 3.5 其它 (Deepstream)
    - - 3.5.1 官方模型
      - ResNet
      - 3.5.2 自定义模型
      - 3.5.2 自定义模型

标题：

跨镜头目标融合；目标重识别；跨镜头目标追踪；

追踪之目标重识别研究（SORT_ReID）

跨镜头目标追踪（或可理解为跨镜头目标融合）

采用“匈牙利”最优匹配方法，来进行多源同一目标的去重。

1 目的：

为实现不同摄像机镜头下拍到的多个目标中，同一目标对应的ID相同。

2 实现方法/策略：

2.1 目标类型+位置匹配（或考虑结合目标轨迹）

依据同一位置只可能存在一个目标。（缺点是由于目标位置不一定准确带来的目标错误融合）。

此处难点主要有：① 不同相机源拍摄到同一目标的角度不同，根据不同源对应的经纬度标定计算目标位置存在差异。② 多辆车相邻比较近的时候，由于上述①导致的错位匹配。③ 可以考虑匈牙利最优匹配策略，理论上应该可以避免错误匹配。

2.2 目标重识别

2.3 目标类型+位置匹配(轨迹)+目标重识别

考虑目标经纬度位置的时候，① 考虑目标连续多帧的经纬度轨迹。②考虑目标下边沿角点对应的经纬度值和目标中心点对应的经纬度值。

3 目标重识别方案

3.1 facenetReID

[ref: ] https://github.com/bubbliiiing/facenet-pytorch/tree/bilibili

3.1.1 本地源码位置：

D:\____SORT\_LL_facenet_pytorch_ReID
进入目录 _LL_facenet_pytorch_ReID 中
百度网盘链接：https://pan.baidu.com/s/1K_eVgT8yHrYhF48rQiigGA

3.1.2 训练方法：

准备训练数据集，训练数据集格式如下：

|-datasets
    |-car0001
        |-0001.jpg
        |-0002.jpg
    |-car0002
        |-0005.jpg
        |-0006.jpg
    |-...

准备验证数据集，验证数据集存放在目录文件夹 lfw 中。
在训练前利用txt_annotation.py文件生成对应的cls_train.txt。
利用train.py训练facenet模型，训练前，根据自己的需要选择backbone，model_path和backbone一定要对应。
运行train.py即可开始训练。
评估模型

① 将评估用的数据集放在根目录文件夹 lfw 中。

② 在eval_LFW.py设置使用的主干特征提取网络和网络权值。

③ 运行eval_LFW.py来进行模型准确率评估。

3.1.3 测试方法：

使用自己训练的权重测试，自己训练的权重存放在./model_path路径下。

先修改facenet.py中的内容，包括 model_path 和 backbone 使其对应训练好的文件。
运行predict.py，根据提示并输入示例如下：

Input image_1 filename: img\1_001.jpg
Input image_2 filename: img\1_002.jpg

然后会输出两张图片的相似度距离和效果对比图。源自facenet.py中如下源码:

#  图片传入网络进行预测
output1 = self.net(photo_1).cpu().numpy()
output2 = self.net(photo_2).cpu().numpy()
#   计算二者之间的距离
l1 = np.linalg.norm(output1 - output2, axis=1)
        
plt.subplot(1, 2, 1)
plt.imshow(np.array(image_1))

plt.subplot(1, 2, 2)
plt.imshow(np.array(image_2))
plt.text(-12, -12, 'Distance:%.3f' % l1, ha='center', va= 'bottom',fontsize=11)
plt.show()

3.1.4 转换为TRT模型

1 训练后生成的模型为 .pth 的文件。

2 pth 转为 onnx 模型。

3 onnx 转为 .trt 或 .engine 文件。

3.1.5 部署：前处理

3.1.6 部署：后处理

3.2 deep-person-reid-master

3.2.1 源码

如下内容来自源码：README.rst文件

Code: https://github.com/KaiyangZhou/deep-person-reid.

Documentation: https://kaiyangzhou.github.io/deep-person-reid/.

How-to instructions: https://kaiyangzhou.github.io/deep-person-reid/user_guide.

Model zoo: https://kaiyangzhou.github.io/deep-person-reid/MODEL_ZOO.

Tech report: https://arxiv.org/abs/1910.10093.

3.2.2 数据准备

准备训练数据集，数据仿照VeRI-Wild的数据格式，训练数据集格式如下：

|-VeRI-Wild
    |-iamges
        |-0000_c1_0000.jpg
        |-0000_c1_0002.jpg
        |-0000_c2_0003.jpg
        |-0000_c2_0004.jpg
        |-0001_c1_0005.jpg
        |-0001_c1_0006.jpg
        |-... ...
    |-train_test_split
        |-test_10000_id_query.txt
        |-test_10000_id.txt  
        |-train_list.txt

上述数据集中，图片命名规则为：【类别ID _ 相机ID _ 图片ID.jpg】，这里的类别ID可以认为是同一时刻的同一辆车作为一个类别（作为同一时刻不同相机的目标检测融合来说）【或者将不同时刻同一辆车认为是一个类别（作为同一目标的重识别来讲）】。

准备好数据集，可以看出，上述数据集树包含【images】文件夹存放所有图片，包含【train_test_split】文件夹，其中包含的txt文件为对【images】文件夹中各个文件的划分。划分依据源码如下：

def getimgpath2txt():
    import os
    path = '../VeRI-Wild/images/'
    pathtxt = '../VeRI-Wild/train_test_split/train_list.txt'
    files = os.listdir(path)
    vcls, vclsid = {}, 0  # videoCLS
    ccls, cclsid = {'211': 1, '216': 2, '203': 3, '207': 4}, 1  # CameraCLS
    txtPaths = []
    for fp in files:
        # if dir
        if os.path.isdir(os.path.join(path, fp)):
            pass
        # if file
        else:
            ffname = os.path.join(path, fp)
            # print(ffname, 'is a file')
            if fp[:9] not in vcls:  # fp[:9] is cls 
                vcls[fp[:9]] = vclsid
                vclsid += 1
            if fp[11:14] not in ccls:  # fp[11:14] is camera ip,for example 211, 216...
                ccls[fp[11:14]] = cclsid
                cclsid += 1
                if fp[11:14] == '03_':
                    print(fp)

            # txtPath bao han [img path, img cls ID, camera cls ID]zu cheng de string
            txtPath = ffname + ' ' + str(vcls[fp[:9]]) + ' '+ str(ccls[fp[11:14]]) + '\n'
            txtPaths.append(txtPath)
    print(ccls)
    print(vcls)
        # break

    # xie wen jian
    txtPaths[-1] = txtPaths[-1].replace('\n', '')
    with open(pathtxt, 'w', encoding='utf-8') as wf:
        wf.writelines(txtPaths)

if __name__ == '__main__':
    getimgpath2txt()

上述的图片也可以放到三个个文件夹【train】【test】【querry】区分。只要在【train_test_split】文件夹中的txt文件内容对应上述3个文件夹的文件即可

3.2.3 训练方法

train.sh

# train.sh
# MyTrain
python scripts/main.py --config-file configs/im_osnet_x1_0_softmax_256x128_amsgrad_cosine.yaml  -s VeRI-Wild -t VeRI-Wild --transforms random_flip random_erase  --root ../MyTrain/   data.save_dir log/osnet_x1_0_VeRI-Wild_softmax_cosinelr

【问题1】

使用’‘sh train.sh’'运行程序的时候，由于保存的txt文件的图片路径是绝对路径，所以在源码遍历图片后，提示train的数据为[]。故需要修改源码读取train_list.txt文件后关于数据的部分。这个位置根据源码修改即可

sh train.sh

    上述修改源码： File "/home/user/anaconda3/envs/torchreid/lib/python3.7/site-packages/torchreid-1.4.0-py3.7-linux-x86_64.egg/torchreid/data/datasets/image/veriwild.py"中的内容。
    增加下图中框中的两行即可(上述问题是由于源码中get数据集的路径是相对路径造成的)

在这里插入图片描述

【训练记录】

由于我本地的数据比较少，所以没有【querry】的图片，而是将“test_10000_id_query.txt”和“test_10000_id.txt ”的内容是一样的。如下图可看出
在这里插入图片描述

程序正常跑起来了，会打印一些配置相关的信息。程序结束会通过使用【querry】集测试：
在这里插入图片描述

3.2.4 测试方法

3.2.5 转换为TRT模型

1 训练后生成的模型为 .pth 的文件。

2 pth 转为 onnx 模型。

3 onnx 转为 .trt 或 .engine 文件。

3.2.6 部署：前处理

3.2.7 部署：后处理

3.3 TransReID

[ref: ] https://github.com/damo-cv/TransReID [ICCV-2021]

3.4 相关数据集

如下两个数据集DOWNLOAD中提示，都是需要发邮件到某网址方可申请下载该数据集，不是很方便。

1 VeRidataset：https://github.com/JDAI-CV/VeRidataset

2 PKU VehicleID：https://www.pkuml.org/resources/pku-vehicleid.html)

3.5 其它 (Deepstream)

NvDeepSORT Tracker Re-ID模型

3.5.1 官方模型

Deepstream中NvDeepSORT Tracker模块里官方的Re-ID模型是在MARS数据集上训练的10层ResNet网络。

ref: https://zhuanlan.zhihu.com/p/518545684

ResNet

ref: https://blog.csdn.net/u013181595/article/details/80990930

ResNet模型简介：

ResNet源码涉及：

ResNet所得：

3.5.2 自定义模型

也可以使用自定义的Re-ID模型。只要它是UFF格式，并且每个对象的网络输出是L2范数的单个向量。然后基于余弦度量计算Re-ID相似性得分，并以与官方模型相同的方式用于执行数据关联。步骤如下：

1. 使用TensorFlow或PyTorch等深度学习框架训练Re-ID网络。
2. 确保TensorRT支持网络层，并将模型转换为UFF格式。仍然支持混合精度推理，并且INT8模式需要校准缓存。
3. 根据自定义模型的属性，在跟踪器配置文件中指定以下参数。然后使用新的Re-ID模型运行DeepStream SDK。

esNet所得：

3.5.2 自定义模型

1. 使用TensorFlow或PyTorch等深度学习框架训练Re-ID网络。
2. 确保TensorRT支持网络层，并将模型转换为UFF格式。仍然支持混合精度推理，并且INT8模式需要校准缓存。
3. 根据自定义模型的属性，在跟踪器配置文件中指定以下参数。然后使用新的Re-ID模型运行DeepStream SDK。