CVPR2022 多目标跟踪(MOT)汇总-补充篇

news2024/11/28 17:44:19

为该文章的后续补充https://blog.csdn.net/qq_34919792/article/details/124343166

七、《Multi-Object Tracking Meets Moving UAV》

作者: Shuai Liu†1, Xin Li†2, Huchuan Lu1,2, You He∗3
1Dalian University of Technology, 2Peng Cheng Laboratory, 3Naval Aeronautical University1Dalian, 2Shenzhen, 3Yantai, China

论文链接:https://openaccess.thecvf.com/content/CVPR2022/papers/Liu_Multi-Object_Tracking_Meets_Moving_UAV_CVPR_2022_paper.pdf

1、摘要

无人机(UAV)视频中的多目标跟踪是一项重要的视觉任务,可应用于广泛的应用。然而,传统的多物体跟踪器由于移动摄像机和三维方向的变化,不能很好地应用于无人机视频。在本文中,我们提出了一种专门用于无人机视图中的多目标跟踪的UAVMOT网络。UAVMOT引入了一个ID特性更新模块,以增强对象的特性关联。为了更好地处理无人机视图下的复杂运动,我们开发了一个自适应运动滤波器模块。此外,利用梯度平衡焦损失来解决不平衡类别和小目标检测问题。在VisDrone2019和UAVDT数据集上的实验结果表明,所提出的UAVMOT比现有的无人机视频跟踪方法取得了相当大的改进。

2、方法

从检测和快速运动目标匹配的角度来优化UAV的MOT。
在这里插入图片描述
这个方法是基于FairMOT来改的,主要改了两个地方。

1)增加了一个ID Feature Update,这个模块用了目标间的相互关系进行设计,通过相似性目标的增强和不相似目标的抑制来做一个ID embedding feature的增强。设计如下图:
在这里插入图片描述
2)Local Relation Filter简单说就是通过无人机和物体的相互关系,把无人机的一些变化从外参补充给到物体位置。


八、《Towards Discriminative Representation: Multi-view Trajectory Contrastive Learning for Online Multi-object Tracking》

作者:En Yu1*, Zhuoling Li2∗
, Shoudong Han1†
1Huazhong Univerisity of Science and Technology 2Tsinghua University

论文链接:https://openaccess.thecvf.com/content/CVPR2022/papers/Yu_Towards_Discriminative_Representation_Multi-View_Trajectory_Contrastive_Learning_for_Online_Multi-Object_CVPR_2022_paper.pdf

1、摘要

判别表征是多目标跟踪中关联步骤的关键。最近的工作主要利用单个或相邻帧的特征来构建度量损失,并授权网络来提取目标的表示。虽然这一策略是有效的,但它不能充分利用整个轨迹中所包含的信息。为此,我们提出了一种策略,即多视图轨迹对比学习,其中每个轨迹都被表示为一个中心向量。通过在一个动态更新的存储库中保持所有的向量,设计了一个轨迹级对比损失来探索整个轨迹中的帧间信息。此外,在该策略中,每个目标被表示为多个自适应选择的关键点,而不是一个预定义的锚点或中心。这种设计允许网络从同一目标的多个视图中生成更丰富的表示,这可以更好地描述被遮挡的对象。此外,在推理阶段,提出了相似引导特征融合策略,进一步提高轨迹表示的质量。

2、方法

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
该工作主要做了两件事情。
1、认为JDE的方式用中心点无法很好的表征目标,所以他提出了一个offset网络,通过学习偏移量来找到更适合提取embedding的位置。并将这些向量融合成一个向量(类似求均值)
2、更新相似的。只有和之前模板中embedding相似的embedding才可以被更新到模板中,这个做法可以减少错误更新。但是如果目标不像的话或者模型性能不行的话,较容易造成丢目标。


九、《Whose Track Is It Anyway? Improving Robustness to Tracking Errors with Affinity-based Trajectory Prediction》

作者:Xinshuo Weng1,3, Boris Ivanovic3, Kris Kitani1, Marco Pavone2,3
Robotics Institute, Carnegie Mellon University
Department of Aeronautics and Astronautics, Stanford University
NVIDIA Research

论文链接:https://www.xinshuoweng.com/papers/Affinipred/camera_ready.pdf

1、摘要

多目标轨迹预测对于自动驾驶系统的规划和决策至关重要。然而,大多数预测模型都是与它们的上游感知(检测和跟踪)模块分开开发的,假设过去轨迹的GT作为输入。因此,当使用真实世界的噪声跟踪结果作为输入时,它们的性能显著下降。这通常是由从跟踪到预测的误差传播引起的,如有噪声的轨迹、轨迹断裂和切目标。为了减轻这种错误的传播,我们提出了一种新的预测范式,它使用检测及其跨帧的匹配矩阵作为输入,消除了在跟踪过程中容易出错的数据关联的需要。由于匹配矩阵包含关于跨帧检测的相似性和身份的“软”信息,直接从匹配矩阵进行预测比从数据关联生成的轨迹进行预测严格保留更多的信息。

2、方法

在这里插入图片描述
在这里插入图片描述
该文提出了一个基于匹配矩阵作为输入的Transformer框架,它消除了需要输入过去的轨迹和容易出错的数据关联步骤,并通过多帧detection的信息来获得更稳定的匹配效果。
该框架将匹配矩阵(iou或者embedding计算获得),原图和检测结果作为网络输入,输出是多个目标的轨迹预测。
1)对于检测结果,作者用了一个past embedding层和prediction embedding层(全连接层)作编码,将过去帧的所有检测结果编码为可以送入transformer的embedding表示。其中,提到可以选择的用一个地图(paper为自动驾驶领域工作,应该指的是BEV的地图)来辅助进行编码,即将地图编码的embedding信息和检测信息concat在一起之后,送入网络中获得每个历史检测的embedding。
考虑到embedding信息会失去时间性质,作者又把每一个detection对应的时间戳添加到embedding之中。
2)对于相邻帧的匹配矩阵,文中将两帧之间的单个匹配矩阵转换为来自所有帧的所有检测之间的一个联合匹配矩阵(如图中affinity construction)
在这里插入图片描述
3)输入获得之后,接下来就是如何处理了,对于已经编码好的信息了。对于embedding信息,transformer的很好就处理了。而匹配矩阵则是以一种注意力机制的方式,被融合到detection的信息之中。
4)在训练的过程中,作者引入了另外一个网络用于编码GT的embedding信息,用于中间监督(KL Loss)。此外用GT框来监督预测结果,也把预测的结果作为输入来参与后续轨迹的预测(这有利于网络的自适应,能减少一部分预测错误对后续预测带来的影响)。


十、《Adiabatic Quantum Computing for Multi Object Tracking》

作者:Jan-Nico Zaech1 Alexander Liniger1 Martin Danelljan1 Dengxin Dai1,2 Luc Van Gool1,3
Computer Vision Laboratory, ETH Zurich, Switzerland,
MPI for Informatics, Saarbrucken, Germany, KU Leuven, Belgium

论文链接:https://arxiv.org/pdf/2202.08837.pdf

1、摘要

多对象跟踪(MOT)通常出现在逐检测跟踪范式中,其中对象检测是通过时间关联起来的。关联步骤自然会导致离散优化问题。由于这些优化问题通常是np困难的,它们只能在当前硬件上的小实例中精确地解决。绝热量子计算(AQC)为此提供了一个解决方案,因为它有潜力在不久的将来为一系列np硬优化问题提供相当大的加速。然而,目前的MOT公式由于其尺度特性,不适合用于量子计算。因此,在这项工作中,我们提出了第一个设计用AQC来解决的MOT公式。我们采用了一个Ising模型来表示在AQC上实现的量子力学系统。我们证明,我们的方法与最先进的基于优化的方法相比是有竞争力的,即使在使用现成的整数编程求解器。最后,我们证明了我们的MOT问题已经可以在当前一代的真实量子计算机上解决的小例子,并分析了测量解的性质。

该工作不是做算法性能的优化的,而是做一种以量子力学来构建一种新的计算方式来解决匹配问题。


十一、《Time3D: End-to-End Joint Monocular 3D Object Detection and Tracking for Autonomous Driving》

作者:Peixuan Li
SAIC PP-CEM

论文链接:https://openaccess.thecvf.com/content/CVPR2022/papers/Li_Time3D_End-to-End_Joint_Monocular_3D_Object_Detection_and_Tracking_for_CVPR_2022_paper.pdf

1、摘要

而单独利用单目三维目标检测和2D多目标跟踪可以直接应用于序列图像逐帧的方式,独立跟踪器切断不确定性的传输从3D探测器跟踪而不能通过跟踪误差差异回到3D探测器。在这项工作中,我们提出以端到端方式从单目视频中联合训练三维检测和三维跟踪。关键组件是一个新的时空信息流模块,它聚合了几何和外观特征,以预测当前和过去帧中所有对象的鲁棒相似性得分。具体来说,我们利用了变压器的注意机制,即自注意聚集在特定框架内的空间信息,而交叉注意利用了序列框架的时间域内所有对象的关系和亲和关系。然后监督亲和度,以估计轨迹,并指导相应的三维物体之间的信息流动。此外,我们提出了一个时间一致性损失,明确地涉及到三维目标运动建模到学习中,使三维轨迹在世界坐标系中平滑。

2、方法

在这里插入图片描述
Time3D的架构细节。首先,将当前和以前的帧图像输入到Mono3D,以估计具有类别、2D Box、3D框和Re-ID特征的Top K目标。然后,将当前和之前的线索输入embedding ectractor,生成外观和几何嵌入。接下来,学习embeddings通过空间信息流在空间域中相互传播。最后,时间信息流跨帧匹配同一对象,计算匹配矩阵来估计轨迹,同时对输出速度、运动属性和box平滑度进行细化。

这是一个end-to-end的网络,网络中的每一部分参数在训练的过程中都会参与调整。
在这里插入图片描述
在推理阶段,作者保存了多个历史的embedding来进行匹配。通过累计多帧的结果来重构匹配矩阵(感觉这部分在训练中是否也可以进行监督来起到更好的效果)。
在这里插入图片描述

十二、《Opening up Open World Tracking》

作者:Yang Liu1,* Idil Esen Zulfikar2,* Jonathon Luiten2,3,* Achal Dave3,*
Deva Ramanan3 Bastian Leibe2 Aljosa O ˘ sep ˘
Laura Leal-Taixé1
Technical University of Munich, Germany 2RWTH Aachen University, Germany 3Carnegie Mellon University, USA

论文链接:https://arxiv.org/pdf/2104.11221.pdf

1、摘要

跟踪和检测任何物体,包括在模型训练中从未见过的物体,都是自主系统的一个关键但难以达到的能力。在现实世界中,一个自主代理对以前看不见的物体进行操作,会构成安全隐患——但这是几乎所有当前系统的工作方式。推进跟踪任何物体的主要障碍之一是,这项任务是出了名的难以评估。一个能够让我们对现有工作进行全面比较的基准,是推进这一重要研究领域的关键的第一步。本文解决了这一评价缺陷,并提出了在开放世界环境中检测和跟踪已知和未知物体的场景和评价方法。我们提出了一个新的基准,TAO-OW:在开放世界中跟踪任何对象,分析多对象跟踪中的现有努力,并为该任务构建一个基线,同时突出未来的挑战。

本工作说明了在实际场景中有很多未知物体需要进行Tracking,然而当前指标并不能很好的评测这类目标的跟随。本文提出了一套新的评价体系来促进该领域的发展。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/664421.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【yolov5系列】将模型部署到瑞芯微RK3566上面

本篇博客记录将yolov5s移植到瑞芯微3566上的整体流程。当然在其它芯片上的操作类似,差别会在具体的API的调用上。 1 芯片相关 芯片参数:https://www.rock-chips.com/a/cn/product/RK35xilie/2021/0113/1273.htmlCPU:四核,1.8GHZ.N…

CSS查缺补漏之《选择器的复杂用法》

最近在复盘CSS基础知识,发现很多CSS选择器里面还是大有学问,需要详细总结一番,以备差缺补漏~ 作为CSS基础的一大类别,选择器又分为多种类别,本篇内容默认读者已了解并掌握基础选择器【通配符选择器】、【元素选择器】…

企业采用融合CDN战略之前的相关注意事项

很多企业可能都会犹豫是否要从单CDN模式到转向为多CDN模式,一方面因为这可能看起来很复杂,这不仅涉及到需要建立更多的CDN提供商,而且还有其他较多的操作和配置要做,尤其是在当前单CDN供应商似乎一切正常的情况下。但从另一方面来…

【每日算法】【203. 移除链表元素】

☀️博客主页:CSDN博客主页 💨本文由 我是小狼君 原创,首发于 CSDN💢 🔥学习专栏推荐:面试汇总 ❗️游戏框架专栏推荐:游戏实用框架专栏 ⛅️点赞 👍 收藏 ⭐留言 📝&…

《C++高级编程》读书笔记(八、九:类和对象)

1、参考引用 C高级编程(第4版,C17标准)马克葛瑞格尔 2、建议先看《21天学通C》 这本书入门,笔记链接如下 21天学通C读书笔记(文章链接汇总) 1. 编写类 编写类时,需要指定行为或方法 (应用于类的…

8.3 TCP/IP协议与五层体系结构

目录 TCP/IP及五层体系结构 OSI与TCP/IP TCP/IP 的体系结构 沙漏计时器形状的 TCP/IP 协议族 具有五层协议的体系结构 五层协议的体系结构 各层的主要功能 互联网中客户-服务器工作方式 同时为多个客户进程提供服务 TCP/IP及五层体系结构 OSI与TCP/IP TCP/IP 的体系结构 现…

Atcoder Beginner Contest 306

A - Echo AC代码&#xff1a; #include<iostream> #include<algorithm> #include<cstring> using namespace std; int main() {int n;cin>>n;string s;cin>>s;for(int i0;i<n;i){cout<<s[i]<<s[i];}return 0; } B - Base 2 lo…

服务调用OpenFeign

OpenFeign OpenFeign 介绍OpenFeign 的使用OpenFeign 参数传递OpenFeign 超时控制OpenFeign 日志设置OpenFeign 的工作流程 OpenFeign 介绍 Feign 是 SpringCloud组件中一个轻量级RESTful的HTTP服务客户端&#xff0c;Feign集成了Ribbon、RestTemplate 实现了负载均衡的执行Ht…

拉普拉斯方程解决有介质导体球壳问题

一个内径和外径分别为和的导体球壳&#xff0c;带电荷&#xff0c;同心地包围着一个的导体球&#xff0c;使这个导体球接地&#xff0c;求空间各点的电势和这个导体球的感应电荷 我们不难发现&#xff0c;球对称性非常强&#xff0c;电势只和半径有关系 所以我们可以假设电势为…

Python面向对象编程1-面向过程的简单纸牌游戏程序 项目1.6 完整的猜大小纸牌游戏

总项目目标&#xff1a;用面向过程思想设计一个简单的纸牌游戏程序&#xff0c;称为"Higher or Lower"&#xff08;高还是低&#xff09;。游戏中&#xff0c;玩家需要猜测接下来的一张牌是比当前牌高还是低。根据猜测的准确性&#xff0c;玩家可以得到或失去相应的积…

学了些性能知识,实际工作如何开展性能测试?

目录 前言&#xff1a; 确定需求 了解业务 搭建测试环境 脚本执行及监控 收集测试结果 持续学习 前言&#xff1a; 学到了性能测试的知识&#xff0c;接下来如何在实际工作中开展性能测试呢&#xff1f; 确定需求 刚接触性能测试的同学往往不知道性能测试是有需求的。…

C++右值引用问题

1、右值引用与函数重载 class Int {int value; public:Int(int x 0) :value(x) { cout << "create " << this << endl; }~Int() { cout << "destroy " << this << endl; }Int(const Int& it) :value(it.value){…

系统原型设计,轻松搞定后台管理系统

伴随互联网的发展&#xff0c;越来越多的团队和企业开始使用自动化管理系统。近年来&#xff0c;各行各业的B端后台管理系统更是应运而生&#xff0c;并且快速发展迭代更新&#xff0c;直接推动了CMS、OA、 CRM、ERP、POS等系统原型的开发。 相比一般的web页面以及其他的互联网…

真实案例之视频下载性能测试分析报告

一、背景介绍 XXXX是一个以视频教学为主的教学平台&#xff0c;因此对服务器所支持的视频下载量、下载速度等都有相应的要求。其中视频采用HTTP协议&#xff0c;为下载后对视频进行一个播放和学习。为了得出测试服务器网络是否满足XXXX的要求&#xff0c;从而对该服务器做相应…

基于工业智能网关的电力能耗监测管理系统

据国家能源局最新数据显示&#xff0c;1至5月&#xff0c;全国全社会用电量35325亿千瓦时&#xff0c;同比增长5.2%&#xff0c;其中&#xff0c;5月份全国全社会用电量7222亿千瓦时&#xff0c;同比增长7.4%。 6月以来&#xff0c;随着我国经济形势的整体向好和气温的逐步升高…

流场粒子追踪精度数值实验

在计算流线&#xff0c;拉格朗日拟序结构等流场后处理时&#xff0c;我们常常需要计算无质量的粒子在流场中迁移时的轨迹&#xff0c;无质量意味着粒子的速度为流场当地的速度。此时&#xff0c;求解粒子的位移这个问题是一个非常简单的常微分方程问题。 假设流场中存在 i 个粒…

020:vue刷新跳转当前页面

第020个 查看专栏目录: VUE — element UI VUE刷新当前页面在很多场合都会使用到&#xff0c;比如在搜索页搜索内容并展示在搜索页&#xff1f;在当前页删除&#xff0c;添加内容的等&#xff0c;查看更新后的结果等。 方法一 用vue-router 重新路由的时候到当前页面的时候是…

vue移动端瀑布流布局

需求: 瀑布流, 图片大小统一不变, 描述长度根据内容确定, 不超过三行. 分两列,那边矮,下个元素就放那边 如图所示: 1. 给item设置top,和left 由于我的项目做了 amfe-flexible适配所以使用rem 完整 template <template><div class"HomePage"><van-l…

【好书精读】网络是怎样连接的 之 全世界 DNS 服务器的大接力

&#xff08;该图由AI制作 学习AI绘图 联系我&#xff09; 目录 域名的层次结构 寻找相应的 DNS 服务器并获取 IP 地址 通过缓存加快 DNS 服务器的响应 DNS 服务器的基本工作就是接收来自客户端的查询消息&#xff0c;然后根据消息的内容返回响应 客户端的查询消息&#xf…

信息量、熵、联合熵、条件熵、相对熵、交叉熵、JS散度、Wasserstein距离

信息量 I ( x i ) l o g 1 P ( x i ) − l o g P ( x i ) I(x_i)log \frac {1}{P(x_i)}-logP(x_i) I(xi​)logP(xi​)1​−logP(xi​) 信息量&#xff08;self-information&#xff09;&#xff0c;又译为信息本体&#xff0c;由克劳德 香农&#xff08;Claude Shannon&…