2022

Multi-object tracking using Deep SORT and modified CenterNet in cotton seedling counting (Computers and Electronics in Agriculture)

摘要：准确的植物密度信息对作物的产量和质量具有重要意义。一般来说，人类必须在现场或在附属设备上估计工厂密度，这是耗时和不准确的。本文提出了基于检测跟踪策略的多目标跟踪方法，实现了棉花幼苗的自动计数。在棉花幼苗上方0.5 m以上采集视频，用单独的数据集（TAMU2015-ID）训练目标检测模型，评估计数精度。利用CenterNet建立了一种先进的无锚目标检测模型，对棉花幼苗进行检测，并提取其身份嵌入。基于Deep SORT融合定位和身份信息进行数据关联。目标检测模型优于Faster R-CNN模型，F1得分为0.982（IOO0.5）和0.937（IOU0.8），平均精度分别为0.9901（IOU0.5）和0.8998（IOU0.8）。计数结果与地面真实值相符，r2为0.967，RMSE为0.394。我们在TAMU2015-ID上评价了该方法，得到的r2为0.99，RMSE为0.8。

A novel apple fruit detection and counting methodology based on deep learning and trunk tracking in modern orchard（Computers and Electronics in Agriculture）

摘要： 准确的水果数量对于生产者在生产管理中做出充分的决定非常重要。虽然一些基于机器视觉的算法可以计数水果，这些算法都是通过跟踪水果本身来实现的，但由于外观中水果高度相似，这些算法在跟踪过程中经常出现不匹配甚至丢失目标。本研究旨在开发一种自动视频处理方法，以提高现代垂直果树墙结构下果园环境中苹果果实的计数精度。由于树干通常比水果大，并且在视频中清晰可见，因此选择树干作为单目标跟踪目标，以达到比常用的基于水果的多目标跟踪方法更高的精度和更高的速度跟踪。该方法采用YOLOv4-微型网络和CSR-DCF（信道空间可靠性-判别相关滤波器）算法进行训练。根据帧运动轨迹计算连续帧间的参考位移，以预测之前检测到的位置预测可能的水果位置。计算检测到的水果位置和预测的水果位置的最小欧氏距离，以在连续的视频帧之间匹配相同的水果。最后，为每个水果分配一个唯一的ID以进行计数。结果表明，本研究对果实和树干的平均检测精度为99.35%，为果实的准确计数提供了良好的依据。在果园视频中，采用人工计数方法进行的计数准确率为91.49%，相关系数r2为0.9875。此外，所提出的计数方法可以在CPU上以2 ~ 5帧/秒（fps）的速度实现。这些有希望的结果表明，该方法具有为苹果果实甚至其他类型的水果提供产量数据的潜力。

LettuceTrack: Detection and tracking of lettuce for robotic precision spray in agriculture（Frontiers）

摘要： 液体肥料和农药对植物的精准喷洒是农业机器人在精准农业中的一项重要任务。通过减少被喷洒的化学品的数量，与传统的无歧视的喷洒相比，它带来了一个更经济和更环保的解决方案。精密喷雾的前提是检测和跟踪每个工厂。传统的检测或分割方法是检测在机器人平台下捕获的图像中的所有植物，而不知道植物的ID。要向每株植物喷洒农药一次，除了检测外，还需要跟踪每株植物。本文提出了一种新的同时检测和跟踪生菜的多目标跟踪（MOT）方法。当从跟踪方法获得每个工厂的ID时，机器人知道之前是否喷洒过植物，因此它将只喷洒未喷洒的植物。该方法采用YOLOV5进行生菜检测，提出了一种新的植物特征提取和数据关联算法对所有植物进行生态跟踪。该方法即使植物之前离开了摄像机的视场，也能恢复植物的ID，而现有的多目标跟踪（MOT）方法通常会失败，并分配一个新的植物ID。实验证明了该方法的有效性，并与四种先进的多目标跟踪（MOT）方法进行了比较，证明了该方法在生菜跟踪应用中的优越性能及其局限性。虽然该方法在生菜上进行了测试，但它有可能应用于其他蔬菜，如花椰菜或糖拍。

Towards real-time tracking and counting of seedlings with a one-stage detector and optical flow

摘要： 作物幼苗的数量对于育种者和种植者评估不同品种的出苗率和重新种植的必要性非常重要，但人工计数植物幼苗是费时和繁琐的。在前期工作的基础上，我们改进了棉花幼苗跟踪方法，结合了目标检测深度神经网络和光流，以提高跟踪速度和计数精度。棉花幼苗的视频是使用消费者级摄像机从俯视图拍摄下来的。你只看一次版本4（YOLOv4），一个单阶段的目标检测网络，被训练来检测每一帧中的棉花幼苗并生成边界框。为了将相邻帧间的幼苗关联起来，采用基于光流的跟踪方法来估计摄像机运动。通过比较光流预测的边界框位置和YOLOv4网络在同一帧内检测到的边界框位置，更新了棉花幼苗的数量。训练后的YOLOv4模型在遮挡、模糊图像、复杂背景和极端光照的条件下获得了较高的精度。最终检测模型的f1得分为0.98分，平均精度为99.12%。比较了重要的跟踪指标来评价跟踪性能。所提出的跟踪方法的多目标跟踪精度（MOTA）和ID开关分别为72.8%和0.1%。计数结果显示，所有测试视频的相对误差均为3.13%。与基于卡尔曼滤波器和基于粒子滤波器的方法相比，我们的基于光流的方法由于运动估计的精度更高，在测试视频中产生的误差更少。与我们之前的工作相比，基于光流的方法的RMSE降低了0.54，计数速度从每秒2.5帧增加到10.8帧。如果将输入分辨率降低到1280×720像素，而计数精度仅降低0.45%，则计数速度可达到每秒16.6帧。该方法为视频帧中多个棉花幼苗的计数提供了一种自动近实时跟踪方法，提高了速度和精度，有利于植物育种和精准作物管理。

Automated Behavior Recognition and Tracking of Group-Housed Pigs with an Improved DeepSORT Method （Agriculture）

摘要： 群畜的行为识别和跟踪是商业环境中健康和福利监测的有效辅助手段。然而，由于农场条件的要求，清管器视频中的目标严重遮挡和重叠，光照变化，导致跟踪过程中清管器识别（ID）的错误切换，降低跟踪质量。为了解决这些问题，本研究提出了一种改进的DeepSORT算法，该算法包含三个过程。首先，开发了YOLOX-S和YOLO v5s来检测猪的目标，并对猪的躺、吃、站立等四种行为进行分类。然后，开发了改进的DeepSORT，通过改进猪的行为跟踪和数据关联，减少猪ID的误差变化。最后，我们建立了群居猪的公共数据集注释，共包含12个视频中的3600张图像，适合于猪的跟踪应用。我们的方法的优点包括两个方面。一是针对室内场景等猪的特定场景，改进了轨迹处理和数据关联，猪的目标对象数量稳定。这一改进减少了清管器ID的误差开关，提高了跟踪的稳定性。二是将检测器中的行为分类信息引入到行为跟踪的跟踪算法中。在猪的检测和行为识别实验中，YOLO v5s和YOLOX-S检测器的准确率分别为99.4%和98.43%，召回率分别为99%和99.23，平均精度（mAP）分别为99.50%和99.23%。 5:分别为0.95，分别为89.3%和87%。在猪的行为跟踪实验中，基于YOLOX-S的改进的DeepSORT算法得到了多目标跟踪精度（MOTA）、ID开关（ID）和IDF1分别为98.6%、15和95.7%。与DeepSORT组相比，MOTA组和IDF1组分别提高了1.8%和6.8%，id值显著下降，下降了80%。这些实验表明，改进的DeepSORT可以在商业条件下实现稳定ID值的猪行为跟踪，为非接触式自动清管器监测提供可扩展的技术支持。

2023

AgriSORT: A Simple Online Real-time Tracking-by-Detection framework for robotics in precision agriculture

code: https://github.com/Lio320/AgriSORT
摘要：多目标跟踪（MOT）的问题在于在检测和跟踪视频序列中的所有对象，同时为每个对象保持唯一的标识符。这是机器人技术面临的一个具有挑战性的基本问题。在精密农业中，实现一个令人满意的解决方案的挑战是被极端的摄像机运动，突然的照明变化，和强遮挡放大。大多数现代追踪器依赖于物体的外观而不是运动来联想，当大多数目标是具有相同外观的静态物体时，这可能是无效的，就像农业情况一样。为此，在SORT [5]的基础上，我们提出了AgriSORT，这是一种简单、在线、实时的精确农业检测跟踪管道，仅基于运动信息，允许在帧之间精确和快速地传播轨迹。AgriSORT的主要重点是效率、灵活性、最小的依赖性和在机器人平台上的易于部署。我们在一个新的MOT基准上测试了提出的管道，该基准基于在餐桌葡萄园中拍摄的视频序列，由于实例的强自相似性和实例密度，特别具有挑战性。这些代码和数据集都可供将来进行比较。

Object detection and tracking on UAV RGB videos for early extraction of grape phenotypic traits (Computers and Electronics in Agriculture)

摘要： 葡萄藤表型是确定葡萄串和浆果的物理性质（例如，大小、形状和数量）的过程。葡萄藤表型信息为监测葡萄树的卫生状况提供了有价值的特性。在发展的早期阶段了解花束和浆果的数量和尺寸，可以为葡萄酒种植者提供有关要收获的产量的相关信息。然而，计数和测量的过程通常是手工完成的，这是费时费力的。先前的研究试图通过去除葡萄园中对红色的红色束进行束检测，并使用地面车辆和手式摄像机进行了调查。然而，安装有RGB摄像机的无人机（UAV），以及计算机视觉技术提供了一种廉价、健壮和节省时间的替代方案。因此，本研究利用多目标跟踪和分割（MOTS），从一个高密度商业葡萄园的无人机获得的RGB视频中确定单个白葡萄束和浆果的性状。为了实现这一目标，我们创建了两个带有标记图像和表型测量的数据集，并在一个公共存储库中提供。采用点跟踪算法对葡萄束进行检测和跟踪，并比较了两种实例分割算法YOLACT和空间嵌入，以找到最适合的浆果检测方法。结果表明，该检测适用进行聚类检测，MODSA为93.85。对于跟踪，用679帧训练时的结果是不够的。本研究为提取国际葡萄与葡萄酒组织（OIV）描述符所描述的几种葡萄表型性状提供了一个自动管道。所选的OIV描述符是束的长度、宽度和形状（分别为代码202、203和208）和浆果的长度、宽度和形状（分别为代码220、221和223）。最后，对每束检测到的浆果数量的比较表明，空间嵌入数对浆果计数的评估精度（79.5%）高于YOLACT（44.6%）。

Deep learning-based multi-cattle tracking in crowded livestock farming using video（Computers and Electronics in Agriculture）

摘要： 牛监测是精确农业的一个重要方面，最近的进展极大地有助于理解使用耳标和项圈，以及用于基于图像检测的非接触式摄像机。然而，在真实的农场条件下，使用摄像机跟踪多头牛，特别是在拥挤的场景中，主要由于规模变化、随机运动和遮挡，带来了重大挑战。本文提出了一种基于深度学习的框架，改进了多牛视频跟踪技术，旨在克服这些限制。该算法利用了一种基于检测的跟踪方法，利用一个专门为牛的检测而训练的YOLO-v5检测器来提供初始目标。我们的研究的主要贡献主要集中在实现跟踪算法来解决上述问题。介绍了一些改进：首先，为了处理外观和尺度变形，采用以SPP-Net为骨干的宽残余网络来提取牛的外观信息。其次，利用集成卡尔曼滤波器来适应意外的运动。此外，还结合了从个体的中心位置到图像的原点的角度来预测它们的位置。第三，为了解决遮挡问题，设计了一种新的台式匹配机制，允许在谷仓中已知牛数量的假设下检索丢失的轨迹。为了验证该框架的性能，我们使用了来自汉宇牛跟踪数据集的视频序列进行了实验。并与其他最先进的跟踪器进行了比较。我们的方法在数据关联方面达到了84.49 %的准确率，考虑到精准畜牧业应用所面临的挑战，这是一个显著的改进。

Apple orchard production estimation using deep learning strategies: A comparison of tracking-by-detection algorithms (Computers and Electronics in Agriculture)

摘要： 树冠果实的自动检测和计数是产量估算系统的关键组成部分，对现代果园的精确管理是必不可少的。农业环境中的检测和计数任务并非简单，因为存在诸如树冠的特征、树叶造成的遮挡和光照条件等因素。为了确定哪种算法更适合于产量估计，我们提出了一个检测跟踪算法的综合比较，应用于苹果计数。所评估的跟踪策略为卡尔曼滤波、核化相关滤波、简单在线实时跟踪、多假设跟踪和深度简单在线实时跟踪。在多对象跟踪MOT格式构建的两个新数据库上对五种跟踪算法进行了进一步评估。通过对跟踪器的灵敏度分析，结果表明，最稳健的方法是多重假设跟踪，其次是深度简单在线实时（DeepSORT），在具有完美检测时，MOT精度分别为97.00%和93.00%。然而，在一个包含基于深度学习的检测阶段的应用案例中，DeepSORT跟踪器获得的计数误差最低，当使用YoloV5和Faster R-CNN作为检测策略时，所有视频的计数误差平均分别为20.07%和31.52%。当用YoloV5和Faster R-CNN检测水果时，使用卡尔曼滤波得到了统计学上相似的结果，计数误差分别为20.5%和31.9%。

2024

Robust multiple obstacle tracking method based on depth aware OCSORT for agricultural robots（Computers and Electronics in Agriculture）

摘要： 野外动态障碍物的多目标跟踪（MOT）是农业机器人实现动态避障的重要前提。农村地区复杂、不可预测的道路环境会对机器人造成严重的振动，影响摄像机的姿势，从而导致物体匹配错误。因此，我们提出了一种改进的方法，即深度感知观测中心简单在线实时跟踪（DA-OCSORT），其中包括两个新模块，即基于惯性测量单元（IMU）的相机运动补偿（ICMC）和深度感知（DA）。该方法可以利用IMU信息对摄像机的自我运动进行补偿，并通过物体深度信息进行多维匹配，从而最大限度地减少摄像机运动对跟踪过程的影响。我们创建了一个开源的MOT数据集，名为MOTorcadd。在纯基于运动的方法OCSORT的基础上，我们用HOTA 54.1、MOTA 83.3、IDF1 52.9和FPS 22.7在这个机器人果园上实现了SOTA。此外，所提出的两个模块具有良好的实时性性能，对其他已发表的MOT算法具有较强的适应性。