摘要

由于世界粮食和环境危机的持续影响，对智能农业的需求正在增加。以水果检测为重点，随着目标检测技术的快速发展，现在可以在水果检测系统中实现高精度。然而，在非结构化的果园环境中，高精度地检测果实仍然特别具有挑战性。这种环境由不同的光照条件和遮挡程度组成，可以通过某些策略来缓解。据我们所知，这是第一次回顾了用于水果检测的优化策略。本文综述旨在探讨在复杂环境中改进水果检测的方法。首先，我们描述了在室外果园环境中常见的复杂背景类型。随后，我们将改进措施分为图像采样前后的优化两类。接下来，我们比较了应用这些改进方法前后的测试结果。最后，介绍了水果检测优化技术在复杂背景下的未来发展趋势。我们希望这篇综述将激励研究人员设计他们的优化策略，并帮助探索更低成本和更健壮的水果检测系统。

复杂的背景因素和消极影响

本文根据视觉传感器在不同农业应用场景中输入的背景的复杂性，将视觉检测对象的背景类型分为两类：干净背景和复杂背景。例如，在RGB相机的情况下，干净的背景指的是与待检测对象有明显颜色偏差的纯色平面，或者只有少数对检测性能有最小的缺陷且容易消除的干扰因素，例如机械结构的纹理和传送带上的规则线。这些情况通常出现在超市自助结账或自动水果和蔬菜分类等地区，如图1所示。
在这里插入图片描述
相比之下，复杂的背景在需要部署在户外种植环境中的毡类植物中很常见，如户外水果采摘机器人和自动水果产量估计。与干净的背景不同，导致复杂背景的因素更多样化，通常对水果检测性能有显著影响。因此，许多研究提出了优化策略来克服或减轻这些缺陷，并评估了在真实农业场景下的水果检测方法的可行性。

我们认为，在对这些优化策略进行全面审查之前，有必要详细介绍复杂的背景。

照明条件

非结构化照明条件是常见的复杂背景因素，可以影响场环境中的水果检测性能。这些条件会随着时间的变化和天气条件的变化而动态变化，例如白天的阳光方向的变化，以及晴天和阴天之间的光照强度的变化。这些因素在水果图像中再现如下：(1)果实图像亮度随光强的变化；(2)阳光直射导致果实表面过饱和区域；(3)由于光遮挡现象，将果实表面分为阴影部分和非阴影部分。

虽然人类视觉系统可以在不断变化的光和成像条件下确定物体表面的颜色不变性，但成像设备并不具有这种颜色不变性能力（Tian et al.，2019a，2019b）。因此，光照条件可以显著地影响水果的检测性能（Zhou et al.，2022）。Wang等人（2020）指出，一些基于传统机器学习的分割算法明显受到自然环境中照明的影响。此外，非优化的深度学习模型在不均匀的光照中表现出错误识别。Yan等人（2021）将针对复杂背景优化的改进模型与其他四种主流目标检测模型进行了比较，发现未优化的检测模型在多云条件下可能表现出错误识别或遗漏识别。同一模型在不同光照条件下的检测性能也会有所不同。例如，Wang et al.（2018a，2018b）提出的绿色柑橘检测方法在前光条件下比在背光条件下更容易出现假阳性，而漏果现象则相反。在猕猴桃检测任务中，Fu等人（2021）提出的改进的YOLOv3-tint模型在下午的检测性能优于早上。

水果遮挡现象

遮挡被认为是目标检测中最重要的复杂背景因素之一。虽然人类的视觉系统不能通过场景遮挡器来可视化被遮挡目标的完整图像，但它可以基于一个小的可见区域抽象地推断出目标是什么。然而，这种功能对于视觉检测系统来说是昂贵的，因为更好的特征提取和信息推断能力通常意味着一个更大的、更复杂的模型体系结构。模型体系结构的设计往往受到部署平台的硬件条件的限制。因此，目标遮挡对检测性能提出了一个巨大的问题。

一般情况下，遮挡可分为两类：类间遮挡和类内遮挡。前者发生在一个物体被不同类别的物体遮挡时，而后者发生在一个物体被同一类别的物体遮挡时（Wang et al.，2018a，2018b）。在果实检测中，果实遮挡的情况如下： (1)果实被果实植株的分支和叶子覆盖，(2)同一植物的果实相互覆盖、重叠和粘附，如图1右下角所示。

Gongal et al.（2016）指出，相机不能仅从苹果冠的一侧捕捉到大多数苹果（大约60%的水果），因为叶子、树枝和其他苹果在果园中相互遮挡，这对果实计数精度有显著的影响。Yu等人（2019）使用Mask R-CNN模型来检测和分割生长在非结构化环境中的草莓，并定位它们的采摘点。总体准确度和召回率分别为95.78和95.41。检测误差可归因于在对草莓数据集进行采样时，由于光效应、遮挡或照片角度的影响，采集到的图像特征不够突出，导致误判。Jia等人（2020）对青苹果的检测和分割的研究表明，所提出的识别方法对无遮挡果实的检测性能最好。而遮挡果实的检测性能明显下降，对重叠果实的检测性能进一步下降。

不同成熟度的水果

果园通常在果实接近成熟时收获果实，以确保在最佳的消费时间出售。在这一点上，同一棵果树可能在不同的成熟阶段都有果实。如果果实的外观（主要是其颜色）根据成熟度显示出明显的差异（也见图1的右下角），则会干扰机器人的采集，这依赖于准确可靠的果实检测。此外，如果需要监测果实的生长阶段或通过果实检测技术提供阶段性产量估算，则必须提高检测模型对不同成熟度果实的稳健性。

Tian等人（2019a，2019b）提出了一个实际果园环境中不同生长阶段的苹果检测模型。研究人员根据苹果的颜色特征发生显著变化的时期，将苹果的生长分为三个阶段：幼苹果、膨胀苹果和成熟苹果。实验结果表明，熟苹果的检测性能最好，幼苹果的检测性能最差。对荔枝果实（Wang et al.，2021a，2021b，2021c）和樱桃果实（Gai et al.，2021）的检测也获得了相同的实验结果。这三种果实有一个相似的特点：在果实的发育过程中，果实的目标和周围的叶片之间的颜色差异往往变得更加明显。