2018

Computer Vision and Machine Learning for Viticulture Technology

摘要：本文对葡萄栽培技术的先进研究做出了两个贡献。首先，我们对葡萄栽培中的计算机视觉、图像处理和机器学习技术进行了全面的综述。我们总结了各种代表性研究的视觉系统和技术的最新进展，包括收获产量估计、葡萄园管理和监测、葡萄病害检测、质量评价和葡萄物候学。我们关注于如何将计算机视觉和机器学习技术集成到当前的葡萄园管理和葡萄酒酿造过程中，以实现与行业相关的结果。本文的第二部分介绍了新的GrapeCS-ML数据库，该数据库包括不同发展阶段葡萄品种的图像以及化学分析获得的相应的地面真实数据（如pH和Brix）。该数据库的目标之一是激励计算机视觉和机器学习研究人员开发实用的解决方案，以部署在智能葡萄园。我们说明了该数据库对白色和红色品种的彩色浆果检测应用程序的有效性，并使用各种机器学习方法和颜色空间给出了基线比较。本文最后强调了在葡萄栽培行业成功实施这项技术之前需要解决的未来挑战。

2020

Grape detection, segmentation, and tracking using deep neural networks and three-dimensional association（Computers and Electronics in Agriculture）

摘要：农业应用，如产量预测、精确农业和自动收获，需要能够从低成本的传感设备推断作物状态的系统。使用廉价摄像机与计算机视觉相结合的近端感知已经成为一种很有前途的替代方案，在卷积神经网络（CNNs）作为自然图像中具有挑战性的模式识别问题的替代方案出现后，这种方案得到了加强。考虑到果实种植监测和自动化，一个基本问题是果园中单个果实的检测、分割和计数。在这里，我们展示了对于葡萄酒葡萄，一种在形状、颜色、大小和紧凑度上有很大变化的作物，葡萄簇可以使用最先进的cnn成功地检测、分割和跟踪。在测试集包含408葡萄集群图像基于网格系统的葡萄园，我们已经达到了F1分数0.91例如分割，每个集群的图像，允许更准确的评估水果的大小和形状。我们还显示，集群可以被识别和跟踪，沿着视频序列记录果园行。我们还提出了一个公共数据集，其中包含在300张图像中适当注释的葡萄簇，以及一种新的注释方法，用于分割自然图像中的复杂对象。所提出的图像中农业模式的注释、训练、评估和跟踪管道可以复制用于不同的作物和生产系统。它可用于几种农业和环境应用的传感组件的开发。

2021

Grape Bunch Detection at Different Growth Stages Using Deep Learning Quantized Models

摘要：农业部门在我们的社会中发挥着重要的作用，在这个社会中，自动化过程越来越重要，从而对产品的生产力和质量产生有益的影响。感知和计算机视觉方法是农业中机器人的基础。特别是，深度学习可以用于图像分类或目标检测，赋予机器在农业环境中执行操作的能力。在这项工作中，深度学习被用于检测葡萄园中的葡萄束，考虑到不同的生长阶段：开花后的早期阶段和葡萄束呈现中间发育的中间阶段。两种最先进的单镜头多盒模型被训练，量化，并部署在一个低成本和低功率的硬件设备，一个张量处理单元。训练输入是在本工作中提出的一个新颖的和公开可用的数据集。该数据集包含1929张图像和两个不同生长阶段的注释，由不同的摄像机在不同光照条件下捕获。考虑到两个不同参数的变化，置信值和联合阈值的交集。结果表明，所部署的模型可以检测到图像中的葡萄束，其中等平均精度可达66.96%。由于该方法使用低资源、低成本、低功耗的硬件设备，需要使用8位量化的简化模型，因此所获得的性能是令人满意的。实验还表明，模型表现更好的识别葡萄束在介质生长阶段，与葡萄束出现在葡萄园开花后，因为第二类代表较小的葡萄束，颜色和纹理更类似于周围的树叶，复杂的检测。

2022

Computer Vision and Machine Learning Based Grape Fruit Cluster Detection and Yield Estimation Robot

摘要：目前，他们正面临着劳动力成本迅速增加和劳动力短缺的问题。早期的各种技术都是使用超光谱相机、三维图像、基于粘块的分割开发的，因为很难发现和区分葡萄束。本研究采用开源计算机视觉库（OpenCV）和随机森林机器学习算法实现了基于计算机视觉的新方法，用于蓝葡萄束的计数、检测和分割。这里的水果对象分割是基于二值阈值和Otsu方法。对于训练和测试，基于像素强度的分类是对葡萄和非葡萄果实的单一图像进行分类。与支持向量机（SVM）相比，以随机森林算法表示的技术验证取得了良好的结果，准确率为97.5%，f1-评分为90.7%。利用噪声去除、训练、分割和分类技术具有较高的精度。

Automatic Bunch Detection in White Grape Varieties Using YOLOv3, YOLOv4, and YOLOv5 Deep Learning Algorithms

摘要：在过去的几年中，人们提出了几种用于目标检测的卷积神经网络，其特点是精度和速度不同。在葡萄栽培中，利用精密的葡萄栽培技术，将产量估算和预测用于有效的作物管理。用于目标检测的卷积神经网络是葡萄产量估计的另一种替代方法，它通常依赖于人工收获样品植物。在本文中，我们评估了6个版本的“你只看一次（YOLO）目标检测算法（YOLOv3、YOLOv3-tiny、YOLOv4、YOLOv4-tiny、YOLOv5x和YOLOv5s）对葡萄的实时束检测和计数。本研究选择了白葡萄品种，因为在叶片背景上识别白浆果比红浆果更棘手。YOLO模型使用异构数据集进行训练，该数据集填充从开放数据集检索的图像，并在多个光照条件、背景和生长阶段获得。结果表明，YOLOv5x和YOLOv4的f1-评分分别为0.76和0.77，检测速度分别为31和32 FPS。不同的是，YOLO5s和YOLOv4-tincy的f1-分数分别为0.76和0.69，检测速度分别为61和196 FPS。最终的YOLOv5x模型，考虑到束遮挡，能够估计每株植物的束数，每株植物的平均误差为13.3%。YOLOv4-tincy实现了精度和速度的最佳组合，应考虑实时估算葡萄产量，而YOLOv3受到假阳性-假阴性补偿的影响，这降低了RMSE。

LDD: A Dataset for Grape Diseases Object Detection and Instance Segmentation

摘要： 实例分割任务是众所周知的目标检测任务的扩展，在许多领域都有很大的帮助，如精确农业：能够自动识别植物器官及其可能相关的疾病，可以有效地扩大规模和自动化作物监测及其疾病控制。为了解决与葡萄藤植物早期疾病检测和诊断相关的问题，我们建立了一个新的数据集，目的是通过实例分割方法推进疾病识别的技术水平。这是通过收集在自然环境中受疾病影响的叶子和葡萄簇的图像来实现的。该数据集包含10种物体类型的照片，其中包括有或没有葡萄八种常见葡萄疾病症状的叶子和葡萄，共计1092张图片中的17706个标记实例。为了对数据集的特征提供一个完整的观点，提出了多种统计措施。以Mask R-CNN [6]和R 3 -CNN [10]模型所达成的目标检测和实例分割任务的初步结果作为基线，表明该程序能够对疾病自动症状识别的目标取得有希望的结果。

2023

Benchmarking edge computing devices for grape bunches and trunks detection using accelerated object detection single shot multibox deep learning models

目的：视觉感知使机器人能够感知环境。视觉数据是使用计算机视觉算法进行处理的，它通常时间昂贵，需要强大的设备来实时处理视觉数据，这对于能量有限的野外机器人来说是不可行的。这项工作对实时目标检测的不同异构平台的性能进行了基准测试。本研究基准三个架构：嵌入式GPU图形处理单元（如NVIDIA杰森纳米2 GB和4GB，NVIDIA杰森TX2），TPU-张量处理器（如珊瑚开发板TPU），DPU-深度学习处理器单元（如AMD-Xilinx ZCU104开发板，和AMD-Xilinx Kria KV260启动包）。

方法：作者使用了使用自然VineSet数据集进行微调的视网膜网络ResNet-50。经过训练后的模型进行转换和编译为特定目标的硬件格式，以提高执行效率。

结论和结果：根据评价指标的性能和效率（推理时间）对平台进行了评估。图形处理单元（gpu）是最慢的设备，运行速度为3 FPS到5 FPS，现场可编程门阵列（FPGAs）是最快的设备，运行速度为14 FPS到25 FPS。张量处理单元（TPU）的效率无关，类似于NVIDIA Jetson TX2。TPU和GPU是最节能的，耗电量约为5W。在评估指标上，跨设备的性能差异是无关的，F1约为70 %，平均平均精度（mAP）约为60 %。

数据集

1. Grape bunch and vine trunk dataset for Deep Learning object detection

2. Computer Vision and Machine Learning for Viticulture Technology