【果树农药喷洒机器人】Part6:基于深度相机与分割掩膜的果树冠层体积探测方法

news2024/11/25 12:52:21

文章目录

  • 一、引言
  • 二、树冠体积测量对比方法
    • 2.1冠层体积人工测量法
    • 2.2冠层体积拟合测量法
  • 三、基于深度相机与分割掩膜探测树冠体积方法
    • 3.1像素值与深度值的转换
    • 3.2树冠体积视觉探测法
    • 3.3实验分析
  • 总结


一、引言

果树靶标探测是实现农药精准喷施的关键环节,本章以果树冠层体积的计算结果作为实现变量喷药决策的数据依据。基于上一章实例分割模型对树冠图像分割成掩膜的基础上,提出一种基于深度相机的果树冠层体积探测方法,即视觉探测法。采用深度相机作为感知单元,通过扫描果树获得冠层深度图像,其深度值表示冠层与相机之间的实际距离,通过换算得出树冠掩膜的像素点代表的实际面积,进而估算出单棵树冠的真实体积,并与人工测量法进行比较,以分析视觉探测法的精度。

二、树冠体积测量对比方法

2.1冠层体积人工测量法

本节对人工测量树冠体积的方法进行探究,并将其结果作为比较基准。传统的人工测量方法简单地将果树冠层水平截面近似于椭圆,通过将冠层等高度分割为多份圆台,最后求和得出冠层体积。然而,树冠的轮廓形状一般不规则,因此难以确定椭圆截面的长、短半轴;再者,被分割的树冠部分并不一定只是圆台的形状。因此传统的人工测量结果并未能真实反映树冠体积,其测量精度较难保证。
为得出果树冠层较为精确的人工测量结果,本章在传统方法的基础上进行优化,测量步骤具体如下:

首先,将单棵果树的冠层从上到下看作由圆台、锥体或是其他近似的规则几何体组成;
接着,将其水平分割成多个独立的几何体,截面简化为圆形。
最后,根据各部分形状进行单独计算并相加得到整个冠层体积。

以纺锤形冠层的果树为例进行分析,绘制了人工测量冠层体积的示意图,如图4-1所示。图中的树冠近似锥形,但并不规则,其中上、下两层近似圆锥,而中间部分近似圆台。为便于计算,本方法使用皮尺直接测量出的截面周长替换半径,即r = l/2π,并代入基础式中。通过以下式推导出树冠体积的人工测量模型。
在这里插入图片描述

2.2冠层体积拟合测量法

由于柑橘树冠属于类球体型,本节根据单棵树冠的外轮廓形状拟合成一个相近的、有规则的立方体,进而实现对体积的估算,该方法简称为拟合测量法,下文均以此替代。以成熟期的柑橘树为例,其树冠拟合过程如图4-2所示。
在这里插入图片描述
具体处理步骤如下:
步骤1:图4-2(a)为原始图像,经过MSEU R-CNN实例分割模型处理后,得到图4-2(b)所示的实例分割效果图;
步骤2:通过剔除背景仅保留树冠掩膜部分,如图4-2(c)所示;
步骤3:之后采用图像二值化、开运算等图像处理操作,提取出树冠掩膜的轮廓(是否贴近于原始轮廓取决于图像分割精度),见图4-2(d);
步骤4:以掩膜轮廓下窄上宽的特征,适合拟合成图4-2(e)的梯形;
步骤5:最后通过梯形绕中轴线旋转360°,拟合成图4-2(f)所示的圆台。

三、基于深度相机与分割掩膜探测树冠体积方法

3.1像素值与深度值的转换

为探究二维图像与三维空间之间的转换关系,根据所用视觉传感器不同,其方法各异。若使用普通相机采集图像,一般采用标定法获取单位像素代表的实际面积(下文均以A表示该值)。例如:丁为民等将黑色硬纸板作为标定物,通过图像处理软件计算多个采样距离下标定板的A值,利用该值和对应的采样距离制成散点图,发现A与采样距离之间具有明显的幂函数关系。然而,每个普通相机内参可能有所不同,若要获得较为准确的A值,均要进行相对复杂的标定实验才能得到幂函数中合适的系数。本章以D435i深度相机为数据采集设备,该款相机配备了二次开发功能包,其中就有采用欧几里得度量法(指用于测量n维空间中两个点之间的真实距离D(x, y),或称为欧氏距离),其计算原理由如下式表示:
在这里插入图片描述
通过第3章的实例分割算法可获得树冠的掩膜,但掩膜以二维图像的像素量表示,并非树冠真实参数,不能作为精准喷施的决策依据。由于D435i深度相机可同时拍摄目标树冠的RGB图像和深度图像,采用欧几里得度量法可测量深度图像中的欧氏距离Hr;通过OpenCV图像处理库中的算法计算,可获得RGB图像中树冠的像素高度Hp,两者比值的平方即为A值。该值再乘以掩膜像素面积,从而计算出树冠垂直投影面的实际面积Sr。具体计算过程通过如下的式表示:
在这里插入图片描述

3.2树冠体积视觉探测法

本节基于实例分割模型的处理结果,并结合上节所述方法,对单株柑橘树冠层的几何特征进行探测,主要参数包括树冠面积、高度、宽度以及体积,其探测原理的示意图如图4-4所示。

在这里插入图片描述
针对以相机对果树冠层体积进行探测的问题,丁为民等提出“多点测量法”,通过构建树冠实际垂直投影面积Sr与树冠体积对数lnV间的模型,研究两者之间的相关性,即基于已知的冠层面积来推算体积。为得出不同果树Sr与lnV的相关性,丁为民的科研团队通过实验构建了梨树、桂花树等果树体积计算模型。实验结果表明,该模型的决定系数均在0.9以上,说明Sr与lnV之间存在明显的相关性;同时也表明在不同树种之间,树冠垂直投影面与树冠体积的线性关系规律是成立的。
基于上述学者的研究,本章对果园内的20棵柑橘树进行采样,并在树冠垂直投影面积Sr的基础上,结合人工测量法准确测得的树冠体积V,以最小二乘法构建柑橘树冠层的Sr与lnV间的关系模型,即“基于深度相机和分割掩膜的果树树冠体积探测方法”,简称为“视觉探测法”,其相关性结果如图4-5所示。
在这里插入图片描述

3.3实验分析

上一节采用三种测量模型并对所选8棵柑橘树进行了体积探测,得出了各个方法对应的树冠体积平均值。本节将三种树冠体积探测方法的测量结果汇总于表4-4中。并根据误差评估式计算出误差、样本标准差,作为误差评估指标。其中,误差1和误差2分别指拟合测量法、视觉探测法跟人工测量法之间的误差值。为更为直观地对比三种测量手段得到的体积值之间的差距,绘制了图4-9所示的体积平均值以及标准差条形图。

在这里插入图片描述
根据表4-4中树冠体积平均值以及标准差,绘制了图4-10所示的折线图,综合展示了三种方法测量得到的8棵橘树冠层体积。按照大小依次排序为:橘树3>橘树1>橘树6>橘树2>橘树8>橘树7>橘树5>橘树4。但是三种测量方法均存在一定的偏差,尤其是橘树3的冠层体积,最大标准差值为0.12。其次为橘树8,其体积测量的标准差值达到了0.102,而所有橘树冠层体积测量的标准差大于0.05,其中最小的标准差值为0.062,由测量1号、7号橘树时产生。

在这里插入图片描述
综合上述图表可知,人工测量相比真实的体积可能存在一定的误差,造成的原因可能是树冠形状在转化时,将原本不规则的形状抽象成规则形状后,丢失了部分空间的体积值,导致所测体积值相对偏小。但相比拟合测量法将树冠作为整体的计算方法,人工测量通过将冠层水平分割成几部分进行分块计算,降低了每个部分的误差,数值相对精确,故将其作为标准值具有较强的可靠性。

总结

针对目前主流传感器探测果树靶标存在的各种问题,本章提出一种基于深度相机和分割掩膜的果树冠层体积探测方法,并通过对比实验研究其探测精度。并且,为探究视觉探测冠层体积的精确度,提出一种人工测量和拟合测量冠层体积法,并以人工测量的体积为基准,与视觉探测法的结果进行误差分析。实验结果表明,视觉探测法与人工测量体积值的主要误差小于8%,最小误差仅为2.2%,因此视觉探测法测量得到的体积值更加接近于手工测量的结果。验证了基于深度相机的视觉探测树冠体积方法具有良好的测量精度。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/868058.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

2. Hello World

Hello World 我们将用 Java 编写两个程序。发送单个消息的生产者和接收消息并打印 出来的消费者。我们将介绍 Java API 中的一些细节。 在下图中,“ P”是我们的生产者,“ C”是我们的消费者。中间的框是一个队列-RabbitMQ 代 表使用者保留的消息缓冲区 …

RS-232标准

目录 1、概述2、RS-232接口的特点3、RS-232接口协议【仿真】 1、概述 RS-232接口是在1970年由美国电子工业协会(EIA)联合贝尔系统、调制解调器厂家及计算机终端生产厂家共同制定的用于串行通讯的标准。它的全名是“数据终端设备(DTE)和数据通讯设备(DCE)之间串行二进制数据交换…

Spring5新功能

文章目录 前言一、整合日志功能二、Nullable注解三、函数式风格编程四、JUnit5单元测试框架总结 前言 整合日志、Nullable注解、函数式风格编程、整合JUnit5、Webflux 一、整合日志功能 Spring5移除了Log4jConfigListener,官方建议使用Log4j2. 依赖: &…

期权定价模型系列【2】—期权的希腊字母计算及应用

本篇文章旨在介绍期权常见希腊字母的计算及应用 本专栏更多侧重于理论及文字方面的展示,文章具体的代码可以参考我的另一个专栏【期权量化】。 【期权量化】专栏有同名文章,并且给出了文章的具体代码。 专栏地址: http://t.csdn.cn/Y30Hk…

计算机竞赛 LSTM的预测算法 - 股票预测 天气预测 房价预测

0 简介 今天学长向大家介绍LSTM基础 基于LSTM的预测算法 - 股票预测 天气预测 房价预测 这是一个较为新颖的竞赛课题方向,学长非常推荐! 🧿 更多资料, 项目分享: https://gitee.com/dancheng-senior/postgraduate 1 基于 Ke…

吉他谱:Melodies of Life - Final Fantasy Solo Guitar Collections

原始出处: Final Fantasy Solo Guitar Collections - 南泽大介改编的最终幻想9主题曲吉他谱 更多吉他谱: https://github.com/NaisuXu/Guitar_Sheet_Music_Collection

警惕360.勒索病毒,您需要知道的预防和恢复方法。

引言: 近年来,勒索病毒已经成为网络安全的一大威胁,其中之一就是以 “360 勒索病毒 ” 为名的恶意软件。这种病毒通过加密用户的数据文件,并要求赎金以解密这些文件,给受害者带来了严重的损失和困扰。本文91数据恢复将…

【正点原子STM32连载】第三章 开发环境搭建摘自【正点原子】APM32F407最小系统板使用指南

1)实验平台:正点原子stm32f103战舰开发板V4 2)平台购买地址:https://detail.tmall.com/item.htm?id609294757420 3)全套实验源码手册视频下载地址: http://www.openedv.com/thread-340252-1-1.html# 第三…

【脚踢数据结构】队列(顺序和链式)

(꒪ꇴ꒪ ),Hello我是祐言QAQ我的博客主页:C/C语言,Linux基础,ARM开发板,软件配置等领域博主🌍快上🚘,一起学习,让我们成为一个强大的攻城狮!送给自己和读者的一句鸡汤🤔&…

JVM内存区域

预备 为了更好的理解类加载和垃圾回收,先要了解一下JVM的内存区域(如果没有特殊说明,都是针对的是 HotSpot 虚拟机。)。 Java 源代码文件经过编译器编译后生成字节码文件,然后交给 JVM 的类加载器,加载完…

揭秘内存暴涨:解决大模型分布式训练OOM纪实

在现代深度学习开发中,我们通常依赖其他模块,像搭积木一样构建复杂的软件系统,这个过程往往快速且有效。然而,如何在遇到问题时迅速定位和解决问题,由于系统的复杂性和耦合性,一直困扰着深度学习系统设计和…

UTONMOS:元宇宙在网络游戏领域得到充分运用

元宇宙到底是个啥?这个词大概意思应该就是人类能从真实世界进入一个虚拟世界体验另一种生活,这个虚拟的世界就叫“元宇宙”。 从科幻走入现实,元宇宙究竟有什么用途?它离我们到底还有多远?又将给我们的生活带来哪些变…

htmlCSS-----高级选择器

目录 前言 伪类选择器 状态类 结构类 伪元素选择器 属性选择器 前言 前面我们学习了CSS中的相关选择器(链接html&CSS-----CSS选择器(上)_灰勒塔德的博客-CSDN博客 html&CSS-----CSS选择器(下)_灰勒塔…

【Linux】线程的互斥

目录 写在前面的话 相关背景概念 什么是互斥 互斥锁(互斥量) 互斥锁的使用 一些相关的问题 线程安全和可重入的区别 写在前面的话 本文章主要介绍了线程的互斥的相关内容,而且本文的概念也比较多,所以需要有一些前提知识作…

【ES6】深入理解ES6(1)

一、块级作用域绑定 var声明及变量提升机制 二、字符串和正则表达式 字符串(String)是JavaScript6大原始数据类型。其他几个分别是Boolean、Null、Undefined、Number、Symbol(es6新增)。 更好的Unicode支持 1. UTF-16码位 字…

23款奔驰AMG GT50更换原厂运动排气系统,战斗感立马提升了

改装运动排气,原车中控的按键组也是需要更换的。与原车按键相比,只是多了一个排气的控制按键,也正是这个按键,能让车辆可静可怒,安静与怒吼就在一键之间。

QT-图标绘画工具

QT-图标绘画工具 一、效果演示二、关键程序三、程序链接 一、效果演示 二、关键程序 代码如下: #include "DrawDialogFactory.hpp" #include "DrawDialog.hpp" #include "GlobalDrawProperties.hpp"#include "Shape.hpp"…

pnpm常用命令

pnpm常用命令 下载pnpm,但是出现了 npm WARN notsup Unsupported engine for pnpm8.6.12: wanted: {"node":">16.14"} (current: {"node":"14.15.0","npm":"6.14.8"}) npm WARN notsup Not compa…

ViewUI表格Table嵌套From表单-动态校验数据合法性的解决方法

项目场景: 项目需求:在表格中实现动态加减数据,并且每行表格内的输入框,都要动态校验数据,校验不通过,不让提交数据,并且由于表格内部空间较小,我仅保留红边框提示,文字…

【编程指南】ES2016到ES2023新特性解析一网打尽

ES2016 Array.prototype.includes() Array.prototype.includes 方法: 这个方法用于检查数组是否包含特定元素,如果包含则返回 true,否则返回 false // 我有一个水果篮子 const fruitBasket [apple, banana, orange, grape];// 我要检查篮…