内容一览：如果能在短期内确定并预测田间所有作物的生长状况，就可以设定最佳采收日期，减少非标准尺寸作物的数量，并最大限度地减少收入损失。对此，来自东京大学和千叶大学的研究人员，给出了 AI + 无人机解决方案。
关键词：农业 无人机 遥感影像
作者 | 李宝珠
编辑 | 三羊、雪菜
春耕夏耘，秋收冬藏，四者不失时，故五谷不绝而百姓有馀食也。
长久以来，人们遵循历年传承的经验辛勤耕种，并根据普遍成熟周期收割农作物，但由于生长情况不同，在收获时，农作物的质量、大小、成熟度不可避免地存在些许差异，统一的机械化采收会浪费很多并没有达到售卖或食用标准的作物，从而导致利润降低。所以，采收日期对于未达标农作物的比例以及农户的最终总收入至关重要。
随着无人机飞向田间地头，人们也开始探索基于无人机航拍图像数据，预测最佳采收日期。来自东京大学和千叶大学的研究人员开发了一套利用无人机采集植物表型数据的系统化流程，基于无人机遥感和图像分析，预测每个西兰花头的大小，并将数据输入基于温度的生长模型中，从而预测最佳的采收日期。
经过两年的实地应用实验，该系统高精度地预估了西兰花头的大小，并基于相关数据成功预测出了最佳采收日期，可减少耕种损失并提高利润。目前，相关成果已经发表于「Plant Phenomics」。
这一成果已发表于「Plant Phenomics」
论文链接：
https://spj.science.org/doi/10.34133/plantphenomics.0086#body-ref-B4
01 生长模型+价格数据：6 个步骤生成利润预测模型
研究团队以西兰花为例，通过无人机获取西兰花生长期内，所有西兰花头不同时段的头部大小信息（几何特征），然后在头部大小和温度数据之间建立一个简单的生长模型，并将其与通过市场调查获得的价格数据相结合，建立最佳收获日期的利润预测模型。
该方法主要包含 6 个关键步骤
步骤 1：无人机航拍 (Drone Flight) 得到原始图像
* 实验时间：2020 年至 2021 年
* 实验地点：日本东京可持续农业生态系统服务研究所 (ISAS) 实验农场
* 航拍设备：大疆 DJI Mavic 2 Pro 和 DJI Phantom 4 RTK
* 图像数据：224 GB（2020 年）+ 72 GB（2021 年）
大疆精灵 4 RTK，图源：大疆官网
步骤 2：航拍图像预处理 (Photogrammetry)
研究人员使用专业无人机图像处理软件 Pix4DMapper Pro，测量无人机拍摄图像，并通过 3D 重建对图像数据进行预处理。使用默认软件参数，生成了数字正射地图 (DOM) 和数字表面模型 (DSM)。
用于 3D 重建的计算机配置如下：
Intel i9-7980XE CPU 2.6GHz，64GB RAM，2 块 NVIDIA GeForce GTX 1080Ti GPU
步骤 3：西兰花育苗位置检测 (Seedling detection)
检测算法：YOLO v5，NMS 算法
注：NMS 算法全称 nonmaximum suppression，非极大值抑制算法
在幼苗阶段，研究人员使用 YOLO v5 进行了西兰花头位置检测，并利用 NMS 算法来合并缓冲区域内的重复检测结果。
然后，将边界框的中心点视为西兰花的位置，在开源地理信息系统 Quantum GIS 中手动检查、调整检测结果，确保没有遗漏或重复的检测。
西兰花育苗检测工作流程
步骤4：西兰花头分割 (Head segmentation)
分割模型：BiSeNet v2
西兰花头分割工作流程
在实验过程中，为减轻深度学习数据标注和处理的工作负担，消除部分土壤和杂草的影响，研究人员以时间序列数据融合为指导，缩小了处理区域，仅使用幼苗周围的正方形区域（约 100 × 100 像素，略大于西兰花头）进行西兰花头分割。
此外，研究人员还利用交互式标注减少了数据标注的工作量。
注：交互式标注 interactive annotation，是指使用一种智能的、基于算法的方法，来选择标注样本，以最大限度地提高深度学习模型性能，并降低标注成本。
研究人员使用图像标注开源工具 LabelMe，手动标记少量初始训练数据，并据此进行分割模型的训练。然后随机选择图像并应用于分割结果，利用 Python 脚本将这些结果转换为 LabelMe JSON 格式，手动调整新训练数据的标注。
持续重复这一过程，直到分割结果无需调整为止。
步骤 5：生成生长模型，预测西兰花头尺寸 (Size calculation)
预测模型：非线性回归模型用于预测随时间变化的西兰花头长度 (HD)
T 为日平均气温之和，下限为 0 ℃，上限为 20 ℃
a、b 和 c 是要确定的参数
步骤6：生成利润预测模型
根据市场价格调查，结合生长模型生成利润预测模型。
02 两年田间实验，分割模型表现优异
在准备训练数据时，考虑到绿色的西兰花植株和褐色土壤之间的明显差异，研究人员只选择了 2 个代表性的扇区作为训练图像。
2020 年西兰花幼苗位置检测实例 (A-F)
通过交互式标注的头部分割实例 (G-I)
作为启动数据训练，研究人员从 2020 年的航拍图像中随机选择了一张，并对其中约 5 个西兰花头进行了尽可能简单的标注，如上图 G-I 所示，并用这些注释训练了 BiSeNet 模型 (v0)。
随后，v0 模型被应用于每次航测中随机选择的图像，研究人员再手动调整分析结果，并保存为 v1 模型的新训练数据。重复迭代这一步骤，直到模型取得更好的分割结果，从而形成了 v2 模型。
而经过 4 次迭代后，模型性能大大提高，达到了 88.33 % 的中间 IoU (Intersection over Union) 。
此外，为了验证无人机测量 HD 的准确性，研究人员将结果与现场人工测量数据进行了比较。
无人机测量数据与手动现场测量数据的对比
结果表明，二者之间西兰花头部尺寸数据的总体分布几乎相同，决定系数 R²≥0.57。总体而言，基于无人机的测量能够准确地表征整个农田的西兰花高清分布。
03 基于非线性回归模型预测最佳采收日期
当花头直径 (HD) 约为 3-3.5 cm 时，研究人员便启动了基于无人机的测量。
如下图所示，为了获取首次飞行的归一化温度 T(0) （HD 约为9.5厘米），研究人员将先前的模型反转以从 HD 数据中计算 T(0)。然后计算后续天数 (i) 的每日温度和 (Ti)，最后对该模型进行回归计算。
基于这个模型，研究人员使用随时间变化的 T，计算了第一次航测后的西兰花头部尺寸。
西兰花头尺寸预测模型的数据处理图示
所有数字只是示例，并非实际结果
A：不同日期的现场测量直径；浅色用作起始日期，西兰花头的大小约为 3-3.5 cm。T 为日平均气温之和。ΔTi 是温度总偏差。
B：将上一个表重塑为 2 列表，用于 C 中所示的回归分析。
D：将之前的回归模型用于从 HD 初始化 T。随后几天的 T 加上偏差 ΔTi。
E：将之前的数据用于从 T 到 HD 的回归预测模型。
使用无人机预测的花头直径 (HD) 来计算收入，对每个日期、每个尺寸标准的个体数量进行了统计。
最终，通过将每个尺寸等级的数量和运输价格相乘，计算了每个收获日期的总收入，选择具有最高收入的日期作为最佳收获日期。
04 采收日期差之毫厘，菜农利润谬以千里
基于初始化和预测模型，研究团队计算了采收期间所有西兰花大小的分布，然后计算非标准尺寸西兰花的比例和所有日期的总收入。
在 2020 年的实验中，5 月 23 日是最佳收获日期，即非标准尺寸西兰花比例最小化、总收入最大化的日期。在 2021 年的试验中，5 月 17 日被确定为最佳收获日期。
同时，研究人员发现，收获时间偏离最佳日期 1 天可能会导致相当大的收入损失——减少 3.7% 至 20.4%。
2020 年和 2021 年试验中预测的 HD 分布，以及非标准尺寸西兰花的比例和总收入，橙黄色为最佳采收日期
此外，本研究表明，非标准尺寸的西兰花比例和总收入随采收日期而迅速变化。例如，比最佳采收日期提前或推迟 1 天会使非标准尺寸的西兰花数量增加约 5％，总收入减少约 20％，而比最佳采收日期推迟 2 天会使非标准尺寸的西兰花数量增加约 15％，总利润减少约 40％。
05 智能化技术改革传统劳作模式
「民以食为天，农为食之源」，农业对于人类社会的重要性无需赘述，同时，作为社会与经济发展的重要支柱，农业也是最早一批投身智慧化升级的行业，各类农田检测系统、智慧化灌溉设备、无人驾驶采收设备已经开始在地头田间辛勤耕作了。
聚焦到无人机在农业中的应用，随着 5G、机器视觉、大数据等技术的持续发展，其也飞入了寻常百姓家。
最初，无人机更多地是承担了植保工作，更加高效、均匀的施肥打药大大节省了人力与时间成本。而后，航拍技术更加成熟，加之成本下探，使得其与农业也擦出了更多火花，基于无人机的农田检测、作物长势可视化等应用成为了新农业的亮眼成绩单。
可以预见，随着 AI 相关技术的持续深化落地，更多的先进成果将走出实验室，走进农田，改善「面朝黄土背朝天」的劳作模式。
参考链接：
[1]https://spj.science.org/doi/10.34133/plantphenomics.0086#body-ref-B4
