Paula Ramos Giraldo、Søren Skovsen、Mayuresh Sardesai、Dinesh Bhosale、Maria Laura Cangiano、Chengsong Hu、Aida Bagheri Hamaneh、Jeffrey Barahona、Sandy Ramsey、Kadeghe Fue、Manuel Camacho、Fernando Oreja、Helen Boniface、Ramon Leon Gonzalez、Edgar Lobaton、Chris Reberg-Horton、Steven Mirsky。

杂草是农业面临的最大挑战之一；它们与作物竞争可利用的养分、水和阳光。

许多方法，最著名的是RGB传感器，已被用于使用计算机视觉识别和绘制杂草图。例如，一个简单的线状除草器（也称为“割草机”）与摄像头配对，可以控制生长点未受保护的非常小的杂草。随着杂草变得更大且更具侵入性，可能需要更昂贵的方法，并且使用机器人安装的激光器已经取得了一些成功。

然而，迄今为止，还没有人成功地将深度信息与目标识别同时集成用于杂草管理。利用3D信息，例如带深度功能的OpenCV AI套件（OAK-D）提供的信息，我们可以根据生长点的位置和植物的整体耐受性来改变控制方法。

监测和绘制杂草生长图是精确可持续农业（PSA）团队的主要目标之一。PSA团队开发用于监测气候、土壤和农业管理对田间作物生产影响的工具，目标是改善农民的决策。

我们使用新的OpenCV摄像头OAK-D和英特尔OpenVINO工具套件发行版，开发了一种用于精确测量田间条件下杂草高度和覆盖面积的半自动化非侵入性方法。项目在2020年OpenCV AI竞赛中获得好评，并荣获荣誉奖。

以下是我们的操作方法。

硬件

首先，田间团队前往田间，收集样带信息，确定已出现的杂草类型，并测量杂草高度和地面覆盖率。

注意：在项目期间，我们不得不更换使用的摄像头，因为OAK-D（BW1098OBC）缺货。相反，我们使用了一种由相同软件支持的类似摄像头技术（图1），其中组件未集成到单个板上。此版本的摄像头(BW1098FFC)具有三个FFC端口和可调节的基线，这允许更短的最小深度距离。

设置

材料清单（图2）

• 平板电脑（联想P10或M10/或类似的Android设备）
• 带肩带的伸缩单脚架
• OAK-D摄像头（BW1098FFC）
• 树莓派4带32GB或更大容量的micro SD卡
• 摄像头和树莓派的移动电源（2个输出10000mA）
• 线缆
• 腰包
• 平板电脑三脚架安装适配器
• 迷你球形云台（#2）
• 镜头布和刷子。

我们的目标是创建一个易于使用、低成本的工具，使我们国家田间科学家团队能够量化农场和研究站的杂草性能。

我们创建了五个配备上述所有组件的传感系统，并将其分发给我们的技术团队，以便在德克萨斯州、马里兰州、丹麦和北卡罗来纳州的不同条件下进行初步测试。破坏性地收集杂草生物量以将图像与杂草性能联系起来。

数据收集方法

为了创造最佳的杂草生长动态范围，我们在德克萨斯州、马里兰州和北卡罗来纳州三个地点建立了田间试验（图3）。我们包含了许多具有不同生长特征的植物物种，包括杂草和覆盖作物（CC），以在实际操作条件下测试OAK-D。

最初的计划是运行DepthAI（图4），在我们缓慢穿过田间时收集视频。

不幸的是，推理RGB摄像头和立体摄像头之间存在同步问题：RGB摄像头比单目摄像头提前几秒开始，这使得无法关联数据包序列号。

修订后的方法要求我们更改田间数据收集协议。我们不再持续使用视频进行监测，而是需要停止、拍摄静止图像，然后继续沿样带前进。我们覆盖了所有样带，沿途每一步拍摄一张静止照片。

结果数据

我们使用修改后的Luxonis脚本以16位NumPy数组格式获取原始深度信息，而不是简单的视差图（图5）。

由于图像采集问题（自动曝光、自动白平衡和自动对焦），我们必须执行原始数据库清理才能运行生物量测量检测模型。

语义分割

为了预测杂草组成，使用OAK-D摄像头收集的冠层图像被分割成相关的类别：1）土壤、2）草和3）阔叶植物。此信息与深度测量值融合，不仅可以预测相对组成，还可以预测绝对值。

一个带有MobileNet-v3骨干网络的DeepLab-v3+模型被实现为轻量级的语义分割模型，适用于嵌入式环境。与常用的Xception-65骨干网络相比，此实现减少了内存和计算能力方面的占用空间，但代价是准确性降低。

合成数据创建

我们在监督设置中训练模型，需要一个包含所有像素的精确注释图像数据集。不考虑当前的一步学习研究，通常需要数百或数千个带标签的图像才能实现模型的充分泛化。

依靠每个物种内植物之间的高度相似性，创建了一个合成数据集以最大程度地减少标注工作。按照Skovsen等人（2017）和Skovsen等人（2019）的原则，如图6所示，从真实图像中数字剪切出48个植物样本，如下一张图所示，并将其分类为草或阔叶植物。

模型测试

由于内存限制降低了我们的分割模型精度，因此我们选择继续开发：1）在英特尔神经计算棒上使用DepthAI，以及2）通过TensorFlow-lite库直接在主机上处理信息。

获取图像后，它将由语义分割模型处理，该模型检测草、阔叶和土壤。然后，语义分割中生成的掩码将与摄像头也收集的深度图（估计检测到的植物高度）一起使用，以估计生物量。图8。

开发过程

我们首先找到深度测量中的均方根误差，然后尝试在NCS2模式下运行模型。DepthAI能够运行模型，但在我们当时的测试中，仅在较小的模型上运行良好，在较大的模型上返回段错误。

我们修改了数据收集脚本，将原始深度数据收集到NumPy数组中，以使体积分析不那么密集。然后，这些图像用于根据使用已知面积的白色PVC管作为参考提取的感兴趣区域计算体积。通过进行3D重建和恢复数据的点云，对相同的图像进行静态图像分析。

进一步的实验将包括改进基于ROI的方法以及使用点云进行体积估计。实时处理效果不佳，因为当我们使用较小的模型大小时，分割质量会下降。因此，我们决定目前使用非实时方法。您可以在我们的Github代码库中找到代码。

结果

通过我们的策略，我们能够使用摄像头收集植物高度。使用从主机生成的柱状图，我们使用主成分分析降低了维度，取前两个成分，并使用它们构建了一个多元线性回归模型来找到估计的生物量。

0.5到0.8之间的决定系数表明OAK-D摄像头有可能测量我们田间存在的杂草的生物量。

未来，我们打算利用DepthAI平台的新功能提高深度测量的准确性，并解决视频数据采集问题，以实现实时分析。

团队与致谢

我们是精准可持续农业团队的一员，并以“杂草监测”的提案参加了OpenCV空间人工智能竞赛。在此次竞赛中，我们与奥胡斯大学、北卡罗来纳州立大学、美国农业部农业研究局和德克萨斯农工大学合作。

感谢Luxonis对我们所有错误和问题提供的持续且及时的帮助。

感谢Julian Cardona设计的3D相机外壳。

本研究基于美国农业部国家食品与农业研究所根据授予编号2019-68012-29818提供的支持工作，通过覆盖作物和创新的信息技术网络增强美国作物系统的可持续性。