一种基于多尺度密集实例检测的单木果树分割方法与系统与流程

本发明涉及植物表型智能化检测，更具体地，涉及一种基于多尺度密集实例检测的单木果树分割方法与系统。

背景技术：

1、近年来，随着中国数字经济的迅速发展，农业数字化已经成为中国数字化转型的重要组成部分，尤其是精准农业技术的应用。精准农业技术可以通过卫星遥感、激光测距等技术，以人工智能技术为依托，实现对农作物的精准化自动化监测管理，更好地利用耕地资源潜力、科学合理利用物资投入，以提高农作物产量和品质、降低生产成本、减少农业活动带来的污染。现阶段荔枝种植面积巨大，生长周期长，形态复杂，需要耗费大量人力物力来采集数据。而无人机可以稳定高效地采集数据，并通过人工智能技术对无人机影像进行分析，从而自动获得荔枝生长过程的阶段数据。这为农学专家提供了宝贵的数据支持，使他们能够更好地了解荔枝的生长情况，预测产量，优化种植方案，提高果实的品质和产量。此外，利用人工智能技术，可以对荔枝花芽、花穗、果实等进行分类和识别，以便更好地助长、管理和销售。

2、近年来，大数据的快速发展和高性能计算的普及促进了深度学习的蓬勃发展，在许多领域取得了显著成就。目前，深度学习结合各种机制和模块，已经在目标检测领域发展比较迅速，在荔枝检测任务中也有着不错的表现。深度学习算法能够通过神经网络学习到物体的特征，从而提高目标检测的精度和效率。同时，相关农业专家经过长期的实践与实验室分析，有着很好的管理经验和农业技术支持。他们可以提供关于荔枝生长和管理的宝贵经验，帮助开发更加有效的检测算法，从而更好地促进荔枝产业的发展。

3、以往关于单木分割的研究主要是针对于三维点云数据，而利用二维正射影像数据进行单木分割的研究较少。同时对于单木冠层轮廓提取的研究大多集中在森林或稀疏果园，以局部最大值滤波结果作为基于标记分水岭算法的种子点，该方法在密植型果园的表现并不理想。

4、现有技术公开了一种基于神经网络的复杂场景树木检测方法，该方法包括以下步骤：步骤1，构建树冠高度模型；步骤2，生成待检测样本；步骤3，神经网络树木检测。该方法的缺陷是，不适用于包括建筑等事物的复杂场景下树木信息的检测工作。

5、为此，结合以上需求和现有技术缺陷，本技术提出了一种基于多尺度密集实例检测的单木果树分割方法与系统。

技术实现思路

1、本发明提供了一种基于多尺度密集实例检测的单木果树分割方法与系统，引入基于mask r-cnn的神经网络模型来检测包含建筑等事物的复杂场景下树木信息，提高该场景下树木检测精度，从弱监督的角度出发，大大提高了单木分割的精度和效果。

2、本发明的首要目的是为解决上述技术问题，本发明的技术方案如下：

3、本发明第一方面提供了一种基于多尺度密集实例检测的单木果树分割方法，本方法包括以下步骤：

4、s1、获取待检测区域图像，对其进行预处理，得到待检测区域正射影像图。

5、s2、采用分割一切模型半自动化识别待检测区域正射影像图的树木类别的矢量边界，得到单木分类图，并对单木分类图进行裁剪得到单木遥感影像数据集。

6、s3、构建单木分割模型，采用单木遥感影像数据集对单木分割模型进行训练，得到训练好的单木分割模型。

7、s4、将待检测区域的正射影像图输入至训练好的单木分割模型，输出单木分割结果，通过仿射变换获取单棵树木的树冠面积及其中心点坐标，并估计树木的果实数量。

8、进一步的，步骤s1中，所述获取待检测区域图像的方式为采用无人机对待检测区域进行拍摄，步骤s1的具体过程为：

9、s11、利用软件在预设的目标区域内生成航线，并设置旁向重叠率、航向重叠率以及航高，无人机根据上述设置的参数执行待检测区域飞行拍摄图像任务。

10、s12、对拍摄的待检测区域图像进行二维重建得到待检测区域的正射影像图。

11、进一步的，步骤s2的具体过程为：

12、s21、基于分割一切模型对待检测区域的正射影像图进行分割，选择树木目标并转换为矢量，测绘人员通过目视解译修正树木类别的矢量边界，得到单木分类图。

13、s22、将获取的单木分类图裁剪为预设尺寸的影像块对，采用随机采样的方式，按预设的比例采集样本，构建训练集、验证集与测试集，得到单木遥感影像数据集。

14、进一步的，步骤s3中所述单木分割模型包括有特征提取模块、卷积模块、领域自适应模块和计算模块，所述特征模块用于提取影像图的多层特征，并对获取的特征进行定位与分类；所述卷积模块为基于roi候选框的卷积模块，用于进一步提取特征；所述领域自适应模块用于获取目标候选区域；所述计算模块为密集实例分割计算模块，以目标候选区域作为输入，用于预测实例。

15、进一步的，步骤s3中对所述单木分割模型进行训练的具体过程为：

16、s31、特征提取模块采用resnet101残差组件，提取影像图的多层次特征，包括有底层空间特征和高层语义特征；同时采用空洞卷积金字塔池化层对高层语义特征进行定位和分类。

17、s32、基于roi候选框的卷积模块包括有：卷积神经网络和残差连接，其中，卷积神经网络用于对输入数据进行特征提取，残差连接则用于增加网络的深度，并确保网络从输入数据中获取到足够的信息；所述卷积神经网络由多个卷积层和池化层组成，以提取出高层次的特征，所述残差连接将所述卷积神经网络的输出与前一层的输出连接，以生成更复杂的特征表示。

18、s33、领域自适应模块从卷积模块中提取目标候选区域，由若干递归的卷积层和池化层组成，用于生成若干候选区域，并通过非极大值抑制算法对冗余目标进行排除，得到目标候选区域。

19、s34、密集实例分割计算模块以目标候选区域作为输入，对于每个候选框bi，采取预测实例集合，并采用emd损失函数确定预测标签与真实标签之间的差距。

20、s35、根据损失函数确定的预测标签与真实标签之间的差距，对所述单木分割模型的训练参数进行调整，重复迭代直至损失函数输出的预测标签与真实标签之间的差距低于预设的阈值；所述训练参数包括有：迭代次数、批量大小、优化器选择、初始学习率设置和权重衰减率设置。

21、进一步的，所述emd损失函数具体为：

22、

23、

24、

25、其中，π表示(1,2,...,k)的特定排列组合，第k个元素为πk，gπk代表πk的真值实例集合，代表具有置信度的标签框，代表具有相对坐标的检测框；lcls(·)代表分类损失，yi表示样本i的标签，正类为1，负类为0；pi表示样本i预测为正类的概率；lreg(·)代表回归框损失，b表示检测框，bgt表示真实框。

26、进一步的，步骤s4的具体过程为：

27、s41、将待检测区域的无人机影像输入到单木分割模型中，获得影像中单棵树木的实例分割结果，包含单棵树木的目标检测矩形框以及像素级语义分割结果。

28、s42、获取单棵树木中心店像素坐标及树木树冠像素面积，利用正射影像控制点坐标进行仿射变换，得到树木中心点的经纬度坐标及树冠的真实面积大小。

29、根据上述技术手段，能够为无人机后续航向自动规划和树木产量估算提供数据来源。

30、进一步的，根据树冠的真实面积大小能够估算树木的果实数量，具体为：采用目标检测算法识别影像中存在的果实数量，根据拍摄视野范围和树冠的真实面积大小以及识别的果实数量在影像中所占像素的实际比例，能够计算得到单棵树木的果实数量，完成估产工作。

31、进一步的，所述拍摄视野范围根据如下公式求取：

32、

33、其中，fov为视野范围，wd为工作距离，m为靶面尺寸，f为焦距。

34、进一步的，单棵树木的果实数量由如下公式求取：

35、

36、其中，nt表示整个荔枝树小果数量，nx表示影像中识别到的小果数量，at表示树冠面积，ax表示影像视野实际范围大小。

37、本发明第二方面提供了一种基于多尺度密集实例检测的单木果树分割系统，该系统用于所述的一种基于多尺度密集实例检测的单木果树分割方法，包括有：图像获取模块、图像分割模块和图像处理模块。

38、所述图像获取模块获取待检测区域图像，对其进行预处理，得到待检测区域正射影像图并传输至图像分割模块；所述图像分割模块采用分割一切模型半自动化识别待检测区域正射影像图的树木类别的矢量边界，得到单木分类图，并采用单木分类图对单木分割模型进行训练；所述图像处理模块接收待检测区域的正射影像图，利用训练好的单木分割模型分析处理后输出单棵树木的树冠面积及其中心点坐标，并估计树木的果实数量。

39、与现有技术相比，本发明技术方案的有益效果是：

40、本发明提供了一种基于多尺度密集实例检测的单木果树分割方法与系统，训练好的单木分割模型能够将采集的正射影像图进行分割，并通过将待检测区域的正射影像图输入至训练好的单木分割模型，输出单木分割结果，通过仿射变换获取单棵树木的树冠面积及其中心点坐标，能够作为果树估产的重要依据，在密集型果园的单木分割表现良好。