一种深度学习和群智能算法的水果采摘优化模型的方法

本发明涉及人工智能采摘，具体为一种深度学习和群智能算法的水果采摘优化模型的方法。

背景技术：

1、果实采摘是农业生产的关键环节之一，采摘顺序可以影响采摘效率和果实品质；传统的果实采摘方法通常是人工采摘，但这种方法费时费力，效率低下；随着计算机视觉技术的发展和机械自动化水平的提高，自动化果实采摘已成为一种新的研究方向；其中，基于图像分割的果实采摘顺序算法的研究是其中一个重要的方向；现阶段，梨子采摘难度大，需要较大的人力物力成本，并且在较为复杂的果园环境下，采摘效率并不理想，不适合规模化大面积梨子种植业的发展，因此实现采摘自动化，对规模较大的采摘场景效率的提升具有重大意义。

2、目前，农业机器人在适应性上还存在很多不足之处，尤其是面对现实中复杂的农业环境，农业机器人难以适应果园中复杂多变的环境以及多变的天气变化；除此之外，现代化农业机器人虽然种类繁多，但是更偏向于实现简单的农业生产活动，专业化的农业机器人的研究成本及生产成本比较高，并且相较于单一功能的农业设备来说效率更低，这些不足就导致农业机器人在实际场景中难以得到广泛地推广使用。

技术实现思路

1、(一)解决的技术问题

2、针对现有技术的不足，本发明提供了一种深度学习和群智能算法的水果采摘优化模型的方法，利用计算机视觉技术实现图像分割的果实采摘顺序算法，提高了果实采摘效率和果实定位精度，解决了现有技术中采摘过程中的浪费和伤害，同时还能够避免果实的腐烂和损坏，无法提高果实的保质期和市场价值的问题。

3、(二)技术方案

4、为实现上述的目的，本发明提供如下技术方案：一种深度学习和群智能算法的水果采摘优化模型的方法，包括以下步骤：

5、s1、收集自然环境下的水果果实图片作为训练数据，并对数据进行预处理；

6、s2、设计一种改进u-net模型的ca u-net语义分割网络，将u-net模型的主干网络vgg16更换为轻量化的mobilenet-v3结构；

7、s3、将moblienet-v3主干特征网络中的se注意力机制模块替换为coordinateattention注意力机制，使得在复杂的果园背景下可以取得更好的效果；

8、s4、利用k-means聚类算法首先对果实进行分组，再利用聚类分组进行寻优，将聚类进化机制与多目标蚱蜢优化算法相结合确定采摘顺序优化模型；

9、s5、利用基于采摘距离最短和果实被遮挡面积最小两个原则对果实的采摘顺序进行优化，并且根据不同采摘场景和不同的果实来合理的分配因素影响权重；

10、s6、最后利用改进的群智能优化算法优化果实的采摘顺序后，利用农业机器人进行采摘。

11、优选的，所述s3中se注意力机制模块需要两个全连接层，且coordinateattention注意力机制只需要一个全连接层和一个可学习的位置编码器。

12、优选的，所述coordinate attention为一种轻量级的注意力机制，用于减少计算成本和参数数量，且coordinate attention通过使用坐标信息来学习特征之间的关系，提高网络的表现，所述coordinate attention注意力机制通过将空间位置通道之间的关系建模为2d坐标和通道嵌入之间的相互作用，从而实现网络更好地捕捉特征之间的空间和通道的依赖性。

13、优选的，所述s5中采摘距离最小的数学模型如下所示：

14、

15、其中，m为采摘场景中共有m个子种群，n为每个子种群共有n个果实，i为对应的种群编号，对种群依次进行编号为i＝1，2，…，m，j为对应每个子种群里的果实数量，对果实依次排序为j＝1，2，…，n；

16、根据果实被遮挡面积来判断果实的外表裸露情况，来减少果实的破损，果实裸露面积根据目标检测模型检测框的重叠程度进行计算比较，其数学模型如下：

17、

18、综合以上两个目标影响，结合实际采摘场景，利用算法来对模型进行求解，使得f1和f2同时最小化，建立多目标采摘顺序优化算法模型为y-min(f1+f2)。

19、优选的，所述s6中用于模拟蝗虫群体行为的数学模型为：

20、

21、其中xi表示第i个蚱蜢的位置，si用来模拟社会相互作用力，gi表示重力影响，ai表示风力作用，r1、r2和r3表示的是0到1的随机数，为种群中的蚱蜢提供随机行为。

22、优选的，算法中蚱蜢中到达舒适区的速度较快，蚱蜢群在收敛到目标位置中受到限制，需要引入参数来区分不同阶段，更新蚱蜢位置的数学模型如下：

23、

24、其中dij第i只蚱蜢到第j只蚱蜢两个目标之间的距离，通过公式计算得出：s是定义社会力量强弱的函数，g是引力常数，g是朝向地球中心的单位矢量，u表示的是一个漂移常数；ew是一个统一的向量的方向。

25、优选的，优化问题的关键点在于gi参数被省略在蚱蜢算法中，将风向用优化目标代替，模型的调整结果如下：

26、

27、n维搜索空间的上边界用表示，搜索空间的下边界则是用来表示，当前迭代的目标函数的最优解为td，其中参数c是为了减少蚱蜢围绕目标运动的自适应系数。

28、优选的，所述s4中利用k-means聚类将总体划分为不同的子种群，会比较每个子种群中最佳的解决方案，以便确定整体中最优的参数确定方案。

29、(三)有益效果

30、与现有技术相比，本发明提供了一种深度学习和群智能算法的水果采摘优化模型的方法，具备以下有益效果：

31、1、本发明通过采用深度学习算法来对梨子果实图片进行检测定位和图像分割，通过双目相机对水果果实的采摘点进行三维坐标定位，并且对每个果实进行采摘顺序的优化，将u-net中参数量较大的主干特征提取网络vgg16进行替换，换为轻量化的mobilenet-v3网络，然后将mobilenet-v3中的se模块改进为coordinate attention注意力模块，提高复杂背景下的图像分割精度，通过将多目标蚱蜢优化算法应用于果实采摘顺序优化的场景之中，并且对果实的分组机制进行优化，利用k-means聚类算法首先对果实进行分组，之后利用基于采摘距离最短和果实被遮挡面积最小两个原则对果实的采摘顺序进行优化，并且根据不同采摘场景和不同的果实来合理的分配因素影响权重，利用改进的群智能优化算法优化果实的采摘顺序。

32、2、本发明通过采用轻量化的网络结构并且更加注重空间感知的注意力机制，利用自然环境下的水果果实图片作为数据集进行模型训练。其次，采用群智能算法对果实采摘顺序进行优化，根据不同场景和果实特点，将采摘距离最短和果实被遮挡面积最小两个原则作为优化指标，合理分配因素影响权重，通过利用计算机视觉技术实现图像分割的果实采摘顺序算法，提高了果实采摘效率和果实定位精度，解决了现有技术中采摘过程中的浪费和伤害，同时还能够避免果实的腐烂和损坏的问题，进而提高果实的保质期和市场价值。