基于深度学习的果树花朵疏花方法、系统及存储介质

本发明属于林业，具体涉及一种基于深度学习的果树花朵疏花方法、系统及存储介质。

背景技术：

1、大多数果树开的花朵都远远多于最后结成的果实，除了由于果树本身的调节能力，使发育不良的花朵自然脱落外，还需要通过花朵疏花手段摘除多余的花，才能满足生产上的要求。比如，苹果疏花是控制苹果树体营养生长和生殖生长的重要措施，是提高树体营养水平，促进花芽分化的有效措施，对于促进苹果果实膨大和增加果实品质具有重要意义。

2、不同品种的果树、不同的果园种植方式及不同的地理环境，对果树花朵的疏花要求不同，何时疏花、怎样疏花、疏花量是多少需要综合考虑判断，才能确定最终的疏花方案。传统的果树花朵疏花方案主要依靠技术人员在果园现场巡视查看果树的具体情况，然后现场判断具体的疏花方案，但是此类方法效率较低，有些果园的技术人员相关的技术储备不足，不能及时进行疏花作业或者疏花方案不正确，就会造成果树花朵疏花效果不理想，最终影响水果的品质并造成经济损失。

3、专利cn103081730b公开了一种基于机器视觉的液压传动式果树疏花机和疏花方法，建立果树花朵分布的三维虚拟模型，计算分析两个模型之间的相互作用，得到使疏花机获得最佳疏花效果的相应参数，但是，该专利的花朵疏花方案主要是基于静态的数据，疏花方案有必要基于深度学习进一步改进和完善。

技术实现思路

1、在现代化果园管理中，果树花朵疏花是重要的内容。为了能够实现智能化疏花方案，可以采用摄像头获得果树花朵图像信息，采用动态异构图表示果树花朵种类、花期类型、果树花朵形态、疏花方案，并进行深度学习训练确定它们的动态关系，从而获取果树花朵疏花智能方案，保障果树花朵疏花效果，提高果品的品质进而保证经济收益。

2、鉴于此，本发明提出了一种基于深度学习的果树花朵疏花方法、系统及存储介质。本发明所采用的技术方案如下：

3、基于深度学习的果树花朵疏花方法，包括以下步骤：

4、s1，获取当前区域果树花朵图像信息，构建果树花朵数据集，采用果树花朵识别模型进行果树花朵识别；

5、s2，采用动态异构图表示果树花朵种类、花期类型、花朵形态、疏花方案；

6、s3，构建果树花朵智能疏花方案，采用图神经网络训练深度学习模型生成疏花方案模型；

7、s4，将当前区域的果树花朵种类、花期类型、花朵形态和数量作为初始节点输入到疏花方案模型中，疏花方案模型判断生成当前区域不同组合及目标分数的疏花方案；

8、s5，选取目标分数最高的疏花方案作为当前区域的最终果树花朵智能疏花方案。

9、优选的，步骤s1中，所述采用果树花朵识别模型进行果树花朵识别，包括以下步骤：

10、将果树花朵数据集按照7：2：1的比例划分成训练集、验证集和测试集，采用深度学习模型训练果树花朵数据集，通过测试集评估果树花朵识别模型的性能，采用labelimg软件对果树花朵图像信息特征进行标注，标注出果树花朵的时期和树种及图像中的位置，标注出矩形框并将标记坐标信息存储在对应的xml文件中，使用k-means算法对训练集中标注的候选框进行聚类，确定最佳的候选框以优化预测框的大小；

11、采用改进的yolo模型对果树花朵识别模型进行训练，改进的yolo模型由输入、主干网络、颈部和预测四部分组成，主干网络采用mobilenet v3-small网络作为整个模型的特征提取网络，用来提取特征图并在网络中使用residual残差网络，颈部采用fpn特征金字塔融合不同形状的特征层，预测采用fpn+pan的结构，采用eiou作为模型的回归函数，在后处理阶段引入focal loss损失函数。

12、优选的，主干网络采用af-mobilenet轻量级网络作为整个模型的特征提取网络用来提取特征图，af-mobilenet轻量级网络参考mobilenet v2的整体框架，在网络中采用深度可分离模块和轻量级注意力模块。

13、优选的，步骤s1中，通过网络爬虫获取网络中的果树花朵图像以及已经公开的果树花朵数据集，对果树花朵图像进行分类整理，通过膨胀、旋转手段扩充果树花朵图像集。

14、优选的，步骤s2的具体步骤为：

15、s2.1，采用专家决策确定不同果树花朵种类、花期类型、花朵形态为疏花的关键性特征，确定果树花朵疏花方案的知识图谱；

16、s2.2，通过节点及对知识图谱进行可视化动态异构图表示，将果树花朵种类、花期类型、花朵形态及疏花方案节点进行连接。

17、优选的，步骤s3的具体步骤为：

18、s3.1，采用图神经网络训练深度学习模型生成疏花方案模型，对图中节点的属性特征、节点为中心的子图的结构特征、子图结构的变化规律使用嵌入向量进行表示；

19、s3.2，将果树花朵种类、花期类型、花朵形态、疏花方案作为模型中不同的节点采用v表示，邻居节点将自身的表征向量变化后传递给目标节点并进行低维向量表示，图g采用二元组来表示：g＝(v，e)，e表示各个节点关联关系集合；

20、s3.3，在不同节点在不同时刻的动态异构图形成新的目标节点，然后对动态异构图表征进行学习；

21、s3.4，最终生成基于动态异构图神经网络的果树花朵与疏花方案的复杂关系模型。

22、优选的，步骤s4中，根据果树花朵种类、花期类型、花朵形态和数量作为判断，组合出不同的疏花药剂量。

23、基于深度学习的果树花朵疏花系统，包括：摄像头、处理器、通讯接口和存储器，所述的存储器中包括实现基于深度学习的果树花朵疏花方法的程序模块，所述的程序模块通过通讯接口实现与摄像头和处理器的数据通讯，程序模块包括：果树花朵图像信息获取子模块、动态异构图子模块、疏花方案模型子模块、疏花方案子模块和果树花朵智能疏花方案子模块。

24、优选的，果树花朵图像信息获取子模块，通过摄像头获取当前区域果树花朵图像信息，采用果树花朵识别模型进行果树花朵识别；动态异构图子模块，采用动态异构图表示果树花朵种类、花期类型、花朵形态、疏花方案；疏花方案模型子模块，构建果树花朵疏花方案，采用图神经网络训练深度学习模型生成疏花方案模型；疏花方案子模块，将当前区域果树花朵种类、花期类型、花朵形态和数量作为初始节点输入到疏花方案模型中，疏花方案模型判断生成当前状态下不同组合及目标分数的疏花方案；果树花朵智能疏花方案子模块，选取目标分数最高的疏花方案作为当前区域下果树花朵智能疏花方案。

25、存储介质，所述存储介质可供计算机读取，存储介质中存储有摄像头获取程序，以及果树花朵图像信息获取子模块、动态异构图子模块、疏花方案模型子模块、疏花方案子模块和果树花朵智能疏花方案子模块。

26、本发明的有益效果是：

27、本发明提供的一种基于深度学习的果树花朵疏花方法、系统及存储介质，通过摄像头获取当前区域果树花朵的图像信息，采用果树花朵识别模型进行果树花朵识别。采用动态异构图表示果树花朵种类、花期类型、花朵形态、疏花方案。构建果树花朵智能疏花方案，采用图神经网络训练深度学习模型生成疏花方案模型。将当前区域果树花朵类型、状态和数量作为初始节点输入到疏花方案模型中，模型判断生成当前状态下不同组合及目标分数的疏花方案。选取目标分数最高的疏花方案为当前区域下果树花朵智能疏花方案。本发明通过深度学习模型判断果树花朵的种类，通过动态异构图卷积神经网络确定果树花朵种类、花期类型、花朵形态与疏花方案的潜在关系，使得疏花方案更迅速、更准确，大大提高了疏花方案的科学性和效率。