一种高准确率的果实产量估算方法、系统及设备

本发明属于计算机视觉，具体涉及一种高准确率的果实产量估算方法、系统及设备。

背景技术：

1、中国是个水果生产大国，在很多地区水果产业已经成为当地的支柱产业。其中水果产量估算是果园管理中的一项重要工作，精确的产量估计可以帮助管理者提高果实质量，并且能够更好地决定疏果的强度和采摘劳动力的规模，同时调整生产管理与销售策略。目前的果实估算方法只是简单的通过多张图像中每张图像的果实识别结果来确定果实种植区域的总果实数量，而且果实识别模型缺乏对于目标多尺度融合特征的考虑，这将会导致识别的果实数量出现偏差，影响产量估算。

技术实现思路

1、本发明的主要目的在于克服现有技术的缺点与不足，提供一种高准确率的果实产量估算方法及系统，通过学习远近景图像信息关联性来达到推测出果实总产量的模型，提高了产量预估的准确性。

2、为了达到上述目的，本发明采用以下技术方案：

3、本发明一方面提供了一种高准确率的果实产量估算方法，包括下述步骤：

4、s1、采集果实种植区域中的远景图像以及同一区域的近景图像，并将所述远景图像和近景图像进行图像数据扩充，以扩增图像数据的数量和多样性；

5、s2、将所述远景图像和近景图像输入至预先设立的产量估算网络模型中，学习远景图像和近景图像的信息关联性，得到果实的产量估算值；所述产量估算模型是使用改进的yolov5检测模型，所述改进的yolov5检测模型包括主干网络backbone、颈部网络neck和头部网络head；所述主干网络backbone用于提取图像特征信息；所述颈部网络neck用于把主干网络backbone提取的特征进行融合，使得颈部网络学习到的特征更具备多样性，，然后再交由后续的头部网络head去检测，从而提高网络的性能；所述头部网络head用于预测目标的种类和位置，利用颈部网络融合的特征，做出预测；具体的改进为：

6、在主干网络backbone中采用轻量级特征提取网络ghostnet替换原先的卷积网络；

7、在颈部网络neck的concat操作之后引入注意力机制模块eca；

8、在原来的多尺度融合检测模块fpn+pan结构的基础上引入bifpn的结构；

9、将颈部网络中cbs模块的silu激活函数更换成hardwish激活函数；

10、s3、将所述果实的产量估算值输入到预先设立的专家系统中进行修正，得到精确的产量估算结果。

11、作为优选的技术方案，所述将所述远景图像和近景图像进行图像数据扩充包括对图像数据进行图像旋转、图像移动、图像缩放、图像增强、噪声注入以及对比度变换中的一种或多种处理。

12、作为优选的技术方案，所述步骤s2是通过让产量估算网络模型学习远景图像和近景图像的位置关联性以及近景图像果实数量对远景果实产量的影响，具体为：

13、s21、将所述近景图像通过改进的yolov5检测模型中进行检测，输出的预测框数量作为近景图像的果实数量n，并编码为向量n′；

14、s22、将远景图像和近景图像分别经过特征提取网络，生成远景图像特征向量和近景图像特征向量；将近景图像的果实数量n生成的向量n′分别与远景图像特征向量和近景图像特征向量进行concat操作，得到1*1*2c的远景图像特征向量和1*1*2c的近景图像特征向量；

15、s23、将1*1*2c的远景图像特征向量和1*1*2c的近景图像特征向量输入到注意力机制模块学习远景图像、近景图像的之间信息关联性，注意力机制模块输出大小为1*1*c的向量作为信息关联性向量，然后输入到一个包括有c个输入神经元，多个隐藏层及输出神经元的mlp网络，mlp网络通过隐藏层神经元学习信息关联性向量与最终果实产量的联系，最终输出一个估算产量值。

16、作为优选的技术方案，所述在主干网络backbone中采用轻量级特征提取网络ghostnet替换原先的卷积网络是在主干网络backbone中使用ghostnet网络获取大量的特征图，不仅保存了全局特征，而且降低了整体网络计算量，在保持准确率的前提下能够使网络轻量化；ghostnet卷积计算公式为：

17、y′＝x*f′

18、其中，x为输入特征图，f′为卷积层，y′为特征图集合；同时，为了生成n个特征图，在特征图y′上采用一系列线性变换操作来产生n个ghost特征图，公式为：

19、

20、其中，y′i(i＝1,…,m)是y′中m个特征图，φi,j是生成ghost特征图yi,j的线性变换操作，i表示y′特征图集合的第i个特征图，j表示s个产生冗余操作中的第j个线性操作；此外，线性变换操作的最后一个操作是恒等映射，用来保存原有特征图的信息。

21、作为优选的技术方案，所述在颈部网络neck的concat操作之后引入注意力机制模块eca；，具体过程为：

22、将输入特征图经过全局平均池化，输入特征图从[h,w,c]的矩阵变成[1,1,c]的向量，其中，h为宽度，w为长度，c为通道数；并根据输入特征图的通道数计算得到自适应的一维卷积核大小；将一维卷积核大小用于一维卷积中，得到对于特征图的每个通道的权重；最后将归一化权重和原输入特征图逐通道相乘，生成加权后的特征图，其中，注意力机制模块的计算公式为：

23、ω＝σ(c1dk(y))

24、其中，σ表示sigmoid激活函数，c1dk表示进行卷积核大小为k的1维卷积操作，y表示聚合特征。

25、作为优选的技术方案，所述在原来的多尺度融合检测模块fpn+pan结构的基础上引入bifpn的结构是将主干网络backbone中的不同尺度的特征图和颈部网络中的concat操作之后的特征图进行加法add操作，再进行卷积操作，增加了图像特征的信息量。

26、作为优选的技术方案，所述步骤s3中，专家系统的知识库用适当的方式存储获取的领域知识、经验，其中包括种植档案、天气信息和历史收成数据；专家系统根据产量估算网络模型获得的估算产量值以及图像信息，再利用知识库的知识，按一定推理策略去推理出一个产量结果，该产量结果与产量估算网络模型得出的产量结果进行一个损失函数的计算，从而对产量估算网络模型进行一个参数更新，以便更准确地预测产量。

27、作为优选的技术方案，还包括根据果实预测位置图和果实实际位置图对预测结果进行评价，具体计算公式为：

28、

29、

30、

31、其中，tp为被检测出来的果实数量，fp为不是果实但被检测为果实的数量，fn为是果实但未被检测出来的数量，p为精度准确度，r为召回准确度，f1分数是精确度和召回率之间的调和平均值。

32、本发明又一方面提供了一种高准确率的果实产量估算系统，应用于所述的一种高准确率的果实产量估算方法，包括采集图像数据模块、产量估算模块以及产量估算修正模块；

33、所述采集图像数据模块，用于采集果实种植区域中的远景图像以及同一区域近景图像，并将所述远景图像和近景图像进行图像数据扩充，以扩增图像的数量和多样性；

34、所述产量估算模块，用于将所述远景图像和近景图像输入至预先设立的产量估算网络模型中，学习远景图像和近景图像的信息关联性，得到果实的产量估算值；所述产量估算模型是使用改进的yolov5检测模型，所述改进的yolov5检测模型包括主干网络backbone、颈部网络neck和头部网络head；所述主干网络backbone用于提取图像特征信息；所述颈部网络neck用于把主干网络backbone提取的特征进行融合，使得颈部网络学习到的特征更具备多样性，然后再交由后续的头部网络head去检测，从而提高网络的性能；所述头部网络head用于预测目标的种类和位置，利用颈部网络融合的特征，做出预测；具体的改进为：

35、在主干网络backbone中采用轻量级特征提取网络ghostnet替换原先的卷积网络；

36、在颈部网络neck的concat操作之后引入注意力机制模块eca；

37、在原来的多尺度融合检测模块fpn+pan结构的基础上引入bifpn的结构；

38、将颈部网络中cbs模块的silu激活函数更换成hardwish激活函数；

39、所述产量估算修正模块，用于将所述果实的产量估算值输入到预先设立的专家系统中进行修正，得到精确的产量估算结果。

40、本发明又一方面提供了一种电子设备，其特征在于，所述电子设备包括：

41、至少一个处理器；以及，

42、与所述至少一个处理器通信连接的存储器；其中，

43、所述存储器存储有可被所述至少一个处理器执行的计算机程序指令，所述计算机程序指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行所述的一种高准确率的果实产量估算方法。

44、本发明与现有技术相比，具有如下优点和有益效果：

45、1、本发明的果实产量估算方法，从远近景产量估算结合的角度入手，考虑到局部产量和全局产量存在的联系，通过学习其中的关联性来提高了产量预估的准确性；

46、2、本发明的果实产量估算方法，针对果实检测任务的自身特性，对yolov5进行改进，引入ghostnet对主干网络进行轻量化处理，ghostnet在保持准确率的前提下能够使网络轻量化；引入eca注意力模块在特征图concat操作之后进行特征增强操作，提升算法检测精度的同时，没有显著的增加模型复杂度；在颈部网络中利用bifpn的思想进行特征图的跳连融合，增加了concat操作之后特征图的位置信息，增加了小目标检测的准确率；

47、3、本发明引入了专家系统与检测算法结合的果实产量估算方法，节约了大量的人力成本，而且有助于进行果实的生长监测和产量预测，有效提升果实产业的自动化和智能化水平。