一种基于深度学习的层级叶片病害检测方法和系统

本发明属于计算机视觉，具体涉及一种基于深度学习的层级叶片病害检测方法和系统。

背景技术：

1、

2、传统苹果病害检测多依赖于农户的个人经验诊断，可靠性和时效性较差，病害检测仅仅依靠人力已经无法满足果园快速发展的需求。深度学习的发展使得卷积神经网络(cnn)获得了广泛关注。利用卷积神经网络代替人类视觉功能，图像传感器来获取植物病害的的图像信息，再将图像存储信息转换成一个多维矩阵，对数据进行计算处理和识别，能够做到对采集到的目标中的主要特征进行精准分析，提取其中的有效信息，进而对植物生长状态进行合理监控。但是苹果在自然果园的生长环境比较复杂，果园广阔导致在摄像头获取的密集病害区域图像中，极易出现大量失焦模糊病斑，同时部分病害的病斑所占像素小、纹理信息不明显，因此复杂环境会严重影响苹果叶片病斑检测的准确性。。

技术实现思路

1、本发明的目的在于克服上述现有技术的缺点，提供一种基于深度学习的层级叶片病害检测方法和系统，以解决现有技术中叶片病斑检测准确性低的问题。

2、为达到上述目的，本发明采用以下技术方案予以实现：

3、一种基于深度学习的层级叶片病害检测方法，包括：

4、输入待检测图像，通过骨干网络提取不同层级的病害特征，通过特征金字塔网络对不同层级的病害特征进行特征融合和特征提取，获得金字塔特征图；

5、将金字塔特征图输入至前置区域提议网络，获得所有类别的病害提议框和叶片提议框；所述前置区域提议网络由5个大小为3×3的特征提取卷积层组成；

6、在每一个叶片提议框中，通过位置锚框生成器生成预制锚框，通过后置区域提议网络回归预制锚框的中心坐标和大小，获得位置的回归参数和病害类别，生成病害提议框；所述后置区域提议网络包括roi align模块、注意力模块和特征卷积层；rol align模块从叶片提议框中，获得病叶特征；注意力模块调整病叶特征中的权重，获得调整后的病叶特征；特征卷积层基于调整后的病叶特征获得病害提议框；

7、将所有的提议框通过感兴趣区域检测头提取特征后，获得病害和病叶的分类及位置。

8、本发明的进一步改进在于：

9、优选的，金字塔特征图在前置区域提议网络中生成预制锚框，通过4个大小为1×1的卷积对阈值锚框的中心位置和宽高进行回归，得到提议框；通过1个大小为1×1的卷积判别提议框中是否有病害或叶片存在。

10、优选的，从前置区域网络中提取出低层次特征，获得低层特征聚合模块；所述低层特征聚合模块的公式为：

11、

12、其中，deconv表示反卷积层，maxpool表示最大池化层，l1和l0均为特征图。

13、优选的，rol align模块基于叶片提议框和低层特征聚合模块获得病叶特征。

14、优选的，后置区域提议网络获得位置的回归参数和病害类别，调整预制锚框的偏移量，网格生成公式为：

15、

16、其中pw,h为前置区域提议网络生成的n个叶片提议框的宽度和高度，roiw,h为roialign模块在水平方向和竖直方向的宽度和高度，si,j代表水平方向和竖直方向的网格点步长。

17、优选的，所述感兴趣区域检测头从病害提议框中，提取出位置特征，将位置特征对齐后，将对齐的位置特征送入至全连接层，进行病害提议框的再回归，获得病害的最终类别和最终的包围框。

18、优选的，所述前置区域提议网络和后置区域提议网络均通过损失函数进行反向传播训练，获得训练后的前置区域提议网络和后置区域提议网络。

19、优选的，所述损失函数为：

20、

21、τ代表区域提议网络的层级，τ等于2；为阶段回归损失，为分类损失；为预置锚框的个数，等于批次中的图片张数。

22、优选的，感兴趣区域检测头提取特征后，获得得分最高的前100个病叶包围框和病害包围框，通过非极大值抑制获得分数最高的包围框，获得病害的分类及位置。

23、一种基于深度学习的层级叶片病害检测系统，包括：

24、特征提取单元，用于输入待检测图像，通过骨干网络提取不同层级的病害特征，通过特征金字塔网络对不同层级的病害特征进行特征融合和特征提取，获得金字塔特征图；

25、病叶生成单元，用于将金字塔特征图输入至前置区域提议网络，获得所有类别的病害提议框和叶片提议框；所述前置区域提议网络由5个大小为3×3的特征提取卷积层组成；

26、病害生成单元，用于在每一个叶片提议框中，通过位置锚框生成器生成预制锚框，通过后置区域提议网络回归预制锚框的中心坐标和大小，获得位置的回归参数和病害类别，生成病害提议框；所述后置区域提议网络包括roi align模块、注意力模块和特征卷积层；rol align模块从叶片提议框中，获得病叶特征；注意力模块调整病叶特征中的权重，获得调整后的病叶特征；特征卷积层基于调整后的病叶特征获得病害提议框；

27、分类检测单元，用于将所有的提议框通过感兴趣区域检测头提取特征后，获得病害和病叶的分类及位置。。

28、与现有技术相比，本发明具有以下有益效果：

29、本发明提出了一种基于深度学习的层级苹果叶片病害检测方法，用于自然环境下苹果叶片病害检测。首先，前置区域提议网络在整个图像生成提议框，并筛选出叶片提议框，后置区域提议网络根据叶片提议框生成病斑提议框。其次，设计了底层特征聚合模块，以更好地利用前置区域提议网络生成的桥接特征。然后，在后置区域提议网络中引入多级roi align块和gcnet，使聚合的特征缩放到相同的大小，更专注于病斑。最后，提出了一种位置锚框生成器，使预设锚框更容易根据病叶的位置捕获目标病斑。复杂自然环境下，该层级苹果叶片病害检测方法可以提高检测任务的召回率和检测精度。

30、本发明提出了一种基于深度学习的层级苹果叶片病害检测方法，该方法针对复杂自然背景下，苹果叶片病害病检测召回率和精度较低的问题，提出了层级化的苹果叶片病害检测方法，包含了前置区域提议网络和后置区域提议网络的层级检测思想，设计了低层特征聚合模块和位置锚框生成器。该方法旨在基于叶片的提议框中生成病斑的提议框，提高在复杂自然环境下，苹果叶片病害的最终检测性能。底层特征聚合模块充分利用病斑语义信息，最大池化层使相应区域的反应最大化，防止强烈的反应被周围的神经元削弱，反卷积层保留了更多的语义信息。同时，位置锚框生成器在叶片提议框中生成致密的锚框，使得病斑的真值标注框更容易被捕捉，增加了训练样本中的正样本个数。实验结果表明，该方法在测试集上取得了49.0％的ar100和34.0％的map。在复杂环境下的苹果叶片检测任务上可以取得有竞争力的性能，在农业实际生产中有着广阔的应用前景。

31、除此之外，本发明还有以下有益效果：

32、进一步的，本发明对现有的计算机视觉图像方法进行了设计和优化，建立了一个层级检测框架，通过前置区域提议网络和后置区域提议网络的级联式层级检测结构，使得病叶和病斑逐步层级进行检测，有效提升复杂自然环境下的苹果叶片病害检测效果。

33、进一步的，本发明构建了一个低层特征融合模块。低层特征融合模块将对病斑特征具有高响应的特征进行聚合，充分利用病斑的语义信息，显著提升苹果病斑的实时诊断效果。

34、进一步的，本发明构建一个位置锚框生成器。基于前置区域提议网络生成的叶片提议框，生成密集的预置锚框，更好地捕捉病斑的标注框，提高病斑正样本比例，有助于网络训练。