一种害虫的检测识别方法、系统、电子设备及存储介质与流程

本发明涉及图像识别，尤其涉及一种害虫的检测识别方法、系统、电子设备及存储介质。

背景技术：

1、每年虫害造成的损失非常普遍和十分严重，对粮食的污染可分为直接污染和间接污染，直接污染包括害虫尸体、排泄物、蜕皮和身体碎片等物理污染，也包括致癌物质、过敏源和不良气味等化学污染；间接污染主要是改变储藏微环境，营造真菌等微生物适宜生长的条件。且会主动或被动的促进微生物的传播。对于虫害情况的检测，分辨发生虫害的种类至关重要。由于不同种类的害虫，生活史和习性，发生与环境的关系都有很大差别，针对不同虫种，选择合适的防治技术才能达到较好的防治效果。例如米象和玉米象，二者对磷化氢的抗性不同，区分二者可以指导用药量，避免浪费又能达到较好的防治效果。因此需要对危害样品的害虫种类进行判别。

2、对于虫种的判别，传统的方法是根据其外部形态特征，采用这种方法不仅需要经验丰富的人员进行，而且耗时费力，特别是对于近缘种，它们产卵的习性相同，生物学特性很相似，生活周期基本一致，因此对粮食籽粒的危害情况很相似，仅采用人眼观察区分是十分困难的，对人员的专业水平要求就比较高，且容易出错。采用电子扫描显微镜、电子显微镜以及生物化学方法和技术来进行害虫检测不仅需要对样品复杂的预处理和丰富的专业知识和技能，过程中需要使用的化学药剂对人身体可能有害。另外，从事昆虫分类的专家也有减少。因此研究开发自动简单的昆虫分类方法成为各国学者关注的课题。

3、基于机器视觉技术的害虫检测识别在于构建实时性强、准确度高的检测识别系统。首先，通过实验室模拟、害虫诱捕设备或粘虫板采集害虫图像，准备数据；其次，对图像进行裁剪、增加噪声、调整亮度和对比度、滤波和图像增强等预处理操作，以增强数据的多样性；随后，手动设计或利用卷积神经网络从图像中进行特征提取；最后，采用候选区域生成算法来生成可能包含目标物体的候选区域，并使用传统机器学习的方法或深度学习的方法对候选区域进行分类和检测识别。基于传统机器学习技术受手动设计特征提取器的限制，无法满足实仓复杂背景下的图像特征提取和分类任务，缺乏稳定性和可靠性。手动设计特征也受主观性和计算机语言限制的影响，导致提取的特征失真或不准确，需要针对不同类型的害虫采用自定义特征提取方式。另外，检测识别系统的过拟合和泛化能力问题也比较严重。

技术实现思路

1、本发明提供一种害虫的检测识别方法、系统、电子设备及存储介质，用以解决现有技术中传统的害虫检测识别方法和基于传统机器学习技术的害虫检测识别方法中的缺陷。

2、本发明提供一种害虫的检测识别方法，包括：

3、获取待识别害虫图像；

4、将所述待识别害虫图像输入至检测识别模型中，得到所述检测识别模型输出的害虫识别结果；

5、所述检测识别模型包括多层卷积结构图像特征提取器、区域候选网络和位置敏感预测模块；

6、所述多层卷积结构图像特征提取器用于提取所述待识别害虫图像的图像特征；

7、所述区域候选网络用于基于所述图像特征，从所述待识别害虫图像中定位候选感兴趣区域；

8、所述位置敏感预测模块包括归一化模块、感兴趣区域池化模块和识别模块；

9、所述归一化模块用于对所述图像特征进行不同的卷积操作，得到各个位置敏感得分图；

10、所述感兴趣区域池化模块用于对所述候选感兴趣区域中各感兴趣区域分别进行池化操作，得到各感兴趣子区域，并对所述各感兴趣子区域对应的位置敏感得分图进行池化操作，得到池化结果；

11、所述识别模块用于基于所述池化结果进行识别，得到所述害虫识别结果。

12、根据本发明提供的一种害虫的检测识别方法，所述识别模块包括分类模块和定位模块；

13、所述分类模块用于基于一组感兴趣子区域对应的池化结果进行分类，得到所述待识别害虫图像的所述害虫识别结果；

14、所述定位模块用于基于所述一组感兴趣子区域对应的池化结果进行边界框回归，得到所述边界框的偏移量，并基于所述边界框的偏移量对所述候选感兴趣区域进行调整。

15、根据本发明提供的一种害虫的检测识别方法，所述区域候选网络包括第一锚框筛选模块、重叠候选区域消除模块和第二锚框筛选模块；

16、所述第一锚框筛选模块用于将锚框作用于所述图像特征中，计算所述锚框与基准真实值之间的第一交并比，并基于所述第一交并比与第一预设阈值进行第一次锚框筛选，得到第一锚框筛选结果；

17、所述重叠候选区域消除模块用于对所述第一锚框筛选结果中的重叠区域进行非极大值抑制，得到预测区域；

18、所述第二锚框筛选模块用于计算所述预测区域与所述基准真实值之间的第二交并比，并基于所述第二交并比与第二预设阈值进行第二次锚框筛选，得到所述候选感兴趣区域。

19、根据本发明提供的一种害虫的检测识别方法，所述第一锚框筛选模块还用于计算包含目标的图像特征的锚框与所述基准真实值之间的第一位置偏移，并基于所述第一位置偏移对所述包含目标的图像特征的锚框进行修正；

20、所述第二锚框筛选模块还用于计算所述预测区域与所述基准真实值之间的第二位置偏移，并基于所述第二位置偏移对所述预测区域进行修正。

21、根据本发明提供的一种害虫的检测识别方法，所述多层卷积结构图像特征提取器包括第一卷积分支和第二卷积分支；

22、所述第一卷积分支用于提取所述待识别害虫图像的微结构基础特征；

23、所述第二卷积分支用于提取所述待识别害虫图像的深层语义特征，并将所述深层语义特征和所述微结构基础特征进行特征融合，得到所述图像特征。

24、根据本发明提供的一种害虫的检测识别方法，所述获取待识别害虫图像，之前还包括：

25、获取原始待识别害虫图像；

26、对所述原始待识别害虫图像进行旋转、剪裁和拼接，得到增强害虫图像；

27、对所述增强害虫图像进行水平翻转和垂直翻转，得到所述待识别害虫图像。

28、本发明还提供一种害虫的检测识别系统，包括：

29、获取单元，用于获取待识别害虫图像；

30、检测识别单元，用于将所述待识别害虫图像输入至检测识别模型中，得到所述检测识别模型输出的害虫识别结果；

31、所述检测识别模型包括多层卷积结构图像特征提取器、区域候选网络和位置敏感预测模块；

32、所述多层卷积结构图像特征提取器用于提取所述待识别害虫图像的图像特征；

33、所述区域候选网络用于基于所述图像特征，从所述待识别害虫图像中定位候选感兴趣区域；

34、所述位置敏感预测模块包括归一化模块、感兴趣区域池化模块和识别模块；

35、所述归一化模块用于对所述图像特征进行不同的卷积操作，得到各个位置敏感得分图；

36、所述感兴趣区域池化模块用于对所述候选感兴趣区域中各感兴趣区域分别进行池化操作，得到各感兴趣子区域，并对所述各感兴趣子区域对应的位置敏感得分图进行池化操作，得到池化结果；

37、所述识别模块用于基于所述池化结果进行识别，得到所述害虫识别结果。

38、本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述害虫的检测识别方法。

39、本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述害虫的检测识别方法。

40、本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述害虫的检测识别方法。

41、本发明提供的害虫的检测识别方法、系统、电子设备及存储介质，针对害虫图像的特点，在候选感兴趣区域的生成和定位上，设计了适应害虫尺寸的锚框纵横比和尺寸数量，由此能够更好地适应害虫的尺寸特征，提高检测和定位的精度；并且，引入了位置敏感预测模块，该模块通过全卷积的方式对位置信息进行编码增强，以实现更精确的害虫定位回归，在位置敏感预测模块中，通过增加对候选感兴趣区域的归一化操作，在降低特征维度的同时保持图像特征的尺寸不变，同时，它对不同通道的特征进行线性组合，以保持特征之间的空间关系，这种操作有助于更好地交互和融合各通道特征信息。因此，引入位置敏感预测模块有效地解决了因下采样和小尺寸目标而导致的位置信息丢失和预测误差问题，从而提高了待识别害虫图像的检测和识别效果。