本发明涉及人工智能,尤其涉及一种基于图像的茶叶害虫检测方法、装置、设备及计算机可读存储介质。
背景技术:
1、茶叶是一种具有较高价值的经济作物,追求高品质茶叶是每个茶园的目标,其中,虫害是影响茶叶质量的重要因素。
2、茶园的虫害防治还高度依赖有关专家或者经验丰富的茶农,随着科学技术的进步,人们逐渐将人工经验转变为人工智能,自动化识别虫害发生的种类、程度等。然而如今的人工智能对于害虫图片的采集,受环境光、害虫活动、害虫大小等因素的干扰,较难获取较为清晰的害虫图像,对后续害虫种类识别造成干扰,进而分析茶园生态环境;此外,茶园中设置的人工智能一般采取边缘计算的方式进行,而数据体积较大害虫识别模型会增加部署成本。
技术实现思路
1、本发明提供一种基于图像的茶叶害虫检测方法、装置、设备及存储介质,其主要目的在于通过部署轻便化的茶叶害虫检测模型,降低部署成本,并提高害虫图像捕捉准确率。
2、为实现上述目的,本发明提供的一种基于图像的茶叶害虫检测方法,包括:
3、获取害虫图像;
4、利用预训练的茶叶害虫检测模型中的正则强化骨干网络,对所述害虫图像进行多层次特征提取,得到多尺度特征;
5、利用所述茶叶害虫检测模型中的轻量化颈部网路,对所述多尺度特征进行基于空间池化金字塔及路径聚合金字塔的特征融合操作,得到多尺度融合特征图;
6、利用所述茶叶害虫检测模型中的害虫框选头部网络,根据所述多尺度融合特征图,对所述害虫图像中的害虫部分进行目标检测操作,得到多尺度检测框集合,并对所述多尺度检测框集合进行非极大值抑制处理,得到最终检测框。
7、可选的,所述利用预训练的茶叶害虫检测模型中的正则强化骨干网络,对所述害虫图像进行多层次特征提取,得到多尺度特征,包括:
8、利用所述正则强化骨干网络中cbl标准化结构,对所述害虫图像进行特征提取,得到初始图像特征;
9、利用预构建的第一卷积层对所述初始图像特征进行三次降维卷积操作,得到采样结果,并利用预构建的第二卷积层对所述采样结果进行两次采样,得到一级图像特征;
10、利用所述第二卷积层对所述一级图像特征进行两次采样,得到第二图像特征;
11、利用所述第二卷积层对所述二级图像特征进行六次采样,得到第三图像特征;
12、所述第二卷积层对所述三级图像特征进行五次采样,得到第四图像特征;
13、将所述第二图像特征、第三图像特征及第四图像特征进行输出,得到多尺度特征。
14、可选的,所述第一卷积层包括一个3×3的卷积核,一个将小于0的值置为0、大于6的值置为6的激活函数,及一个1×1的卷积核依次排列得到;
15、所述第二卷积层包括,一个1×1的卷积核,一个定义为x*sigmoid(x)的激活函数、一个3×3的深度可分离卷积层、一个se注意力机制层、一个1×1的卷积核及一个将小于0的值置为0、大于6的值置为6的激活函数依次排列得到。
16、可选的,所述利用所述茶叶害虫检测模型中的轻量化颈部网路,对所述多尺度特征进行基于空间池化金字塔及路径聚合金字塔的特征融合操作,得到多尺度融合特征图,包括:
17、利用预构建的轻量级卷积网络,对所述多尺度特征中的第二图像特征进行卷积操作,得到第二卷积结果,及对所述多尺度特征中的第三图像特征进行卷积操作,得到第三卷积结果;
18、利用所述轻量化颈部网路中的空间池化金字塔,对所述多尺度融合特征图中的第四图像特征进行池化操作,得到第四池化结果;
19、对所述第四池化结果进行上采样操作,得到一级上采样结果,并将所述一级上采样结果与所述第三卷积结果进行特征拼接,得到第一拼接结果,并利用预构建的vovgscsp网络将所述第一拼接结果进行轻量级卷积,得到第三初级融合特征;
20、对所述第三初级融合特征进行上采样操作,得到二级上采样结果,并将所述二级上采样结果与所述第二卷积结果进行特征拼接,得到第二拼接结果,并利用预构建的vovgscsp网络将所述第二拼接结果进行轻量级卷积,得到第二初级融合特征,并利用预构建的cbl卷积结构对所述第二初级融合特征进行标准化卷积,得到第二融合特征图;
21、对所述第二初级融合特征图及第三初级融合特征进行特征拼接,得到第三拼接结果,并利用预构建的vovgscsp网络将所述第三拼接结果进行轻量级卷积,得到第三中级融合特征,并利用预构建的cbl卷积结构对所述第三中级融合特征进行标准化卷积,得到第三融合特征图;
22、对所述第三中级融合特征图与所述第四池化结果进行特征拼接,得到第四拼接结果,并利用预构建的vovgscsp网络将所述第四拼接结果进行轻量级卷积,得到第四中级融合特征,并利用预构建的cbl卷积结构对所述第四中级融合特征进行标准化卷积,得到第四融合特征图;
23、将所述第二融合特征图、第三融合特征图及第四融合特征图进行输出,得到多尺度融合特征图。
24、可选的,所述利用预训练的茶叶害虫检测模型中的正则强化骨干网络之前,所述方法还包括:
25、获取预构建的ms coco数据集,利用所述ms coco数据集对预构建的茶叶害虫检测模型进行预测,得到预测结果集;
26、利用基于最小点距离的iou检测指标,根据所述ms coco数据集中各个数据图像的真实标签,对所述预测结果集进行模型检测,得到模型性能检测结果;
27、当所述模型性能检测结果大于或等于预设的合格阈值时,得到训练完成的茶叶害虫检测模型。
28、可选的,所述得到训练完成的茶叶害虫检测模型之后,所述方法还包括:
29、利用network slimming剪枝技术,对所述训练完成的茶叶害虫检测模型进行结构化通道剪枝操作,得到轻便化茶叶害虫检测模型;
30、利用迁移学习对所述轻便化茶叶害虫检测模型进行微调训练,得到训练完成的轻便化茶叶害虫检测模型。
31、可选的,所述获取害虫图像,包括:
32、当检测到预构建的诱虫器捕捉到的害虫时,利用预构建的拍摄设备,对所述诱虫器中的目标区域进行拍摄,得到害虫图像。
33、为了解决上述问题,本发明还提供一种基于图像的茶叶害虫检测装置,所述装置包括:
34、图像获取模块,用于获取害虫图像;
35、特征提取模块,用于利用预训练的茶叶害虫检测模型中的正则强化骨干网络,对所述害虫图像进行多层次特征提取,得到多尺度特征;
36、特征融合模块,用于利用所述茶叶害虫检测模型中的轻量化颈部网路,对所述多尺度特征进行基于空间池化金字塔及路径聚合金字塔的特征融合操作,得到多尺度融合特征图;
37、特征识别模块,用于利用所述茶叶害虫检测模型中的害虫框选头部网络,根据所述多尺度融合特征图,对所述害虫图像中的害虫部分进行目标检测操作,得到多尺度检测框集合,并对所述多尺度检测框集合进行非极大值抑制处理,得到最终检测框。
38、为了解决上述问题,本发明还提供一种电子设备,所述电子设备包括:
39、至少一个处理器;以及,
40、与所述至少一个处理器通信连接的存储器;其中,
41、所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行上述所述的基于图像的茶叶害虫检测方法。
42、为了解决上述问题,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一个计算机程序,所述至少一个计算机程序被电子设备中的处理器执行以实现上述所述的基于图像的茶叶害虫检测方法。
43、本发明实施例首先通过正则强化骨干网络实现在不同数据维度下的数据提取,得到多尺度特征,便于获取不同视野下的数据特征,其中,所述正则强化骨干网络中采用了逐渐增加通道数的方式,取代了代传统的relu结构,能有效实现输入和输出间秩的一致性并减轻模型瓶颈的影响;然后通过轻量化颈部网路实现数据特征的传递与融合,其中,轻量化颈部网路中采用了轻量化的vovgscsp的高效聚合网络结构,能有效降低计算成本,实现轻量化模型构建;然后通过害虫框选头部网络进行害虫框选,其中,所述害虫框选头部网络中部署了基于最小点距离的iou检测指标,能够有效对训练方向进行把控,增加害虫图像框选的准确度,进而提高后续害虫识别准确率。因此,本发明实施例提供的一种基于图像的茶叶害虫检测方法、装置、设备及存储介质,能够在于通过部署轻便化的茶叶害虫检测模型,降低部署成本,并提高害虫图像捕捉准确率。