一种农业害虫智能识别与定位方法及系统

1.本发明涉及农业智能化和信息化技术领域，尤其是涉及一种农业害虫智能识别与定位方法及系统。


背景技术：

2.农业害虫每年给农业造成的经济损失占比较高，准确快速的识别和定位农业害虫对于提升农作物产量、增加农业收入、改善人民生活水平至关重要。
3.传统的农业害虫甄别方法大多依托于人工方式，效率较为低下、精度难以达到要求，且不易推广。现有的农业害虫智能识别和定位方法多停留在算法仿真层面，即缺乏系统化和整体化设计，且大多局限于实验室仿真测试阶段，缺乏实际应用场景下的性能评估与测试。
4.基于卷积神经网络、深度学习等技术手段的人工智能计算机视觉技术快速发展，可以显著提升物体判别与定位的效率以及精度，对于农业害虫智能识别与定位领域具备较高的借鉴意义。


技术实现要素：

5.本发明所要解决的技术问题是提供一种精度高、效率高，并且能够提升农业经济收入的农业害虫智能识别与定位方法。
6.本发明所采用的技术方案是，一种农业害虫智能识别与定位方法，该方法包括下列步骤：
7.(1)、采用数据爬虫和图像实时拍摄的方式来收集农业害虫图像；
8.(2)、将收集到的农业害虫图像进行数据归一化以及数据增强处理，将处理后的农业害虫图像进行数据标注，将标注后的农业害虫图像组成农业害虫图像数据集；
9.(3)、建立基于yolov4的果园害虫目标检测模型；所述基于yolov4的果园害虫目标检测模型包括输入模块、主干网络、neck模块以及head模块；
10.(4)、将步骤(2)中的农业害虫图像数据集输入到基于yolov4的果园害虫目标检测模型中进行训练，得到训练后的基于yolov4的果园害虫目标检测模型；具体过程为：
11.(4
‑
1)、基于yolov4的果园害虫目标检测模型的输入模块将步骤(2)中的农业害虫图像数据集中的图像进行马赛克增强，然后随机选取任意四张经过马赛克增强的农业害虫图像做随即缩放、随即裁剪以及随即扭曲处理，将处理后的四张图像进行拼接得到一个图像样本，有放回地进行随机选取若干次，得到若干个图像样本；
12.(4
‑
2)、在主干网络部分，采用cspnet网络对步骤(4
‑
1)中若干个图像样本进行特征提取，然后采用concat的方式进行通道拼接进一步获取特征信息，再引入1
×
1卷积和2
×
2池化的网络层对获取的特征信息进行计算；
13.(4
‑
3)、在neck模块部分，采用特征金字塔网络和路径聚合网络相结合的方式挖掘出特征信息所包含的浅层内容信息和深层语义信息，得到预测边框；
14.(4
‑
4)、在head模块部分，采用ciou损失函数来得到预测边框和标注边框之间的距离情况和相交与否情况；
15.(5)对训练后的基于yolov4的果园害虫目标检测模型进行精度评价，得到评价后的基于yolov4的果园害虫目标检测模型；
16.(6)、任意选取一张农业害虫图像输入到评价后的基于yolov4的果园害虫目标检测模型中进行农业害虫识别和定位。
17.本发明的有益效果是：上述一种农业害虫智能识别与定位方法，该方法对农业害虫的检测精度高，并且检测效率也高，该方法在多种测试场景下表现优异，鲁棒性好。
18.作为优选，在步骤(5)中，采用分类精度map和定位精度评价指标iou来对训练后的基于yolov4的果园害虫目标检测模型进行精度评价，所述分类精度map为各个单一类别农业害虫检测精确率的平均值，所述定位精度评价指标iou的数学表达为：iou的数值越大，表示预测边框和标注边框的重叠面积占比越高，基于yolov4的果园害虫目标检测模型的定位精度越高。
19.一种农业害虫智能识别与定位系统，包括图像采集模块、图像预处理模块、基于yolov4的果园害虫目标检测模型的害虫目标检测模块以及信息展示存储模块，所述图像采集模块包括本地数据采集模块以及在线数据采集模块，所述本地数据采集模块通过网络爬虫的方式对图像数据进行采集，在线数据采集模块通过工业摄像头对实时图像数据进行采集，所述害虫目标检测模块包括定位模块以及分类模块，所述信息展示存储模块包括用户界面以及信息存储模块。采用该种农业害虫智能识别与定位系统，对农业害虫的检测精度高，并且检测效率也高，并且系统集成度高。
附图说明
20.图1为本发明一种农业害虫智能识别与定位方法的流程图；
21.图2为本发明中基于yolov4的果园害虫目标检测模型的结构示意图；
22.图3为本发明中定位精度评价指标iou的示意图；
23.图4为本发明一种农业害虫智能识别与定位系统的框架示意图；
24.图5为本发明中采用一种农业害虫智能识别与定位方法实际测试的示意图；
具体实施方式
25.以下参照附图并结合具体实施方式来进一步描述发明，以令本领域技术人员参照说明书文字能够据以实施，本发明保护范围并不受限于该具体实施方式。
26.本发明涉及一种农业害虫智能识别与定位方法，该方法包括下列步骤：
27.(1)、采用数据爬虫和图像实时拍摄的方式来收集农业害虫图像；图像实时拍摄所采用的有线设备为工业无畸变摄像头hf
‑
869，与计算机主机之间的数据连接方式为usb 2.0；而采用的无线图像采集设备的数据流读取方式借助rtsp(real
‑
time stream protocol)协议读取实时视频流；在同时支持无线(wlan)图像数据传输以及有线数据传输两种网络模式的情况下，支持图片、视频等多种静态以及动态检测模式；
28.(2)、将收集到的农业害虫图像进行数据归一化以及数据增强处理，将处理后的农业害虫图像进行数据标注，将标注后的农业害虫图像组成农业害虫图像数据集；数据归一化处理包括尺寸归一化(320
×
320)、通道数归一化(3通道)以及格式归一化(.jpg)；数据增强处理包括尺寸旋转、内容拉伸、噪声变换以及模糊变换等多种技术方式；数据标注涵盖了图像信息的基本内容(包括图像名称、宽w、高h、通道数、存储位置信息等)、农业害虫的类别信息、农业害虫的位置坐标信息(中心点坐标x、中心点坐标y、定位框宽度信息w和定位框高度h)；
29.(3)、建立基于yolov4的果园害虫目标检测模型；所述基于yolov4的果园害虫目标检测模型包括输入模块、主干网络、neck模块以及head模块；
30.(4)、将步骤(2)中的农业害虫图像数据集输入到基于yolov4的果园害虫目标检测模型中进行训练，得到训练后的基于yolov4的果园害虫目标检测模型；具体过程为：
31.(4
‑
1)、基于yolov4的果园害虫目标检测模型的输入模块将步骤(2)中的农业害虫图像数据集中的图像进行马赛克增强，然后随机选取任意四张经过马赛克增强的农业害虫图像做随即缩放、随即裁剪以及随即扭曲处理，将处理后的四张图像进行拼接得到一个图像样本，有放回地进行随机选取若干次，得到若干个图像样本；
32.(4
‑
2)、在主干网络部分，采用cspnet网络对步骤(4
‑
1)中若干个图像样本进行高效的特征提取，然后采用concat的方式进行通道拼接进一步获取更为丰富的特征信息，再引入1
×
1卷积和2
×
2池化的网络层对获取的特征信息进行计算，这样可以降低计算量，提升模型的计算速度；
33.(4
‑
3)、在neck模块部分，采用特征金字塔网络和路径聚合网络相结合的方式挖掘出特征信息所包含的浅层内容信息和深层语义信息，得到预测边框；
34.(4
‑
4)、在head模块部分，采用ciou损失函数来得到预测边框和标注边框之间的距离情况和相交与否情况；
35.设定目标农业害虫共计有7类，分别为蝉(半翅目蝉科动物，cicadidae)、蝼蛄(直翅目蝼蛄科动物，gryllotalpa spps)、金龟子(鞘翅目金龟总科，scarabaeoidea)、东亚飞蝗(直翅目飞蝗科，locusta migratoria manilensis)、天牛虫(鞘翅目天牛科，cerambycidae)、吉丁虫(鞘翅目吉丁虫科，buprestidae)和美国白蛾(鳞翅目灯蛾科，hyphantria cunea)，在模型训练的过程中，其基本参数设置情况为：输入图像尺寸为320
×
320
×
4；批量大小设置为64；子批次设置为16；网路契机momentum设置为0.949；最大迭代次数为14000；学习率策略为steps，初值为0.001，scale设置为0.1，学习率变动的两次step数值分别为11200和12600；角度旋转设为0；
36.(5)、对训练后的基于yolov4的果园害虫目标检测模型进行精度评价，得到评价后的基于yolov4的果园害虫目标检测模型；
37.(6)、任意选取一张农业害虫图像输入到测试后的基于yolov4的果园害虫目标检测模型中进行农业害虫识别和定位。
38.上述一种农业害虫智能识别与定位方法，该方法对农业害虫的检测精度高，并且检测效率也高，该方法在多种测试场景下表现优异，鲁棒性好。
39.在步骤(5)中，采用分类精度map和定位精度评价指标iou来对训练后的基于yolov4的果园害虫目标检测模型进行精度评价，所述分类精度map为各个单一类别农业害
虫检测精确率的平均值，所述定位精度评价指标iou的数学表达为：iou的数值越大，表示预测边框和标注边框的重叠面积占比越高，基于yolov4的果园害虫目标检测模型的定位精度越高。
40.农业害虫智能识别与定位方法中的农业害虫检测精度指标需要大于90％。
41.在以下三种测试场景下测试基于yolov4的果园害虫目标检测模型的性能表现：
①
农业害虫同种类别，单个目标；
②
农业害虫同种类别，多个目标；
③
农业害虫多种类别，多个目标等。
42.一种农业害虫智能识别与定位系统，包括图像采集模块、图像预处理模块、基于yolov4的果园害虫目标检测模型的害虫目标检测模块以及信息展示存储模块，所述图像采集模块包括本地数据采集模块以及在线数据采集模块，所述本地数据采集模块通过网络爬虫的方式对图像数据进行采集，在线数据采集模块通过工业摄像头对实时图像数据进行采集，所述害虫目标检测模块包括定位模块以及分类模块，所述信息展示存储模块包括用户界面以及信息存储模块。采用该种农业害虫智能识别与定位系统，对农业害虫的检测精度高，并且检测效率也高，并且系统集成度高。
43.采用gpu运算替代cpu运算以实现高效的建立以及训练基于yolov4的果园害虫目标检测模型，开发环境的具备内容为amd ryzen 5 3600、nvidia rtx2070 super、16gb、windows 10、cudnn 7.6、visual studio 2017、cuda 10.0、opencv 3.4、c++。界面应用程序开发框架为qt 5.9.6，支持跨平台操作(windows、linux、嵌入式设备等)，这样模块化程度高、重用性好；文档资源丰富。
44.上述一种农业害虫智能识别与定位系统，采用模块化设计理念，将整个系统分为四个模块组成部分：图像采集部分、数据预处理部分、农业害虫智能识别与定位部分、信息存储与展示部分。各个部分相互独立，可以分开设计，便于系统开发与维护。其中采用动态链接库(dynamic link library)编译的方式实现农业害虫智能识别与定位模型的移植与嵌入。在信息存储与展示部分，主要包含窗口展示区和功能选择区等页面区域。
45.在图像采集模块中，包含本地数据和在线数据两种数据内容，支持支持jpg、png、bmp等多种常见图片格式以及mp4、avi等多种常见的视频格式。有线数据采集设备的数据传输方式为usb 2.0，而无线图像数据的采集设备为海康威视摄像机ds
‑
2sc3q120iy
‑
t/w，传输方式为rtsp实时视频流。在数据预处理模块中，为了提升农业害虫智能识别和定位系统的检测效果，采用数据归一化、裁剪、亮度调整等方式预处理图片数据。在农业害虫智能识别与定位算法部分，在动态链接库编译的过程中，windows sdk的版本为10.0.17763.0，编译模式为release x64。编译完成后，得到yolo算法的动态链接库文件：yolo_cpp_dll.lib、yolo_cpp_dll.dll、pthreadgc2.dll、pthreadvc2.dll和opencv_world340.dll。内存需求更低；动态链接库文件与执行文件相互独立，系统的扩展性和维护性较好；模块化程度较高。在信息存储与展示模块中，菜单栏中包括三项内容：检测需求、存储目录以及版本信息。检测需求为：本地图片、本地视频、本地有线摄像头实现在线视频检测、通过局域网调用ip摄像头实现在线视频检测软件版本信息记录了果园害虫智能检测系统的版本号、发行时间、当前算法模型的检测精度、检测类别、检测目标范围等内容。