一种农业害虫视觉识别系统及方法与流程

本发明涉及农作物害虫视觉分析，尤其是涉及一种农业害虫视觉识别系统及方法。

背景技术：

1、作物害虫会对作物造成直接伤害，导致减产甚至绝收。传统的农作物害虫识别方法主要依靠人工调查，这不仅费时费力，而且效率低下。利用计算机视觉技术，可以快速准确地识别害虫，大大提高了识别的效率。农及时准确地识别害虫，可以及时采取防治措施，最大限度地减少农作物损失；计算机视觉技术可以与无人机、农业机器人等技术结合，实现农田的实时监控和精准管理，推动农业现代化和精准农业的发展；农作物害虫的视觉识别不仅可以提高农业生产效率，减少损失，降低成本，还可以促进精准农业的发展，保障食品安全，保护环境，具有极高的必要性。

2、现有的农作物害虫的视觉识别都是基于局部采样的图像来进行分析，通过固定设置的摄像头或者无人机等拍摄手段，获取固定地点的或随机地点的目标监测区域的部分植物图像，并基于部分植物图像进行图像分析，得到虫情图像分析结果。

3、公开号为cn108040997a的中国发明专利公开一种基于机器视觉的虫害监测方法，其步骤包括：在害虫聚集处安装诱虫装置，并设置图像采集装置面向诱虫装置采集图像；识别所采集图像中的害虫并得出害虫数量；若害虫数量大于或等于预先设定的害虫数量阈值，则将识别到的各个害虫在图像中所处的区域分别提取为多个害虫疑似图像，判断每个害虫疑似图像的识别正确率；根据害虫数量和每个害虫疑似图像的识别正确率计算出虫害预测水平。

4、该方案就是典型的局部采样的农作物害虫视觉分析方法，采用局部设置的诱虫装置来进行诱虫后，再通过图像采集装置获取被诱害虫的画面，基于画面进行视觉分析得到虫情信息，上述方案存在的缺陷是虫情分析结果一是受诱虫装置的影响较大，无论什么诱虫装置也不可能实现对所有害虫的诱捕，因此虫情分析结果受诱捕装置设置位置及诱捕害虫的结果影响很大，因此图像分析的虫情结果虽然能一定程度预测虫害水平，但其结果准确率及完整性并不理想。

技术实现思路

1、为了解决上述技术问题，本发明提供一种农业害虫视觉识别系统及方法。采用如下的技术方案：

2、一种农业害虫视觉识别系统，包括用于获取农作物整体画面的第一拍摄单元、用于获取农作物间隙土壤画面的第二拍摄单元和用于拍摄农作物顶部空间画面的第三拍摄单元和视觉分析服务器，所述第一拍摄单元、第二拍摄单元和第三拍摄单元的视觉图像数据输出口分别与视觉分析服务器通信连接，所述视觉分析服务器布置害虫目标视觉分析网络，所述害虫目标视觉分析网络包括视觉数据输入端、backbone网络、neck网络和识别结果输出端，所述视觉数据输入端用于对视觉图像数据进行预处理并输出初始预测框，预处理后的视觉图像数据传输给backbone网络，backbone网络用于提取视觉图像数据的害虫特征点，backbone网络的提取结果数据输送到neck网络，neck网络用于定位目标害虫特征，neck网络的定位结果发送给识别结果输出端，所述识别结果输出端基于损失函数对目标特征进行害虫预测结果输出，并绘制修正后的预测框。

3、通过采用上述技术方案，区别于传统采样抽检的方式来获取农作物检测目标的视觉图像，通过第一拍摄单元拍摄农作物整体画面，这个农作物整体画面是指农作物顶部拍摄的全貌画面，在分辨率足够的情况下，可以展示农作物的叶面及枝茎上的害虫画面；同时还需要通过第二拍摄单元获取农作物间隙土壤画面，因为有的害虫例如蝼蛄，会经常位于土壤表面爬行，而对于叶面的拍摄并不能获取这类害虫的画面信息，因此将农作物间隙土壤画面也纳入害虫监测范围内，同理有的害虫还会低空飞行，采用第三拍摄单元拍摄农作物顶部空间画面对于农作物害虫的监测，使农作物害虫监测更加全面；

4、具体的害虫的视觉识别采用视觉分析服务器布设的害虫目标视觉分析网络实现，能高效地对大批量及大尺寸的原始图像进行分析后实现害虫预测框输出，大幅提升区域范围内的农作物识别的准确率及完整性。

5、可选的，所述第一拍摄单元包括多个无人机、多个第一视觉摄像头和基于芯片的无人机飞控中心，多个第一视觉摄像头分别挂载安装在多个无人机的底部，且镜头垂直朝下，无人机飞控中心分别控制多个无人机的飞行动作，并分别控制多个第一视觉摄像头的拍摄动作，实现对目标范围进行同拍摄高度的全覆盖拍摄，无人机飞控中心与视觉分析服务器通信连接。

6、通过采用上述技术方案，采用多个无人机来获取农作物顶部的整体画面，无人机可在无人机飞控中心的控制下便捷准确地进行高度的调整，适配不同的农作物拍摄工作，且根据视觉控制，可以进行拍摄焦点的便捷调整。

7、可选的，所述第二拍摄单元采用第一拍摄单元降低拍摄高度实现，将第一视觉摄像头的拍摄焦点控制在相邻四株农作物的中间空地位置，通过多个无人机的多次拍摄获取多张农作物间隙土壤画面。

8、通过采用上述技术方案，因为有的害虫会经常位于土壤表面爬行，或者位于农作物之间的空间进行飞行，而单纯的对于叶面的拍摄并不能获取这类害虫的画面信息，因此将农作物间隙土壤画面也纳入害虫监测范围内，能有效提升农作物害虫监测的完整性。

9、可选的，所述第三拍摄单元包括电动小车、伸缩杆和第三视觉摄像头，所述电动小车位于农作物的行间移动，所述伸缩杆的底部安装在电动小车的顶部，所述第三视觉摄像头安装在伸缩杆的顶部，用于从侧向拍摄农作物顶部空间画面。

10、通过采用上述技术方案，为了获取农作物顶部空间画面，这个空间画面并不需要高度很高，一般只需拍摄农作物顶部以上0米到3米的空间之间即可，具体的采用电动小车位于行间移动，搭载一个伸缩杆调节第三视觉摄像头的拍摄高度可以实现从侧向拍摄农作物顶部空间画面，可以对农作物上方飞行的害虫进行视觉捕获，能进一步提升农作物视觉监测的完整性。

11、可选的，视觉分析服务器用于将第一拍摄单元获得的多张农作物顶部拍摄的多张农作物整体画面和第二拍摄单元获得的多张农作物间隙土壤画面进行拼接处理，且拼接后保持原始图像分辨率，得到农作物全画面图；

12、将第三拍摄单元拍摄的同一行农作物的多张农作物顶部空间画面进行首尾拼接，形成一幅长条状拼接图，再将多行农作物的长条状拼接图进行上下拼接，形成农作物顶部空间全画面图；

13、将农作物全画面图和顶部空间全画面图输入到害虫目标视觉分析网络进行视觉分析。

14、通过采用上述技术方案，为了保证后续视觉分析的一致性，将多张农作物顶部拍摄的多张农作物整体画面和多张农作物间隙土壤画面进行拼接处理，且拼接后保持原始图像分辨率，得到农作物全画面图；

15、同理采用农作物顶部空间全画面图，最终得到两张全画面图来进行视觉分析，使分析的准确性更好。

16、可选的，视觉数据输入端包括数据增强模块、自适应锚框模块和自适应图片缩放模块，所述数据增强模块用于提升农作物全画面图和农作物顶部空间全画面图的batchsize，自适应锚框模块与数据增强模块连接，用于针对不同的训练集，给出初始预测框，自适应图片缩放模块自适应图片压缩，对于输入到网络的图片进行归一化处理。

17、通过采用上述技术方案，输入端主要有三个部分，分别为mosaic数据增强、自适应锚框计算和自适应图片缩放，使特征图初步处理。mosaic数据增强的主要思想是，将四张图片进行随机裁剪，再拼接到一张图上作为训练数据，优点在于丰富了图片的背景，变相提高了batch size；自适应锚框计算是针对不同的训练集，给出初始的预测框，进而和真实框进行对比，计算两者差距，在反向更新，迭代网络参数；自适应图片压缩，对于输入到网络的图片，宽高，像素各不相同，需要及进行归一化处理。

18、可选的，backbone网络包括focus结构和csp结构，利用focus结构和csp结构提取害虫体征。

19、通过采用上述技术方案，主干网络主要采用了两种结构，focus结构和csp结构，利用这两种结构，可以有效提取体征。focus结构通过slice操作对输入的图片进行裁剪，由原始的608×608×3图像，输出一个304×304×12的特征映射，接着再经过一次32个卷积核的卷积操作，最终变成304×304×32的特征图。再通过csp模块，将基础层和特征映射划分为两个部分，然后通过跨阶段层次结构将它们合并，在减少了计算量的同时可以保证特征提取的准确率。

20、可选的，neck网络采用fpn+pan的结构。

21、通过采用上述技术方案，neck采用fpn+pan的结构，fpn自顶向下，将高层的强特征语义特征传递下来，对整个金字塔进行增强；pan针对定位信息，在fpn的后面添加一个自底向上的金字塔，对fpn补充，将低层的强定位特征传递上去。通过组合这两种模块，可以很好完成目标定位的功能。

22、可选的，识别结果输出端采用ciou loss函数。

23、通过采用上述技术方案，输出端采用ciou loss函数。目标检查任务的损失函数一般由分类损失函数和回归损失函数两部分构成，由最初的iou loss进化而来，通过计算预测框和真实框之间的数值差异，判断预测结果的好坏，但是iou loss只考虑了检测框和真实框的重叠面积，giou loss在iou的基础上，解决了边界框不重合时出现的问题，diouloss在giou的基础上考虑了边界框中心点距离的问题，ciou loss在diou的基础上，又考虑了边界框宽高比的尺度信息，为目前最合适的回归损失函数。

24、一种农业害虫视觉识别方法，采用一种农业害虫视觉识别系统进行农业害虫视觉识别，包括以下步骤：

25、步骤1，无人机飞控中心分别控制多个无人机的飞行高度为农作物平均株高以上5米-10米，依次位于农作物顶部中心位置控制第一视觉摄像头拍摄，每张画面的拍摄高度一致，获取n张农作物整体画面，分别记为p1，p2，……，pn；

26、步骤2，无人机飞控中心再次控制多个无人机的飞行高度为地面以上3米-5米，依次位于四柱农作物的中心位置控制第一视觉摄像头拍摄，获取n张农作物间隙土壤画面，分别记为ps1，ps2，……，psn；

27、步骤3，控制伸缩杆进行伸缩，使第三视觉摄像头拍摄焦点位于农作物上方，且拍摄画面的底部位于同一行农作物的第一株农作物的顶面，控制电动小车位于农作物的行间中心线移动，从侧向拍摄农作物顶部空间画面，获取n张农作物顶部空间画面，分别记为psp1，psp2，……，pspn；

28、分别将n张农作物整体画面、n张农作物间隙土壤画面和n张农作物顶部空间画面传输给视觉分析服务器；

29、步骤4，视觉分析服务器采用图像拼接算法对psp1，psp2，……，pspn和ps1，ps2，……，psn进行拼接，生成农作物全画面图；

30、先对psp1，psp2，……，pspn中同一行农作物的多张农作物顶部空间画面进行首尾拼接，形成一幅长条状拼接图，再将多行农作物的长条状拼接图进行上下拼接，形成农作物顶部空间全画面图；

31、步骤5，视觉分析服务器依次将农作物全画面图和农作物顶部空间全画面图输入害虫目标视觉分析网络，害虫目标视觉分析网络的识别结果输出端输出害虫识别结果，并进行预测框标记显示。

32、综上所述，本发明包括以下至少一种有益技术效果：

33、本发明能提供一种农业害虫视觉识别系统及方法，区别于传统采样抽检的方式，通过第一拍摄单元拍摄农作物整体画面，展示农作物的叶面及枝茎上的害虫画面；同时通过第二拍摄单元获取农作物间隙土壤画面，将农作物间隙土壤画面也纳入害虫监测范围内；采用第三拍摄单元拍摄农作物顶部空间画面对于农作物害虫的监测，使农作物害虫监测更加全面；害虫的视觉识别采用视觉分析服务器布设的害虫目标视觉分析网络实现，能高效地对大批量及大尺寸的原始图像进行分析后实现害虫预测框输出，大幅提升区域范围内的农作物识别的准确率及完整性。