病虫害识别智能终端应用方法及系统与流程

1.本发明涉及 技术领域，特别涉及一种病虫害识别智能终端应用方法及系统。


背景技术：

2.我国农业经济发展进入新阶段以来，各地区对植物病虫害防治工作重视程度越来越高，特别是利用科学技术和技巧对常见病虫害进行预防处理的意识越来越强。当前各农作物种植业发达地区已经形成了重大病虫害监测、防治、处理技术体系，在技术人员配置和管理水平方面都取得了不错成绩。但由于农作物行业很多时候还存在供不应求情况，加上科学技术应用管理存在缺陷，其中仍然存在着一些问题。
3.当前我国农作物病虫害防治技术现状和问题主要表现如下：1.病虫害预测准确性低；2.过度依赖药剂且选择不合理；3.前期防治意识不足且配套机制不完善。


技术实现要素：

4.本发明的目的是提供一种病虫害识别智能终端应用方法，以解决现有的农作物病虫害防治技术存在的问题。
5.本发明提供了一种病虫害识别智能终端应用方法，所述方法包括：建立病虫害的视觉特征指标及图像数据库；根据所述视觉特征指标、所述图像数据库和病虫害识别智能终端应用方法对待识别农作物进行病虫害识别。
6.上述病虫害识别智能终端应用方法，先建立病虫害的视觉特征指标及图像数据库，然后根据所述视觉特征指标、所述图像数据库和病虫害识别智能终端应用方法对待识别农作物进行病虫害识别，以快速准确地识别出待识别农作物的病虫害类别，进而方便防治，提高了防治效果。
7.进一步地，所述病虫害识别智能终端应用方法包括：通过mamc的病变分类模型对所述待识别农作物进行识别，以获得所述待识别农作物的病变类型。
8.进一步地，所述建立病虫害的视觉特征指标及图像数据库的步骤之后，所述方法还包括：通过mobiledet的目标检测网检测所述待识别农作物，以检测是否病变是否病变。
9.进一步地，所述病虫害识别智能终端应用方法包括：通过efficientnetv2算法识别所述待识别农作物的叶片是否病变；通过yolov4和双线性网络识别所述待识别农作物的病变类型。
10.进一步地，建立所述图像数据库的方法包括：定义害虫类别、叶片是否为虫害图片，并根据标准建立对应的所述图像数据库。
11.进一步地，建立所述视觉特征指标的方法包括：通过专业人士对农作物的每一个病害描述关键的识别特征，硬件类视觉特征指
标。
12.进一步地，所述通过yolov4和双线性网络识别所述待识别农作物的病变类型的方法包括：通过yolov4对所述当前待识别农作物进行密集检测和稀疏检测，以检测并识别害虫的输入特征；通过双线性网络考察输入特征的不同尺度下的关系，以提取了不同的语义特征，进而识别出所述待识别农作物的病变类型。
13.进一步地，所述病虫害识别智能终端应用方法包括通过gan网络生成所述待识别农作物的病害数据；通过senet识别所述待识别农作物的病害类别。
14.进一步地，所述病虫害识别智能终端应用方法包括：通过efficientnet识别所述待识别农作物的叶片是否病变；通过yolov4和双线性网络识别所述待识别农作物的病变类型。
15.本发明还提供了一种病虫害识别智能终端应用系统，包括：固定摄像头，所述固定摄像头包括第一算力视频编码主控芯片和第一数据传输模块；移动摄像头，所述移动摄像头包括第二算力视频编码主控芯片、第二数据传输模块以及第一电池模块；无人机摄像头，所述无人机摄像头包括第三算力视频编码主控芯片、第三数据传输模块以及第二电池模块；所述第一算力视频编码主控芯片、所述第二算力视频编码主控芯片以及所述第三算力视频编码主控芯片内均设有病虫害识别智能终端应用方法。
附图说明
16.图1为本发明第一实施例中的病虫害识别智能终端应用方法的流程图；图2为本发明实施例中的基于gan网络的茶叶病害数据生成算法的示意图；图3为本发明实施例中的基于senet深度网络模型的茶叶病害识别算法的示意图；图4为本发明实施例中的基于efficientnet深度网络模型的虫害叶片识别算法的示意图；图5为本发明实施例中的基于yolov4深度模型的害虫虫体类别识别算法的示意图；图6为本发明实施例中的nas网络层权重共享策略的示意图；图7为本发明实施例中的nas搜索策略的示意图；图8为本发明实施例中的基于mamc的水稻病害分类算法网络结构的示意图；图9为本发明实施例中的mamc引入带来的特征分布的变化的示意图；图10为本发明实施例中的基于efficientnetv2深度网络模型的虫害叶片识别算法的示意图；图11为本发明实施例中的基于yolov4深度模型+双线性网络的害虫虫体检测的示意图；
图12为本发明第二实施例中的病虫害识别智能终端应用系统的模块图。
17.主要元件符号说明：如下具体实施方式将结合上述附图进一步说明本发明。
具体实施方式
18.为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的若干个实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容更加透彻全面。
19.需要说明的是，当元件被称为“固设于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的。
20.除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及／或”包括一个或多个相关的所列项目的任意的和所有的组合。
21.请参阅图1，本发明第一实施例提供的一种病虫害识别智能终端应用方法，所述方法包括步骤s01和步骤s02：步骤s01，建立病虫害的视觉特征指标及图像数据库；具体的，在本实施例中，建立所述图像数据库的方法包括：定义害虫类别、叶片是否为虫害图片，并根据标准建立对应的所述图像数据库。建立所述视觉特征指标的方法包括：通过专业人士对农作物的每一个病害描述关键的识别特征，硬件类视觉特征指标。
22.步骤s02，根据所述视觉特征指标、所述图像数据库和病虫害识别智能终端应用方法对待识别农作物进行病虫害识别。
23.上述病虫害识别智能终端应用方法，先建立病虫害的视觉特征指标及图像数据库，然后根据所述视觉特征指标、所述图像数据库和病虫害识别智能终端应用方法对待识
别农作物进行病虫害识别，以快速准确地识别出待识别农作物的病虫害类别，进而方便防治，提高了防治效果。
24.在本发明的一个实施例中，针对陕西省安康茶叶的常见病害，提供了病虫害识别智能终端应用方法，所述方法包括：建立病虫害的视觉特征指标及图像数据库；首先要利用专业人士的经验知识，根据该病害的病理学描述及人工采集的图片建立病害的视觉特征标准，定义什么样的图像为正常图像，什么样的图像为病害图像，根据病害的严重程度进行分级，并根据标准建立对应的茶叶病害图像数据库。针对茶叶病害视觉特征标准和数据库的建立，主要分为以下几个步骤，首先明确应用场景，前期要对于实际业务进行充分了解，其次贴合业务场景和专家知识，对茶叶病害视觉特征标准进行量化，构建视觉特征标准；随后对于数据库的建立进行初步设计，包括数据集的维度，规模参数，数据样本示例，进行初步一个规模制定。随后进行具体的数据库建立，包括数据采集，数据标注等工作。最后对制定的数据库和初期的特征标准结合，进行评价测试然后根据所述视觉特征指标、所述图像数据库和病虫害识别智能终端应用方法对待识别农作物进行病虫害识别具体的，在本实施例中，所述病虫害识别智能终端应用方法包括：通过gan网络生成所述待识别农作物的病害数据；通过senet识别所述待识别农作物的病害类别。请参阅图2，相比较传统的模型，他存在两个不同的网络，一个是生成器网络，另一个是判别器网络，区别于单一的网络，可以采用对抗训练方式，同步迭代进化两个网络的能力。使得在数据量有限的情况下，gan网络可以自发的提升模型准确度，生成器的梯度更新信息来自判别器，而不是来自数据样本。gan网络作为一种生成式模型对比其他生成模型（玻尔兹曼机和gsns）只用到了反向传播,而不需要复杂的马尔科夫链。最终达到纳什均衡，保证生成样本的真实性可靠性。
25.需要说明的是，人工智能可以通过病害叶片图片来高效检测和预测虫害的爆发。但目前人工采集并标注的茶叶病害图片数量有限，难以覆盖不同角度、不同光照条件、不同环境下、不同严重程度的病害图片，无法满足深度学习模型对于训练的图片多样性要求，因此，在本发明中，利用少量茶叶病害样本训练基于gan网络的病害数据生成模型，该模型可以学习到病害图像的视觉特性，并根据该特性生成大量不同条件下的病害仿真数据，仿真数据可以涵盖不同角度、不同光照条件、不同环境，可以增强病害识别模型的识别能力和鲁棒性。此方法有利于增加茶叶病害样本图片的数量，提升深度模型的学习效果和识别能力。
26.需要说明的是，由于人工经验判断茶叶病害需要经过长时间学习，且难以进行大规模检测，因此，请参阅图3，本发明研究基于senet的茶叶病害识别算法，建立茶叶病害智能识别模型，模型可以根据输入的茶叶图片自动判断是否符合病害的视觉特征，并根据病害视觉特征识别具体的茶叶病害种类，通过网络结构的构建，模型训练与优化，性能交叉验证测试等等，以快速准确地得到茶叶的病害类型。对于扩充到足够数量级的茶叶病害数据集，首先是数据增强，可以增加模型的健壮性，保证训练过程收敛。对于图像数据进行张量表达，利用卷积操作构建模型的卷积变换层。模型的核心在于特征紧缩/膨胀操作，首先是特征紧缩，该操作顺着空间维度来进行特征压缩，将每个二维的特征通道变成一个实数，这个实数某种程度上具有全局的感受野，并且输出的维度和输入的特征通道数相匹配。它表征着在特征通道上响应的全局分布，而且使得靠近输入的层也可以获得全局的感受野，这
一点在很多任务中都是非常有用的。
27.其次是卷积膨胀操作，类似于循环神经网络中门的机制。通过参数w来为每个特征通道生成权重，其中参数w被学习用来显式地建模特征通道间的相关性。最后对于紧缩膨胀后的特征与原特征叠加，构成残差连接的结构，对模型进行后向传播训练参数，最终通过softmax函数实现特征分类，识别出茶叶病害种类在本发明的另一个实施例中，针对安康茶叶的常见虫害，提供了病虫害识别智能终端应用方法，所述方法包括：建立病虫害的视觉特征指标及图像数据库；首先要利用专家先验知识，根据该虫害的病理学描述及人工采集的病害叶片图片、害虫图片建立病害的视觉特征标准，定义害虫类别、叶片是否为虫害图片，并根据标准建立对应的茶叶虫害图像数据库。在本发明中，通过人工智能可以通过虫害叶片和各个时期虫体样本图片来高效检测和预测虫害的爆发。由于虫害产生过程中往往会存在叶片缺损、坏死等现象，通过定时拍照及人工智能模型的快速判断可以使工作人员虫害发生的早期及时发现灾情，避免虫害蔓延。
28.然后根据所述视觉特征指标、所述图像数据库和病虫害识别智能终端应用方法对待识别农作物进行病虫害识别，具体的，在本发明中，所述病虫害识别智能终端应用方法包括：通过efficientnetv2算法识别所述待识别农作物的叶片是否病变；通过yolov4和双线性网络识别所述待识别农作物的病变类型。具体的，请参阅图4和图5，本算法利用轻量级efficientnet训练虫害叶片识别模型，能够快速判断叶片是正常叶片还是虫害叶片，通过网络结构构建，模型训练及优化，正常叶片和虫害叶片的混合测试等等，算法具有体量小、速度快、适用于移动设备等优点。由于害虫体型较小，种类较多，工作人员难以从大面积叶片上找到害虫并快速准确辨认害虫种类。因此发明利用yolov4网络训练小目标害虫检测及识别模型，从定时拍照的图片中检测害虫位置，并根据害虫图片识别害虫的具体种类，帮助工作人员进行针对性防治决策。
29.efficientnet的核心在于对网络尺度维度上的探索试验模型，包括三个层次的模型优化，深度加深，宽度加宽，分辨率增强。
30.深度（d）：缩放网络深度在许多卷积网络都有使用，直觉上更深的网络可以捕获到更丰富和更复杂的特征，在新任务上也可以泛化的更好。然而，更深的网络由于梯度消失问题也更难训练。
31.宽度（w）：缩放网络宽度也是一种常用的手段，更宽的网络可以捕捉到更细粒度的特征从而易于训练。然而，非常宽而又很浅的网络在捕捉高层次特征时有困难，所以网络加宽往往需要 对网络的深度进一步加深。
32.分辨率（r）：使用更高分辨率的输入图像，卷积网络可能可以捕捉到更细粒度的模式。从最早的 224x224，现在有些卷积网络为了获得更高的精度选择使用 229x229 或者 331x331。在非常高的分辨率时网络精度回报会减弱。
33.从数据处理、主干网络、网络训练、激活函数、损失函数等各个方面都有着不同程度的优化。yolov4在目标检测的实现快速准确，得益于于训练方法的改进。训练方法分为两类：只改变训练策略或者只增加训练成本，比如数据增强；插件模块和后处理方法，它们仅仅增加一点推理成本，但是可以极大地提升目标检测的精度。模型的基础框架采用
cspresnext50的网络结构；同时增加了额外的块，spp-block；颈部框架的设计为panet；头部框架沿用yolov3的结构，包括一个密集检测和一个稀疏检测结构。最终对于图像中标定的害虫进行智能识别。
34.在本发明的一个实施例中，以水稻为例。提供了病虫害识别智能终端应用方法，所述方法包括：先建立水稻病害的视觉特征标准及图像数据库，针对我国水稻的常见病害，首先收集水稻病害分类的图像数据库，除了建立图像数据库外，为了更好地针对性引导神经网络模型的学习和识别，还需要农业专家针对每种病害描述关键的识别特征，指导网络模型更具针对性的进行水稻作物的病害识别和分类。针对水稻病害视觉特征标准和数据库的建立，主要分为以下几个步骤，首先明确应用场景，前期要对于实际业务进行充分了解，其次贴合业务场景和专家知识，对水稻虫害视觉特征标准进行量化，构建视觉特征标准；随后对于数据库的建立进行初步设计，包括数据集的维度，规模参数，数据样本示例，进行初步一个规模制定。随后进行具体的数据库建立，包括数据采集，数据标注等工作。最后对制定的数据库和初期的特征标准结合，进行评价测试。
35.然后，通过mobiledet的目标检测网检测所述待识别农作物，以检测是否病变是否病变。具体的，进行水稻病害的分类，首先需要从监控设备采集的画面中提取水稻的前景信息和目标位置，再进行后续的分类，水稻病害检测过程中，采集设备采集的样本图片是多种多样的，既有拍摄到水稻的图片，又有大量不包含水稻的图片，故在进行水稻是否病变，以及病变类型的判断之前，首先要进行检测图片中水稻目标是否存在，以及水稻的前景位置，这样能更高效地对不包含水稻的照片进行过滤，防止噪声样本的干扰。mobiledet是一种轻量级的目标检测网络，可以兼容部署到很多嵌入式便携设备中，在保证检测准确的前提下，大幅地降低了深度网络模型的大小和计算量。
36.mobiledets使用网络架构搜索（nas）方法，请参阅图6，针对不同任务可以构建出适用于当前任务的网络架构和模型参数，nas搜索两种不同类型的cells：normal cell（输入和输出维度相同）和reduction cell（输出与输入相比特征图大小减半）。最终的网络结构以一种预定义的方式由这些cells堆叠而成，请参阅图7，这个搜索空间有两个重要优势：搜索空间的大小大幅度减小，因为cells相比之下很小了。通过调整一个模型中不同cells的数量（两种类型），cells可以更容易地迁移到其他数据集上。
37.具体的，在本实施例中，所述病虫害识别智能终端应用方法包括：通过mamc的病变分类模型对所述待识别农作物进行识别，以获得所述待识别农作物的病变类型。水稻病害的分类是一种细粒度的图像分类任务，本研究收到mamc方法的启发，基于mamc构造一种针对水稻病害分类的细粒度图像分类算法，请参阅图9，osme module：使用cnn和channel attention 作为特征提取器，参照的是senet的思路，配合损失函数的设计，可以更好的区分出类内和类间差异。channel attention的加入增强了对part feature的提取效率。
38.mamc loss：多注意力、多类别损失函数，使用该损失函数可以让attention模块学习出多个不同的部位，加强注意力区域之间的信息通信。（a）是网络训练前初始的特征分布，（b）是没有用到mamc loss训练后的特征分布，（c）是mamc loss引入后训练得到的特征分布。
39.由于水稻病变的特征区域对于整张检测的样本图片来说占比是比较小的，且不同病变之间的特征不易区分，故使用细粒度图像分类网络来进行病变类型的分类更为精准有效。本发明中使用多级注意力机制的mamc细粒度图像分类模型，实现对水稻病变与否以及病变类型的检测和分类。
40.在本发明的另一个实施例中，病虫害识别智能终端应用方法还包括：首先，建立水稻虫害的视觉特征指标及图像数据库，利用专家先验知识，根据该虫害的病理学描述及人工采集的病害叶片图片、害虫图片建立病害的视觉特征标准，定义害虫类别、叶片是否为虫害图片，并根据标准建立对应的茶叶虫害图像数据库。针对水稻虫害视觉特征标准和数据库的建立，主要分为以下几个步骤，首先明确应用场景，前期要对于实际业务进行充分了解，其次贴合业务场景和专家知识，对水稻虫害视觉特征标准进行量化，构建视觉特征标准；随后对于数据库的建立进行初步设计，包括数据集的维度，规模参数，数据样本示例，进行初步一个规模制定。随后进行具体的数据库建立，包括数据采集，数据标注等工作。最后对制定的数据库和初期的特征标准结合，进行评价测试。
41.然后根据所述视觉特征指标、所述图像数据库和病虫害识别智能终端应用方法对待识别农作物进行病虫害识别，所述病虫害识别智能终端应用方法包括：通过efficientnet识别所述待识别农作物的叶片是否病变；利用轻量级efficientnetv2训练虫害叶片识别模型，能够快速判断叶片是正常叶片还是虫害叶片，研究内容包括网络结构构建，模型训练及优化，正常叶片和虫害叶片的混合测试等等，算法具有体量小、速度快、适用于移动设备等优点。最后通过yolov4和双线性网络识别所述待识别农作物的病变类型，由于害虫体型较小，种类较多，工作人员难以从大面积叶片上找到害虫并快速准确辨认害虫种类。因此本发明研究利用yolov4网络训练小目标害虫检测及识别模型，从定时拍照的图片中检测害虫位置，之后将害虫的检测图像放入双线性网络模型中并根据害虫图片识别害虫的具体种类，帮助工作人员进行针对性防治决策。
42.请参阅图10，相较于efficientnet，efficientnetv2网络模型在推理速度和网络参数数量两个方向均有了更好的表现，并且使用改进的监禁学习方法，该方法会根据训练图像的尺寸动态调节正则化的方法，不仅可以加快训练的速度，更能提升准确率。经过实验对比，efficientnetv2的训练速度提升了11倍，而参数数量降低为原先的二分之一。
43.使用fused-mbconv模块：在网络的浅层模块中使用该种模块可以减少网络的参数量，加快网络的训练速度，在训练过程中网络会根据输入的图像随机丢弃或者跳过这一模块，达到加速训练的目的。
44.更小的卷积核：在efficientnetv2中使用了更小的卷积核，主要为3x3大小，而在efficientnet中更多使用了5x5的卷积核。更小的卷积核带来了更深的网络结构。
45.渐进的学习策略：在之前的一些网络中，为了提高训练效率，会采用不同尺寸的图像进行训练，但这往往带来网络精度的降低，在efficientnetv2中，采用对不同尺寸的图像进行不同参数的正则化，即动态的正则化方法，这一效果在实验中得到了验证。
46.具体的，在本发明中，所述通过yolov4和双线性网络识别所述待识别农作物的病变类型的方法包括：通过yolov4对所述当前待识别农作物进行密集检测和稀疏检测，以检测并识别害虫的输入特征；通过双线性网络考察输入特征的不同尺度下的关系，以提取了不同的语义
特征，进而识别出所述待识别农作物的病变类型。
47.请参阅图11，从数据处理、主干网络、网络训练、激活函数、损失函数等各个方面都有着不同程度的优化。yolov4在目标检测的实现快速准确，得益于于训练方法的改进。训练方法分为两类：只改变训练策略或者只增加训练成本，比如数据增强；插件模块和后处理方法，它们仅仅增加一点推理成本，但是可以极大地提升目标检测的精度。模型的基础框架采用cspresnext50的网络结构；同时增加了额外的块，spp-block；颈部框架的设计为panet；头部框架沿用yolov3的结构，包括一个密集检测和一个稀疏检测结构。最终对于图像中标定的害虫进行智能识别。考虑到一般情况下，训练yolov4的分类准确度提升要比检测位置准确度提升更困难，为了加快训练速度，在最后采用了双线性网络对yolo检测出的含害虫的区域进行分类，双线性网络通过考察输入特征的不同尺度下的关系，由于描述向量的不同维度对应卷积特征的不同通道，而不同通道提取了不同的语义特征，因此，通过双线性操作，可以同时捕获输入图像的不同语义特征之间的关系。在细粒度图像分类中得到了很好的分类效果，适用于害虫分类这种细粒度图像分类任务中。
48.请参阅图12，本发明第二实施例提供的一种病虫害识别智能终端应用系统，包括：固定摄像头10，所述固定摄像头10包括第一算力视频编码主控芯片11和第一数据传输模块12；移动摄像头20，所述移动摄像头20包括第二算力视频编码主控芯片21、第二数据传输模块22以及第一电池模块23；无人机摄像头30，所述无人机摄像头30包括第三算力视频编码主控芯片31、第三数据传输模块32以及第二电池模块33；所述第一算力视频编码主控芯片11、所述第二算力视频编码主控芯片21以及所述第三算力视频编码主控芯片21内均设有病虫害识别智能终端应用方法。通过摄像头实现了数据视频或抓图采集功能，通过算力视频编码主控芯片和病虫害识别智能终端应用方法实时识别当前农植物的生长状况是否存在病虫害入侵及感染，并通过相应的数据传输模块为平台管理提供实时有效数据，为平台智能化管理提供有效基础。
49.具体的，在本发明实施例中，所有的数据传输模块均可以为4g或者5g通讯模块，以实现数据传输功能。
50.以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。