一种基于计算机视觉的作物病虫害检测方法及系统与流程

1.本发明属于计算机应用技术领域，尤其涉及一种基于计算机视觉的作物病虫害检测方法及系统。


背景技术：

2.计算机视觉(computer vision)是指用摄影机和计算机代替人眼对目标进行识别、跟踪和测量等的机器视觉，并进一步做图像处理，用计算机处理成为更适合人眼观察或传送给仪器检测的图像；计算机视觉广泛应用到各个领域，如制造业、检验、文档分析、医疗诊断，和军事等领域中各种智能/自主系统中不可分割的一部分。
3.传统的农作物病虫害检测耗时长,过程复杂,通常局限在实验室内的离线分析。2016年,浙江大学利用高光谱成像技术来确定黄瓜叶中叶绿素和类胡萝卜素的含量,并通过其含量判断其是否感染角叶斑点。使用偏最小二乘回归模型来开发通过生化分析测量的光谱和色素含量之间的定量分析。由特征波长开发的偏最小二乘回归模型提供了较好的测量结果,相关系数分别为叶绿素和类胡萝卜素含量的预测值0.871和0.876,并且可以通过其含量来准确判断出黄瓜叶是否感染了角叶斑点。2018年,安徽农业大学利用高光谱成像技术区分氮肥水平的方法,通过主成分分析选择5个特征波长,通过灰度梯度共生矩阵从特征波长的图像中提取纹理特征,使用支持向量机(svm)建立基于全光谱数据、特征波长、纹理特征和数据融合的分类模型。
4.瑞士洛桑联邦理工学院分析了在plantvillage数据库中的54306幅植物叶子的图像,其中包括了14种作物和26种作物疾病,首先将图像大小调整为256
×
256像素,对这些缩小图像执行模型优化和预测。利用googlenet卷积神经网络结构,对80％的彩色图像进行迁移学习训练，达到识别作物病虫害的效果。
5.北京工业大学利用深度学习技术建立了一套判断苹果叶真菌感染程度的系统,将苹果叶分为4种,健康叶、初期感染、中期感染和末期疾病,利用plantvillage数据库中的数据，使用经典卷积网络模型vgg训练和测试，即可达到对苹果叶感染程度识别的效果。
6.美国特拉华大学利用高光谱技术在收获的苹果中取得了350～2500nm反射光谱数据,从550～1400nm范围内的苹果两侧捕获高光谱图像,分析这些图像以提取在苦基坑检测中有效的光谱特征,开发了自动空间数据分析算法来检测苦味点,提取特征区域,并使用逻辑回归来定义分类阈值。该研究根据高光谱和成像技术确定了显著的光谱特征,能够很好的对健康和苦涩的苹果进行分类,可用于开发感测解决方案,对包装线上的水果进行分类。
7.计算机视觉病虫草害监测技术还在发展初期，在农业应用场景使用时间不长，训练数据少且分类不均衡，导致模型自测识别率很高，但实际应用场景下，实际识别率较低。传统高光谱病虫害识别需要使用高光谱数据，高光谱数据获取不方便，适用性不强。目前的病虫害识别大多是基于图片做分类，无法精准判断病虫害发病位置，无法同时检测出同一植株出现的多种病害。


技术实现要素：

8.本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于计算机视觉的作物病虫害检测方法及系统，通过预测模型对作物图片进行分类，筛选出发生病虫害的作物的待检测的目标图片，然后输入检测模型进行特征提取和检测，最后输出检测结果，能够识别病虫害的类别，并标记出病虫害所在位置，有效提高了病虫害的检测效率，缩短了病虫害发现时间，降低种植户的种植风险。
9.根据本发明的一个方面，本发明提供了一种基于计算机视觉的作物病虫害检测方法，所述方法包括以下步骤：
10.s1：获取作物的图片，将所述作物的图片输入预分类模型，识别出发生病虫害的作物的图片，将其作为待检测的目标图片；
11.s2：将所述待检测的目标图片输入检测模型进行检测，得到目标检测结果；
12.s3：输出所述目标检测结果，所述目标检测结果包括病虫害的类型和目标图片中病虫害发生的位置。
13.优选地，所述预分类模型采用残差神经网络模型，将incoptionnet网络结构与resnet残差块相结合，通过全连接层对图片进行分类。
14.优选地，所述将所述待检测的目标图片输入检测模型进行检测，得到目标检测结果，包括：
15.提取待检测的目标图片的图片特征；
16.根据提取的图片特征和上采样操作，对目标图片进行三个尺度的检测，得到三个不同尺度的病虫害检测结果；
17.将所述三个不同尺度的病虫害检测结果进行合并操作，得到目标检测结果。
18.优选地，采用改进的diou方法识别病虫害的类型和图片中发生病虫害的位置，所述改进的diou方法为：
[0019][0020]
其中，β为引入的控制参数，用于控制的惩罚幅度，d表示相邻框中心点之间的距离，c表示包含两个相邻框的最小框的对角线的长度；iou表示预测框与真实框的交集与并集的比值。
[0021]
优选地，所述方法还包括：
[0022]
对所述待检测的目标图片进行数据增强处理，以用于检测模型的训练；所述数据增强处理包括：
[0023]
对图片通过随机缩放、随机裁剪、随机排布的方式进行拼接；
[0024]
针对不同的数据集，设置具有初始设定长、宽的锚框，在初始锚框的基础上输出预测框，进而和真实框进行比对，计算两者差距，再进行反向更新迭代；
[0025]
按照长边计算目标图片的缩放比和图片缩放后的尺寸，进行缩放填充。
[0026]
根据本发明的另一个方面，本发明还提供了一种基于计算机视觉的作物病虫害检测系统，所述系统包括：
[0027]
分类模块，用于获取作物的图片，将所述作物的图片输入预分类模型，识别出发生
病虫害的作物的图片，将其作为待检测的目标图片；
[0028]
检测模块，用于将所述待检测的目标图片输入检测模型进行检测，得到目标检测结果；
[0029]
输出模块，用于输出所述目标检测结果，所述目标检测结果包括病虫害的类型和目标图片中病虫害发生的位置。
[0030]
优选地，所述预分类模型采用残差神经网络模型，将incoptionnet网络结构与resnet残差块相结合，通过全连接层对图片进行分类。
[0031]
优选地，所述将所述待检测的目标图片输入检测模型进行检测，得到目标检测结果，包括：
[0032]
提取待检测的目标图片的图片特征；
[0033]
根据提取的图片特征和上采样操作，对目标图片进行三个尺度的检测，得到三个不同尺度的病虫害检测结果；
[0034]
将所述三个不同尺度的病虫害检测结果进行合并操作，得到目标检测结果。
[0035]
优选地，采用改进的diou方法识别病虫害的类型和图片中发生病虫害的位置，所述改进的diou方法为：
[0036][0037]
其中，β为引入的控制参数，用于控制的惩罚幅度，d表示相邻框中心点之间的距离，c表示包含两个相邻框的最小框的对角线的长度；iou表示预测框与真实框的交集与并集的比值。
[0038]
优选地，所述方法还包括：
[0039]
对所述待检测的目标图片进行数据增强处理，以用于检测模型的训练；所述数据增强处理包括：
[0040]
对图片通过随机缩放、随机裁剪、随机排布的方式进行拼接；
[0041]
针对不同的数据集，设置具有初始设定长、宽的锚框，在初始锚框的基础上输出预测框，进而和真实框进行比对，计算两者差距，再进行反向更新迭代；
[0042]
按照长边计算目标图片的缩放比和图片缩放后的尺寸，进行缩放填充。
[0043]
本发明具有以下有益效果：
[0044]
1.本发明在测试集中对柑橘植株和果实的近100类病虫害检测正确率约为85％，漏检率3％左右，高于目前行业水平；
[0045]
2.本发明对模型图片进行预分类，将占大多数的无病虫害图片剔除，有效提高病虫害检测效率；
[0046]
3.本发明可对同一图片中的多种病虫害进行检测，针对分类算法可有效减少模型运算成本，缩短病虫害发现时间；将病虫害消灭在初期，提高作物产量，降低种植户种植风险；
[0047]
4.本发明通过图片增强的方式，解决数据样本在不均衡的情况下，达到提高识别率的效果；
[0048]
5.本发明可精确框出输入图片病虫害发生位置，为精准治疗提高有效参考。
[0049]
通过参照以下附图及对本发明的具体实施方式的详细描述，本发明的特征及优点将会变得清楚。
附图说明
[0050]
图1是基于计算机视觉的作物病虫害检测方法流程图；
[0051]
图2是基于计算机视觉的作物病虫害检测系统示意图。
具体实施方式
[0052]
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0053]
实施例1
[0054]
图1是基于计算机视觉的作物病虫害检测方法流程图。如图1所示，本发明提供了一种基于计算机视觉的作物病虫害检测方法，所述方法包括以下步骤：
[0055]
s1：获取作物的图片，将所述作物的图片输入预分类模型，识别出发生病虫害的作物的图片，将其作为待检测的目标图片；
[0056]
s2：将所述待检测的目标图片输入检测模型进行检测，得到目标检测结果；
[0057]
s3：输出所述目标检测结果，所述目标检测结果包括病虫害的类型和目标图片中病虫害发生的位置。
[0058]
优选地，所述预分类模型采用残差神经网络模型，将incoptionnet网络结构与resnet残差块相结合，通过全连接层对图片进行分类。
[0059]
具体地，可以通过手机、相机，无人机拍照的方式获取农作物的图片，然后输入预分类模型。
[0060]
本实施例首先将接收到的图片进行预分类，筛选是否为病虫害经济作物图片，若否则结束该方法；若是则进行下一步检测任务；该预分类采用的方法是修改的resnet50残差神经网络，将inceptionnet结构与resnet残差块相结合的方式，最后加上全连接层对图片进行是否为病虫害图片的分类。
[0061]
优选地，所述将所述待检测的目标图片输入检测模型进行检测，得到目标检测结果，包括：
[0062]
提取待检测的目标图片的图片特征；
[0063]
根据提取的图片特征和上采样操作，对目标图片进行三个尺度的检测，得到三个不同尺度的病虫害检测结果；
[0064]
将所述三个不同尺度的病虫害检测结果进行合并操作，得到目标检测结果。
[0065]
具体地，对目标图片进行特征提取，该步骤主要是采用卷积层+bn层+leakyrelu激活层为单元，结合resnet结构特征的多层融合方法构建，即在两个单元之后采用残差结构；这样构成不同的结构单元，叠加不同的单元和残差结构即可进行图片特征提取。
[0066]
本实施例中病虫害检测主要基于特征提取部分不同阶段的输出维度的不同和对特征提取进行上采样操作，分为三个不同尺度的特征提取；对于大、中、小三个尺度进行的
检测过程分别为：小尺度检测即是在特征提取的最后一个阶段直接通过单元层+卷积层进行目标检测；中尺度检测则是在特征提取的倒数第二个阶段并结合最后一个阶段输出的上采样结果通过单元层+卷积层进行目标检测；大尺度检测是在特征提取的倒数第一个阶段结合中尺度输入的上采样结果通过单元层+卷积层进行目标检测；至此得到三个不同尺度的病虫害检测结果。
[0067]
优选地，采用改进的diou方法识别病虫害的类型和图片中发生病虫害的位置，所述改进的diou方法为：
[0068][0069]
其中，β为引入的控制参数，用于控制的惩罚幅度，d表示相邻框中心点之间的距离，c表示包含两个相邻框的最小框的对角线的长度；iou表示预测框与真实框的交集与并集的比值。
[0070]
具体地，将三个不同尺度的病虫害检测结果进行合并操作，得到目标检测结果。该方法主要借鉴diou
‑
nms，即加中心距离的iou，相邻框的中心点越靠近当前最大得分框m的中心点，则其更有可能是冗余框。
[0071]
使用所提出的diou替代iou作为nms的评判准则，公式如下：
[0072][0073]
其中diou定义为
[0074][0075]
而在实际操作中，我们还加入了参数β，用于控制的惩罚幅度。即
[0076][0077]
由公式可以看出，当β趋近于无穷大是，diou退化成iou，此时的diou
‑
nms与一般的nms效果相当。当β趋近于0时，此时几乎所有中心点不与m重合的框都被保留了。
[0078]
因此使用diou
‑
nms作为选取最终判识的结果。
[0079]
优选地，所述方法还包括：
[0080]
对所述待检测的目标图片进行数据增强处理，以用于检测模型的训练；所述数据增强处理包括：
[0081]
对图片通过随机缩放、随机裁剪、随机排布的方式进行拼接；
[0082]
针对不同的数据集，设置具有初始设定长、宽的锚框，在初始锚框的基础上输出预测框，进而和真实框进行比对，计算两者差距，再进行反向更新迭代；
[0083]
按照长边计算目标图片的缩放比和图片缩放后的尺寸，进行缩放填充。
[0084]
具体地，首先对图片进行随机缩放、随机裁剪、随机排布的方式进行拼接，该方法
可有效增加数据数量，增加小目标检测的正确率；然后是自适应锚框计算，在该方法中，针对不同的数据集，都会有初始设定长宽的锚框。在网络训练中，网络在初始锚框的基础上输出预测框，进而和真实框进行比对，计算两者差距，再反向更新，迭代网络参数；最后是自适应图片缩放，在该算法中可能存在不同长宽的图片，因此常用的方式是将原始图片统一缩放到一个标准尺寸，再送入检测网络中。图片的长宽比不同，因此缩放填充后，两端的黑边大小都不同，而如果填充的比较多，则存在信息冗余，影响推理速度。具体是先计算按照长边计算图片缩放比，然后计算出图片缩放后的尺寸，最后将需要填充黑框的边缘进行填充。上述图片增强步骤仅在模型进行训练时使用；检测任务中跳过该步骤。
[0085]
本实施例通过计算机视觉的方式，设计模型，训练实际标记图片，得到可用于实际生产的模型；首先预分类模型判别是否属于经济作物病虫害图片，然后输入检测模型，从图片中进行提炼病虫害的特征，识别病虫害的类别，并标记出病虫害所在位置，有效提高了病虫害的检测效率，缩短了病虫害发现时间，降低种植户的种植风险。
[0086]
实施例2
[0087]
图2是基于计算机视觉的作物病虫害检测系统示意图。如图2所示，本发明还提供了一种基于计算机视觉的作物病虫害检测系统，所述系统包括：
[0088]
分类模块，用于获取作物的图片，将所述作物的图片输入预分类模型，识别出发生病虫害的作物的图片，将其作为待检测的目标图片；
[0089]
检测模块，用于将所述待检测的目标图片输入检测模型进行检测，得到目标检测结果；
[0090]
输出模块，用于输出所述目标检测结果，所述目标检测结果包括病虫害的类型和目标图片中病虫害发生的位置。
[0091]
优选地，所述预分类模型采用残差神经网络模型，将incoptionnet网络结构与resnet残差块相结合，通过全连接层对图片进行分类。
[0092]
优选地，所述将所述待检测的目标图片输入检测模型进行检测，得到目标检测结果，包括：
[0093]
提取待检测的目标图片的图片特征；
[0094]
根据提取的图片特征和上采样操作，对目标图片进行三个尺度的检测，得到三个不同尺度的病虫害检测结果；
[0095]
将所述三个不同尺度的病虫害检测结果进行合并操作，得到目标检测结果。
[0096]
优选地，采用改进的diou方法识别病虫害的类型和图片中发生病虫害的位置，所述改进的diou方法为：
[0097][0098]
其中，β为引入的控制参数，用于控制的惩罚幅度，d表示相邻框中心点之间的距离，c表示包含两个相邻框的最小框的对角线的长度；iou表示预测框与真实框的交集与并集的比值。
[0099]
优选地，所述方法还包括：
[0100]
对所述待检测的目标图片进行数据增强处理，以用于检测模型的训练；所述数据
增强处理包括：
[0101]
对图片通过随机缩放、随机裁剪、随机排布的方式进行拼接；
[0102]
针对不同的数据集，设置具有初始设定长、宽的锚框，在初始锚框的基础上输出预测框，进而和真实框进行比对，计算两者差距，再进行反向更新迭代；
[0103]
按照长边计算目标图片的缩放比和图片缩放后的尺寸，进行缩放填充。
[0104]
本实施例2中各个模块所执行的方法步骤的具体实施过程与实施例1中的各个步骤的实施过程相同，在此不再赘述。
[0105]
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。