一种小麦赤霉病病穗率自动统计方法与流程

本发明涉及图像识别技术领域，具体来说是一种小麦赤霉病病穗率自动统计方法。

背景技术

小麦赤霉病是小麦的主要病害之一，它是一种爆发性和毁灭性强的流行性病害，可导致小麦严重减产乃至绝收，并且病麦还包含对人畜有害的毒素。小麦赤霉病病穗率统计是小麦赤霉病害防治工作的重要内容，是防控和科学安全用药的前提和基础。

现有的小麦赤霉病病穗率统计主要是依靠植保专家和农技人员来完成的，但是人力有限、人工统计实时性差、效率低下，且主观性较大，致使小麦赤霉病预测预报难以有效的开展。随着计算机视觉技术的快速发展，基于图像的小麦赤霉病病穗率自动统计技术得到了广泛的研究，这种方法在实验室可控环境下性能卓越。然而在实际麦田场景中，采集到的赤霉病图像很容易受到复杂的背景、光照及遮挡等影响，导致现有的赤霉病病穗率统计方法鲁棒性差、检测精度低。

因此，如何提高小麦赤霉病病穗率自动统计的客观性、鲁棒性以及检测精度已经成为急需解决的技术问题。

技术实现要素：

本发明的目的是为了解决现有技术中赤霉病图像易受到背景、光照及遮挡影响导致难以识别的缺陷，提供一种小麦赤霉病病穗率自动统计方法来解决上述问题。

为了实现上述目的，本发明的技术方案如下：

一种小麦赤霉病病穗率自动统计方法，包括以下步骤：

11)小麦赤霉病图像的获取和预处理，获取若干幅小麦赤霉病图像，获取图像当月的平均气温、降水量及雨日数作为气候因子，将小麦赤霉病图像和气候因子作为训练样本；

12)构建小麦赤霉病图像麦穗检测模型，构造融合气候因子的深度卷积神经网络；

13)训练深度卷积神经网络；

14)待统计小麦赤霉病图像的收集和预处理，获取待统计图像并将图像的大小归一化为600×1000像素，得到待统计图像；

15)正常麦穗和发病麦穗的计数，将待统计图像进行候选框提取，提取出麦穗候选框，将麦穗候选框输入训练好的小麦赤霉病图像麦穗检测模型，根据设定的阈值，统计正常麦穗和发病麦穗的个数；

16)计算病穗率，其计算公式如下：

其中，p表示赤霉病病穗率，d表示赤霉病麦穗个数，n表示正常麦穗个数。

所述构造融合气候因子的卷积神经网络包括以下步骤：

21)在alexnet网络的基础上构建一个8层的卷积神经网络，8层的卷积神经网络分为alexnet卷积层子网络、气候因子子网络以及alexnet全连接子网络共三个子网络，其中，alexnet卷积层子网络为5层的卷积网络，气候因子子网络为3层的全连接网络，alexnet全连接子网络为一个3层的全连接网络；

22)设定气候因子子网络的输出和alexnet卷积层子网络的输出连接起来作为alexnet全连接子网络的输入；

23)alexnet全连接子网络的输出连接softmax分类器。

所述训练深度卷积神经网络包括以下步骤：

31)对训练样本的小麦赤霉病图像进行候选框的提取，生成麦穗候选框；

32)将麦穗候选框和气候因子输入深度卷积神经网络进行训练；

321)将麦穗候选框输入alexnet卷积层子网络，得到图像特征向量；

322)将气候因子信息输入气候因子子网络，得到气候因子特征向量；

333)将气候因子特征向量与赤霉病图像特征向量连接起来，输入alexnet全连接子网络，得到融合特征向量；

334)将融合特征向量输入softmax分类器，计算实际输出和理想输出的差，按照极小化误差的方法反向传播，完成深度卷积神经网络的训练。

所述对训练样本的小麦赤霉病图像进行候选框的提取包括以下步骤：

41)对小麦赤霉病图像进行超像素预处理，使用均值漂移方法对小麦赤霉病图像进行超像素预处理得到超像素图像；

42)对小麦赤霉病超像素图像进行区域合并，根据小麦赤霉病图像中麦穗和背景的特点，提取超像素的颜色特征，将具有相似颜色特征的区域进行合并，得到麦穗候选框，其包括以下步骤：

421)将图像的rgb空间转为lab空间，每个颜色通道划分为30个区间，分别计算l、a、b通道的颜色直方图分布，得到一个k维(k＝90)的特征chm，

422)将颜色直方图分布进行归一化处理，

超像素m,n之间的距离定义为：

abs表示绝对值，d(m,n)越大表示区域m,n之间的距离越近，相似度越高；

43)生成候选框。

所述生成候选框包括以下步骤：

51)设定超像素图像中间点的超像素为区域合并的起点，并设定超像素的距离阈值、麦穗框最大像素值阈值、麦穗框最小像素值阈值；

52)从中间点超像素开始，计算该超像素与周边相连接的超像素的距离，将小于该距离阈值的超像素合并；

53)重复以上51)至52)步骤，直至完成所有超像素的合并；

计算所有合并后的超像素区域的像素值，大于麦穗框最大像素值阈值的视为背景，丢弃；小于麦穗框最小像素值阈值的视为噪声，丢弃；得到初始麦穗候选框；

54)计算所有初始麦穗候选框的外切矩形，并按照1:2、1:1、2:1的尺度重构初始麦穗候选框，得到矩形麦穗候选框。

所述正常麦穗和发病麦穗的计数包括以下步骤：

61)将待统计图像输入训练好的小麦赤霉病图像麦穗检测模型，得到正常麦穗和发病麦穗的分类概率；

62)设置正常麦穗分类阈值为0.8，将概率大于0.8的正常麦穗的个数累加，得到正常麦穗的个数；

63)设置发病麦穗分类阈值为0.7，将概率大于0.7的发病麦穗的个数累加，得到发病麦穗的个数。

有益效果

本发明的一种小麦赤霉病病穗率自动统计方法，与现有技术相比通过机器视觉的方法实现小麦赤霉病病穗率自动统计，提高了小麦赤霉病病穗率统计的智能化水平、鲁棒性及检测精度。

本发明针对采集环境中小麦赤霉病易在不同光照下与复杂背景融入一体的实际特点，通过基于区域合并的候选框生成方法快速、准确的生成候选框，以此作为神经网络准确辨识的基础，也是提高麦穗检测精度的基础。通过将alexnet网络的前5层作为alexnet卷积层子网络，能够提取小麦赤霉病图像中麦穗的本质特征，有利于麦穗候选框的正确分类；并且通过在网络中融入气候因子，利用小麦赤霉病季节性呈现的特点，将小麦赤霉病与发生环境形成紧密联系，从而进一步地增加小麦赤霉病的判断准确度。

附图说明

图1为本发明的方法顺序图；

图2为使用fasterrcnn方法的小麦赤霉病检测效果图；

图3为使用本发明所述方法的小麦赤霉病检测效果图。

具体实施方式

为使对本发明的结构特征及所达成的功效有更进一步的了解与认识，用以较佳的实施例及附图配合详细的说明，说明如下：

如图1所示，本发明所述的一种小麦赤霉病病穗率自动统计方法，包括以下步骤：

第一步，小麦赤霉病图像的获取和预处理。获取若干幅小麦赤霉病图像，获取图像当月的平均气温、降水量及雨日数作为气候因子，小麦赤霉病图像和气候因子作为训练样本。

第二步，构建小麦赤霉病图像麦穗检测模型。构造融合气候因子的深度卷积神经网络。

深度卷积神经网络是基于深度学习理论的一种人工神经网络，该网络可直接从原始图像中自动学习并提取特征，并且具有位移不变性、缩放不变性以及扭曲不变性。考虑到小麦赤霉病的发生跟月平均气温、降水量及雨日数等气候因子有密切关系，在此构造融合气候因子的卷积神经网络用于正常麦穗和发病麦穗的分类。构造融合气候因子的深度卷积神经网络包括以下步骤：

(1)在alexnet网络的基础上构建一个8层的卷积神经网络，8层的卷积神经网络包括alexnet卷积层子网络、气候因子子网络以及alexnet全连接子网络共三个子网络，其中，alexnet卷积层子网络为5层的卷积网络，气候因子子网络为3层的全连接网络，alexnet全连接子网络为一个3层的全连接网络。

alexnet网络是一种结构简单、性能优越的网络，它可以对图像进行准确的分类。针对小麦赤霉病图像中麦穗候选框的分类，本发明以alexnet网络为基础，融合气候因子子网络以及alexnet全连接子网络，这种设计可以有效提取图像本身的特征，也融合了气候因子特征，且网络结构简单，能够快速而准确的实现麦穗候选框的分类，进而实现病穗率的自动统计。

(2)设定气候因子子网络的输出和alexnet卷积层子网络的输出连接起来作为alexnet全连接子网络的输入。赤霉病的发生跟气候环境有着密切的关系，通过气候因子子网络的输入可以将图像和气候因子的融合特征作为麦穗候选框分类的依据，大大提高分类的准确性。

(3)alexnet全连接子网络的输出连接softmax分类器。

第三步，训练深度卷积神经网络。

本发明的网络结构与传统网络的结构不同在于，alexnet卷积层子网络与气候因子子网络是并列的。训练过程分为前向传播和后向传播两个阶段，其中，前向传播中alexnet卷积层子网络与气候因子子网络是同时进行的，当后向传播到alexnet全连接子网络的前端后，同时进行alexnet卷积层子网络与气候因子子网络的后向传播。在训练过程中，我们通过采用微调的方法进行训练，即使用大量图像数据(如imagenet数据集)来训练基本网络模型，之后再使用赤霉病图像数据对网络模型进行参数调优。

(1)对训练样本的小麦赤霉病图像进行候选框的提取，生成麦穗候选框。在此利用区域合并技术进行候选框提取是利用了小麦赤霉病图像中正常麦穗、发病麦穗的特征差别比较大的特点，基于区域合并的候选框提取相对于传统的候选框提取算法可以更加迅速、准确的提取候选框。其具体步骤如下：

a、对小麦赤霉病图像进行超像素预处理，使用均值漂移方法对小麦赤霉病图像进行超像素预处理得到超像素图像。

b、对小麦赤霉病超像素图像进行区域合并，根据小麦赤霉病图像中麦穗和背景的特点，提取超像素的颜色特征，将具有相似颜色特征的区域进行合并，得到麦穗候选框，其包括以下步骤：

b1)将图像的rgb空间转为lab空间，每个颜色通道划分为30个区间，分别计算l、a、b通道的颜色直方图分布，得到一个k维(k＝90)的特征chm，

b2)将颜色直方图分布进行归一化处理，

超像素m,n之间的距离定义为：

abs表示绝对值，d(m,n)越大表示区域m,n之间的距离越近，相似度越高；

c、生成候选框。候选框生成方法是影响病穗率自动统计精度和效率的一个重要因子，考虑到小麦赤霉病图像的特点，其正常麦穗的颜色、发病麦穗的颜色差异较大，我们采用区域合并的算法生成候选框，可以大大提高候选框生成的准确性和生成速度，为后续候选框分类打下基础。

c1、设定超像素图像中间点的超像素为区域合并的起点，并设定超像素的距离阈值、麦穗框最大像素值阈值、麦穗框最小像素值阈值；

c2、从中间点超像素开始，计算该超像素与周边相连接的超像素的距离，将小于该距离阈值的超像素合并；

c3、重复以上c1、至c2、步骤，直至完成所有超像素的合并；

计算所有合并后的超像素区域的像素值，大于麦穗框最大像素值阈值的视为背景，丢弃；小于麦穗框最小像素值阈值的视为噪声，丢弃；得到初始麦穗候选框；

c4、计算所有初始麦穗候选框的外切矩形，并按照1:2、1:1、2:1的尺度重构初始麦穗候选框，得到矩形麦穗候选框。

(2)将麦穗候选框和气候因子输入深度卷积神经网络进行训练。

a1、将麦穗候选框输入alexnet卷积层子网络，得到图像特征向量；

a2、将气候因子信息输入气候因子子网络，得到气候因子特征向量；

a3、将气候因子特征向量与赤霉病图像特征向量连接起来，输入alexnet全连接子网络，得到融合特征向量；

a4、将融合特征向量输入softmax分类器，计算实际输出和理想输出的差，按照极小化误差的方法反向传播，完成深度卷积神经网络的训练。

第四步，待统计小麦赤霉病图像的收集和预处理，获取待统计图像并将图像的大小归一化为600×1000像素，得到待统计图像。

第五步，正常麦穗和发病麦穗的计数，将待统计图像进行候选框提取，提取出麦穗候选框，将麦穗候选框输入训练好的小麦赤霉病图像麦穗检测模型，根据设定的阈值，统计正常麦穗和发病麦穗的个数。

将待统计图像输入训练好的小麦赤霉病图像麦穗检测模型，得到正常麦穗和发病麦穗的分类概率；设置正常麦穗分类阈值为0.8，将概率大于0.8的正常麦穗的个数累加，得到正常麦穗的个数；在等到正常麦穗个数后，再根据设置的发病麦穗分类阈值为0.7，将余下概率大于0.7的发病麦穗的个数累加，得到发病麦穗的个数。

第六步，计算病穗率。其计算公式如下：

其中，p表示赤霉病病穗率，d表示赤霉病麦穗个数，n表示正常麦穗个数。

如图2所示，其为利用目前最新通用的目标检测算法(fasterrcnn)产生的效果图，从图2中可以看到，图2中椭圆形框中的赤霉病病穗没有检测出来，其存在检测率较低、鲁棒性差的问题。如图3所示，其为利用本发明方法检测出来的效果图，从图3中可以看到，赤霉病病穗均被有效果检测出。

即使在fasterrcnn方法使用rpn网络(regionproposalnetworks)生成候选框，但该方法需要大量的训练样本，如果样本量有限，则生成候选框不准确，进而导致有效目标无法被检测出。而在同样样本量的情况下，本发明首先使用区域合并方法，根据病穗的颜色很容易将椭圆形框中的赤霉病病穗候选框提取出来，这是赤霉病病穗识别的基础，其次，本发明充分利用赤霉病的发生跟气候因子有密切关系这一特点，在特征提取方面融合了气候因子特征，为赤霉病病穗的正确识别提供了保障。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。