一种基于区域尺度感知技术的害虫图像检测方法与流程

本发明涉及农保图像处理技术领域，具体来说是一种基于区域尺度感知技术的害虫图像检测方法。

背景技术：

害虫是农作物生长中的大敌，在农作物整个生长期内都有发生，可造成农作物大量减产。由于害虫种类繁多，每一位植保专家只能识别部分害虫。

当今在模式识别领域，基于深度学习理论的图像识别与检测方法成为众多学者研究的热点，在人脸识别、目标检测领域被广泛应用，并取得了较好的效果。然而，目前的深度学习理论应用在害虫图像自动检测与识别的方法中会出现识别效果差、检测精度低的问题，这是由于害虫目标在图像中尺寸较小、局部特征不易提取所导致的。对于小尺寸害虫目标，目前的方法仅考虑特征金字塔中的低层特征图作为其局部特征而忽略了高层语义信息，使得害虫目标虽然具有良好的定位效果但分类准确率不佳。另一方面，同时考虑低层和高层特征图信息的单纯叠加又会使害虫局部特征混乱缺乏针对性。

因此，现有方法在提取害虫目标局部特征时表达力欠佳的困难，在如今的智慧农业应用中已经成为急需解决的技术问题。

技术实现要素：

本发明的目的是为了解决现有技术中小尺寸害虫目标难以准确检测的缺陷，提供一种基于区域尺度感知技术的害虫图像检测方法来解决上述问题。

为了实现上述目的，本发明的技术方案如下：

一种基于区域尺度感知技术的害虫图像检测方法，包括以下步骤：

获取害虫图像数据集并进行预处理：获取害虫图像数据集，并对害虫图像数据集的图像进行归一化处理；

害虫图像候选区域的提取：利用候选区域提取方法提取害虫图像候选区域，所述的候选区域提取方法为先利用卷积神经网络提取害虫特征，再通过特征金字塔网络抽取多尺度特征，最后利用区域候选网络生成害虫图像候选区域；

构建尺度感知害虫检测网络：构建尺度感知害虫检测网络用于提取害虫图像候选区域的局部特征，所述的尺度感知害虫检测网络方法以害虫候选区域为输入、每个害虫候选区域的检测结果为输出，第一层为利用roi池化层抽取多尺度局部特征，第二层为可训练的特征加权门函数，第三层为害虫局部特征融合层，最后一层利用精修网络进行分类与回归；

尺度感知害虫检测网络的训练：对尺度感知害虫检测网络进行训练；

待检测害虫图像的获取：获取待检测的害虫图像；

待检测害虫图像候选区域的提取：利用候选区域提取方法提取待检测害虫图像的害虫图像候选区域；

害虫图像检测结果的获得：将待检测害虫图像的害虫图像候选区域输入训练后的尺度感知害虫检测网络，得到害虫图像检测结果。

所述害虫图像候选区域的提取包括以下步骤：

将害虫图像数据集的图像输入卷积神经网络进行处理，得到害虫图像的特征图；

再将害虫图像的特征图输入特征金字塔网络，从中抽取不同尺度大小的多尺寸害虫特征图；

最后将不同尺度大小的多尺寸害虫特征图输入区域候选网络，生成害虫图像候选区域。

所述构建尺度感知害虫检测网络包括以下步骤：

设定尺度感知害虫检测网络的输入为害虫图像候选区域、输出为害虫图像检测结果；

设定尺度感知害虫检测网络的第一层为通过roi池化的方法抽取害虫目标的多尺度局部特征：根据每个害虫候选区域的位置和大小，在多尺度害虫特征图中抽取对应的多尺度害虫目标局部特征；

设定尺度感知害虫检测网络的第二层为通过特征加权门函数计算特征权重：根据每个害虫候选区域的尺寸，通过特征加权门函数计算该区域在各个尺度特征图中对应的特征权重；

设定尺度感知害虫检测网络的第三层为多尺度害虫目标局部特征融合：该特征加权门函数所计算的权重对多尺度害虫局部特征进行融合；

设定尺度感知害虫检测网络的第四层为害虫区域分类与精修：基于融合的害虫局部特征，通过精修网络对该害虫区域分类并精修害虫位置。

所述尺度感知害虫检测网络的训练包括以下步骤：

通过尺度感知害虫检测网络计算特征权重：根据每个害虫候选区域的尺寸，通过特征加权门函数计算该区域在各个尺度特征图中对应的特征权重；

进行局部特征融合：将该每个害虫候选区域在各个尺度的特征图中抠取出局部特征，并通过特征权重融合各尺度特征，输出融合后的害虫区域局部特征；

精修网络分类与回归候选框：将融合后的害虫区域局部特征输入精修网络，对该害虫区域分类并回归边界框的值。

所述的通过尺度感知害虫检测网络计算特征权重包括以下步骤：

将害虫候选区域的尺寸输入到标记函数中判断该候选区域大小；其具体步骤如下：

输入害虫候选区域尺寸表示为其宽w和高h，将w和h输入到标记函数sign*(h,w)中；

该标记函数sign*(h,w)定义为：

其中w0和h0为标记函数的超参数，定义为判断该害虫候选区域是否为小目标的标准，在这里w0和h0分别取害虫图像训练集xi＝[x1,x2,…xn]所有标注目标宽wn和高hn的均值和当输入害虫区域尺寸(w,h)中w-w0＜0且h-h0＜0，当区域被定义为小目标害虫区域，其他情况下视为大目标害虫区域；

计算每个害虫候选区域的标记函数输出sign*(h,w)以表示该区域是否为小目标；

将害虫候选区域的尺寸和标记函数结果输入到特征加权门函数中计算所需特征各尺度的权重；其具体步骤如下：

输入候选区域尺寸表示为其宽w和高h，引入2个可训练参数α＝(α1,α2,...,αk)和β＝(β1,β2,...,βk)，其中k表示特征金字塔网络抽取的多尺度害虫特征图个数；

定义特征加权门函数λi(si,h,w)计算λ＝(λ1,λ2,...,λk)：

其中输出λi为第i个尺度的害虫特征图所需的权重，si为第i个尺度的害虫特征图相比于原图的缩放步长，zi由步长si，宽w，高h和标记函数输出sign*(h,w)共同计算得到：

参数α和β的训练过程：

训练前对α和β进行初始化，分别使用常数初始化为1.0和10.0，根据反向传播的链式求导公式，由于αi会参加k个局部特征图中每一个权重λj的计算，因此αi的梯度来自于各个尺度层j的权重λj，分两种情况讨论，当i＝j时，λj对αi的梯度为：

当i≠j时，λj对αi的梯度为：

因此，损失函数对αi的总梯度为：

通过神经网络的反向传播算法，训练αi：

其中η为学习率；

计算βi的总梯度：

其中当i＝j时，λj对βi的梯度为：

当i≠j时，λj对βi的梯度为：

通过神经网络的反向传播算法，训练βi：

所述的将该每个害虫候选区域在各个尺度的特征图中抠取出局部特征包括以下步骤：

输入害虫候选区域表示为其左上角点坐标(x,y)以及宽w高h，对每一个尺度下的害虫特征图mi扣取出相应位置的害虫局部特征fi，害虫特征图mi大小为(w,h,c)分别代表特征图宽高和通道数；

害虫局部特征fi抠取过程表示为：

其中si为尺度i下特征图mi相比于原图的缩放步长；

为了方便多尺度特征融合，将不同尺度下抠取的害虫局部特征f＝(f1,f2,...,fk)统一池化到p×p大小，池化过程表示将害虫局部特征fi分割成p×p的块，对每一块中的像素做均值池化，得到统一大小的多尺度局部特征f′＝(f1′,f2′,...,f′k)。

所述的通过特征权重融合各尺度特征包括以下步骤：

对于输入害虫候选区域，获得其在每个尺度的权重λ＝(λ1,λ2,...,λk)以及统一的多尺度局部特征f′＝(f1′,f′2,...,f′k)；

直接通过加权求和输出最终用于分类与回归的融合局部特征并通过使用指数运算以确保原害虫局部特征信息能够被有效保留与利用，其表达式如下：

所述的特征金字塔网络为fpn网络，区域候选网络为rpn网络，精修网络为r-cnn网络。

有益效果

本发明的一种基于区域尺度感知技术的害虫图像检测方法，与现有技术相比通过感知害虫区域的位置，使基于卷积神经网络的害虫检测框架能够受到害虫区域尺寸大小的指导，从而自动地在多尺度害虫图像特征图中有效地学习所需要的害虫局部特征并针对性的实现特征融合，使得表达能力更强的害虫局部特征发挥的作用更大，由此提高了害虫识别与检测的准确率。

本发明提出引导性的可学习局部特征融合方法使神经网络能够自主地学习各层所需特征权重，达到优化任务的目的。在实际应用场景中，通过学习各层害虫局部特征的融合，能够对害虫目标有效的定位与分类，在实验中验证了使用该方法下的害虫检测系统能够达到实际应用水平。另一方面，通过分析尺度感知害虫检测网络的权重学习，小目标害虫对于低层局部特征并不具备强大的依赖性，反而对高层语义信息有着更大的需求，这也佐证了现有方法中单层局部特征提取方式的局限性。因此，有效地学习特征权重对于害虫检测与识别任务具有重要意义。

附图说明

图1为本发明的方法顺序图；

图2为利用现有的fpn进行小麦麦蜘蛛检测的效果图；

图3为利用本发明所述方法进行小麦麦蜘蛛检测的效果图。

具体实施方式

为使对本发明的结构特征及所达成的功效有更进一步的了解与认识，用以较佳的实施例及附图配合详细的说明，说明如下：

如图1所示，本发明所述的一种基于区域尺度感知技术的害虫图像检测方法，包括以下步骤：

第一步，获取害虫图像数据集并进行预处理：获取害虫图像数据集，并对害虫图像数据集的图像进行传统的归一化处理。

第二步，害虫图像候选区域的提取：利用候选区域提取方法提取害虫图像候选区域。候选区域提取方法可使用传统方法实现，在此候选区域提取方法可以先利用卷积神经网络提取害虫特征，再通过特征金字塔网络抽取多尺度特征，最后利用区域候选网络生成害虫图像候选区域。其中，特征金字塔网络可以为fpn网络，区域候选网络可以为rpn网络。其具体步骤如下：

(1)将害虫图像数据集的图像输入卷积神经网络进行处理，得到害虫图像的特征图；

(2)再将害虫图像的特征图输入特征金字塔网络，从中抽取不同尺度大小的多尺寸害虫特征图；

(3)最后将不同尺度大小的多尺寸害虫特征图输入区域候选网络，生成害虫图像候选区域。

第三步，构建尺度感知害虫检测网络。由于实际场景中害虫目标尺寸较小，仅采取单层局部特征提取存在语义信息不足等缺陷，因此本发明提出尺度感知的方式学习各层特征权重并对局部特征有效融合，达到精确检测的目的。

构建尺度感知害虫检测网络用于提取害虫图像候选区域的局部特征，尺度感知害虫检测网络方法以害虫候选区域为输入、每个害虫候选区域的检测结果为输出，第一层为利用roi池化层抽取多尺度局部特征，第二层为可训练的特征加权门函数，第三层为害虫局部特征融合层，最后一层利用精修网络进行分类与回归。其具体步骤如下：

(1)设定尺度感知害虫检测网络的输入为害虫图像候选区域、输出为害虫图像检测结果；

(2)设定尺度感知害虫检测网络的第一层为通过roi池化的方法抽取害虫目标的多尺度局部特征：根据每个害虫候选区域的位置和大小，在多尺度害虫特征图中抽取对应的多尺度害虫目标局部特征；

(3)设定尺度感知害虫检测网络的第二层为通过特征加权门函数计算特征权重：根据每个害虫候选区域的尺寸，通过特征加权门函数计算该区域在各个尺度特征图中对应的特征权重；

(4)设定尺度感知害虫检测网络的第三层为多尺度害虫目标局部特征融合：该特征加权门函数所计算的权重对多尺度害虫局部特征进行融合；

(5)设定尺度感知害虫检测网络的第四层为害虫区域分类与精修：基于融合的害虫局部特征，通过精修网络对该害虫区域分类并精修害虫位置，其中，精修网络可以为r-cnn网络。

第四步，尺度感知害虫检测网络的训练：对尺度感知害虫检测网络进行训练。在此训练时考虑：以害虫候选框的尺寸为输入，为每一个候选区域根据其尺寸计算在各层的特征权重，最后融合并使用反向传播计算梯度训练。同时在此，设计特征加权门函数根据输入候选框尺寸计算权重，该函数设计遵循两个原则：1、对于小尺寸害虫，应当更多地提取低层特征，对于大尺寸害虫，高层信息应该较多的使用；2、加入两个可训练参数使网络对于权重的学习呈现非线性化，学习的是输入候选框对于各层局部特征的非线性依赖关系。其能够达到的效果是：网络能够感知到输入害虫候选框的尺寸，并能够针对不同尺寸给出相应的特征权重组合，达到有效特征融合的目的。学习到的特征权重给予了害虫目标对各层局部特征需求的指导，从而获得了具有更强表达能力的融合局部特征，有效提高识别与检测效果。

其具体步骤如下：

(1)通过尺度感知害虫检测网络计算特征权重：根据每个害虫候选区域的尺寸，通过特征加权门函数计算该区域在各个尺度特征图中对应的特征权重。单纯的叠加各层局部特征会导致害虫目标混乱的问题，因此本发明使用特征加权门函数通过输入尺寸计算权重使网络能够自主学习各层局部特征的需求程度，从而达到优化的目的。其具体步骤如下：

a1)将害虫候选区域的尺寸输入到标记函数中判断该候选区域大小；其具体步骤如下：

a11)输入害虫候选区域尺寸表示为其宽w和高h，将w和h输入到标记函数sign*(h,w)中；

a12)该标记函数sign*(h,w)定义为：

其中w0和h0为标记函数的超参数，定义为判断该害虫候选区域是否为小目标的标准，在这里w0和h0分别取害虫图像训练集xi＝[x1,x2,…xn]所有标注目标宽wn和高hn的均值和当输入害虫区域尺寸(w,h)中w-w0＜0且h-h0＜0，当区域被定义为小目标害虫区域，其他情况下视为大目标害虫区域；

a13)计算每个害虫候选区域的标记函数输出sign*(h,w)以表示该区域是否为小目标；

a2)将害虫候选区域的尺寸和标记函数结果输入到特征加权门函数中计算所需特征各尺度的权重；其具体步骤如下：

a21)输入候选区域尺寸表示为其宽w和高h，引入2个可训练参数α＝(α1,α2,...,αk)和β＝(β1,β2,...,βk)，其中k表示特征金字塔网络抽取的多尺度害虫特征图个数；

a22)定义特征加权门函数λi(si,h,w)计算λ＝(λ1,λ2,...,λk)：

其中输出λi为第i个尺度的害虫特征图所需的权重，si为第i个尺度的害虫特征图相比于原图的缩放步长，zi由步长si，宽w，高h和标记函数输出sign*(h,w)共同计算得到：

在此，λi(si,h,w)公式的j代表从1到k每一层的索引。

a23)参数α和β的训练过程：

a231)训练前对α和β进行初始化，分别使用常数初始化为1.0和10.0，根据反向传播的链式求导公式，由于αi会参加每一个权重λj的计算，因此αi的梯度来自于各个尺度j的权重λj，分两种情况讨论，当i＝j时，λj对αi的梯度为：

当i≠j时，λj对αi的梯度为：

因此，损失函数对αi的总梯度为：

通过神经网络的反向传播算法，训练αi：

其中η为学习率；

a232)计算βi的总梯度：

其中当i＝j时，λj对βi的梯度为：

当i≠j时，λj对βi的梯度为：

通过神经网络的反向传播算法，训练βi：

(2)进行局部特征融合：将该每个害虫候选区域在各个尺度的特征图中抠取出局部特征，并通过特征权重融合各尺度特征，输出融合后的害虫区域局部特征。

其中，将该每个害虫候选区域在各个尺度的特征图中抠取出局部特征包括以下步骤：

b1)输入害虫候选区域表示为其左上角点坐标(x,y)以及宽w高h，对每一个尺度下的害虫特征图mi扣取出相应位置的害虫局部特征fi，害虫特征图mi大小为(w,h,c)分别代表特征图宽高和通道数；

b2)害虫局部特征fi抠取过程表示为：

其中si为尺度i下特征图mi相比于原图的缩放步长，公式中的冒号表示fi的第三个维度全部与原mi相同，前两个维度由前面的两个冒号取得；

b3)为了方便多尺度特征融合，将不同尺度下抠取的害虫局部特征f＝(f1,f2,...,fk)统一池化到p×p大小，池化过程表示将害虫局部特征fi分割成p×p的块，对每一块中的像素做均值池化，得到统一大小的多尺度局部特征f′＝(f1′,f2′,...,f′k)。

其中，通过特征权重融合各尺度特征包括以下步骤：

c1)对于输入害虫候选区域，获得其在每个尺度的权重λ＝(λ1,λ2,...,λk)以及统一的多尺度局部特征f′＝(f1′,f2′,...,f′k)；

c2)直接通过加权求和输出最终用于分类与回归的融合局部特征并通过使用指数运算以确保原害虫局部特征信息能够被有效保留与利用，其表达式如下：

(3)精修网络分类与回归候选框：将融合后的害虫区域局部特征输入精修网络，对该害虫区域分类并回归边界框的值。在分类任务上，采用多层全连接网络和softmax进行概率归一化，交叉熵损失函数作为监督，输出每个候选框的害虫类别。在回归任务上，采用多层全连接网络直接回归出边界框的偏移，使用smoothl1损失函数作为监督。

第五步，待检测害虫图像的获取：获取待检测的害虫图像。

第六步，待检测害虫图像候选区域的提取：利用候选区域提取方法提取待检测害虫图像的害虫图像候选区域。

第七步，害虫图像检测结果的获得：将待检测害虫图像的害虫图像候选区域输入训练后的尺度感知害虫检测网络，得到害虫图像检测结果。

如图2所示，图2为利用现有方法(fpn)在小麦麦蜘蛛检测的效果图。由图2中可以看到，目前的方法在害虫尺寸较小时(如图中麦蜘蛛所示)存在较大的漏检情况。而在本发明的害虫检测方法中，如图3所示，可以有效地提高麦蜘蛛的检测效果，这正是由于引入了尺度感知害虫检测网络后，害虫的局部特征经过融合得到了强化，使得网络能够对潜在的害虫候选区域上给出较大的分类置信度，大大缓解害虫漏检的情况。

表1本发明方法与现有方法在14类害虫检测任务中的检测结果对比表(单位为交并比为0.5下的平均准确率ap)

如表1所示，最右边一列为本发明提出的尺度感知害虫检测网络实验结果，可以看出，相比于其他方法在14类害虫的检测结果，本发明的方法能够大大提升检测精度，在每一类害虫的平均准确率上提升约4％。在一些对农业生产危害较大的害虫类别上(如小麦黏虫、玉米桃蛀螟等)提升尤为明显，这证明了本发明能够适用于实际农业场景，为如今的智慧农业应用作出巨大贡献。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。