本发明涉及图像自动识别技术领域，尤其涉及一种农作物灯诱测报害虫的自动识别与计数方法。
背景技术：
应用灯光诱杀农作物害虫在我国水稻害虫测报中应用比较广泛。目前应用较多的测报灯利用现代光、电、数控技术，实现了自动开关灯、虫体远红外处理、接虫袋自动转换、虫体按天存放和整灯自动运行等功能。测报员需要定期取回，在室内进行测报害虫的人工识别与计数，结果用于监测农作物田间害虫的种群动态。随着基层测报人员的流失，依靠人工识别与计数害虫存在监测任务重、效率低、客观性差和非实时性等问题。
随着图像处理技术的发展和应用，基于图像的农业害虫识别研究已有很多。但大部分是针对有限种类的农业害虫识别，通过提取害虫图像全局特征(如颜色特征、形态特征和纹理特征等)、或局部特征(如sift、hog、lbp、pcbr等)或多特征融合(如bow技术、稀疏编码技术等)，利用特征向量训练各种分类器(如svm、神经网络、mkl、k-nnc、k-means等)来识别害虫。在有限种类的农业害虫小样本图像集中，手工设计特征，训练和测试分类器，一般均能获得较高的准确率。然而，实际环境的农业害虫图像有着复杂的背景，害虫存在不同姿态、种间变异和类间相似，以及大量的非目标昆虫干扰等。面对生物多样性和复杂背景条件下，传统的模式识别方法鲁棒性不高，泛化能力差；这也是基于图像的农业害虫识别方法并没有真正应用到农业害虫测报中的主要原因。冼鼎翔的硕士论文《基于图像的水稻灯诱害虫识别技术的研究》通过提取昆虫的颜色直方图、形态特征与纹理特征分别训练两个svm分类器，用于识别小型水稻灯诱害虫和小型水稻灯诱害虫(冼鼎翔.基于图像的水稻灯诱害虫识别技术的研究.浙江理工大学，硕士论文，2015)。由于采用的是传统的机器学习方法来识别水稻害虫，存在鲁棒性不高和分类器泛化能力差的问题。
近几年，深度学习方法中的卷积神经网络(cnn)在大规模图像识别任务中表现出色。已有学者开始利用深度学习方法来识别农业害虫，如liu等2016年首先利用显著性分割方法定位害虫，然后建立cnn模型对自然环境下拍摄的12种水稻害虫识别，准确率较高(liuz，gaoj，yangg，etal.localizationandclassificationofpaddyfieldpestsusingasaliencymapanddeepconvolutionalneuralnetwork[j].scientificreports，2016，6，20410.)；ding等2016年利用cnn和滑动窗相结合的方法对性诱剂粘板上的害虫图像进行检测，获得了较好的结果(dingw，taylorg.automaticmothdetectionfromtrapimagesforpestmanagement.computers&electronicsinagriculture，2016，123(c)：17-28.)。上述两个基于深度学习的农业害虫识别方法仅针对某一类或有限种类的害虫进行识别。在实际的农田环境下，昆虫种类繁多，利用灯光诱集来的昆虫绝大部分是非测报昆虫，急需一种从种类繁多、众多数量、大小不一、姿态多变的灯诱昆虫中识别与计数需要测报的害虫的方法。
技术实现要素：
本发明提供了一种农作物灯诱测报害虫的自动识别与计数方法，该方法是基于卷积神经网络的，具有鲁棒性高、泛化能力强等优点。
一种农作物灯诱测报害虫的自动识别与计数方法，包括以下步骤：
(1)利用诱虫灯诱杀农作物昆虫并采集其rgb图像，对图像进行预处理；
(2)对预处理后的图像进行昆虫种类的识别和标记，构建大型昆虫训练集和小型昆虫训练集；
(3)分别构造大型测报害虫识别卷积神经网络模型和小型测报害虫识别卷积神经网络模型；
(4)分别利用大型昆虫训练集和小型昆虫训练集，结合随机梯度下降算法及反向传播算法训练大型测报害虫识别卷积神经网络模型和小型测报害虫识别卷积神经网络模型；
(5)利用诱虫灯诱杀农作物昆虫作为待测昆虫，采集待测昆虫的rgb图像并进行预处理，构成待测样本，利用大型测报害虫识别卷积神经网络模型和小型测报害虫识别卷积神经网络模型对待测样本进行测报害虫种类的识别，并按测报害虫种类分类计数。
本发明的识别和计数方法利用深度学习方法，分别建立适合于大型测报害虫和小型测报害虫识别的卷积神经网络模型，提高了农作物灯诱测报害虫识别的准确率，提高了分类模型的鲁棒性和泛化性能。
步骤(1)和步骤(5)中，将诱杀的农作物昆虫分散在白色平台上，通过距离白色平台合适距离的图像传感器拍摄昆虫的rgb图像。
拍摄训练样本和拍摄待测样本时，图像传感器与白色平台之间的距离相等，保证了同类昆虫的训练样本与待测样本尺寸大小一致。
步骤(1)和步骤(5)中，所述的预处理包括：
(i)对昆虫rgb图像进行背景去除和粘连分割；
(ii)对分割后的每个昆虫图像进行统一的摆正处理。
进一步优选的，(i)中包括：
(i-1)对昆虫rgb图像的b通道采用最大熵阈值分割去除背景，采用腐蚀膨胀处理平滑轮廓边缘，填充轮廓内部空洞，去除边界的无效区域；
(i-2)根据面积阈值判断轮廓是否粘连，对粘连的目标进行逐层腐蚀处理，确定分割点，然后选取轮廓边缘距离分割点最近的两个点，连接这两个点与分割点，实现粘连目标的分割。
(ii)中包括：
(ii-1)计算每个昆虫图像的最小外接矩形，将最小外接矩形旋转至垂直状态；
(ii-2)计算最小外接矩形内上下两部分昆虫所占面积，根据测报害虫上大下小或上小下大的形态特征，垂直翻转最小外接矩形使昆虫图像统一呈头朝上或头朝下的状态。
上述背景去除和粘连分割方法能够有效的去除背景和对粘连的昆虫进行分割，同时对每个昆虫图像进行头朝上或头朝下的摆正处理，提取出高质量的昆虫图像，构建高质量的训练集和待测样本集，便于对卷积神经网络进行训练和对待测样本进行识别，提高测报害虫的识别率。
步骤(2)中，所述的大型昆虫训练集包括大型测报害虫的图像及形态大小与之相近的非测报昆虫的图像构成大型昆虫训练集；所述的小型昆虫训练集包括小型测报害虫的图像及形态大小与之相近的非测报昆虫的图像。
作为优选，所述的大型测报害虫为大螟、稻纵卷叶螟和二化螟，其像素面积大小为10000～65000；所述的小型测报害虫为褐飞虱和白背飞虱，其像素面积大小为1000～5000。
将训练集中的图像长宽按相同比例进行缩放，将大型昆虫训练集中的图像调整至像素尺寸为227×227，将小型昆虫训练集中的图像调整至像素尺寸为48×96。
在训练集中除了包括测报害虫，还包括了非测报昆虫作为单独的一类，主要是因为灯光诱集的昆虫绝大部分是非测报昆虫，种类繁多，卷积神经网络模型需要排除这些非测报昆虫。
步骤(3)中，大型测报害虫识别卷积神经网络模型包括：1个输入层，5个卷积层，3个池化层，2个归一化层，2个全连接层，1个输出层；
3个池化层分别在第1、第2和第5卷积层之后，2个归一化层分别位于第1卷积层和第1池化层之间、第2卷积层和第2池化层之间，2个全连接层位于第3池化层和输出层之间。
进一步优选的，大型测报害虫识别卷积神经网络模型中，各卷积层滤波器的像素尺寸为3×3～11×11，各卷积层滤波器的数目为96～384，卷积步长为1～4。
进一步优选的，大型测报害虫识别卷积神经网络模型中，各卷积层滤波器的像素尺寸分别为11×11、5×5、3×3、3×3、3×3，各卷积层滤波器的数目分别为96、256、384、384、256，卷积步长为4、1、1、1、1；
三个池化层区域像素大小为3×3，步长为2；
两个全连接层节点数均为4096；输出层节点数为大型测报害虫种类数加1。
小型测报害虫识别卷积神经网络模型包括：1个输入层，8个卷积层，3个池化层，2个全连接层，1个输出层；3个池化层分别在第2、第5和第8卷积层之后，2个全连接层位于第3池化层与输出层之间。
进一步优选的，小型测报害虫识别卷积神经网络模型中，各卷积层滤波器的像素尺寸为3×3～11×11，各卷积层滤波器的数目为64～256，卷积步长为1～4。
进一步优选的，小型测报害虫识别卷积神经网络模型中，各卷积层滤波器的像素尺寸均为3×3，各卷积层滤波器的数目依次为64、64、128、128、128、256、256、256，卷积步长均为1；
三个池化层区域像素大小为2×2，步长为2；
两个全连接层节点数均为1024，输出层节点数为小型测报害虫种类数加1。
步骤(4)中，训练卷积神经网络模型的方法为：建立好卷积神经网络后，批量读取训练集中的图片进行前向传播，计算损失值，然后采用反向传播算法计算各个权值的梯度，使用随机梯度下降算法更新权值，不断的迭代直到训练阶段损失值降到0.1以下、测试阶段损失值降到0.3以下时，完成训练。
作为优选，采用cross-entropy损失函数作为卷积神经网络的损失函数。
作为优选，在卷积神经网络结构中加入dropout层，实现不同子模型的融合；dropout层以0.5的概率截断全连接层的输出。
步骤(5)中，根据待测昆虫的形态大小分别构建大型待测昆虫样本和小型待测昆虫样本，分别利用大型测报害虫识别卷积神经网络模型和小型测报害虫识别卷积神经网络模型进行昆虫种类的识别，并按照昆虫种类分别计数。
与现有技术相比，本发明的有益效果为：
本发明的基于卷积神经网络的农作物灯诱测报害虫自动识别与计数方法，为农作物灯诱害虫的智能测报提供了一个新的识别与计数方法。由于灯光诱集的农作物昆虫种类繁多，从大量的非目标昆虫中识别出几种测报害虫时，利用传统的机器学习方法来识别具有准确率较低、鲁棒性不高、泛化能力差，而本发明利用深度学习方法，分别建立适合于大型测报害虫和小型测报害虫识别的卷积神经网络模型，在有效去除背景和粘连分割后，通过昆虫姿态摆正处理，提高了农作物灯诱测报害虫识别的准确率与分类模型的鲁棒性和泛化性能。
附图说明
图1为本发明的农作物灯诱测报害虫的自动识别与计数方法的流程图。
具体实施方式
下面结合附图和实施例对本发明作进一步详细描述。
如图1所示，本发明的基于卷积神经网络的农作物灯诱测报害虫的自动识别与计数方法，包括以下步骤：
步骤(1)，利用灯光诱捕水稻昆虫，诱捕的水稻昆虫通过红外烘干后将其抖落分散在白色平台上，利用高清的工业相机拍摄昆虫图像并进行预处理；具体包括以下步骤：
(1-1)测试不同波长的灯光对水稻测报害虫的吸引效果，确定合适波长的灯光对水稻昆虫进行诱集；
(1-2)采用红外光杀死烘干诱捕到的水稻昆虫，温度不能超过80度，时间不能超过30分钟，避免昆虫被烤焦导致昆虫图像特征不明显而影响模型识别；
(1-3)通过分散结构将灯诱昆虫分散在白色平台上；
(1-4)在距离白色平台16cm高度处，利用高清的工业相机拍摄昆虫图像，获取rgb格式的水稻灯诱昆虫图像；
(1-5)对灯诱昆虫rgb图像的b通道采用最大熵阈值分割去除背景，采用腐蚀膨胀操作平滑轮廓边缘，填充轮廓内部空洞，去除边界无效区域；
(1-5)根据面积阈值判断轮廓是否粘连，对粘连的目标进行逐层腐蚀，确定分割点，然后选取轮廓边缘距离分割点最近的两个点，连接分割点与轮廓边缘上的两个点实现粘连目标的分割。
(1-6)对每个昆虫图像进行头朝上的摆正处理：
大型测报害虫包括大螟、稻纵卷叶螟和二化螟等3种，小型测报害虫包括褐飞虱和白背飞虱2种。
大型测报害虫的像素面积大约10000～65000，小型测报害虫的像素面积大约1000～5000，大型测报害虫具有头部宽度小于尾部宽度的特点，小型测报害虫具有头部宽度大于尾部宽度的特点。
对于经过背景去除、粘连分割后的昆虫图像，计算每个昆虫的最小外接矩形，将矩形框旋转至垂直位置；计算矩形内上下两部分昆虫所占面积，根据大型测报害虫上小下大和小型测报害虫上大下小的形态特点，垂直翻转矩形框使昆虫图像统一成头朝上的状态。
步骤(2)，对经步骤(1)预处理后的昆虫图像进行昆虫种类的识别和标记，将大螟、稻纵卷叶螟和二化螟及体型相近的灯诱昆虫作为大型灯诱昆虫训练样本，将褐飞虱和白背飞虱及体型相近的灯诱昆虫作为小型灯诱昆虫训练样本。大型灯诱昆虫训练样本的像素尺寸为227×227，小型灯诱昆虫训练样本的像素尺寸为48×96。
步骤(3)，建立昆虫识别卷积神经网络：
分别建立大型昆虫识别卷积神经网络和小型昆虫识别神经网络：
大型昆虫识别卷积神经网络包括：1个输入层，5个卷积层，3个池化层，2个归一化层，2个全连接层，1个输出层。3个池化层分别在第1、第2和第5卷积层之后，2个归一化层分别位于第1卷积层和第1池化层之间、第2卷积层和第2池化层之间，在第3池化层和输出层之间连接2个全连接层；各卷积层滤波器的像素尺寸依次为11×11、5×5、3×3、3×3、3×3，各卷积层滤波器的数目依次为96、256、384、384、256，卷积步长依次为4、1、1、1、1；三个池化层区域像素大小均为3×3，步长为2；两个全连接层节点数均为4096；由于加入非测报昆虫类，输出层节点数为4。
小型昆虫识别卷积神经网络包括：1个输入层，8个卷积层，3个池化层，2个全连接层，1个输出层。3个池化层分别在第2、第5和第8卷积层之后，在第3池化层与输出层之间连接2个全连接层；各卷积层滤波器的像素尺寸均为3×3，各卷积层滤波器的数目依次为64、64、128、128、128、256、256、256，卷积步长均为1；三个池化层区域像素大小为2×2，步长为2；两个全连接层节点数均为1024；由于加入非测报昆虫类，输出层节点数为3。
步骤(4)，采用灯诱昆虫样本分别对卷积神经网络进行训练：
将像素面积大小在10000～65000的大型灯诱昆虫训练样本组成大型灯诱昆虫训练集，利用大型灯诱昆虫训练集，结合随机梯度下降算法和反向传播算法训练大型卷积神经网络；将像素面积大小在1000～5000的小型灯诱昆虫训练样本组成小型灯诱昆虫训练集，利用小型灯诱昆虫训练集，结合随机梯度下降算法和反向传播算法训练小型卷积神经网络。
步骤(5)，采集并预处理待测水稻灯诱昆虫的rgb图像形成待测样本，利用训练完成的大型卷积神经网络和小型神经网络对待测样本的测报害虫种类进行识别，按不同测报害虫种类分别进行计数；具体包括以下步骤：
(5-1)采集待测水稻灯诱昆虫的rgb图像，进行背景去除和粘连分割；
(5-2)对每个昆虫进行头朝上的图像摆正操作，计算每个昆虫图像的最小外接矩形，将最小外接矩形旋转至垂直状态。计算最小外接矩形内上下两部分昆虫所占面积，根据测报害虫上大下小或上小下大的形态特征，垂直翻转最小外接矩形使昆虫图像统一成头朝上的状态。对落在测报害虫形态参数范围之外的昆虫进行排除；
(5-3)将剩余的每个昆虫根据形态大小分为大型灯诱昆虫待测样本和小型灯诱昆虫待测样本，分别进入大型测报害虫识别卷积神经网络模型或小型测报害虫识别卷积神经网络模型进行识别，并按照测报害虫种类进行分类计数。
利用大型测报害虫识别卷积神经网络模型和小型测报害虫识别卷积神经网络模型对测试图片进行测试，获得大型测报害虫识别率为94.6％，小型测报害虫识别率为89.4％。