一种草莓病虫害快速分类方法及装置与流程

本发明涉及农业工程技术领域，尤其是涉及一种草莓病虫害快速分类方法及装置。

背景技术：

草莓病虫害种类危害严重，且种类繁多，为了更好的对其采取防治措施，则需要对病虫害的类别进行有效的识别和分类。目前，国内外对病虫害识别或者分类方法存在一系列的研究：

1、一种基于人工智能的农业病虫害识别方法cn201810660699

一种基于人工智能的农业病虫害识别方法，步骤1，对采集到的叶子图像进行预处理，使用快速傅里叶变换将叶子图像变换到频域，去掉高频部分，恢复成空域图像；步骤2，将得到的图像进行碎片多尺度化处理，得到不同尺度的图像切片，形成不同尺度的训练数据集；步骤3，构建深度神经网络模型进行参数初始化和调优，使其更适宜于农作物数据；步骤4，将深度网络模型得到的多尺度特征进行mlp特征融合，使用融合的特征训练分类器进行识别。

2、基于卷积神经网络的草莓叶部白粉病病害识别[j].江苏农业学报，2018

针对计算机视觉下草莓叶部白粉病病害的识别提出了一种基于卷积神经网络的病害识别模型。首先设计了3种网络深度(经过3、4和5次卷积操作)与3种卷积核(5×5、3×3、5×53×3混合)交叉组合共9种不同网络深度与卷积核尺寸的卷积神经网络结构；其次分别选择了4种采样层构建方法(均值池化、最大值池化、中间值池化和混合池化)；最后进行了9组训练集与测试集不同比例的模型识别，结果表明基于混合池化的cnn-9模型(卷积核尺寸5×5、3×3卷积神经网络)表现最好，对草莓叶部白粉病病害的正确识别率达到98.61％。该方法可较好地实现草莓叶部白粉病病害的识别且图像预处理步骤简单、易推广，可用于草莓白粉病病害的实时监测。

3、基于改进卷积神经网络的多种植物叶片病害识别[j].农业工程学报，2017

针对训练收敛时间长，模型参数庞大的问题，该文将传统的卷积神经网络模型进行改进，提出一种批归一化与全局池化相结合的卷积神经网络识别模型。通过对卷积层的输入数据进行批归一化处理，以便加速网络收敛。进一步缩减特征图数目,并采用全局池化的方法减少特征数。通过设置不同尺寸的初始层卷积核和全局池化层类型,以及设置不同初始化类型和激活函数,得到8种改进模型,用于训练识别14种不同植物共26类病害并选出最优模型。改进后最优模型收敛时间小于传统卷积神经网络模型,仅经过3次训练迭代,就能达到90％以上的识别准确率；参数内存需求仅为2.6mb,平均测试识别准确率达到99.56％，查全率和查准率的加权平均分数为99.41％。改进模型受叶片的空间位置的变换影响较小,能识别多种植物叶片的不同病害。该模型具有较高的识别准确率及较强的鲁棒性,该研究可为植物叶片病害的识别提供参考。

当前，国内外研究成果表明，大多数方法及装置能够识别的草莓病虫害种类较少、识别场景单一、数据源获取有限，无法基于一种方法和一套装置实现在复杂环境下的多种草莓病虫害的快速识别。

技术实现要素：

发明目的：为了克服背景技术的不足，本发明公开了一种基于深度卷积神经网络的草莓病虫害分类方法，还公开了一种基于深度卷积神经网络的草莓病虫害分类装置。

技术方案：本发明草莓病虫害快速分类方法，包括以下步骤：

s1：从多个平台上持续获取草莓病虫害图像数据，形成草莓病虫害数据库；

s2：针对草莓病虫害图像数据进行统一标定；

s3：从标定好的草莓病虫害数据库中选取样本集；

s4：建立深度卷积神经网络模型，所述模型的输入为草莓病虫害原始图像，输出为草莓病虫害分类向量；

s5：将样本集放入深度卷积神经网络模型中进行训练，利用s折交叉验证来选择模型；

s6：将待分类的草莓病虫害图像输入到选择的模型中进行计算，得到所述待分类的草莓病虫害的分类结果。

其中，s1中获取平台包括但不限于实验室、植保站、互联网，所述的草莓病虫害包括草莓灰霉病、草莓白粉病、草莓红中柱根腐病、草莓炭疽病、疫霉果腐病、草莓菌核病、草莓黄萎病、草莓枯萎病、草莓芽枯病、草莓蛇眼病、草莓褐斑病、草莓假轮斑病、草莓黑斑病、芽线虫病、病毒病、草莓畸形果、草莓白果病、草莓缺钙、草莓缺钾。

s2中标定前将数据进行灰度校正和噪声过滤。

s3中在数据库中按照均匀概率随机选取。

s4中深度卷积神经网络模型为10层，其中，第一层为输入层，输入为草莓病虫害原始图像，第二、四、七、九层为卷积层，第三、五、八为非线性变换层，第六、九层为下采样层，第十层为全连接层，输出为草莓病虫害分类结果。

其中，第一层和第二层之间包括16个卷积核，第三层和第四层之间包括32个卷积核，第六层和第七层之间包括48个卷积核，卷积操作使用octaveconvolution；octaveconvolution是一种探究分解整合不同频率信息的一种新形卷积，能够对传统卷积神经网络(cnn)进行压缩，在提升效果的同时，节约计算资源的消耗。

第三层非线性函数为tanh，第五层非线性函数为relu函数max(0，x)，第八层非线性函数为tanh，第六层为最大值池化，池化核尺寸2x2，池化核移动幅度为2，第九层为最大值池化，池化核尺寸4x4，池化核移动幅度为4。

第十层为全连接层，维度为1x1x19，其中19表示草莓病虫害分类数，所述第十层的输出使用softmax函数进行概率表示：

所述第十层的输出为19维向量，每一维表示草莓病虫害图像属于这一维的概率。

s5中通过交叉熵作为目标损失函数来对所述深度卷积神经网络模型进行训练，所述目标损失函数为：

其中，yi表示图片类别的第i维真实概率值，表示经过神经网络计算得到图片类别的第i维的概率值。

利用s折交叉验证来选择模型，具体包括：

s51、将所述样本集切分为s个互不相交的大小相同的子集；

s52、选择任意s-1个子集的数据训练模型，使用余下的子集测试模型；

s53、重复步骤s52，选出平均测试误差最小的模型。

上述的草莓病虫害快速分类方法采用的分类装置，包括：

图像采集单元，用于采集草莓病虫害图像信息并进行分类；

图像库建立单元，用于获取预先分类的每一类草莓病虫害的图像信息，建立草莓病虫害图像库；

标记单元，用于针对每一类的草莓病虫害图像库，对图像库中的每张图像进行分类标记；

样本集选取单元，用于从标记的草莓病虫害图像库中按照均匀概率随机地选取样本集；

模型建立单元，用于建立新型深度卷积神经网络模型，所述模型的输入为草莓病虫害原始图像，输出为草莓病虫害分类结果；

模型训练单元，用于将样本集放入到所述新型深度卷积神经网络模型中进行训练，利用s折交叉验证来选择模型；

计算单元，用于将待分级的草莓病虫害图像输入到选择的模型中进行计算，得到所述待分类的草莓病虫害的分类结果。

其中，所述模型训练单元还包括：

拆分子单元，用于将所述样本集切分为s个互不相交的大小相同的子集；

训练子单元，用于选择任意s-1个子集的数据训练模型，使用余下的子集测试模型；

选择子单元，用于从多个训练子单元的训练结果中，选出平均测试误差最小的模型。

有益效果：本发明草莓病虫害分类方法及装置，通过历史及在线收集的图像数据训练深度卷积神经网络来自动学习草莓病虫害特征，进而对病虫害进行分类，辅助农业相关人员科学、客观、快速地掌握草莓病虫害情况，由此，此方法能够自动学习草莓病虫害相关核心特征，节省了人力操作，解决了草莓病虫害分类过程中的主观性和随意性；同时该方法能够得到一种通用的模型，适用于所有的病虫害分类场景。

附图说明

图1为本发明草莓病虫害分类方法的流程图；

图2为本发明深度卷积神经网络结构示意图；

图3为本发明草莓病虫害分类装置的结构框图。

具体实施方式

下面结合附图和实施例对本发明的技术方案作进一步的说明。

如图1所示草莓病虫害快速分类方法，包括以下步骤：

s1：从实验室、植保站、互联网等平台上持续获取草莓病虫害图像数据，形成草莓病虫害数据库；

具体包括19类草莓病虫害，分别是草莓灰霉病、草莓白粉病、草莓红中柱根腐病、草莓炭疽病、疫霉果腐病、草莓菌核病、草莓黄萎病、草莓枯萎病、草莓芽枯病、草莓蛇眼病、草莓褐斑病、草莓假轮斑病、草莓黑斑病、芽线虫病、病毒病、草莓畸形果、草莓白果病、草莓缺钙、草莓缺钾。

针对草莓病虫害进行图形信息采集，主要分为三个层次：首先，分别以各类草莓病虫害为主题从海量信息中获取图像，通过api读取等方式从各个农业植保门户网站上获取相关图片信息；其次，与植保站合作，获取草莓病虫害实际发生情况数据；再次，利用高校科研数据，获取实验室内草莓病虫害数据。最后将三类图像数据进行统一格式，存入草莓病虫害数据库中。

s2：针对每一类的草莓病虫害图像数据库，对图像库中每张图像利用灰度校正、噪声过滤等方法对其进行统一处理，统一标定；

可以人工操作，也可自动标记。

s3：按均匀概率随机地从已经标记过的草莓病虫害图像库中选取相应的样本集，以保证各类样本集有充足的图像数据。

s4：建立深度卷积神经网络模型，所述模型的输入为草莓病虫害原始图像，输出为草莓病虫害分类结果；

所述深度卷积神经网络模型通过tensorflow平台构建，一共有10层。第一层为输入层，输入为草莓病虫害原始图像，图像尺寸为[宽高3]，第二、四、七、九层为卷积层，第三、五、八为非线性变换层，第六、九层为下采样层，第十层为全连接层，输出为草莓病虫害分类结果。

第一层和第二层之间包括16个卷积核，第三层和第四层之间包括32个卷积核，第六层和第七层之间包括48个卷积核，卷积操作使用octaveconvolution。

第三层非线性函数为tanh，第五层非线性函数为relu函数max(0,x)，第八层非线性函数为tanh，第六层为最大值池化，池化核尺寸2x2，池化核移动幅度为2，第九层为最大值池化，池化核尺寸4x4，池化核移动幅度为4；

第十层为全连接层，维度为1x1x19，其中19表示草莓病虫害分类数，所述第十层的输出使用softmax函数进行概率表示：

所述第十层的输出为19维向量，每一维表示草莓病虫害图像属于这一维的概率。

如图2所示，本实施例中，【1】为输入层，输入数据为原始图像，尺寸为(256x320x3)，256表示的是图像的宽，320表示的是图像的高，3表示的是图像的颜色通道数；

【2】表示的是卷积层，层内每一切片上神经元都与【1】层神经元局部连接，并且共享权值，本实施例中使用16个卷积核用于与【1】层进行卷积，每个卷积核尺寸为(7x7x3)，卷积核移动幅度(stride)为1，并且卷积时，对【1】层图像补3个0(zeropadding)，使得卷积后的图像尺寸不变，在卷积过程中，octaveconvolution的输入特征由两部分组成，一部分为高频特征x^h,另一部分为低频特征x^l,两者组成了输入部分x＝x^h，x^l，与此相对应，输出也是由高频输出加低频输出组成，其中高频输出特征为高频输入特征的本身卷积得到的特征与低高频的一个相互特征之和组成，低频输出特征也类似,其中w为k*k大小的卷积核，(p，q)为当前卷积的中心坐标。公式表示为：

其中，convi(x，y)表示的是卷积层内第i个切片上(x，y)处神经元经过卷积后的值，filteri表示的是卷积核，同一个切片i上的神经元共享一个卷积核，并依顺序与上一层神经元进行卷积。

【3】表示的是非线性层，对卷积层数值进行非线性变换，增强神经网络的普适性，outputi(x，y)＝nonlinear(convi(x，y)+biasi)，其中nonlinear表示的是非线性函数，比如tanh、max(0，x)等，此处使用tanh函数，convi(x，y)表示的是上一层(x，y)处神经元的值，表示的是偏置值，上一层第i切片上的所有神经元共享此值。

【4】层为卷积层，原理与【2】层相同，但是此层使用32个卷积核，卷积核尺寸(5x5x16)、移动幅度为1、补0个数为2。

【5】非线性层使用relu函数max(0，x)。

【6】层为下采样层，用于对上一层的输出向量进行降维，使得结果不出现过拟合的情况，此处的下采样操作有最大值池化、平均值池化等方式，本实施例中采用最大值池化，池化核尺寸(2x2)，池化核移动幅度为2，所以维度变为(128x160x32)。

【7】卷积层，使用48个卷积核，卷积核尺寸为(7x7x32)、移动幅度为1、补0个数为3。

【8】非线性层使用tanh函数；【9】下采样层使用最大值池化，池化核尺寸(4x4)，池化核移动幅度为4，维度变为(32x40x48)。

【10】层为全连接层，维度为(1x1x19)，其中，19表示的是草莓病虫害种类数，最后使用soffmax函数对【10】层输出进行概率表示：

最后输出19维向量，其中每一维表示的是草莓病虫害图像属于这一维的概率，比如输出为[0.01,0.02,0.3,0.04,…….,0.10]，对应于[草莓灰霉病、草莓白粉病、草莓红中柱根腐病、草莓炭疽病、……,疫霉果腐病]，最后从19个分类中选取概率值前三的分类，用于辅助决策者判断。

s5：将样本集放入深度卷积神经网络模型中进行训练，利用s折交叉验证来选择模型；

训练上述的深度卷积神经网络模型时，目标损失函数为交叉熵，即其中，y表示图片类别的真实概率分布，y^～表示经过神经网络计算得到的概率分布，在本发明中y与y^～的维度都是19，yi与均表示19维向量中的第i维的概率值。

将样本集放入到10层深度卷积神经网络中学习，利用s折交叉验证来选择模型。

具体过程包括：

s51、将样本集切分为s个互不相交的大小相同的子集；

s52、选择任意s-1个子集的数据训练模型，使用余下的子集测试模型；

s53、重复步骤s52，选出平均测试误差最小的模型。

上述实施例中，s可设为20；在训练过程中，需要不断地优化目标损失函数，此处使用adamoptimizer，这是一种随机优化方法，仅需要求一阶梯度，内存占用少，对于解决具有大量参数的模型有良好的效果，adam优化方法的关键步骤如下：

t←t+1

mt←β1·mt-1+(1-β1)·gt

其中，α表示算法学习率，β1、β2、m、v是算法中的参数，f(p)表示目标损失函数，t表示算法迭代次数。

s6：将待分类的草莓病虫害图像输入到选择的模型中进行计算，得到所述待分类的草莓病虫害的分类结果；

本实施例中，通过步骤s5中训练好的深度卷积神经网络模型，得到该模型的各类参数，将待分类的草莓病虫害图像以[宽高3]的形式输入到已经训练好的深度卷积神经网络当中，得到该新图像的前三位最可能的分类。

如图3所示，上述草莓病虫害快速分类方法采用的分类装置，包括：

图像采集单元，用于采集草莓病虫害图像信息并进行分类；

图像库建立单元，用于获取预先分类的每一类草莓病虫害的图像信息，建立草莓病虫害图像库；

标记单元，用于针对每一类的草莓病虫害图像库，对图像库中的每张图像进行分类标记；

样本集选取单元，用于从标记的草莓病虫害图像库中按照均匀概率随机地选取样本集；

模型建立单元，用于建立新型深度卷积神经网络模型，所述模型的输入为草莓病虫害原始图像，输出为草莓病虫害分类结果；所建立的深度卷积神经网络模型一共有10层。第一层为输入层，输入为草莓病虫害原始图像，图像尺寸为[宽高3]，第二、四、七、九层为卷积层，第三、五、八为非线性变换层，第六、九层为下采样层，第十层为全连接层，输出为草莓病虫害分类结果。第一层和第二层之间包括16个卷积核，第三层和第四层之间包括32个卷积核，第六层和第七层之间包括48个卷积核，卷积操作使用octaveconvolution。第三层非线性函数为tanh，第五层非线性函数为relu函数max(0,x)，第八层非线性函数为tanh，第六层为最大值池化，池化核尺寸2x2，池化核移动幅度为2，第九层为最大值池化，池化核尺寸4x4，池化核移动幅度为4；第十层为全连接层，维度为1x1x19，其中19表示草莓病虫害分类数，所述第十层的输出使用softmax函数进行概率表示：

模型训练单元，用于将样本集放入到所述新型深度卷积神经网络模型中进行训练，利用s折交叉验证来选择模型，模型训练单元还包括：拆分子单元，用于将所述样本集切分为s个互不相交的大小相同的子集；训练子单元，用于选择任意s-1个子集的数据训练模型，使用余下的子集测试模型；选择子单元，用于从多个训练子单元的训练结果中，选出平均测试误差最小的模。

计算单元，用于将待分级的草莓病虫害图像输入到选择的模型中进行计算，得到所述待分类的草莓病虫害的分类结果。

本发明的基于深度卷积神经网络的草莓病虫害分类方法及装置，通过历史及在线图像数据训练深度卷积神经网络来自动学习草莓病虫害特征，进而对草莓病虫害进行分类。由此，此方法能够自动学习草莓病虫害相关核心特征，节省了人力操作，解决了草莓病虫害分类过程中的主观性。同时该方法能够得到一种通用的模型，适用于所有的病虫害场景。

应当理解，在本说明书中描述的功能单元或能力可被称为或标示为组件、模块或系统，以便更具体地强调它们的实现独立。例如，组件、模块或系统可被实现为硬件电路，其包括定制超大规模集成(vlsi)电路或门阵列、现成的半导体，诸如逻辑芯片、晶体管，或其他分立组件。组件或模块还可在可编程硬件设备中实现，诸如场可编程门阵列、可编程阵列逻辑、可编程逻辑设备等。组件或模块还可以在用于由各种类型的处理器执行的软件中实现。例如，可执行代码的识别的组件或模块可以包括一个或多个物理或逻辑的计算机指令，其可以，例如，被组织为对象、程序或功能。然而，所识别的组件或模块不必在物理上定位在一起，而是可以包含存储在不同位置的全异指令，其当逻辑上接合在一起时，包含组件或模块并实现对于组件或模块的规定目的。