一种基于并行卷积神经网络的昆虫图像识别系统及其方法与流程

本发明属于图像识别技术领域，具体涉及一种基于并行卷积神经网络的昆虫图像识别系统及其方法。

背景技术：

现如今，图像处理技术飞速发展，图像识别技术的应用场景和领域也变得越来越为广泛，图像识别技术是基于对于图像的处理和分析，因为外部环境对于图像的成像存在一定的影响，故而，这使得图像富有复杂性和特殊性。因此，在图像处理的基础之上，我们将更进一步地探讨和研究图像识别的相关技术和其相关的应用前景。

图像识别技术是通过将已知的存储信息与当前信息进行比对从而实现对于图像的识别，其基础是图像描述，这是用相关符号代表图像或者景物里的各个目标的相关特征，或者是目标与目标间的关系，从而，最终获取到目标特征，和这些目标之间关系的抽象性表达。昆虫图像识别是昆虫识别领域中的一个重要分支，这一领域对于生物研究和病虫害的检测意义非凡，是其中的关键技术之一。昆虫图像识别对于图像中目标特征的提取和抽象具有一定的依赖性。传统意义上的昆虫识别方法更多的是依赖专家的人工识别，主要是和模式标本的匹配和鉴定，效率有待提高。虽然，随着技术的进一步发展，相关的识别技术有一定的提示，然而，传统的昆虫图像识别方法的预处理过程很复杂，需要依照特定的需求设计对应的特征提取的算法，识别精度并不高。本文采用一种基于并行卷积神经网络的方法进行昆虫图像识别,让识别模型在具体任务中通过学习的方式来逼近一种恰当的、高复杂度的特征提取算法,从而提高识别模型的性能。

综上所述，现有的昆虫图像识别技术存在以下不足:(1)需要手动提取适合的昆虫特征，过度依赖人力，耗费时间长；(2)一些识别技术的预处理过程复杂，由于缺乏针对昆虫特征的交互信息，因此对于昆虫的识别效果较差；(3)为了更好的深度训练模型，需要大量的训练数据，数据量过小导致模型的过拟合现象。

技术实现要素：

本发明的目的在于：提供一种基于并行卷积神经网络的昆虫图像识别系统及其方法，利用并行卷积神经网络的方式对昆虫识别模型进行充分训练，可以大大缩短训练时间，同时也能够在大数据集上取得较好的结果。

为了达到以上目的，提供一种基于并行卷积神经网络的昆虫图像识别系统，包括图像获取模块、图像预处理模块、图像定位模块、特征提取模块、图像分类模块、数据库模块、用户交互模块和人工审核模块，图像获取模块、图像预处理模块、图像定位模块、特征提取模块和图像分类模块构成数据处理与模型训练机构，数据处理与模型训练机构连接数据库模块，数据库模块通过用户交互模块与人工审核模块通讯连接，人工审核模块对数据处理与模型训练机构进行优化；

图像获取模块，用于采用网络爬虫的方式从互联网上爬取图像；

图像预处理模块，用于裁剪图像，并对图像进行增强、中值滤波、直方图均衡、去噪、颜色空间变换和位置归一化处理；

图像定位模块，用于利用目标检测的方法在预处理好的图像上定位昆虫目标位置，再为图像设置标签，按比例分为训练集和测试集；

特征提取模块，用于利用数据集训练并行卷积神经网络，完成特征值的提取，并保存为特征值矩阵；

图像分类模块，用于将提取的特征值通过softmax分类；

数据库模块，用于卷积神经网络训练参数，提取与存储昆虫图像特征和用户信息，收发用户数据，并向用户发送反馈结果；

用户交互模块，用于获取昆虫图像中昆虫信息，并反馈检索结果；

人工审核模块，用于针对识别反馈的误差信息改进并行卷积神经网络。

本发明还提供一种昆虫图像识别系统的识别方法，包括数据处理训练和查询检索，具体步骤如下：

数据处理训练：

步骤s11、在互联网上利用爬虫爬取昆虫图像，并进行预分类；

步骤s12、将爬取的昆虫图像裁剪为指定尺寸，并对其做图像增强、平滑去噪，扩充样本；

步骤s13、将图像颜色变换处理，利用计算惯性主轴及图像旋转方式完成归一化处理；

步骤s14、通过目标检测的方法在预处理好的图像上定位昆虫目标的位置；

步骤s15、将定位好的图片上打上标签，按比例分为训练集和测试集；

步骤s16、采用tensorflow框架构造并行化的alexnet卷积神经网络模型，模型设有两个输入端口，输入数据经过卷积层conv、激活函数relu、池化层pool和批量归一化bn的多层处理，输出的数据采用并行结构的卷积层conv进行级联merge，再用全连接层fc连接，获取前向传播结果logits；

步骤s17、前向传播结果通过不断迭代训练，利用反向传播更新卷积神经网络模型的参数，降低损失loss，提升模型识别准确率precision；

步骤s18、最后加入分类网络，利用softmax对结果进行分类，获取当前样例属于不同类别的概率分布情况，并将结果存入数据库；

查询检索：

步骤s21、通过移动终端获取昆虫图像数据，并对其进行裁剪、旋转、去噪预处理和归一化操作，使其符合系统规定数据格式；

步骤s22、根据系统提供的特征条目，对获取的图像数据添加想要的描述信息；

步骤s23、将昆虫图像和基本信息上传到数据库，并将归一化后的图像信息发送到后台服务器；

步骤s24、数据库根据提供的基本信息和昆虫图像在对应的类别中检索；

步骤s25、检索结果传输到移动端显示，并让用户判断结果是否相似；

步骤s26、将用户反馈判断的结果传至数据库，并更新，若反馈信息存在误差，则将其传至数据库中的特定误差信息表，最后由人工审核，再次优化模型。

本发明的优选方案是：步骤s11中，在互联网上利用python的scrapy框架爬取昆虫图像。

优选地，步骤s12中，指定尺寸为256*256，利用中值滤波对图像平滑去噪，通过直方图均衡调整图像对比度，再采用生成对抗网络在原有样本的基础上生成新数据，增大数据集的体量。

优选地，步骤s13中，图像颜色变换从rgb颜色空间转换到hsv颜色空间。

优选地，步骤s15中，在定位好的图像上打上标签labels，按8:2的比例分为训练集和测试集，并转化为lmdb格式作为卷积神经网络模型的输入。

优选地，步骤s17中，利用logits和labels计算softmax交叉熵，获取损失函数loss，启动图片数据增强队列，此时，采用adam优化器以1e-3的学习率开始迭代训练参数，最小化损失函数loss，优化模型，提升模型识别准确率precision。

优选地，步骤s18中，softmax将特征结果按照颜色、形态、纹理、骨架和等效圆半径五种类别。

优选地，步骤s24中，将昆虫信息通过深度卷积神经网络计算得到其分类和提取的相应特征进行表示，根据颜色，形态，纹理，骨架，等效圆半径特征确定昆虫图像的分类，然后在相同的softmax分类中采用余弦相似度similarity的方法，公式如下：

其中，a和b为属性向量，||a||||b||为两个属性向量各自模长的乘积，其余弦相似性θ由点积和向量长度给出，ai、bi分别代表向量a和b的各分量进行相似性度量来获得近似的检索结果。

优选地，数据处理训练：还包括步骤s27、系统向用户发送反馈信息，实现用户与系统数据的交互。

本发明有益效果为：本发明利用改进后的alexnet构建了昆虫图像的并行卷积神经网络，将用户信息对颜色，形态，纹理，骨架，等效圆半径特征的交互信息作为分类标准，利用深度卷积神经网络提取图像的特征，并做分类。其中，(1)预处理过程为模型训练提供了高质量的图像，从而提高了特征提取的精度；(2)并行化的网络结构大大提高了模型训练的速度，节省了模型优化的时间；(3)用户交互模块和反馈机制提升了图像检索结果的直观性和图像检索的准确性。

附图说明

下面结合附图对本发明作进一步的说明。

图1为本发明的系统结构框图；

图2为本发明的数据处理训练流程示意图；

图3为本发明的并行卷积神经网络模型结构示意图；

图4为本发明的查询检索流程示意图。

具体实施方式

实施例一

请参阅图1，本实施例提供一种基于并行卷积神经网络的昆虫图像识别系统，包括图像获取模块、图像预处理模块、图像定位模块、特征提取模块、图像分类模块、数据库模块、用户交互模块和人工审核模块，图像获取模块、图像预处理模块、图像定位模块、特征提取模块和图像分类模块构成数据处理与模型训练机构，数据处理与模型训练机构连接数据库模块，数据库模块通过用户交互模块与人工审核模块通讯连接，人工审核模块对数据处理与模型训练机构进行优化；

图像获取模块，用于采用网络爬虫的方式从互联网上爬取图像；

图像预处理模块，用于裁剪图像，并对图像进行增强、中值滤波、直方图均衡、去噪、颜色空间变换和位置归一化处理；

图像定位模块，用于利用目标检测的方法在预处理好的图像上定位昆虫目标位置，再为图像设置标签，按比例分为训练集和测试集；

特征提取模块，用于利用数据集训练并行卷积神经网络，完成特征值的提取，并保存为特征值矩阵；

图像分类模块，用于将提取的特征值通过softmax分类；

数据库模块，用于卷积神经网络训练参数，提取与存储昆虫图像特征和用户信息，收发用户数据，并向用户发送反馈结果；

用户交互模块，用于获取昆虫图像中昆虫信息，并反馈检索结果；

人工审核模块，用于针对识别反馈的误差信息改进并行卷积神经网络。

参阅图2-图4，本实施例的昆虫图像识别系统的识别方法，包括数据处理训练和查询检索，具体步骤如下：

数据处理训练：

步骤s11、在互联网上采取网络爬虫技术，利用python的scrapy框架对于昆虫图像进行大规模多线程的爬取，并对获取的昆虫图像进行预分类；

步骤s12、对于获取的数据首先裁剪为指定尺寸256*256，并对其做图像增强，改善图像视觉效果，利用中值滤波的方式对图像进行平滑去噪，利用直方图均衡调整图像对比度，增强局部的对比度而不影响整体的对比度，同时，再采用生成对抗网络(gan)在原有样本的基础上生成新的数据，增大数据集的体量；

步骤s13、将图像颜色变换处理，从rgb颜色空间转换到hsv颜色空间，利用计算惯性主轴及图像旋转方式完成归一化处理；

步骤s14、通过目标检测yolo的方法在预处理好的图像上定位昆虫目标的位置；

步骤s15、将定位好的图像打上标签labels，按8:2的比例分为训练集和测试集，并转为lmdb格式作为模型的输入；

步骤s16、用tensorflow框架构造并行化的alexnet卷积神经网络模型(基本训练模型结构如附图3-模型结构示意图)，设计input1和input2两个输入端口，激活函数选择relu(非线性激活单元)，池化方式选择maxpooling，优化器采用adam，计算高效，对内存需求少，可以自动调整学习率，并根据alexnet本身的网络模型将输入数据进行卷积层conv，激活函数relu，池化层pool的处理，再加上bn层(批量归一化，替换alexnet原本的局部响应归一化层lrn，dropout层)，选择更小的l2正则约束参数，提升了模型的泛化性能，之后，对以上输出采用并行结构的卷积层conv进行级联merge，再用全连接层fc进行连接，得出前向传播的结果logits；

步骤s17、利用logits和labels计算softmax交叉熵，从而得出损失函数loss，启动图片数据增强队列，此时，再采用adam优化器以1e-3的学习率开始迭代训练参数，最小化损失函数loss，优化模型，提升模型识别准确率precision；

步骤s18、最后加入分类网络，利用softmax对上述模型优化后的特征结果进行分类，得到当前样例属于不同类别的概率分布情况，再按照颜色，形态，纹理，骨架，等效圆半径这五种类别，将图像特征存入数据库；

查询检索：

步骤s21、通过移动终端获取昆虫图像数据，并对其进行裁剪、旋转、去噪预处理和归一化操作，使其符合系统规定数据格式；

步骤s22、用户根据系统提供的特征信息条目，对获取的图像数据添加相应的描述信息，由于单一靠形态或颜色特征并不足以表示不同类别昆虫的特征差别，故考虑组合特征并结合相应的权重来提升特征提取精度，如颜色，形态，纹理，骨架，等效圆半径等特征信息等；

步骤s23、将昆虫图像和基本信息上传到服务器数据库检索引擎，将归一化后的昆虫图像及颜色和形态等信息通过无线网络发送到后台服务器；

步骤s24、数据库中根据用户提供的分类信息，在对应的类别中进行检索。将昆虫信息通过深度卷积神经网络计算得到其分类和提取的相应特征进行表示。首先根据颜色，形态，纹理，骨架，等效圆半径特征确定昆虫图像的分类，然后在相同的softmax分类中采用余弦相似度similarity的方法：

其中，a和b为属性向量，||a||||b||为两个属性向量各自模长的乘积，其余弦相似性θ由点积和向量长度给出，ai、bi分别代表向量a和b的各分量进行相似性度量来获得近似的检索结果。

步骤s25、检索的结果和对应的文字描述信息返回到移动端进行显示。将检索图像反馈给用户，并让用户进行结果是否相似的判断(其值默认为相似)；

步骤s26、将用户反馈判断的结果传至数据库，并更新；

步骤s27、若反馈信息存在误差，则将其传至数据库中的特定误差信息表，最后由人工审核，再次优化模型。

步骤s28、通过邮件或手机短信给用户发送反馈信息，实现用户与系统数据的交互。

除上述实施例外，本发明还可以有其他实施方式。凡采用等同替换或等效变换形成的技术方案，均落在本发明要求的保护范围。