基于区域建议网络的蜻蜓目昆虫识别方法

本发明涉及识别领域，具体涉及一种基于区域建议网络的蜻蜓目昆虫识别方法。

背景技术：

现存的蜻蜓目自动识别算法以人为手工设计的特征作为分类依据，使用传统的识别方式构建识别框架，仅仅能够识别数种蜻蜓的标本图片，且识别率较低，对处于自然环境下背景复杂的蜻蜓图片不具备识别能力；

现存的昆虫自动识别算法往往分为两个步骤来实现。第一步，检测。即先针对待识别目标进行检测算法的实现，这个过程依赖大量的手工标注信息，耗时耗力，使得前期成本很高。第二步，识别。分为两种方式，其一，针对第一步中的检测算法的检测结果制作数据集，以此训练相应的分类器进行分类，这种方式的效果会受限于检测算法的性能；其二，对数据集进行手工框选分割，在保证训练图像包含完整的待识别目标的前提下训练分类器，在测试时再使用检测算法分割图像，而这种方式同样耗时耗力，增加了算法的人工成本。

技术实现要素：

有鉴于此，本发明的目的是克服现有技术中的缺陷，提供基于区域建议网络的蜻蜓目昆虫识别方法，能够使得识别处理简单快捷，节省了大量的人力成本，解决了自然环境下蜻蜓目昆虫图片背景复杂导致识别困难的问题。

本发明的基于区域建议网络的蜻蜓目昆虫识别方法，包括如下步骤：

s1.采集蜻蜓目昆虫图像，并对蜻蜓目昆虫图像进行清洗和整理，得到蜻蜓目昆虫图像的数据集；

s2.对蜻蜓目昆虫图像的数据集进行增强处理，得到增强后的数据集；

s3.对所述增强后的数据集按照设定比例进行划分，得到蜻蜓目昆虫图像的训练集、验证集以及测试集；

s4.构建基于区域建议网络的深度卷积网络模型；

s5.设置训练参数，并使用所述训练集以及验证集对深度卷积网络模型进行训练，得到训练后的网络模型；

s6.将所述测试集输入到训练后的网络模型，输出得到所述测试集的分类结果。

进一步，所述蜻蜓目昆虫图像为自然环境下的蜻蜓目昆虫图像。

进一步，步骤s2中，对蜻蜓目昆虫图像的数据集进行增强处理，具体包括：对所述数据集进行随机水平翻转以及对所述数据集进行随机中心裁剪。

进一步，所述步骤s4，具体包括：

s41.构建区域建议网络；

s42.将resnet50作为深度卷积网络模型的特征提取网络，并将区域建议网络作为深度卷积网络模型的特征筛选网络；

s43.确定深度卷积网络模型的损失函数。

进一步，根据如下公式确定深度卷积网络模型的损失函数l：

l＝l1+μl2；

其中，l1为交叉熵损失函数；l2为改进的focalloss；μ为设定系数；

所述yi为当前样本的真实结果，为所选子区域的预测结果；

所述为当前样本的预测概率，α与γ分别为控制参数；

所述id为样本编号，classes为样本的总标签数。

进一步，步骤s5中，设置训练参数，并使用所述训练集以及验证集对深度卷积网络模型进行训练，具体包括：

s51.将在imagenet数据集上的预训练权重模型作为resnet50的初始化权重模型；

s52.设置训练集与验证集中蜻蜓目昆虫图像的输入大小，并设置子区域的预设大小；

s53.使用batchnormalization来实现正则化，并采用随机梯度下降算法对深度卷积网络模型进行优化。

本发明的有益效果是：本发明公开的一种基于区域建议网络的蜻蜓目昆虫识别方法，通过以resnet50为特征提取网络，无需进行手工特征的设计和提取，并且设计卷积神经网络作为区域建议网络来进行特征筛选，增强了模型从复杂背景中提取有效特征的能力，解决了自然环境下蜻蜓目昆虫图片背景复杂导致识别困难的问题。

附图说明

下面结合附图和实施例对本发明作进一步描述：

图1为本发明的方法流程示意图；

图2为本发明的所述方法整体网络框架图；

图3为本发明的区域建议网络示意图；

图4为本发明的深度可分离卷积示意图；

图5为本发明的池化与反池化示意图。

具体实施方式

以下结合说明书附图对本发明做出进一步的说明，如图1所示：

本发明的基于区域建议网络的蜻蜓目昆虫识别方法，包括如下步骤：

s1.采集蜻蜓目昆虫图像，并对蜻蜓目昆虫图像进行清洗和整理，得到蜻蜓目昆虫图像的数据集；其中，蜻蜓目昆虫图像数据的获取方式包括野外拍摄、实验室拍摄和网络下载等多种方式，因此最后得到的蜻蜓目昆虫图像的数据集不具有给定条件下的各类蜻蜓目昆虫图像数量均等的特点，整体数据呈长尾分布。

s2.对蜻蜓目昆虫图像的数据集进行增强处理，得到增强后的数据集；

s3.对所述增强后的数据集按照设定比例进行划分，得到蜻蜓目昆虫图像的训练集、验证集以及测试集；其中，所述设定比例为4.5:4.5:1。

s4.构建基于区域建议网络的深度卷积网络模型；其中，通过构建基于区域建议网络的深度卷积网络模型，省去了先对蜻蜓目昆虫进行检测的步骤，从而避免了对数据进行大量的人工标注工作，也使的所述深度卷积网络模型能够直接识别待测图像中的蜻蜓种类；

s5.设置训练参数，并使用所述训练集以及验证集对深度卷积网络模型进行训练，得到训练后的网络模型；

s6.将所述测试集输入到训练后的网络模型，输出得到所述测试集的分类结果。

本实施例中，所述蜻蜓目昆虫图像为自然环境下的蜻蜓目昆虫图像。其中，采集的蜻蜓目昆虫图像中个别种类包含极少量的实验室标本图像。

本实施例中，步骤s2中，对蜻蜓目昆虫图像的数据集进行增强处理，具体包括：对所述数据集进行随机水平翻转以及对所述数据集进行随机中心裁剪。

本实施例中，所述步骤s4，具体包括：

s41.构建区域建议网络；其中，所述区域建议网络简称为rpn(regionproposalnetwork)，如图3所示，黄色虚边块代表平均池化，黄色无边块代表最大反池化，绿色无边块代表深度可分离卷积；对于大小为h×w×c的输入图片，在通过所述rpn后，得到一组预先设定好数量(k)和大小(h×w)的h×w×c×k个子区域，将这k个区域与原图像进行相加来作为最终分类网络的输入。

s42.将resnet50作为深度卷积网络模型的特征提取网络，并将区域建议网络作为深度卷积网络模型的特征筛选网络；具体地，如图4、5所示，对输入图片f∈r^h×w×c进行m个不同预设尺度的子区域选取，通过3×3的深度卷积加1×1的点卷积，次接3×3的平均池化，再接3×3的最大反池化(从此处单分一支1×1的卷积)，随后又是一组深度可分离卷积(此处单分一支1×1的卷积)，后接3×3标准卷积，紧接1×1卷积，采样过程使用relu函数为激活函数，最后与两支路级联得到特征图fr，然后进行预分类。再根据预分类结果，从m个区域中选取置信度最高的k个区域作为rpn筛选的子区域作为输出s＝{r1,r2,…,rk}。

s43.确定深度卷积网络模型的损失函数。其中，通过引入所述损失函数，并加入超参数来控制整体网络损失中的占比，解决了所述数据集存在各类样本数量不均衡的问题。具体地，对输入图片f∈r^h×w×c和输出s＝{r1,r2,…,rk}，在使用resnet50进行特征提取后，将得到的特征图相加后进行分类，所述分类损失采用所述损失函数进行处理。

本实施例中，根据如下公式确定深度卷积网络模型的损失函数l：

l＝l1+μl2；

其中，l1为交叉熵损失函数；l2为改进的focalloss；μ为设定系数；

所述yi为当前样本的真实结果，为所选子区域的预测结果；

所述为当前样本的预测概率，α与γ分别为控制参数，所述参数用来调节所述数据集中易分类样本的损失计算权重，本实施例中，设置参数α为0.5，参数γ为2；

所述id为样本编号，classes为样本的总标签数。在本实施例中，在制作所述数据集时，按各类所含样本数的多少降序来设置样本编号(id)，即第一类数量最多，最后一类数量最少。当当前训练样本的标签在样本的总标签数(classes)的前一半时，μ＝0.5，反之μ＝1。

本实施例中，步骤s5中，设置训练参数，并使用所述训练集以及验证集对深度卷积网络模型进行训练，具体包括：

s51.将在imagenet数据集上的预训练权重模型作为resnet50的初始化权重模型；

s52.设置训练集与验证集中蜻蜓目昆虫图像的输入大小，并设置子区域的预设大小；

s53.使用batchnormalization来实现正则化，并采用随机梯度下降算法对深度卷积网络模型进行优化。

具体地，在训练过程中，图像的输入大小(inputsize)设置为448×448(像素值)，所述子区域预设大小为48×48，96×96，192×192(像素值)，k的取值为3，使用bn(batchnormalization)来实现正则化。初始学习率为0.001，优化器为momentumsgd。nms阈值为0.25，权重衰减为0.0001，迭代epoch为200。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。