一种无人机拍摄的农作物图像识别方法与流程

本发明涉及图像处理与识别技术领域，更具体地，涉及一种无人机拍摄的农作物图像识别方法。

背景技术：

近年来，图像识别技术发展迅速，尤其深度学习使得图像识别的性能得到显著提高。利用深度学习识别由无人机拍摄的农作物图像能有效推动传统农业向现代农业的发展。

然而，深度学习是需要巨大的样本实现模型的训练，无人机拍摄的图像数据有限，较难实现有效的训练；有相关的研究显示学习到的特征与识别的任务是紧密相关的，而传统的卷积神经网络的特征识别算法在精度上很难满足现实场景的需要，特别高层特征属于比较抽象的语义特征，易丢失图像的细节信息。

技术实现要素：

本发明为克服上述现有技术所述的至少一种缺陷，提供一种无人机拍摄的农作物图像识别方法。本发明使用迁移学习解决解决训练样本的不足；改进卷积神经网络层的特征提取，结合不同层的特征和svm的决策提升图像的识别率；从而达到在图像数据集有限情况下，利用目标图像已标记的样本辅助目标图像数据进行更有效的识别。

为解决上述技术问题，本发明采用的技术方案是：一种无人机拍摄的农作物图像识别方法，其中，包括如下步骤：

s1.对无人机拍摄的农作物图像构建属性信息并进行预处理，以获得农作物图像数据集；

s2.采用迁移学习的思想预训练卷积神经网络模型；

s3.用步骤s1得到的农作物图像数据集对步骤s2预训练后的卷积神经网络模型进行微调，提取卷积神经网络模型不同层的特征进行结合，获得图像特征表示；

s4.用svm分类器对步骤s3中得到的图像特征进行分类，完成农作物图像分类，得出分类结果，最后将无人机拍摄的农作物图像输入到步骤s3中的卷积神经网络模型进行识别。

进一步的，所述步骤s2中采用的卷积神经网络模型为vgg_16模型。

进一步的，所述步骤s1中，通过无人机拍摄各种农作物的图像，图像在分辨率和宽高比方面各不相同，对无人机拍摄的农作物图像构建属性信息并进行预处理包括如下步骤：

s11.用k-means算法将输入的彩色图像分割成农作物和背景，为了加快程序，在分割之前将图像大小减少30％；

s12.通过处理r、g、b每个通道来增强农作物部分的对比度；

s13.计算目标农作物的质心和长轴，通过旋转目标农作物来使其主轴水平，从而使农作物的方向达到正常；

s14.获取目标农作物区域作为方位标准化其最大面积平方，使用增强彩色农作物的相应正方形区域来提取特征；

s15.填充并调整目标农作物区域图像为224×224像素以适合vgg_16模型的输入层，并对不同种类的农作物图像做好类别标记，为避免图像数据过度拟合，数据集通过给定范围内的多个随机变换进行人为放大。如剪切变换随机应用于0.2弧度范围内的数据集；一些图像随机放大0.8-1.2倍；水平翻转也是随机应用的。

进一步的，所述步骤s2中，利用大型数据集imagenet对卷积神经网络模型vgg_16进行预训练。

进一步的，所述步骤s3中，将步骤s1中预处理后的农作物图像数据集对步骤s2中的卷积神经网络模型vgg_16微调；基于vgg_16的模型中，提取pool2/128x128_s1层的特征作为middle_level特征，提取pool5/7x7_s1层的特征作为high_level特征；直接提取pool2/128x128_s1层和pool5/7x7_s1层的特征分别得到一个128维的向量和一个512维的向量，然后再各个向量做l2标准化；直接拼接标准化后的两个向量得到一个640维的特征向量，fc6把每张图片的特征从640降低到256维；删除fc7、fc8，svm替代softmax；再训练时，c1至c5的参数保持不变，使用反向传播和随机梯度下降来更新可调节层。

进一步的，所述步骤s4中，将步骤s3中获取的图像深层特征输入改进的svm分类器，完成农作物图像分类；最后，将无人机拍摄的农作物图像调整为224×224像素并输入到步骤s3中的卷积神经网络，各类农作物识别的信息通过分类器直接输出进行信息表达。

与现有技术相比，本发明的有益效果：

本发明融合迁移学习和改进特征的卷积神经网络对无人机拍摄的农作物图像进行识别的方法，对训练的样本有限时，利用已有的数据集训练模型参数权重；无人机拍摄下的图像进行特征处理，提高对图像的识别率，从而达到有效识别出目标农作物。

本发明在无人机拍摄的目标图像不足情况下，利用迁移学习有效解决了图像数据集少造成的过拟合。

本发明结合无人机拍摄图像的图像大小、训练速度与计算资源的消耗，对输入图像进行预处理，解决无人机拍摄限制问题，使得特征提取更准确。

本发明充分发挥卷积神经网络的深度学习算法对图像特征的自动学习，采用不同层的特征进行融合，并用分类器分类，避免了人工选取的局限性，提高图像的识别率。

本发明将深度学习与农业相结合、农业与无人机结合、深度学习与无人机结合，促进传统农业向现代农业的发展，提高研究价值。

附图说明

图1是本发明的原理流程图。

图2是本发明卷积神经网络改进后的模型架构图。

图3是本发明提取输入特征的表示图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。附图中描述位置关系仅用于示例性说明，不能理解为对本专利的限制。

如图1所示，一种无人机拍摄的农作物图像识别方法，其中，包括如下步骤：

s1.对无人机拍摄的农作物图像进行标记，构建属性信息并进行预处理，以获得农作物图像数据集；

s2.采用迁移学习的思想预训练卷积神经网络模型；

s3.用步骤s1得到的农作物图像数据集对步骤s2预训练后的卷积神经网络模型进行微调，提取卷积神经网络模型不同层的特征进行结合，获得图像特征表示；

s4.用svm分类器对步骤s3中得到的图像特征进行分类，完成农作物图像分类，得出分类结果，最后将无人机拍摄的农作物图像输入到步骤s3中的卷积神经网络模型进行识别。

本实施例中，所述步骤s2中采用的卷积神经网络模型为vgg_16模型。

本实施例中，，所述步骤s1中，通过无人机拍摄各种农作物的图像，图像在分辨率和宽高比方面各不相同，对无人机拍摄的农作物图像构建属性信息并进行预处理包括如下步骤：

s11.用k-means算法将输入的彩色图像分割成农作物和背景，为了加快程序，在分割之前将图像大小减少30％；

s12.通过处理r、g、b每个通道来增强农作物部分的对比度；

s13.计算目标农作物的质心和长轴，通过旋转目标农作物来使其主轴水平，从而使农作物的方向达到正常；

s14.获取目标农作物区域作为方位标准化其最大面积平方，使用增强彩色农作物的相应正方形区域来提取特征；

s15.填充并调整目标农作物区域图像为224×224像素以适合vgg_16模型的输入层，并对不同种类的农作物图像做好类别标记，为避免图像数据过度拟合，数据集通过给定范围内的多个随机变换进行人为放大。如剪切变换随机应用于0.2弧度范围内的数据集；一些图像随机放大0.8-1.2倍；水平翻转也是随机应用的。

本实施例中，所述步骤s2中，利用大型数据集imagenet对卷积神经网络模型vgg_16进行预训练。用大型数据集训练vgg_16是应用了迁移学习的思想：一个域d由一个特征空间x和特征空间上的边际概率分布p(x)组成，即d＝{x,p(x)}，其中x＝x1,x2,…,xn∈x。对于给定的一个域，一个学习任务，由两部分组成，即标签和目标预测函数f(·)，t＝{y,f(·)}。

给定一个源域ds，和一个学习任务ts，一个目标域dt和一个目标学习任务tt。迁移学习主要是利用ds和ts中的知识，来提高目标预测函数f(·)在dt中的性能，其中ds≠ts或dt≠tt。利用imagenet进行网络的预训练主要是该数据集包含1000类的自然场景图像，图像总量大于100万，与识别目标农作物图像具有相似性，利用它进行大规模网络训练是非常合适的。

原vgg_16中的网络含有参数的有16个层，都是几个卷积层后面跟一个可以压缩图像大小的池化层：

卷积层：conv＝3×3filters，s＝1，padding＝sameconvolution。

池化层：max_pool＝2×2，s＝2。

其中包含13个卷积层，3个全连接层，5个池化层与softmax层，前面几层是卷积层的堆叠，后面几层是全连接层，最后是softmax层，每个隐层的激活单元都是relu，每个batch的图像数量设置为64，学习率从0.01～0.00001，共进行40轮训练。

本实施例中，所述步骤s3中，将步骤s1中预处理后的农作物图像数据集对步骤s2中的卷积神经网络模型vgg_16微调；包含的农作物图像有256类，每类大概50～100张图像。学习率保持在0.00001，共进行20轮训练。

图1中，改进的vgg_16模型是通过提取模型中的特征进行相结合，删除两个全连接层并替换上svm分类器所形成的新模型。基于原vgg_16的模型，结合图2，提取pool2/128x128_s1层的特征作为middle_level特征，提取pool5/7x7_s1层的特征作为high_level特征。直接提取pool2/128x128_s1层和pool5/7x7_s1层的特征分别得到一个128维的向量和一个512维的向量，然后再各个向量做l2标准化。直接拼接标准化后的两个向量得到一个640维的特征向量，fc6把每张图片的特征从640降低到256维。删除fc7、fc8，svm替代softmax。再训练时，c1至c5的参数保持不变，使用反向传播和随机梯度下降来更新可调节层。

图1中，特征提取是网路模型改进后的低层特征与高层特征的结合，结合图3，提取pool2/128x128_s1层的特征作为middle_level特征，提取pool5/7x7_s1层的特征作为high_level特征。直接提取pool2/128x128_s1层和pool5/7x7_s1层的特征分别得到一个128维的向量和一个512维的向量，然后再各个向量做l2标准化。直接拼接标准化后的两个向量得到一个640维的特征向量，fc6把每张图片的特征从640降低到256维。

进一步的，所述步骤s4中，将步骤s3中获取的图像深层特征输入改进的svm分类器，完成农作物图像分类；最后，将待识别的无人机拍摄的农作物图像调整为224×224像素并输入到步骤s3中的卷积神经网络，各类农作物识别的信息通过分类器直接输出进行信息表达。

svm分类器的利用是为了更好得到分类结果而改进softmax分类器，目标函数的惩罚系数c默认为1.0，在高维空间中最优分类函数为：

其中：ai≥0是拉格朗日因子，b是阈值。

为了优化拟合问题，选用径向量核函数为：

其中σ为可调参数，i＝1,2,…,n。

显然，本发明的上述实施例仅仅是为了清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。