一种融合深度特征和显著性特征的遥感图像场景分类方法与流程

本发明涉及数字图像处理领域，尤其涉及一种融合深度特征和显著性特征的遥感图像场景分类方法。

背景技术：

遥感图像场景分类是许多应用推动的一项积极而具有挑战性的任务，其目的是识别遥感图像区域的土地覆盖类别，它是一项基础任务，广泛用于各种实际遥感应用，如土地资源管理，城市规划等。学习高效的图像表示是遥感图像场景分类任务的核心。由于实际场景图像之间的高类内差异性和高类间相似性，基于具有低级别手工设计特征的特征编码方法或无监督特征学习的场景分类任务的方法仅能够生成具有有限表示能力的中级图像特征，这从根本上限制了场景分类任务的性能。

最近，随着深度学习尤其是卷积神经网络(convolutionalneuralnetwork,cnn)的发展，卷积神经网络在对象识别和检测方面表现出惊人的性能。当前，卷积神经网络多应用于人脸识别、手写数字识别、木材缺陷识别等小图像分类中，针对遥感图像分类的研究并不多。在目前的研究中，卷积神经网络需要大量的训练数据，并且消耗大量的时间，这在一定程度上制约了它的实际应用，所以如何将卷积神经网络更好的应用到遥感图像分类的算法模型中，提高分类精度，是卷积神经网络研究中需要研究解决的主要问题。

技术实现要素：

有鉴于此，本发明的实施例提供了一种能够同时获取原始图像的全局信息和突出性信息，有效的提高特征向量的区分性，对遥感图像场景具有更好的特征表达能力和分类精度的融合深度特征和显著性特征的遥感图像场景分类方法。

本发明的实施例提供一种融合深度特征和显著性特征的遥感图像场景分类方法，包括以下步骤：

(1)选定进行场景分类的原始图数据集，将其划分为原始图训练集和原始图测试集；

(2)通过显著性检测方法处理原始图数据集，得到显著图数据集，并将其划分为显著图训练集和显著图测试集；

(3)利用原始图训练集对在imagenet数据集上训练好的卷积神经网络进行微调，得到原始图的神经网络模型vgg-1；利用显著图训练集对在imagenet数据集上训练好的卷积神经网络进行微调，得到显著图的神经网络模型vgg-2；

(4)利用vgg-1处理原始图数据集，得到原始图像的深度特征；利用vgg-2处理显著图数据集，得到原始图像的显著性特征；

(5)通过并行特征融合策略融合深度特征和显著性特征，得到最终的融合特征，将最终的融合特征作为原始图像的最终特征表示；

(6)使用支持向量机分类器对原始图像根据最终的融合特征进行分类，得到最终的分类结果。

进一步，所述步骤(2)中，通过显著性检测方法处理原始图数据集的步骤如下：

(2-1)将原始图像转换为灰度图像，采用canny边缘检测器滤波后得到边缘的显著图it；

(2-2)将原始图像的颜色空间变化到均匀的lab颜色空间，再对图像进行高斯低通滤波，最后计算原图与滤波后的图像的之间的欧氏距离，即为颜色的显著图ic：

ic＝||iu-iw||

其中，iu为像素值的算术平均，iw为原始图像经过高斯低通滤波得到的图像；

(2-3)将边缘显著图it和颜色显著图ic进行线性叠加得到最终的显著图is。

进一步，所述步骤(3)中，分别利用原始图训练集和显著图训练集微调卷积神经网络的具体步骤如下：

(3-1)设定微调迭代次数为n；

(3-2)正向传播训练：计算在当前的系数下，该网络结构具有的真实分类效果，迭代过程如下：

xⁱ⁺¹＝fi(uⁱ)

uⁱ＝wⁱxⁱ+bⁱ

其中，xⁱ⁺¹为第i+1层的输入；xⁱ为第i层的输入；wⁱ是第i层的权值向量，它作用在其输入的数据中；bⁱ为第i层的附加偏置向量；fi(·)表示第i层的激活函数，uⁱ为对输入进行卷积操作后的结果；

(3-3)反向传播训练：通过网络输出与真实标签的比较，不断地迭代更新系数，使得输出结果接近期望值，迭代过程如下：

其中，学习率α为反向传播强度的控制因子，l(w,b)为损失函数；

(3-4)根据步骤(3-1)设定的迭代次数n，重复步骤(3-2)和步骤(3-3)n次。

进一步，所述步骤(4)中，从vgg-1的最后一个完全连接层中提取特征作为原始图像的深度特征f1，从vgg-2的最后一个完全连接层中提取特征作为原始图像的显著性特征f2，所述深度特征f1和显著性特征f2的特征向量维度相一致。

进一步，所述步骤(5)中，通过并行特征融合策略融合深度特征和显著性特征，则原始图像i的最终融合特征表示形式为：

ff(i)＝f1(i)+if2(i)

其中，i是虚数单位，融合后的特征向量维度保持不变。

进一步，所述步骤(6)的具体步骤如下：

(6-1)根据原始图训练集和原始图测试集的划分，将融合特征分为训练特征集和测试特征集；

(6-2)利用训练特征集训练支持向量机分类器；

(6-3)利用训练好的支持向量机分类器对测试特征集进行分类；

(6-4)计算最终的分类准确度。

与现有技术相比，本发明具有以下有益效果：

1.本发明针对复杂场景中的显著性检测存在的问题，考虑到目标在边缘特征上的显著性，采用颜色特征和边缘特征融合的方法来提取场景图像的显著图。

2.本发明通过并行融合策略融合深度卷积神经网络提取深度特征和显著性特征，融合后的特征的维度不变，能够同时捕获到原始图像的全局信息和突出性信息，有效的提高特征向量的区分性，对遥感图像场景具有更好的特征表达能力和分类精度。

附图说明

图1为本发明一种融合深度特征和显著性特征的遥感图像场景分类方法的实现流程图。

图2为本发明一实施例中原始图数据集的示例图。

图3为本发明一实施例中原始图数据集中随机选择的一个原始图。

图4为对图3进行边缘检测得到的结果图。

图5为对图3进行颜色特征提取的结果图。

图6为图3对应的最终的显著图。

图7为本发明一实施例中对原始图数据集进行分类的混淆矩阵图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地描述。

请参考图1，本发明的实施例提供了一种融合深度特征和显著性特征的遥感图像场景分类方法，包括以下步骤：

(1)选定进行场景分类的原始图数据集，将其划分为原始图训练集和原始图测试集；

选取的场景原始图数据集为ucmerced数据集，该数据集包括agricultural、airplane、baseballdiamond、beach、buildings、chaparral、denseresidential、forest、freeway、golfcourse、harbor、intersection、mediumdensityresidential、mobilehomepark、overpass、parkinglot、river、runway、sparseresidential、storagetanks和tenniscourts等21个土地利用场景类，图2列出了每个类的一个示例图像。每个类包含100个图像，像素为256×256，空间分辨率为0.3米，对该图像数据集进行划分，每个类中随机选择30个图像作为原始图训练集，剩下的70个图像作为原始图测试集。

(2)通过显著性检测方法处理原始图数据集，得到显著图数据集，并将其划分为显著图训练集和显著图测试集；

以原始图数据集中airplane类的一个图像为例，原始图像如图3所示，通过显著性检测方法处理原始图数据集的步骤如下：

(2-1)将原始图像转换为灰度图像，采用canny边缘检测器滤波后得到边缘的显著图it，如图4所示；

(2-2)将原始图像的颜色空间变化到均匀的lab颜色空间，再对图像进行高斯低通滤波，最后计算原图与滤波后的图像的之间的欧氏距离，即为颜色的显著图ic，如图5所示：

ic＝||iu-iw||

其中，iu为像素值的算术平均，iw为原始图像经过高斯低通滤波得到的图像；

(2-3)将边缘显著图it和颜色显著图ic进行线性叠加得到最终的显著图is，如图6所示。

(3)利用原始图训练集对在imagenet数据集上训练好的卷积神经网络vgg-net-16进行微调，得到原始图的神经网络模型vgg-1；利用显著图训练集对在imagenet数据集上训练好的卷积神经网络vgg-net-16进行微调，得到显著图的神经网络模型vgg-2；

优选地，分别使用原始图训练集和显著图训练集微调vgg-net-16，迭代次数为500次，得到原始图的神经网络模型vgg-1和显著图的神经网络模型vgg-2。

微调卷积神经网络的具体步骤如下：

(3-1)设定微调迭代次数为n；

(3-2)正向传播训练：计算在当前的系数下，该网络结构具有的真实分类效果，迭代过程如下：

xⁱ⁺¹＝fi(uⁱ)

uⁱ＝wⁱxⁱ+bⁱ

其中，xⁱ⁺¹为第i+1层的输入；xⁱ为第i层的输入；wⁱ是第i层的权值向量，它作用在其输入的数据中；bⁱ为第i层的附加偏置向量；fi(·)表示第i层的激活函数，uⁱ为对输入进行卷积操作后的结果；

(3-3)反向传播训练：通过网络输出与真实标签的比较，不断地迭代更新系数，使得输出结果接近期望值，迭代过程如下：

其中，学习率α为反向传播强度的控制因子，l(w,b)为损失函数；

(3-4)根据步骤(3-1)设定的迭代次数n，重复步骤(3-2)和步骤(3-3)n次。

(4)利用vgg-1处理原始图数据集，得到原始图像的深度特征；利用vgg-2处理显著图数据集，得到原始图像的显著性特征；

从vgg-1的最后一个完全连接层中提取特征作为原始图像的深度特征f1，从vgg-2的最后一个完全连接层中提取特征作为原始图像的显著性特征f2，所述深度特征f1和显著性特征f2的特征向量维度相一致，特征向量维度都为4096。

(5)通过并行特征融合策略融合深度特征和显著性特征，得到最终的融合特征，将最终的融合特征作为原始图像的最终特征表示；

原始图像i的最终融合特征表示形式为：

ff(i)＝f1(i)+if2(i)

其中，i是虚数单位，融合后的特征向量维度保持不变，特征向量维度仍为4096。

(6)使用支持向量机分类器对原始图像根据最终的融合特征进行分类，得到最终的分类结果。

具体步骤如下：

(6-1)根据原始图训练集和原始图测试集的划分，将融合特征分为训练特征集和测试特征集；

(6-2)利用训练特征集训练支持向量机分类器；

(6-3)利用训练好的支持向量机分类器对测试特征集进行分类；

(6-4)计算最终的分类准确度。

实验得到的混淆矩阵如图7所示。因为原始图测试集中每一类图像的数量是相同的，所以总体准确度和平均准确度相同，均为96.10％。

从图7中可以看出，该方法在6个类别上的准确度达到了100％，且在13个类上的准确度超过了95％，得到的96.10％的总体准确度优于现有的很多最先进的方法，由此可以证明该方法用于遥感图像场景分类的有效性。主要的混淆发生在buildings、denseresidential和mediumdensityresidential之间，因为它们都包含相同的目标对象，且denseresidential和mediumdensityresidential的主要区别只在于建筑物之间的密度。

在不冲突的情况下，本文中上述实施例及实施例中的特征可以相互结合。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。