一种基于多模态特征融合的遥感影像分类方法
【技术领域】
[0001] 本发明涉及一种基于多模态特征融合的遥感影像分类方法，属于遥感影像分类技 术领域。
【背景技术】
[0002] 遥感影像技术的进步使得地理空间信息在数量和质量上得到爆炸式的增长，研究 如何自动分析理解图像内容、获取有价值的信息是十分必要的，而其中最基础的工作就是 遥感影像的分类。当前的高分辨率遥感影像具有丰富的视觉信息来描述地球表面，这些图 像的使用可以使我们确定图像类别，如建筑物、道路、农场、森林、河流等等。环境以及社会 经济研究都必须基于遥感影像分类结果，因此许多学者研究了不同的图像特征和分类技 术，并取得了很好的结果。
[0003] 然而，由于遥感影像的复杂性和多样性，提高图像分类精度仍然是项充满挑战的 工作。每张图像上的特征提取基本上依赖于要被识别的图像，描述图像的一般特征包括纹 理、颜色、空间关系和结构特征等。现有的分类方法大都是通过密集提取浅层特征，如SIFT 特征描述符，使用稀疏编码的方式对描述符进行量化，编码的特征包含特征图，通过BOW模 型或者空间金字塔进行池化。
[0004] 卷积神经网络（CNNS)作为有效的深度学习模型，在图像分类领域具有明显的优 势，这种深度结构使得其具有学习深度特征的能力，这种鲁棒性的训练算法能够更好的对 图像物体进行表达，并且无需手动设计特征，已经被应用到图像集的分类中。例如文献7 (Rich feature hierarchies for accurate object detection and semantic segmentation)公开了采用CNNS提取适应长度的特征向量，然后使用特定的线性分类其SVM 对每个区域进行分类的方法。文献8(Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition)公开了一种通过引入了空间金字塔池化(SPP)层移除 CNNS中适当尺寸的限制，SPP层对特征进行池化产生相应长度的输出，作为连接层的输入。 图像分类结果表明CNNS产生的深度特征具有更强的分类能力，并且逐渐取代浅层和手动设 计的特征，例如SIFT、GIST等。虽然采用深度特征进行分类精度比较浅层特征高，但是深度 特征缺少浅层特征包含的信息，其分类的结果无法全面表达图像的信息。
【发明内容】
[0005] 本发明的目的是提供一种基于多模态特征融合的遥感影像分类方法，以提高遥感 影像分类的精度。
[0006] 本发明为解决上述技术问题提供了一种基于多模态特征融合的遥感影像分类方 法，该分类方法的步骤如下：
[0007] 1)将原始遥感影像中具有相似颜色、纹理的邻近像素聚合在一起，对遥感影像进 行超像素分割，得到超像素区域；
[0008] 2)至少提取两个模态的特征；
[0009] 3)将得到的各个模态的特征融合后输入到RBM模型中进行学习，得到各模态特征 的联合表达；
[0010] 4)根据得到联合表达对每一个超像素区域进行类型估计，从而实现对遥感影像的 分类。
[0011] 所述步骤2)中的至少两个模态的特征包括浅层模态特征和深层模态特征，其中浅 层模态特征为从遥感影像中提取出的SIFT特征，颜色直方图特征和CENRIST特征，深层模态 特征为采用卷积神经网络从遥感影像中提取出的特征。
[0012] 所述浅层模态特征和深层模态特征在输入到RBM模型进行学习之前均需通过对应 的DBN模型进行处理，以分别得到浅层模态的高层特征和深层模态的高层特征。
[0013] 所述输入到DBN模型进行处理的深层模态特征为深层模态中的中层特征，该中层 特征的提取过程如下：
[0014] A.从采用卷积神经网络得到深层模态特征中提取设定层的特征图；
[0015] B.将提取的特征图调整至原图像大小，利用调整后各个特征图作为向量对每一个 超像素区域进行描述，该特征即为深层模态的中层特征。
[0016] 所述输入到DBN模型进行处理的浅层模态特征为浅层模态中的中层特征，该中层 特征指的是从遥感影像中提取出的SIFT特征，颜色直方图特征和CENRIST特征
[0017] 所述步骤A中设定层指的是卷积神经网络的第4卷积层、第2池化层和第5池化层。
[0018] 本发明的有益效果是:本发明首先至少提取两个模态的特征;然后将得到的各个 模态的特征均输入到RBM模型中进行融合，得到各模态特征的联合表达;最后根据得到联合 表达对每一个超像素区域进行类型估计，从而实现对遥感影像的分类。本发明通过融合多 种模式特征，即将浅层模态特征和深层模态特征均通过RBM模型进行融合以得到相应的联 合表达，该联合表达即包含了遥感影像深层模态特征的层节表达，又包含了浅层模态特征 的外部可视相似度，具有非常高的区分能力，提高了遥感影像的分类精度。
【附图说明】
[0019] 图1是基于深度学习和多特征融合的遥感影像分类方法的原理示意图；
[0020]图2特征学习准则示意图；
[0021] 图3是DBN产生模型示意图；
[0022] 图4是本发明实施例中所选取的8类型影像示意图；
[0023] 图5是本发明实施例中所选用的卷积神经网络的结构图；
[0024] 图6是本发明实施例中利用卷积神经网络得到的特征图；
[0025] 图7是本发明实施例中不同浅层特征组合的分类精度；
[0026] 图8-a是深度模态下不同层数BRM稀疏精度示意图；
[0027]图8-b是浅层模态下不同层数BRM稀疏精度示意图；
[0028]图9-a是待分类的高层建筑图像；
[0029] 图9-b是采用浅层特征联合分类方法对高层建筑图像的分类结果图；
[0030] 图9-c是采用深层特征联合分类方法对高层建筑图像的分类结果图；
[0031] 图9-d是采用本发明多模态联合分类方法对高层建筑图像的分类结果图；
[0032] 图ΙΟ-a是待分类的稠密建筑图像；
[0033] 图10-b是采用浅层特征联合分类方法对稠密建筑图像的分类结果图；
[0034] 图10-c是采用深层特征联合分类方法对稠密建筑图像的分类结果图；
[0035] 图ΙΟ-d是采用本发明多模态联合分类方法对稠密建筑图像的分类结果图；
[0036]图ΙΙ-a是待分类的耕地图像；
[0037] 图ΙΙ-b是采用浅层特征联合分类方法对耕地图像的分类结果图；
[0038] 图11-c是采用深层特征联合分类方法对耕地图像的分类结果图；
[0039] 图ΙΙ-d是采用本发明多模态联合分类方法对耕地图像的分类结果图；
[0040] 图12-a是待分类的山脉河流图像；
[0041] 图12-b是采用浅层特征联合分类方法对山脉河流图像的分类结果图；
[0042] 图12-c是采用深层特征联合分类方法对山脉河流图像的分类结果图；
[0043] 图12-d是采用本发明多模态联合分类方法对山脉河流图像的分类结果图。
【具体实施方式】
[0044]下面结合附图对本发明的【具体实施方式】做进一步的说明。
[0045] 本发明的基于多模态特征融合的遥感影像分类方法首先至少提取两个模态的特 征;然后将得到的各个模态的特征均输入到RBM模型中进行融合，得到各模态特征的联合表 达;最后根据得到联合表达对每一个超像素区域进行类型估计，从而实现对遥感影像的分 类。下面以深层模态特征和浅层模态特征作为选取的特征为具体的实例进行说明，其流程 如图1所示，具体的实施步骤如下：
[0046] -、超像素分割
[0047] 超像素指的是图像中由一系列位置相邻且颜色、亮度、纹理等特征相似的像素点 组成的小区域，这些小区域保留了进一步进行图像分割的有效信息，且一般不会破环图像 中物体的边界信息。对于每一幅