一种高光谱图像空谱联合分类方法及装置与流程

本发明涉及一种高光谱图像的分类方法，尤其涉及一种基于可变形卷积神经网络的高光谱图像空谱联合分类方法，属于遥感信息处理技术领域。

背景技术：

由高光谱传感器的探测感知机理可知，高光谱数据中蕴含了地物丰富的空间及光谱信息，具有光谱分辨率高、成像波段多、信息量大等特点。因此，高光谱图像广泛应用于军事、农业、医学、矿采等诸多领域。对高光谱图像中的地物进行分类识别是辅助研究人员快速理解高光谱图像中所包含信息的重要手段。

虽然高光谱图像等光谱分辨率高，但是相对于多光谱、全色等类型的图像而言空间分辨率依然较低。在此情景下，大量城市地物像元是混像元。由于城市区域不同类型的地物高密度的混合在一起，造成了同一类地物的类内差异大，不同地物的类间差距小，这些因素给城市区域的高光谱分类带来了很大挑战。

在此背景下，研究了一种基于可变形卷积神经网络的高光谱图像空谱联合分类方法。针对高光谱图像存在类内差异的问题，对每一类样本用k-means算法进行类内聚类选取具有代表性的训练样本；在高光谱图像分类任务中设计了多尺度空间-光谱联合网络和可变形卷积网络，自主提取高光谱图像的空谱特征，使得通过高光谱遥感获取的丰富信息被充分利用，对现实应用有着重要的意义。

技术实现要素：

本发明所要解决的技术问题在于提供一种基于可变形卷积神经网络的高光谱图像空谱联合分类方法。该方法针对城市区域高光谱图像类内差异大的特点，首先对不同类别的样本作类内聚类，选择具有代表性的训练样本；然后充分结合高光谱图像的光谱信息和多尺度的空间信息，利用可变形卷积神经网络能适应几何形变的特点，提升网络性能及高光谱图像的分类精度。

为实现上述的发明目的，本发明采用下述的技术方案：

根据本发明的第一方面，一种高光谱图像空谱联合分类方法，包括如下步骤：

对输入的高光谱图像数据进行归一化处理；

分别将归一化处理后的高光谱图像经过第一预处理后以得到提取光谱特征的训练样本集s1以及经过第二预处理以得到提取空间特征的训练样本集s2；

通过多尺度空间-光谱联合网络从所述样本集s1中提取光谱特征及从所述样本集s2中提取空间特征；

将提取到的光谱特征和多尺度的空间特征联结起来，输入到能够适应几何形变的可变形卷积神经网络中，以提取高级特征；以及

经可变性卷积网络将提取的高级特征输入到全连接网络分类器中进行分类，以得到基于可变形卷积神经网络的高光谱图像空谱联合分类结果。

进一步的，所述对输入的高光谱图像数据进行归一化处理的步骤包括通过以下公式进行归一化处理：

其中，y(i,j,k)表示高光谱图像中第k个波段中位置坐标为(i,j)的一个像元，max(yk)和min(yk)分别表示三维高光谱图像在第k个波段的最大值和最小值。

进一步的，所述将归一化处理后的高光谱图像经过第一预处理后以得到提取光谱特征的训练样本集s1的步骤包括：

利用k-means聚类算法对所述高光谱图像中的每一类样本包含的光谱作类内聚类，聚类数目为3簇；

从每个簇中选取20％的样本保存其标签，该标签作为训练样本标签gtr，剩下的作为测试样本标签gte；

提取以带标签gtr为中心的11×11×l邻域范围内的数据块作为提取光谱特征的训练样本集s1。

进一步的，所述经过第二预处理以得到提取空间特征的训练样本集s2的步骤包括：利用主成分分析pca方法对原始高光谱图像进行降维处理，从降维后的图像中提取以带标签gtr为中心的11×11×d邻域范围内的数据块作为提取空间特征的训练样本集s2。

进一步的，所述通过多尺度空间-光谱联合网络包括光谱特征提取网络和空间特征提取网络，所述光谱特征提取网络结构包括1×1卷积层，归一化层batchnormalization和激励函数relu，所述空间特征提取网络结构包括并联的3×3卷积层和5×5卷积层，卷积层后分别归一化层batchnormalization和激励函数relu，其中，训练样本集s1输入到光谱特征提取网络以提取光谱特征，训练样本集s2输入到空间特征提取网络以获得多尺度的空间特征。

进一步的，所述可变形卷积网络从输入到输出包括的卷积层依次包括第一二维卷积层、第一可变形卷积层、第二可变形卷积层、第二二维卷积层以及全局平均池化层。

进一步的，每个所述二维卷积层和可变形卷积层的卷积核大小均为3×3，步长为1。

进一步的，卷积核个数依次为：64，128，256，512。

进一步的，每个所述二维卷积层和可变形卷积层后均使用batchnormalization层做归一化，并使用relu作为激励函数。

进一步的，所述全连接网络分类器包括一全连接层和一softmax分类层。

根据本发明的第二方面，一种高光谱图像空谱联合分类装置，该装置包括：

存储器，该存储器中存储有计算机指令；

处理器，该处理器与存储器数据连接，其通过执行所述计算机指令，从而执行根据权利要求1-8任一项所述的基于可变形卷积神经网络的高光谱图像空谱联合分类方法。

根据本发明的第三方面，一种高光谱图像空谱联合分类装置，该装置包括：

归一化处理模块，用于对输入的高光谱图像数据进行归一化处理；

训练样本集生成模块，用于分别将归一化处理后的高光谱图像经过第一预处理后以得到提取光谱特征的训练样本集s1以及经过第二预处理以得到提取空间特征的训练样本集s2；

第一特征提取模块，用于通过多尺度空间-光谱联合网络从所述训练样本集s1中提取光谱特征及从所述训练样本集s2中提取空间特征；

第二特征提取模块，用于将提取到的光谱特征和多尺度的空间特征联结起来，输入到能够适应几何形变的可变形卷积神经网络中，以提取高级特征；以及

全连接网络分类器，用于根据输入的经可变性卷积网络将提取的高级特征得到基于可变形卷积神经网络的高光谱图像空谱联合分类结果。

本发明所提供的基于可变形卷积神经网络的高光谱图像空谱联合分类方法的优点包括：

本发明在样本选择时，针对高光谱图像存在类内差异的问题采用了k-means聚类算法先对每类样本作类内聚类，选择具有代表性的样本。这种方式选取的训练样本比随机选取训练样本能更好的覆盖样本空间；

本发明设计的多尺度空间-光谱联合网络，同时利用了高光谱图像的光谱特征和多尺度的空间特征，可以提取更加丰富和完善的特征信息；

本发明采用的可变形卷积网络，可以自适应的提取不同大小和形状的地物特征，能有效提高高光谱图像的分类精度。

附图说明

图1为本发明提出的高光谱图像空谱联合分类方法流程图；

图2为本发明提出的提取光谱特征网络示意图；

图3为本发明提出的提取空间特征网络示意图；

图4为本发明提出的可变形卷积神经网络模块示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明提出的高光谱图像空谱联合分类方法流程图包括如下内容：

步骤一、对输入的高光谱图像数据进行归一化处理。

在本发明的实施例中，对于一个尺寸为m×n×l的三维高光谱图像数据，首先对其进行归一化处理。在本发明中，所述对输入的高光谱图像数据进行归一化处理的步骤包括通过归一化公式进行归一化处理，所述归一化公式为：

其中，y(i,j,k)表示高光谱图像中第k个波段中位置坐标为(i,j的一个像元，max(yk)和min(yk)分别表示三维高光谱图像在第k个波段的最大值和最小值

步骤二、分别将归一化处理后的高光谱图像经过第一预处理后以得到提取光谱特征的训练样本集s1以及经过第二预处理以得到提取空间特征的训练样本集s2。

在本实施例中，将归一化处理后的高光谱图像通过双通道的方式分别进行处理以得到相应的样本集。具体来说，经过第一预处理后以得到提取光谱特征的训练样本集s1以及经过第二预处理以得到提取空间特征的训练样本集s2。

在本发明中，如图2所示，将归一化处理后的高光谱图像经过第一预处理后以得到提取光谱特征的训练样本集s1的步骤包括：

利用k-means聚类算法对所述高光谱图像中的每一类样本包含的光谱作类内聚类，聚类数目为3簇；

从每个簇中选取20％的样本保存其标签，该标签作为训练样本标签gtr，剩下的作为测试样本标签gte；

提取以带标签gtr为中心的11×11×l邻域范围内的数据块作为提取光谱特征的训练样本集s1。

在本发明的实施例中，原始图像第三维是波段数量l，本发明利用主成分分析对原始图像降维，选取前d个主成分，得到的降维后的第三维的通道数是d。

如图3所示，经过第二预处理以得到提取空间特征的训练样本集s2的步骤包括：

利用主成分分析pca方法对原始高光谱图像进行降维处理，从降维后的图像中提取以带标签gtr为中心的11×11×d邻域范围内的数据块作为提取空间特征的训练样本集s2。

步骤三、通过多尺度空间-光谱联合网络从所述样本集s1中提取光谱特征及从所述样本集s2中提取空间特征。

在本发明的实施例中，所述通过多尺度空间-光谱联合网络包括光谱特征提取网络和空间特征提取网络，所述光谱特征提取网络结构包括1×1卷积层，归一化层batchnormalization和激励函数relu。

所述空间特征提取网络结构包括并联的3×3卷积层和5×5卷积层，卷积层后分别归一化层batchnormalization和激励函数relu。

其中，训练样本集s1输入到光谱特征提取网络以提取光谱特征，训练样本集s2输入到空间特征提取网络以获得多尺度的空间特征。

步骤四、将提取到的光谱特征和多尺度的空间特征联结起来，输入到能够适应几何形变的可变形卷积神经网络中，以提取高级特征。

根据本发明的实施例，如图4所示，所述可变形卷积神经网络包括第一二维卷积层、第一可变形卷积层、第二可变形卷积层、第二二维卷积层以及全局平均池化层。每个所述二维卷积层和可变形卷积层的卷积核大小均为3×3，步长为1。卷积核个数依次为：64，128，256，512。每个所述二维卷积层和可变形卷积层后均使用batchnormalization层做归一化，并使用relu作为激励函数。

这里，高级特征仅指示经过人工神经网络的处理后相对于原始图像的初级特征(例如像素级的特征)而言，并非为了精确描述特征的高级性。但一般而言，经过神经网络处理，随着神经网络越往深层次会呈现出越高层次和越抽象的趋势。

步骤五、经可变性卷积网络将提取的高级特征输入到全连接网络分类器中进行分类，以得到基于可变形卷积神经网络的高光谱图像空谱联合分类结果。

所述全连接网络分类器包括一全连接层和一softmax分类层。

根据本发明的另一实施方式，还提供了一种基于可变形卷积神经网络的高光谱图像空谱联合分类装置，用于执行上述分类方法，该装置包括：

归一化处理模块，用于对输入的高光谱图像数据进行归一化处理；

训练样本集生成模块，用于分别将归一化处理后的高光谱图像经过第一预处理后以得到提取光谱特征的训练样本集s1以及经过第二预处理以得到提取空间特征的训练样本集s2；

第一特征提取模块，用于通过多尺度空间-光谱联合网络从所述训练样本集s1中提取光谱特征及从所述训练样本集s2中提取空间特征；

第二特征提取模块，用于将提取到的光谱特征和多尺度的空间特征联结起来，输入到能够适应几何形变的可变形卷积神经网络中，以提取高级特征；以及

全连接网络分类器，用于根据输入的经可变性卷积网络将提取的高级特征得到基于可变形卷积神经网络的高光谱图像空谱联合分类结果。

根据本发明的另一实施方式，还提供了一种基于可变形卷积神经网络的高光谱图像空谱联合分类装置，该装置包括：存储器，该存储器中存储有计算机指令；处理器，该处理器与存储器数据连接，其通过执行所述计算机指令，从而执行上述基于可变形卷积神经网络的高光谱图像空谱联合分类方法。

以上对本发明所提供的基于可变形卷积神经网络的高光谱图像空谱联合分类方法进行了详细的说明，但显然本发明的范围并不局限于此。在不脱离所附权利要求书所限定的保护范围的情况下，对本发明的各种改变都在本发明的范围之内。

对于本领域技术人员而言，显然本发明实施例不限于上述示范性实施例的细节，而且在不背离本发明实施例的精神或基本特征的情况下，能够以其他的具体形式实现本发明实施例。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明实施例的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明实施例内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统、装置或终端权利要求中陈述的多个单元、模块或装置也可以由同一个单元、模块或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

最后应说明的是，以上实施方式仅用以说明本发明实施例的技术方案而非限制，尽管参照以上较佳实施方式对本发明实施例进行了详细说明，本领域的普通技术人员应当理解，可以对本发明实施例的技术方案进行修改或等同替换都不应脱离本发明实施例的技术方案的精神和范围。