一种基于二维卷积和LSTM的高光谱图像分类方法及系统

一种基于二维卷积和lstm的高光谱图像分类方法及系统
技术领域
1.本发明属于遥感图像分类的领域。具体涉及卷积神经网络和lstm网络结构，通过这两种模型结合使用提取高光谱图像的空间特征和光谱特征，引入特征融合方法得到最终特征信息，并通过分类器得到最终预测结果。该方法模型主要用于对高光谱图像分类。


背景技术：

2.近年来，高光谱图像分类技术受到了普遍关注，在很多不同的领域中发挥作用。目前该技术已广泛用于国防、农业、地质、环境、海洋勘探和其它领域，因此提升高光谱遥感图像的分类精度具有十分重要的意义。
3.深度学习模型在高光谱遥感图像特征提取中占据重要的地位，卷积神经网络是深度学习代表算法之一。典型的卷积神经网络包含有卷积层、池化层和全连接层，具有两大优势：权值共享、局部感知。它是一类包含卷积计算且具有深度结构的前馈神经网络结构，具有较好的特征提取能力和泛化性能，在高光谱图像领域应用广泛。
4.但是目前一些方法和模型存在一些问题值得去研究。
5.(1)混淆现象。高光谱图像的光谱分辨率越来越高，但是高光谱遥感图像空间分辨率一般较低，缺乏空间结构特征，容易导致获取的高光谱图像中的像素点往往不止一种地物。如图2所示给出了indian pines数据光谱曲线图。图2中曲线波动显示出不同的像素点的光谱值变化。由于在自然环境中，往往会存在各种杂草相互夹杂生长与植物之间共生的现象，因此会出现混合像元。一个像元可能会含有不同的地物光谱值，进而导致误分类现象的存在，进而影响分类精度。
6.(2)特征丢失和梯度消失现象。通常卷积神经网络中忽略了模型训练和测试过程中一些重要特征信息丢失的现象，导致模型的分类性能受到影响。例如在卷积和池化过程中很可能会出现高光谱遥感图像中最具代表性和具有重要性的特征信息的缺失。
7.卷积神经网络在提取高光谱图像的光谱特征上往往会存在梯度消失现象，不能更好的关注光谱特征相邻波段之间的上下文信息。由于高光谱具有较强的波段相关性且波段较多，该现象会对分类性能有一定的影响。
8.因此，针对以上问题，本发明提出了一种基于二维卷积和lstm的高光谱图像分类方法，进一步提高高光谱图像的分类精度。图3对lstm结构进行了简单描绘。
9.经过检索，申请公开号cn106845381a，一种基于双通道卷积神经网络(dual channel convolutional neural network，dc-cnn)的空谱联合的高光谱图像分类方法，针对高光谱图像数据为三维结构的特点，采用一维卷积网络(1d-cnn)通道和二维卷积网络(2d-cnn)通道相结合的方式，提取空谱特征完成高光谱图像的空谱联合分类。针对高光谱图像人工标记数据较少的问题，采用适合高光谱图像的数据扩充方法，增加训练样本的规模，提高卷积网络的训练效率，减少过拟合问题。
10.技术方面：cn106845381a专利使用的技术是：使用八层结构的一维卷积提取光谱特征，使用八层结构的二维卷积提取空间特征，之后将光谱和空间特征联合，并通过调优后
得到分类模型。该模型可能会存在卷积和池化过程中部分特征信息丢失问题，且网络层数相对较多；同时基于一维卷积提取高光谱图像的光谱特征往往会存在忽略波段上下文信息。本发明采用将二维卷积和lstm结合提取空间特征和光谱特征。在空间特征提取分支，使用具有四层结构的二维卷积网络进行空间特征提取，该四层结构为：两个二维卷积层，卷积核尺寸分别为3
×
3、5
×
5，两个最大池化层，尺寸为2
×
2，得到空间特征，减少混淆现象的影响；在光谱提取分支中，使用二维卷积和lstm结合的网络结构改善了传统卷积网络提取光谱信息中的梯度消失现象，且避免了传统lstm网络逐波段输入模型层次较深的问题。它能够更多的考虑到高光谱图像的高维度性，保留相邻光谱波段之间的上下文信息。
11.cn111914922a，一种基于局部卷积和空洞卷积的高光谱图像分类方法，首先对原始高光谱遥感影像进行pca预处理进行降维；接着，通过局部卷积和空洞卷积的融合运算，提取丰富的空间光谱信息；然后，将通过局部卷积通道和空洞卷积通道汇合后的数据，进行标准卷积、平均池、退出和批量规范化；最后，将不同的卷积层收集到残差融合网络中，最后输入到softmax层进行分类。本发明不仅提取细节的高光谱局部信息，而且通过扩展感知场来提取丰富的高光谱空间信息。
12.技术方面：cn111914922a专利使用的技术是采用局部卷积和空洞卷积提取高光谱图像的空间光谱信息，之后将不同卷积层通过残差融合网络输入到softmax层进行分类，是一种基于不同方式的卷积进行空间光谱特征提取的方法模型。该方法模型基于局部信息和全局空间信息的提取进行分类，局部卷积相比于标准卷积参数较多，且模型调优过程需要大量的训练标记数据来微调训练参量。本发明基于二维卷积和lstm结构分别提取空间特征和光谱特征，之后使用特征融合方法得到联合空谱特征，提高了高光谱图像的特征利用率，避免了由于高光谱图像训练标记样本有限对分类性能造成的局限性。


技术实现要素：

13.本发明旨在解决以上现有技术的问题。提出了一种基于二维卷积和lstm的高光谱图像分类方法及系统。本发明的技术方案如下：
14.一种基于二维卷积和lstm的高光谱图像分类方法，其包括以下步骤：
15.对高光谱图像进行数据预处理，使用具有四层结构的二维卷积网络进行空间特征提取，该四层结构为：两个二维卷积层，卷积核尺寸分别为3
×
3、5
×
5，两个最大池化层，尺寸为2
×
2，并且在每个卷积层之后使用最大池化层，得到空间特征；
16.使用基于二维卷积网络和lstm混合用于光谱特征提取，用于获取光谱波段之间的上下文信息，得到光谱特征；
17.使用特征融合方法将空间特征和光谱特征进行有效结合，通过flatten层得到综合特征信息；使用了relu和dropout避免冗余；最后，将所得特征输入到softmax分类器层中，得到最终预测结果。
18.进一步的，所述对高光谱图像进行数据预处理，具体包括：
19.假设高光谱图像的光谱维度为p即波段数目，图像的高度和宽度分别是h和k，则每幅图像包含有h
×
k个像素；高光谱图像则可以表示为尺寸大小h
×k×
p的三维数据立方体；首先对高光谱遥感图像数据进行主成分分析，并将其切分成三维数据块的形式；将得到的数据进行划分，分为训练样本集和测试样本集。
20.进一步的，所述二维卷积网络利用高光谱图像中的局部空间一致性，从而共享权重，在二维卷积神经网络中，第i层第j个特征图中位置为(x,y)的神经元的连接值计算公式如下所示：
[0021][0022]
式中，q(
·
)是relu激活函数，si和ti是卷积核空间维度尺寸的高和宽，m是当前第j个特征图到第i-1层的特征图的连接索引，表示与第m个特征图中的位置为(s,t)的连接值，是i-1层第m个特征图在位置为(x+s,y+t)的值。进一步的，所述使用基于二维卷积网络和lstm混合用于光谱特征提取，具体包括：
[0023]
在光谱特征提取分支，首先使用具有两层二维卷积网络的结构进行特征提取，在该结构中使用的二维卷积核分别为3
×
3、5
×
5，相对应的滤波器的数量是128、64；之后采用timedistributed(包装层)将经过以上两层二维卷积所得特征处理后输入到lstm模型中进行光谱特征提取。在该分支中，使用二维卷积和lstm结合的网络结构改善了传统卷积网络提取光谱信息中的梯度消失现象，且避免了传统lstm网络逐波段输入模型层次较深的问题。它能够更多的考虑到高光谱图像的高维度性，关注相邻光谱波段之间的上下文信息。
[0024]
进一步的，所述lstm网络结构主要包含以下：
[0025]
遗忘门，它能产生一个范围在0到1之间的概率值(0表示完全丢弃，1表示完全通过)，进而控制前一步记忆单元中的信息r
m-1
有多大程度被遗忘掉；
[0026]
输入门：它与tanh函数共同控制当前单元的新信息以多大程度更新到记忆单元，即哪些新信息能够加入到记忆单元中，输入门能够为产生一系列0-1之间的概率值，由此来控制新信息的加入；
[0027]
输出门：它产生相应的0-1之间的概率值用来控制记忆单元被过滤的程度，控制当前的输出有多大程度上取决于当前的记忆单元信息tanh(cm)。
[0028]
进一步的，所述特征融合方法可以表示如下：
[0029]
i＝f([f(c1,c2)],[f(c3)])
[0030]
式中，i代表的是该方法模型的输出特征向量，c1，c2代表的是空间分支中全连接层输出向量,c3代表的是光谱分支中的全连接层输出向量，f(x)代表的是add函数，f(x)代表的是concat函数。
[0031]
进一步的，假设训练样本集为x，则该样本x属于类别l的概率可以表示为p(y＝l|x)
[0032][0033]
其中，θ表示该模型的参数，y(i)表示样本x(i)的预测标签。
[0034]
一种采用任一项所述方法的二维卷积和lstm的高光谱图像分类系统，其包括：
[0035]
预处理模块：用于对高光谱图像进行数据预处理；
[0036]
空间特征提取模块：用于使用具有四层结构的二维卷积网络进行空间特征提取，该四层结构为：两个二维卷积层，卷积核尺寸分别为3
×
3、5
×
5，两个最大池化层，尺寸为2
×
2，并且在每个卷积层之后使用最大池化层，得到空间特征；
[0037]
光谱特征提取模块：使用基于二维卷积网络和lstm混合用于光谱特征提取，用于获取光谱波段之间的上下文信息，得到光谱特征；
[0038]
融合模块：用于使用特征融合方法将空间特征和光谱特征进行有效结合，通过flatten层得到综合特征信息；使用了relu和dropout避免冗余；
[0039]
预测分类模块：用于将所得特征输入到softmax分类器层中，得到最终预测结果。
[0040]
本发明的优点及有益效果如下：
[0041]
卷积神经网络作为深度学习的一个典型算法，它具有能够从图像中提取不同层次特征的能力，这是传统网络无法做到的。卷积神经网络能够利用高光谱图像中的局部空间一致性，从而使它们能够共享权重，进而减少参数量。二维卷积神经网络相比于三维卷积神经网络参数量较少，过拟合的风险较低，二维卷积神经网络对高光谱图像的空间特征提取具有良好的性能。
[0042]
在光谱特征提取分支，但是由于高光谱图像具有波段较多，卷积神经网络在提取光谱特征上具有局限性，其很大可能会出现梯度消失，进而影响模型的分类性能。因此，在二维卷积提取特征的基础上，使用lstm进行光谱特征提取。lstm引入了记忆单元和门结构，进而实现了长期记忆功能，更多的提取到波段之间的上下文信息。
[0043]
本发明结合卷积神经网络和lstm网络结构提取更多的特征用于高光谱图像分类，由于高光谱图像往往缺乏空间结构特征，因此本发明中使用二维卷积网络作为空间特征提取分支，步骤4进行了介绍。二维卷积神经网络相对于三维卷积网络而言参数较少，大大提高了模型的训练性能。同时，考虑到高光谱图像光谱信息丰富，使用逐波段输入到lstm网络模型具有局限性，本发明使用了基于二维卷积和lstm结合的方法进行提取光谱信息，步骤5、6中进行了介绍。经过两层二维卷积提取信息的基础上使用lstm结构，减少了网络层次，且利用lstm进一步保留了相邻光谱之间的上下文特征信息。
[0044]
在传统的卷积神经网络中，忽略了各层之间的互补和强相关的空间和光谱特征，这可能导致在卷积和池化过程中大量的信息特征丢失。因此本发明的步骤7中将浅层特征和深层特征进行结合，减少池化过程中特征信息丢失的现象。同时通过dropout层减少信息冗余，得到最后输入到分类器中的特征信息。
附图说明
[0045]
图1是本发明提供优选实施例的模型结构图，即一种基于二维卷积和lstm的高光谱图像分类模型图；
[0046]
图2给出了indian pines数据光谱曲线图；
[0047]
图3是lstm结构图；
[0048]
图4是本发明提出的一种基于二维卷积和lstm的高光谱图像分类技术路线图。
具体实施方式
[0049]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。
[0050]
本发明解决上述技术问题的技术方案是：
[0051]
参见图4，本发明的具体步骤为：
[0052]
(1)下载并准备实验所需要使用的高光谱数据集(公开数据集)。
[0053]
(2)首先对高光谱遥感图像数据进行数据预处理，在indian pines数据集中通过主成分分析方法选取了30个主成分，在pavia university数据集中选取了15个主成分。将高光谱图像表示为尺寸大小h
×k×
p的三维数据立方体。indian pines数据集中使用数据立方体尺寸为25
×
25
×
30，pavia university数据集中使用数据立方体尺寸为25
×
25
×
15。
[0054]
(3)按照一定比例划分实验数据集，分为训练集和测试集，训练集占比为20％，测试集占比为80％。
[0055]
(4)使用具有四层结构的二维卷积神经网络对输入数据(训练样本集)进行空间特征提取，它包含两层卷积、两层最大池化。
[0056]
进一步的，卷积神经网络能够利用高光谱图像中的局部空间一致性，从而使它们能够共享权重，进而减少参数量，且二维卷积神经网络对高光谱图像的空间特征提取具有良好的性能。在二维卷积神经网络中，第i层第j个特征图中位置为(x,y)的神经元的连接值计算公式如下所示：
[0057][0058]
式中，q(
·
)是relu激活函数，si和ti是卷积核空间维度尺寸的高和宽，m是当前(第j个)特征图到第i-1层的特征图的连接索引，表示与第m个特征图中的位置为(s,t)的连接值，是i-1层第m个特征图在位置为(x+s,y+t)的值。
[0059]
(5)在光谱特征提取分支，首先使用具有两层二维卷积网络的结构进行特征提取。
[0060]
进一步的，在该结构中使用的二维卷积核分别为(3
×
3)、(5
×
5)，相对应的滤波器的数量是128、64。之后采用timedistributed层将所得特征处理后输入到lstm模型中。
[0061]
(6)在步骤(5)二维卷积网络提取特征的基础上，将得到的特征通过timedistributed操作将其输入到lstm结构进行光谱特征提取。
[0062]
进一步的，lstm网络通过门结构确定信息是否应该保留、哪些信息需要被遗忘，以及多大程度的遗忘等，使得该网络结构中的记忆单元包含有整个状态的信息，即实现长期记忆功能。如图3所示，lstm网络结构主要包含以下：
[0063]
遗忘门(forget gate)，它能产生一个范围在0到1之间的概率值(0表示完全丢弃，1表示完全通过)，进而控制前一步记忆单元中的信息r
m-1
有多大程度被遗忘掉。
[0064]fm
＝σ(wf.[r
m-1
,xm]+bf)
[0065]
式中，fm是遗忘门的输出，σ是sigmoid函数，wf是权重矩阵，r
m-1
是前一单元的输出，
xm是当前单元的输入，[r
m-1
,xm]是该遗忘门到记忆单元中的输入，bf是偏置值。
[0066]
输入门(input gate)：它与tanh函数共同控制当前单元的新信息以多大程度更新到记忆单元，即哪些新信息能够加入到记忆单元中。输入门能够为产生一系列0-1之间的概率值，由此来控制新信息的加入。
[0067]im
＝σ(wi.[r
m-1
,xm]+bi)
[0068][0069]
式中，im是输入门的输出，wi,wc是权重矩阵，是由tanh函数产生的一个候选向量，即新加入的信息，bi，bc是偏置值。其中tanh函数的计算公式如下所示。
[0070][0071]
输出门(output gate)：它产生相应的0-1之间的概率值用来控制记忆单元被过滤的程度，控制当前的输出有多大程度上取决于当前的记忆单元信息tanh(cm)。
[0072]
om＝σ(wo.[r
m-1
,xm]+bo)
[0073]rm
＝om*tanh(cm)
[0074]
式中，om是输出门的输出，wo是权重矩阵，rm是当前记忆单元的输出，tanh(cm)当前记忆单元的全部信息，bo是偏置值。
[0075]
(7)将步骤(4)得到的空间特征和步骤(5)、(6)得到的光谱特征使用多尺度特征融合方法进行结合。
[0076]
进一步的，使用的特征融合方法可以表示如下：
[0077]
i＝f([f(c1,c2)],[f(c3)])
[0078]
式中，i代表的是该方法模型的输出特征向量，c1，c2代表的是空间分支中全连接层输出向量,c3代表的是光谱分支中的全连接层输出向量，f(x)代表的是add函数，f(x)代表的是concat函数。
[0079]
(8)将结合后的特征输入到dropout层，丢弃部分特征信息，尽可能减少提取特征冗余。
[0080]
(9)将最终特征输入到softmax分类器层中，进而对输入的训练样本输出预测结果。
[0081]
进一步的，假设训练样本集为x，则该样本x属于类别l的概率可以表示为p(y＝l|x)
[0082][0083]
其中，θ表示该模型的参数，y(i)表示样本x(i)的预测标签。
[0084]
(10)通过最小化损失函数不断优化由步骤(2)-(9)构建的模型结构。
[0085]
(11)使用步骤(10)优化的模型对高光谱图像不同数据集进行分类，输出分类效果图。
[0086]
进一步的，将该方法模型在indian pines数据集、pavia university数据集上进行实验验证，实验表明本发明提出的方法总体分类精度达到了98％左右。
[0087]
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
[0088]
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
[0089]
以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。