基于混合CNN-GCN网络的有限训练样本下的高光谱图像分类方法

本发明涉及高光谱图像分类方法。

背景技术：

1、高光谱图像(hyperspectralimages，hsis)通常具有数百个波段，每个波段包含有关光谱特性的信息[1]。根据hsi反映的材料成分和结构特征，通过对hsi的光谱信息提取，可以更有效地区分感兴趣的对象，具有较强的物质识别能力。目前，hsi已经被广泛应用在农业[2]、林业[3]、城市规划[4]、地质勘探[5]等领域。在这些应用中，高光谱图像分类是一种常见的技术。然而，高光谱混合、光谱变异性和复杂的噪声效应给提取图像鉴别信息带来了困难。此外，标记的hsi样本匮乏。因此，高光谱图像分类依然是高光谱图像领域的一个具有挑战性的课题。

2、近年来，得益于设备的进步和可访问图像数据的扩充，深度学习(deeplearning，dl)在计算机视觉[6]-[12]和自然语言处理[13]-[18]领域得到了突破性进展。dl能够自动提取更抽象、更具区别性的特征，避免了人工工程和对先验知识需求。同样地，dl在高光谱图像分类任务中也十分受欢迎。在高光谱图像分类中，比较流行的dl框架主要包括自动编码器(autoencoders，aes)、卷积神经网络(convolutionalneuralnetworks，cnns)、生成对抗网络(generativeadversarialnetworks，gans)、循环神经网络(recurrentneuralnetworks，rnn)、胶囊网络(capsulenetworks，capsnet)、transformer网络和图卷积网络(graphconvolutionalnetworks，gcns)。chen等人[19]先将hsi采用主成分分析(principalcomponentanalysis，pca)[20]降维，再将设计的堆叠自动编码器用于图像特征的提取。在[21]，hang等人根据相邻频谱波段的序列性，设计了一种级联rnn的高光谱图像分类网络。gan网络主要包括两个主要部分[22]，生成器和鉴别器。其中，生成器通过学习真实图像的分布生成伪图像，鉴别器用来区分真实图像和生成器生成的伪图像。在[23]，odena等人采用gan设计了一种辅助分类器，并用来处理多分类任务。此外，radford等人[24]结合了gan和cnn框架，构建了一种深度卷积gan(deep convolutionalgan，dcgan)，并得到了广泛的应用。

3、值得注意的是，cnn是dl的主流框架之一，出现了很多出色的工作。根据特征提取的特点，可以将这一系列基于cnn的方法分为三类：基于谱特征的方法、基于空间特征的方法和基于谱空间联合的联合方法[25]。在[26]，hu等人采用1-dcnn直接对hsi光谱域进行特征提取，获得了比支持向量机和传统的基于深度学习的方法更为优异的性能。chen等人[27]采用2-dcnn提取图像非线性、判别性和不变性的特征。此外，他们还提出了一种结合正则化的基于3-dcnn的有限元模型，以提取高光谱图像的有效光谱空间特征，提供了具有竞争力的结果。hamida等人[28]将hsi切分为多个3d立方体，并构建3d-cnn提取图像的光谱-空间联合特征。roy等人[29]结合了3-dcnn和2-dcnn，设计了一种混合cnn分类网络。在[29]，yu等人提出了一种反馈注意力的空间谱密集的cnn框架，解决了以往网络的高复杂性、信息冗余和低效描述的问题。然而，随着cnn网络的逐渐加深，网络变得更为复杂。尽管更深的cnn能够获取更高阶语义特征，但也带来了更多的挑战。例如，梯度消失或爆炸[30]、过拟合[31]、计算复杂度[32]和可解释性[33]。为了解决上述问题，zhong等人[34]设计了一种空间光谱残差网络(spectral-spatial residualnetwork，ssrn)，该网络采用残差结构建模，并用来提取图像的空间-光谱特征。虽然上述工作已经具有较好的表现，但网络的训练依赖于足够的标记样本。然而，hsi样本的标记工作耗时耗力[35]。因此，设计小训练样本的分类网络是十分必要的。最近，一些基于小训练样本的分类网络被提出，且分类性能令人比较满意。例如，ma等人[36]提出了一种双分支多注意力机制(double-branch multi-attention，dbma)网络，且验证了该模型在有限训练样本下能够具有较好的变现。在[37]，li等人改进了dbma，设计了一种双分支双注意力机制(double-branch dual-attention,dbda)网络，且验证了注意力机制(attention mechanism)的有效性。此外，roy等人[38]从感受野的角度出发，提出了一种基于注意力的自适应光谱与空间核改进的残差网络(attention-based adaptive spectral–spatial kernel improved residual network,a2s2k-resnet)，且在小训练样本下获得了较好的分类性能。同样地，在小训练样本下，我们也提出了一种反馈膨胀卷积网络(feedback expansion convolution network，fecnet)[39]，且进一步提高了分类精度。

4、最近两年，基于transformer框架的深度学习方法层出不穷。其中，视觉transformer(vision transformer，vit)[40]是计算机视觉领域的开创性工作。在[41]，he等人结合了迁移学习和vit，提出了一种空间光谱transformer(spatial-spectraltransformer，sst)网络，并成功应用于高光谱图像分类任务中。此外，qing等人[42]采用注意力机制和vit建模，有效地捕捉了连续光谱关系。hong等人[43]从光谱序列性角度出发，提出了一种光谱transformer(spectral transformer，sf)网络。为了克服卷积核固定几何结构特性的约束，zhong等人[44]提出了新的光谱-空间transformer网络(spectral-spatial transformer network，sstn)。在[45]，sun等人提出了一种光谱空间特征标记化transformer(spectral-spatial feature tokenization transformer，ssftt)，捕获了丰富的光谱空间特征和高级语义特征。为了解决cnn难以描述长距离的依赖关系，song等人[46]提出了一种瓶颈空间光谱transformer(bottleneck spatial–spectraltransformer，bs2t)网络。尽管基于transformer由于其具有强的长距离依赖关系的表示能力，但分类性能仍然需要进一步提升。

5、相比之下，基于图卷积的深度学习框架并没有cnn和transformer如此受欢迎，但不乏出色的工作。hsi通常包含复杂的地物，且分布不规则。与cnn不同，gcn能够在非欧几里得[47]空间中聚合节点的特征。kipf and welling等人[48]通过图学习理论，提出了图卷积(graph convolution，gconv)的性质。根据图卷积的定义，qin等人[49]提出了一种图卷积分类网络，并用来提取hsi的空间光谱特征。在[50]，mou等人提出了一种非局部gcn。该网络将整个图像数据作为网络的输入，但这不可避免带来大量的计算参数。为了缓解计算量爆炸问题，hong等人[51]提出了新的微型批处理gcn(minibatch gcn，mini gcn)。此外，yang等人[52]采用graphsage限制输入图的大小。为了减少内存消耗，wan等人[53]将超像素应用在gcn结构中，并作为图卷积的图节点。在[54]，liu等人提出了一种双分支半监督分类网络，该网络能够同时提取像素级和超像素级的特征。然而，采用超像素技术对hsi进行分割将会占据大量的内存，这一定程度上限制了它的应用。因此，一种快速的动态图卷积网络和cnn(fast dynamic graph convolutional network and cnn，fdgc)并行网络[55]被提出，缓解了模型高复杂度的问题。然而，标记样本不足依然限制着上述网络的分类性能。另外，基于超像素的空间结构并不能考虑像素的个体特征。与此相反，cnn通过方形窗口滑动，能够提取更多像素级的空间光谱特征。值得注意的是，cnn难以学习长距离的空间结构。

技术实现思路

1、本发明的目的是为了解决现有标记样本不足以及现有图卷积网络并未充分利用临边关系，网络性能受到限制，导致高光谱图像分类准确率低的问题，而提出基于混合cnn-gcn网络的有限训练样本下的高光谱图像分类方法。

2、基于混合cnn-gcn网络的有限训练样本下的高光谱图像分类方法具体过程为：

3、一、建立卷积神经网络与图卷积网络混合的网络模型hcgn；

4、获得训练好的卷积神经网络与图卷积网络混合的网络模型hcgn；

5、二、将待测高光谱图像输入训练好的卷积神经网络与图卷积网络混合的网络模型hcgn，完成对待测高光谱图像的分类。

6、本发明的有益效果为：

7、本发明提出了一种有限样本下混合cnn-gcn网络(hybrid cnn-gcn network，hcgn)用于hsi分类，用于捕捉图像的像素级精细信息和超像素级的长距离结构信息。首先，引入了lda降维技术和超像素分割。接着，提出了一种多尺度图边缘增强模块(multi-scalegraph edge enhanced module，ms-geem)，并通过图的长距离空间关系，获取图的多层次结构特征。其次，提出了一种多尺度交叉融合模块(multi-scale cross fusion module，ms-cfm)用来提取多层次精细特征。最后，将所提取的多层次超像素级特征和多层次像素级特征级联。本发明提出了一种图边缘增强模块，增强了边集的表示能力，并采用多尺度图结构捕获丰富的图多层次特征。本发明设计了一种多尺度交叉融合模块，学习小尺度规则区域，以获取图像像素级的多层次精细特征。本发明提出的有限样本下混合cnn-gcn网络结合了cnn和gcn框架，通过学习小尺度规则区域和大尺度不规则区域的特征，提取了多层次超像素级特征和多层次像素级特征，并在四个常见数据集上进行了广泛的实验定量地验证了在有限样本下所提出的hcgn方法的性能，解决了现有标记样本不足以及现有图卷积网络并未充分利用临边关系，网络性能受到限制，导致高光谱图像分类准确率低的问题。