一种基于空谱双注意力分支的高光谱波段选择方法

本发明涉及高光谱波段选择，特别涉及一种基于空谱双注意力分支的高光谱波段选择方法。

背景技术：

1、高光谱成像技术是基于非常多窄波段的影像数据技术，它将成像技术与光谱技术有机结合，探测目标的二维几何空间及一维光谱信息，获取高光谱分辨率的连续、窄波段的图像数据。由于高光谱的成像特性和蕴含的丰富空间、光谱信息，其能够获得近似连续的地物信息，在遥感探测领域有着突出的应用。而随着近些年来高光谱成像技术的快速发展，它在越来越多的民用领域得到广泛的应用，如食品安全、医学诊断、航天领域等。但是高光谱的成像机制决定了其会产生巨大的数据量，异常庞大的数据量给数据的计算、传输、处理和存储造成了极大的困难，由此产生的高计算成本亦使得快速机载处理异常困难。此外，过多的光谱波段中包含了噪声和冗余信息，在一定程度上影响了图像处理的效果，且高维特征会带来“休斯现象”，即在固定少量训练样本的情况下，随着高光谱数据维数的增加高光谱图像的分类精度反而降低。因此，在对高光谱图像进行处理前，对其进行降维处理就非常重要。

2、高光谱降维主要有特征提取和特征选择两种hsi(hyperspectral image，高光谱图像)降维方法。特征提取通过线性或非线性变换将光谱数据从原始高维空间映射到低维空间。代表性方法包括正交子空间投影(osp,orthogonal subspace projection)、主成分分析(pca,principal component analysis)、线性判别分析(lda,linear discriminantanalysis)、局部fisher判别分析(lfda,local fisher discriminant analysis,fisher为一种线性判别函数，可使用输入数据集中的属性值建立一个线性函数，用于将对象分类到某一类中，它最初由英国数学家罗伯特费舍尔提出)、超图判别分析等。然而，由于特征维度的变换，特征提取破坏了原始hsi的物理信息。特征选择又称为波段选择，它从原始数据中选择最具代表性的波段子集来表示整个光谱信息。与特征提取相比，波段选择更好地保留了原始hsi的物理意义，也使得结果更具解释性，有利于后续对hsi的处理。

3、波段选择方法主要可以分为滤波器、包装器和嵌入式三类。滤波方法利用输入数据中包含的信息，预先定义评估标准来衡量光谱波段的质量。滤波器的广泛性质使其能适用于所有情况，具有很好的泛化能力，但通常得到的分类结果要比其他方法差。peng等人提出了最小冗余最大相关性(mrmr,max-relevance and min-redundancy)方法，以最大化单个特征和目标类之间的相关性，并最小化特征之间的冗余，从而实现最大相关性标准。包装器方法根据候选波段子集在分类器中的预测准确性来评估其性能。包装方法的分类性能通常比滤波法更好。但由于搜索和选择过程会根据诱导器的特定特性进行调整，包装法往往只在某些特定任务或特定系统中表现较好。此外，每个候选波段子集都需要在分类器上进行训练，这使得包装法需要耗费大量的时间。在嵌入式方法中，将波段选择内置于分类器中，当分类器训练完成时即可获得最佳波段子集。通常而言，嵌入式方法比包装方法更高效，比滤波法的分类性能好。

4、上述方法在高光谱波段选择方面仍存在许多问题，需要解决。针对高光谱图像数据量庞大、计算和储存成本高、在高光谱图像处理过程中可能会出现休斯现象等问题，发明了一种基于空谱双注意力分支的高光谱波段选择方法对高光谱图像进行降维处理。

技术实现思路

1、本发明提供了一种基于空谱双注意力分支的高光谱波段选择方法，其目的是为了解决背景技术中高光谱图像数据量庞大、计算和储存成本高、在高光谱图像处理过程中可能会出现的休斯现象的技术问题。

2、为了达到上述目的，本发明提供的一种基于空谱双注意力分支的高光谱波段选择方法，包括如下步骤：

3、步骤s1、对高光谱图像数据集进行预处理，构建无标签的高光谱图像训练样本子集；

4、步骤s2、构建空谱双注意力分支网络，将步骤s1中所述无标签的高光谱图像训练样本子集打乱顺序并输入到空谱双注意力分支网络中，融合空间注意力特征图和光谱注意力特征图得到空谱注意力特征图；

5、步骤s3、构建重建网络模型，利用对波段重新加权后的空谱注意力特征图，重建出高光谱图像；

6、步骤s4、通过降低重建的高光谱图像和原始高光谱图像之间的误差，来优化训练步骤s2中所述的空谱双注意力分支网络，得到优化训练后的空谱双注意力分支网络；

7、步骤s5、构建复合波段子集选择指标，利用步骤s4中所述的优化训练后的空谱双注意力分支网络，输入步骤s3中所述重建的高光谱图像，得到空谱注意力特征图，计算重新加权后各个波段的指标分数并据此进行排序，选择排名靠前的波段作为波段子集；

8、步骤s6、对步骤s5中的波段子集的性能进行测试。

9、优选地，所述步骤s1具体包含如下步骤：

10、对高光谱图像数据集进行预处理，构建无标签的高光谱图像训练样本子集

11、步骤s11、获得高光谱图像数据集x∈rh×w×b，其中h为高光谱图像的高度，w为高光谱图像的宽度，b为高光谱图像的波段数，h、w为空间维度，b为光谱维度；

12、步骤s12、对高光谱图像数据集中的高光谱图像进行预处理，在原始高光谱图像中以像素为中心提取大小为s×s的邻近区域，获得无标签的高光谱图像训练样本子集；

13、即其中xi为无标签的高光谱图像训练样本子集中的第i个图像，h为原始高光谱图像的高度，w为原始高光谱图像的宽度，s×s为样本子集的空间大小，b为原始高光谱图像的波段数。

14、优选地，所述步骤s2具体包含如下步骤：

15、步骤s21、构建空间注意力分支网络，将无标签的高光谱图像训练样本子集输入到空间注意力分支网络中，得到空间注意力特征图mspatial；

16、步骤s22、构建光谱注意力分支网络，将无标签的高光谱图像训练样本子集输入到光谱注意力分支网络中，得到光谱注意力特征图mspectral；

17、步骤s23、将步骤s21中通过空间注意力分支网络提取得到的高光谱图像的空间特征mspatial，和步骤s22中通过光谱注意力分支网络提取得到的高光谱图像的光谱注意力特征图mspectral进行融合，得到空谱注意力特征图mspatial-spectral。

18、优选地，所述步骤s21具体包含如下步骤：

19、步骤s211、构建空间注意力分支网络；

20、空间注意力分支网络包括依次连接的3d卷积层，聚合模块osa(one-shotaggregation,只聚集一次)，3d反卷积层和位置注意力模块；所述聚合模块osa包括多个归一化层(batch normalization层，简称为bn层)、激活函数及3d卷积层；

21、通过空间注意力分支网络提取得到空间注意力特征图mspatial表示为：

22、mspatial＝ep(xi；θp)＝fposition(deconv11(osa(conv11(xi00))

23、其中ep(·)是嵌入函数，xi是输入，θp是可训练参数，conv11(·)是卷积核为1×1×b的3d卷积层，osa(·)代表聚合模块osa，deconv11是3d反卷积层，fposition(·)代表位置注意力模块；

24、步骤s212、将无标签的高光谱图像训练样本子集输入到空间注意力分支网络中，得到空间注意力特征图mspatial；具体包括如下步骤：

25、步骤s2121、用3d卷积层初步提取高光谱图像的空间特征：

26、用一层3d卷积层对无标签的高光谱图像训练样本子集进行3d卷积操作，将光谱波段压缩到一维，即初步提取高光谱图像的空间特征；3d卷积层具体表示为：

27、x′＝w·x+b

28、其中，x是3d卷积层的输入，w是3d卷积层卷积核权重，b是3d卷积层卷积核的偏差；

29、步骤s2122、构建聚合模块osa的卷积序列：

30、构建包括3d卷积层、归一化层和relu激活函数的卷积序列，卷积序列表示为：

31、

32、其中，xl是第l个卷积序列的输出，xl-1是第l个卷积序列的输入，wl、bl是第l个卷积序列中3d卷积层的权重和偏差，是归一化操作，δ是relu激活函数；归一化层具体为：

33、

34、其中，x′为归一化成的输入，bn为归一化操作，μ和σ分别是经过3d卷积操作的特征x′的期望和方差，γ和β是网络训练中可学习的参数，xbn′为归一化层的输出；

35、relu激活函数层具体为：

36、xrelu′＝relu(xbn′)＝max(0,xbn′)

37、其中，relu(xbn′)为对经过归一化层获得的结果通过relu激活函数层，具体为max(0,xbn′)，即为取0与xbn′之间的最大值；

38、步骤s2123、构建聚合模块osa，通过聚合模块osa进一步提取得到高光谱图像的空间特征xosa：

39、依次连接5个卷积序列以构建聚合模块osa，通过跳跃连接的方式，将5个卷积序列的输出在通道维度串联起来，将步骤s2121中第一层3d卷积层初步提取的高光谱图像的空间特征输入聚合模块osa，充分提取得到聚合模块osa的高光谱图像的空间特征xosa；

40、通过聚合模块osa提取得到高光谱图像的空间特征xosa具体表示为：

41、xosa＝concatenate[h(x0),h(x1),…,h(xl-1)]

42、其中，h是包含3d卷积层、归一化层和relu(rectified linear unit，线性整流函数)激活函数层的卷积序列操作，x0,x1,…,xl-1分别是聚合模块osa中各个卷积序列的输入，concatenate是将特征在通道维度串联起来的操作；

43、步骤s2124、构建3d反卷积层，利用3d反卷积层操作获取高光谱图像的深层空间特征xosa′：

44、对经聚合模块osa提取的高光谱图像的空间特征xosa进行3d反卷积操作，增强其深层特征；

45、通过3d反卷积层提取得到高光谱图像的深层空间特征xosa′具体表示为：

46、xosa′＝ctxosa

47、其中，ct是反卷积层卷积核的转置卷积矩阵；

48、步骤s2125、构建位置注意力模块，获取空间注意力特征图mspatial：

49、将经3d反卷积层提取的高光谱图像的深层空间特征xosa′输入位置注意力模块，在原始输入和其权重间创建交互，对高光谱图像中不同空间位置的权重进行调整，以增强空间特征的区分性；

50、通过位置注意力模块获取空间注意力特征图mspatial具体表示为：

51、

52、其中，ep是位置注意力操作，θp是位置注意力中涉及的可训练参数，标量α是对高光谱图像不同空间位置的权重调整参数，s×s是样本子集中每个图像的空间尺寸，xosa,j′是位置注意力的输入的第j个空间特征，aji表示第i个空间特征对第j个空间特征的位置影响，dj是输入通过卷积层后形成的新的特征映射，特征维度由rs×s×b调整为rv×b((v＝s×s))；

53、空间特征图aji的获取过程为：将输入xosa′∈rs×s×b通过两个卷积层分别得到新特征图然后维度调整为rv×b(v＝s×s)后进行矩阵乘法操作，再用softmax层计算得到，具体表示为：

54、

55、空间注意力特征图mspatial的获取过程为：将输入xosa′∈rs×s×b通过一个卷积层得到新特征图然后维度调整为rv×b(v＝s×s)，将aji和进行包括矩阵乘法的操作后，得到最终的空间注意力特征图mspatial。

56、优选地，所述步骤s22具体包含如下步骤：

57、步骤s221、构建光谱注意力分支网络；

58、光谱注意力分支网络包括依次连接的3d卷积层，聚合模块osa，3d反卷积层和通道自注意力模块；所述聚合模块osa包括多个归一化层(batch normalization层，简称为bn层)、激活函数及3d卷积层；

59、通过光谱注意力分支网络提取得到光谱注意力特征图mspectral表示为：

60、mspectral＝ec(xi；θc)＝fchannel(deconv21(osa(conv21(xi))))

61、其中ec(·)是嵌入函数，xi是输入，θc是可训练参数，conv21(·)是卷积核为1×1×7的3d卷积层，osa(·)代表聚合模块osa，deconv21是3d反卷积层，fchannel(·)代表通道注意力模块；

62、步骤s222、将无标签的高光谱图像训练样本子集输入到光谱注意力分支网络中，得到光谱注意力特征图mspectral；具体包括如下步骤：

63、步骤s2221、用3d卷积层初步提取高光谱图像的光谱特征：

64、用一层3d卷积层对无标签的高光谱图像训练样本子集进行3d卷积操作，初步提取高光谱图像的光谱特征；3d卷积层具体表示为：

65、x′＝w·x+b

66、其中，x是3d卷积层的输入，w是3d卷积层卷积核权重，b是3d卷积层卷积核的偏差；

67、步骤s2222、构建聚合模块osa的卷积序列；

68、构建包括3d卷积层、归一化层和relu激活函数的卷积序列，卷积序列表示为：

69、

70、其中，xl是第l个卷积序列的输出，xl-1是第l个卷积序列的输入，wl、bl是第l个卷积序列中3d卷积层的权重和偏差，是归一化操作，δ是relu激活函数；归一化层具体为：

71、

72、其中，x′是归一化层的输入，bn层为归一化操作，μ和σ分别是经过3d卷积操作的特征x′的期望和方差，γ和β是网络训练中可学习的参数，xbn′是归一化层的输出；

73、relu激活函数层具体为：

74、xrelu′＝relu(xbn′)＝max(0,xbn′)

75、其中，relu(xbn′)为对经过归一化层获得的结果通过relu激活函数层，具体为max(0,xbn′)，即为取0与xbn′之间的最大值；

76、步骤s2223、构建聚合模块osa，通过聚合模块osa进一步提取得到高光谱图像的光谱特征xosa：

77、依次连接5个卷积序列以构建聚合模块osa，通过跳跃连接的方式将5个卷积序列的输出在通道维度串联起来，将步骤s2221中第一层3d卷积层初步提取的高光谱图像的光谱特征输入聚合模块osa，充分提取得到聚合模块osa的高光谱图像的光谱特征xosa；

78、通过聚合模块osa提取的高光谱图像的光谱特征xosa具体可表示为：

79、xosa＝concatenate[h(x0),h(x1),…,h(xl-1)]

80、其中，h是包含3d卷积层、归一化层和relu激活函数层的卷积序列操作，x0,x1,…,xl-1分别是聚合模块osa中各个卷积序列的输入，concatenate是将特征在通道维度串联起来的操作；

81、步骤s2224、构建3d反卷积层，利用3d反卷积层操作获取高光谱图像的深层光谱特征xosa′；

82、对经聚合模块osa提取的高光谱图像的光谱特征xosa进行3d反卷积操作，以增强其深层光谱特征；

83、通过3d反卷积层提取得到高光谱图像的深层光谱特征xosa′具体表示为：

84、xosa′＝ctxosa

85、其中，ct是反卷积层卷积核的转置卷积矩阵；

86、步骤s2225、构建通道注意力模块，获取通道注意力特征图mspectral；

87、将经3d反卷积层提取的高光谱图像的光谱特征xosa′输入通道注意力模块，在原始输入和其权重间创建交互，对高光谱图像中不同光谱波段的权重进行调整，来细化光谱特征，

88、通过通道注意力，模块获取光谱注意力特征图mspectral具体表示为：

89、

90、其中，ec是通道注意力操作，θc是通道注意力中涉及的可训练参数，标量β是对高光谱图像不同光谱波段权重的调整参数，b是样本子集中每个图像的光谱维度(波段数)，xosa,j′是通道注意力的输入的第j个通道，sji表示第i个通道对第j个通道的影响，dj是输入通过卷积层后形成的新的特征映射图；

91、光谱特征图sji的获取过程为：将输入xosa′∈rs×s×b通过两个卷积层分别得到新的特征图然后维度调整为rv×b(v＝s×s)后进行矩阵乘法操作，再用softmax层计算得到，具体表示为：

92、

93、光谱注意力特征图mspectral的获取过程为：将输入xosa′∈rs×s×b通过一个卷积层得到新特征图然后维度调整为rv×b(v＝s×s)，将sji和进行包括矩阵乘法的操作后，得到最终的光谱注意力特征图mspectral。

94、优选地，所述步骤s23具体为：

95、将空间注意力特征图mspatial和光谱注意力特征图mspectral进行融合，得到空谱注意力特征图mspatial-spectral；具体为：

96、

97、其中是像素级的融合操作。

98、优选地，所述步骤s3具体包含如下步骤：

99、构建重建网络模型，利用对波段重新加权后的空谱注意力特征图，重建出高光谱图像；

100、步骤s31、构建重建网络模型；

101、重建网络模型包括依次连接的两个3d卷积层、一个3d最大池化层和两个3d反卷积层；每个3d卷积层和3d反卷积层后都紧跟着bn层和激活函数，且卷积核、反卷积核大小均为3×3×1，步长为1；

102、步骤s32、将空谱注意力特征图mspatial-spectral输入到重建网络模型中，使用重建网络模型重建出高光谱图像

103、优选地，所述步骤s4具体包含如下步骤：

104、步骤s41、构建空谱双注意力分支网络的损失函数，将重建的高光谱图像和原始高光谱图像之间的均方误差作为损失函数；具体为：

105、

106、其中，n是训练样本数，xi为原始高光谱图像，为重建后的高光谱图像；

107、利用步骤s41所述的损失函数，计算原始高光谱图像和重建的高光谱图像的均方误差；步骤s42、使用随机梯度下降法优化训练空谱双注意力分支网络，当模型收敛或达到最大迭代时完成训练。

108、通过随机梯度下降法进行优化，降低原始高光谱图像和重建的高光谱图像之间的均方误差。

109、优选地，所述步骤s5具体包含如下步骤：

110、步骤s51、构建复合波段子集选择指标，指标同时考虑了波段的信息熵和相关性系数，具体为：

111、

112、其中，ic为波段评价指标，ie为归一化后的波段信息熵值，cc为归一化后的波段相关性系数，bi由s×s个像素组成；

113、归一化后的波段信息熵值具体为：

114、

115、

116、其中，i(bi)是高光谱图像第i个波段的信息熵值；ie(bi)是高光谱图像第i个波段归一化后的信息熵值；bi由s×s个像素组成，是第i个波段的高光谱图像；g表示直方图灰度级，p(g)是g在直方图中的概率；

117、归一化后的波段相关性系数具体为：

118、

119、

120、其中，cc(bi)是高光谱图像第i个波段归一化后的波段相关性系数；c(bi)是高光谱图像第i个波段的波段相关性系数；bi由s×s个像素组成，是第i个波段的高光谱图像；bik是bi的第k个像素值，是第i个波段所有像素的平均值；bj由s×s个像素组成，是第j个波段的高光谱图像；bjk是bj的第k个像素值；是第j个波段所有像素的平均值；

121、步骤s52、利用优化训练后的空谱双注意力分支网络得到空谱注意力特征图，使用复合波段子集选择指标对其计算重新加权后各个波段的指标分数并据此进行排序；

122、步骤s53、选择排名靠前的波段作为波段子集。

123、优选地，所述步骤s6具体包含如下步骤：

124、步骤s61、使用核函数为高斯核函数rbf(radial basis function，径向基核函数)的svm(support vector machine，支持向量机)作为分类器，根据网格搜索法确定svm的参数；

125、步骤s62、根据步骤s5中的波段子集构建新的训练样本集和测试样本集，输入到svm中进行分类，测试步骤s5中的波段子集的分类性能。

126、本发明提供的一种基于空谱双注意力分支的高光谱波段选择方法具有如下有益效果：

127、1、本发明通过空谱双注意力分支充分捕获高光谱图像的空间特征和光谱特征，具有多感受野表示多种特征的特点，采用自注意力机制优化特征提取，细化特征图，使获得的特征更具区分性；

128、2、本发明结合vovnet(一种基于osa模块，即one-shot-aggregation，一次聚合模块，组成的backbone骨干网络结构，兼具精度和效率，专注gpu计算且能耗搞笑的实时目标检测的新backbone骨干网络)缓解深层网络训练困难、梯度消失与爆炸的问题，能够降低计算成本、提高网络效率，同时采用复合波段子集评价指标，确保选择的波段更具代表性、冗余较少，具有良好的分类精度。