基于类引导注意力机制的高光谱图像分类方法

本发明涉及高光谱遥感图像分类和深度学习，尤其涉及一种基于类引导注意力机制的高光谱图像分类方法。

背景技术：

1、在对地观测技术中，高光谱成像可以捕获几十甚至上百个连续的光谱波段。这种丰富的光谱信息可以被用于挖掘人眼感光范围之外的光谱特征，为后续进行地物分析任务提供了更细致的数据支持。卷积神经网络以邻域图像块的输入形式进行高光谱图像分类，但使用卷积神经网络难以充分的探索高光谱图像的数据分布特性。图卷积网络在非欧数据的处理方面表现出了良好的性能。然而，现有的图卷积网络将邻接矩阵与特征图限制在二维空间，难以从多个维度提取高光谱图像的样本间特征。

2、在高光谱图像分类任务中，图卷积网络可以更有效的捕获样本之间的信息，而卷积神经网络拥有优秀的空谱特征提取能力。为了协同两者的优势，通常在使用图卷积网络时会加入卷积神经网络。然而，这两种网络所得的特征之间存在一定程度的不兼容性，使得大多数混合网络在全连接层才得以将这两种特征进行融合。由于过于依赖这两种网络的独立分类性能，因此无法充分协调这两种网络对不同特征的提取能力。

技术实现思路

1、本发明为解决现有技术中存在的对样本间的特征利用不充分，以及对不同中间特征融合的关注不足的问题，提出了一种基于类引导注意力机制的高光谱图像分类方法，采用类注意力引导机制解决了高光谱遥感图像分类中的样本间的特征提取不充分问题和特征不兼容问题。

2、本发明提出的基于类引导注意力机制的高光谱图像分类方法，具体包括如下步骤：

3、s1：通过主成分分析法对原始高光谱图像进行光谱降维，获得保留b个分量的特征图a；

4、s2：将特征图a进行数据集获取与划分，获得训练集和测试集，对训练集和测试集进行数据扩充和处理，对应获得邻域图像块和图样本；

5、s3：搭建基于类引导注意力机制的高光谱图像分类模型，将训练集的邻域图像块和图样本均输入至高光谱图像分类模型进行特征融合，获得训练集中每个样本的分类结果；

6、s4：根据训练集的分类结果，利用交叉熵函数对高光谱图像分类模型的可学习参数进行优化，获得具有最高精度模型参数的高光谱图像分类模型；

7、s5：将测试集的邻域图像块和图样本均输入至步骤s4获得的高光谱图像分类模型，获得测试集中每个样本的分类结果。

8、优选地，步骤s1具体包括如下步骤：

9、s11：将原始高光谱图像展开为二维矩阵；

10、s12：将二维矩阵通过最大化光谱向量差异的方式进行主成分分析，获得保留b个分量的特征图a。

11、优选地，步骤s2具体包括如下步骤：

12、s21：在所述特征图a中随机选取一部分有标签像素作为训练集，其余有标签像素作为测试集，训练集的有标签像素的总数小于测试集的有标签像素的总数；

13、s22：在训练集和测试集中分别选择尺寸为w*h*b的邻域作为邻域图像块；

14、s23：在训练集和测试集中分别选取目标像素点，以目标像素点为中心，随机选取n个像素点作为随机邻居节点，利用随机邻居节点并通过下式构建图像本的前三个通道的邻接矩阵：

15、

16、

17、

18、其中，r1，r2，r3分别为前第一个通道、前第二个通道和前第三个通道，aij为邻接矩阵中的第i行第j列像素，j＝i或j×i＝0，ci为第i个像素的空间位置，cj为第j个像素的空间位置，vi和vj分别为第i个像素和第j个像素的光谱特征，k为权重，σ为用于控制不同度量方式输出数据的范围；

19、s24：在训练集和测试集中随机选取n个相素点作为固定邻居节点，利用固定邻居节点并通过下式构建后三个通道的邻接矩阵：

20、

21、

22、

23、其中，f1，f2，f3分别为后第一个通道、后第二个通道和后第三个通道；

24、s25：在前三个通道的邻接矩阵和后三个通道的邻接矩阵中均加入单位矩阵，通过下式构建六个通道的包含自身节点信息的总邻接矩阵和度矩阵：

25、

26、

27、其中，i为单位矩阵，p可取r1，r2，r3，f1，f2，f3，分别表示六个不同的通道，表征了包含自身节点信息的总邻接矩阵中第i个节点与第j个节点的关系，为总邻接矩阵对应的度矩阵的对角线元素；

28、s26：根据六个通道的总邻接矩阵和六个通道的节点信号矩阵构建图样本。

29、优选地，依次采用垂直翻转和水平翻转的方式对邻域图像块进行数据扩充。

30、优选地，通过下式对图样本进行数据扩充：

31、(x′i,y′i)＝(xi,yi)+random(r)   (9)；

32、其中，(xi,yi)为原图样本的目标像素点的位置，(x′i,y′i)为新图样本的目标像素点的位置，random(r)为随机生成一组长和宽的范围均在-r到r的二维坐标增量(δx,δy)。

33、优选地，高光谱图像分类模型包括四个级联的多通道卷积网络、卷积神经网络、第一组全连接层、第二组全连接层和第三组全连接层，将邻域图像块和图样本对应输入至卷积神经网络和四个级联的多通道图卷积网络，对应获得特征图q和四组三维特征图，每组三维特征图均包括特征图k和特征图v，将特征图q按通道维分别与四个特征图k进行矩阵乘法运算，获得每个多通道图卷积网络对应的权重值，按照每个多通道图卷积网络对应的权重值将四个特征图v依次进行点对点相加融合，获得融合特征图b，将特征图q、融合特征图b和四个特征图v均展开成向量，并分别通过第一组全连接层、第二组全连接层和第三组全连接层进行加权融合，其中，四个特征图v共享第三组全连接层的所有参数，获得最终的分类结果。

34、优选地，多通道图卷积网络包括四层图卷积层、三层级联的2d卷积层和两层级联的3d卷积层，且每两层图卷积层之间均设有relu激活函数，图样本经relu激活函数进行激活操作后，依次输入至四层图卷积层进行图卷积及相应的激活运算，输出特征图c，特征图c经三层级联的2d卷积层进行补零和转置操作，获得特征图d，特征图d经两层级联的3d卷积层进行补零操作后，输出特征图k和特征图v。

35、优选地，两个级联的多通道图卷积层之间的各个通道的传播公式为：

36、

37、其中，为总邻接矩阵对应的度矩阵，hl为输出特征图的第l层特征，wl为第l层特征的可学习参数权重，bl为第l层特征的偏置，f(·)为激活函数。

38、优选地，融合特征图b的计算公式为：

39、hout＝∑icivi＝∑i(softmax(∑lkilqil))vi(11)；

40、其中，ci和vi分别为第i个多通道图卷积网络的权重和特征图v，kil为第i个多通道图卷积网络的第l个通道的特征图k，qil为与第i个多通道图卷积网络相乘的卷积神经网络的第l个通道的特征图q，hout为融合特征图b，softmax(·)表示权重归一化函数。

41、优选地，交叉熵损失函数的公式为：

42、

43、其中，l为交叉熵损失函数，bs为批处理的尺寸，cn为类别数，y为真实标签，为预测标签。

44、与现有技术相比，本发明能够取得如下有益效果：

45、(1)本发明提出了类引导注意力机制和融合框架(包括第一全连接层、第二全连接层和第三全连接层)，分别实现了中间特征的融合和全连接特征的融合，且充分协调了卷积神经网络和多通道图卷积网络的优势，有效提升了对高光谱图像的分类精度。

46、(2)本发明采用了批处理的训练方式训练高光谱图像分类模型，继而利用训练后的高光谱图像分类模型直接预测新的数据，有效降低了实际应用中的内存成本与计算成本。