一种基于中心关注Transformer模型的高光谱影像分类方法与系统

本发明涉及高光谱影像分类，尤其涉及一种基于中心关注transformer模型的高光谱影像分类方法与系统。

背景技术：

1、高光谱遥感实现了图谱合一，包含丰富的光谱信息和空间信息，在精准农业、军事侦察、地质勘探等领域具有广泛应用。高光谱图像分类是高光谱图像研究的热点，并且随着深度学习的深入探索和应用，transformer模型在高光谱图像分类技术取得到了广泛的应用。然而，自注意力机制计算代价是制约该模型在高光谱图像分类发展的一个重要原因。现有的网络模型和方法并没有充分认识到这一点，使得分类性能无法进一步得到提升。

技术实现思路

1、本发明提供一种基于中心关注transformer模型的高光谱影像分类方法与系统，以克服上述技术问题。

2、一种基于中心关注transformer模型的高光谱影像分类方法，包括，

3、s1、选取高光谱场景图像，以像元为中心以一定窗口尺寸裁剪高光谱场景图像，根据裁剪后的高光谱场景图像制作高光谱立方体，从高光谱立方体中随机选取部分裁剪后的高光谱场景图像作为训练集和验证集，

4、s2、构建transformer模型，所述transformer模型包括一个预处理模块、四个全局自信息计算层和全局平均池化层，所述预处理模块用于将裁剪后的高光谱图像作为输入样本，提取输入样本的特征并降低输入图像的通道数，所述四个全局自信息计算层包括全局自信息计算层1、全局自信息计算层2、全局自信息计算层3和全局自信息计算层4，四个全局自信息计算层的结构相同但通道数逐层降低，任一全局自信息计算层包括中心像元自关注模块、跨通道全局融合模块与前馈网络层，所述中心像元自关注模块用于提取输入样本的空间自相似特征和全局空间信息度量空间，并反馈至前馈网络层，所述跨通道全局融合模块用于计算输入样本的均匀全局通道信息并反馈至前馈网络层，所述前馈网络层用于根据空间自相似特征、全局空间信息度量空间和均匀全局通道信息进行特征提取，

5、s3、根据训练集对transformer模型进行交叉熵分类损失训练，并通过验证集对训练后的transformer模型进行验证，根据验证后的transformer模型对待分类的高光谱影像进行分类。

6、优选地，所述中心像元自关注模块的处理过程为获取输入样本的特征图xf，xf∈rh×w×b，h、w、b分别表示高光谱立方体的高度、宽度和通道数，根据公式(1)、(2)获取三维矩阵k矩阵和v矩阵，

7、v＝convtrans2d(xf)                       (1)

8、k＝convtrans2d(xf)                       (2)

9、抽取三维矩阵k的中心位置坐标(h/2,w/2)处的谱向量作为测量基准向量q∈r1×1×b，将三维矩阵k以二维形式表达，其中k(i,j)∈r1×1×b代表空间坐标(i,j)∈(h,w)处的元素，每个元素代表维度为b的谱向量，记(i,j,u)∈(h,w,b)为三维空间坐标，k(i,j,u)为谱向量内部的某一元素，根据公式(3)对矩阵k中所有元素进行归一化处理，

10、

11、根据公式(4)对测量基准向量q与归一化后的k中相邻谱向量进行向量点积运算得到相似性矩阵d，并根据公式(5)对相似性矩阵d进行激活操作，根据公式(6)对矩阵v与矩阵d进行元素积以获得输出xout，且xout∈rh×w×b，

12、d(i,j)＝ki,j×q                           (4)

13、

14、

15、根据公式(7)对特征图xf进行处理后得到局部空间信息，并根据公式(8)将xout与res(xf)进行融合，以获得中心像元自关注模块的最终输出

16、res(xf)＝bn(convtrans2d(xf))         (7)

17、

18、其中，res(·)表示残差映射单元，残差映射单元包括3x3的转置卷积以及batchnorm，drop(·)操作用于随机丢弃部分冗余信息获得最终输出

19、优选地，所述跨通道全局融合模块的处理过程为根据公式(9)对输入样本的原始特征xc进行全局平均池化操作和归一化操作得到特征矩阵xqkv，根据公式(10)获取特征矩阵xqkv中的局部通道信息vc，

20、xqkv＝ln(gap(xc))          (9)

21、vc＝convtrans1d(xqkv)        (10)

22、其中，xc为原始特征，xc∈rb×h×w×c，b为批次数据的大小，c、h、w分别为特征的通道数目、高度与宽度，其中xqkv∈rb×c，

23、根据公式(11)计算规范化向量kvec，vectornorm操作为向量归一化操作，该操作计算过程由公式(12)给出，记(i,j)∈(b,c)为二维空间坐标，其中向量kvec上的每个元素由每行元素的平方和再根号运算得到，

24、kvec＝vectornorm(k)         (11)

25、

26、根据公式(13)计算相似性矩阵r，其中r∈rb×b，qc与kc为xqkv矩阵的拷贝，利用规范化向量kvec，基于行对应元素除法，对相似度矩阵r进行处理，即假定(u,v)∈(b,b)为二维空间坐标，则r中任一元素r(u,v)计算为公式(14)，

27、r＝qc×kc             (13)

28、

29、r*＝softmax(r)＝softmax(r)vc          (15)

30、利用公式(15)相似性矩阵r，通过softmax激活再与v矩阵进行矩阵乘法即可得到最终的通道自注意力矩阵r*，且r*∈rb×c，通道自注意力矩阵代表了不同样本不同通道上的全局相关信息，即通道上下文注意力信息，

31、xout＝xc+xc⊙r*                (16)

32、将r*和xc进行元素积后再进行残差运算，获得最终的输出xout。

33、优选地，所述前馈网络层包含三层网络，每层网络均由二维的layernorm，gelu以及带有convtrans2d操作所构成，在第二层网络中增加了组卷积convtrans2d*，用于增加学习空间自相似特征的多样性，

34、feed(·)＝layernorm(gelu(convtrans2d(·)))          (17)

35、假设输入特征为xr，xr∈rh×w×c，h、w、c为输入特征长度、宽度以及通道数目，将每层网络提取特征的行为记作feed(·)，t∈{1,2,3}，则特征提取公式如下：

36、xt＝feed(xt-1)            (18)

37、xout＝drop(x3+xr)           (19)

38、根据公式(19)执行drop操作后得到最终输出xout。

39、一种基于权利要求1所述分类方法的高光谱影像分类系统，包括图像获取与处理模块、transformer模型构建模块、模型训练与应用模块，

40、所述图像获取与处理模块用于选取高光谱场景图像，以像元为中心以一定窗口尺寸裁剪高光谱场景图像，根据裁剪后的高光谱场景图像制作高光谱立方体，从高光谱立方体中随机选取部分裁剪后的高光谱场景图像作为训练集和验证集，

41、所述transformer模型构建模块用于构建transformer模型，所述transformer模型包括一个预处理模块、四个全局自信息计算层和全局平均池化层，所述预处理模块用于将裁剪后的高光谱图像作为输入样本，提取输入样本的特征并降低输入图像的通道数，所述四个全局自信息计算层包括全局自信息计算层1、全局自信息计算层2、全局自信息计算层3和全局自信息计算层4，四个全局自信息计算层的结构相同但通道数逐层降低，任一全局自信息计算层包括中心像元自关注模块、跨通道全局融合模块与前馈网络层，所述中心像元自关注模块用于提取输入样本的空间自相似特征和全局空间信息度量空间，并反馈至前馈网络层，所述跨通道全局融合模块用于计算输入样本的均匀全局通道信息并反馈至前馈网络层，所述前馈网络层用于根据空间自相似特征、全局空间信息度量空间和均匀全局通道信息进行特征提取，

42、所述模型训练与应用模块用于根据训练集对transformer模型进行交叉熵分类损失训练，并通过验证集对训练后的transformer模型进行验证，根据验证后的transformer模型对待分类的高光谱影像进行分类。

43、本发明提供一种基于中心关注transformer模型的高光谱影像分类方法与系统，通过中心像元自关注模块获取图像的全局空间关联信息，降低了计算的复杂度和计算代价，基于跨通道全局融合模块提取了均质光谱信息，并与空间信息相融合，送至前馈网络层充分训练学习，提高了分类精度，在高光谱图像地表精细分类等方面具有重要的应用价值。