一种基于光谱Transformer网络的高光谱影像变化检测方法

本发明属于遥感信息处理，具体涉及高光谱影像的变化检测，旨在通过双时相高光谱影像检测同一地点的地物在不同时间的变化，可以应用于城市管理、自然灾害监测、森林监控等领域。

背景技术：

1、高光谱影像变化检测旨在通过双时相高光谱影像检测同一地点的地物的变化，然后从定量和定性的角度对变化区域进行分析。高光谱影像具有数百甚至数千的光谱波段，其包含丰富的光谱和细节信息，可用于检测或识别目标。因此，高光谱影像的变化检测逐渐成为变化检测领域的一个热门研究领域。

2、高光谱影像变化检测方法大致可分为传统的变化检测方法和基于深度学习的方法。传统的变化检测方法主要包括基于代数的方法如图像差分、图像比值；基于变换的方法如变化向量分析(cva)、主成分分析(pca)；基于分类的方法以及其他方法马尔可夫模型、模糊聚类等。大多数传统的变化检测方法依赖于人工特征或浅层特征，不能很好地表达地物的特征，导致了变化检测的精度不高。

3、深度学习技术由于能够提取抽象的、层次化和高层次的语义特征，在计算机视觉领域得到了广泛的应用。因此，深度学习技术已经被应用到遥感变化检测任务中。许多深度学习结构被用来处理高光谱影像，如特征金字塔网络、siamese网络、unet网络等。然而，这些变化检测方法并没有关注变化区域特征的提取，变化区域特征的有效性对提高检测性能更为重要。基于注意力机制的变化检测方法可以关注感兴趣的变化区域，并通过生成的空间或通道注意力图提取更具代表性的特征。长距离的依赖性已经被证明可以提高检测性能。基于transformer的变化检测方法通过关注空间长距离的依赖关系，捕捉影像的空间结构关系，提取具有判别性的特征。

4、尽管上述基于transformer的变化检测方法已经取得了不错的检测，但是这些方法大多只引入了transformer机制来从空间维度挖掘空间信息的位置依赖性，并没有采用transformer机制来从光谱维度挖掘光谱信息的光谱依赖性，忽略了光谱依赖性对变化检测任务的积极作用。然而，由于高光谱影像中存在大量的光谱波段，高光谱影像的光谱信息对于检测变化更为重要。此外，大多数基于深度学习的变化检测方法只采用差分特征来表达提取的深度特征之间的相关性，并没有从其他角度探索双时高光谱影像之间的相关性，存在特性相关性表达不够全面的问题。

技术实现思路

1、本发明针对上述现有技术的不足，提出基于光谱transformer网络的高光谱影像变化检测方法。基于光谱transformer网络的高光谱影像变化检测网络包括特征提取模块、基于transformer的相关性表达模块和检测模块。特征提取模块使用unet提取双时相高光谱影像的深度特征，并在跳层连接中融合transformer编码器以融合光谱信息。基于transformer的相关性表达模块对已提取深度特征，从差分流和点乘流的两个角度探索其相关性。差分流和点乘流都采用了transformer编码器来融合各波段的光谱信息，以获得光谱特征的相关性。最后，对基于差分流的变化检测结果图、基于点乘流的变化检测结果图和基于级联流的变化检测结果图进行加权融合操作，生成最终变化检测结果图，充分利用学到的特征，从而提高变化检测的准确性和稳健性。

2、所述方法包括以下步骤：一种基于光谱transformer网络的高光谱影像变化检测方法，所述方法包括以下步骤：

3、步骤一：数据分割；

4、步骤二：划分训练集和测试集；

5、步骤三：深度特征提取，将训练集的影像块对输入到unettrans特征提取模块，unettrans特征提取模块由两个组件组成：unet和transformer编码器，其中unet由编码器、解码器和跳层连接组成，它通过连续的上采样和下采样，获得更具代表性的特征，其特性更能表现出抽象和全局信息。对于输入的双时相高光谱影像块对，t1时刻的影像块记为t2时刻的影像块记为c为高光谱影像的波段数，t1经过unet可得到深度特征t2经过unet可得到深度特征transformer编码器由l个相同的子编码器串联组成，每个子编码器都由多头自注意力机制(msa)和多层感知机(mlp)组成，对于输入特征1≤k≤l，h为特征zk-1的高度，w为特征zk-1的宽度，c为高光谱影像波段数，经过msa后可得到z'k经过mlp可获得输出最终通过经过l个子编码器后的最终输出为

6、步骤四：差分特征与点乘特征提取，对从unettrans特征提取模块中提取的特征图ft1和ft2进行逐个像素的减法和乘法运算，获得差异特征和点乘特征。然后，将差值特征送入transformer编码器得到特征将点乘特征送入transformer编码器得到特征挖掘光谱维度上的有效信息；

7、步骤五：生成差分流，特征流和级联流变化检测结果图；

8、步骤六：生成最终的变化检测结果图；

9、步骤七：光谱transformer网络优化；

10、步骤八：测试过程。获取优化后模型，对测试样本进行检测。

11、进一步的步骤一：数据分割包括将高光谱影像数据逐像素通过7×7滑动窗口切分数据集，t1时刻影像切分生成一系列影像块p1,i，其中i＝1,...,n，t2时刻影像切分生成一系列影像块p2,i，其中i＝1,...,n。

12、进一步的每个影像块高用h表示，宽用w表示，其中h值为7，w值为7。

13、进一步的所述步骤三：每个子编码器操作可表示为：

14、z′k＝msa(ln(zk-1))+zk-1  (1)

15、zk＝mlp(ln(z′k))+z′k  (2)

16、其中，ln表示layernorm，msa表示多头自注意力机制，mlp表示多层感知机，自注意力机制(self-attention)的计算公式如下：

17、

18、其中，表示query、表示key、表示value。q，k，v都是从输入中获得的可学习参数，d是信道维度。σ表示激活函数，然后，msa可表示为：

19、msa(q,k,v)＝concat(head1,...,headh)wo  (4)

20、

21、其中，是线性投影矩阵，表示query、表示key、表示value，q，k，v都是从输入中获得的可学习参数，concat为拼接操作，attention为注意力机制，headi表示多头自注意力机制中的第i个头，h是头的数量设置为8。

22、进一步的步骤四：过程如下：

23、

24、

25、其中te代表transformer编码器，α1和α2分别代表差分流和点乘流的权重，该模块的输出fds和经过reshape操作后得到，为差分，为点乘。

26、进一步的设置α1＝10，α2＝1。

27、进一步的步骤五：首先将差分流特征fds和乘法流特征fms分别通过softmax函数来生成差分流的变化图cmds和乘法流的变化图其中，cmds和

28、然后，将差分流特征fds和乘法流特征fms进行特征拼接操作然后输入级联流。将拼接后的特征输入全连接网络，并通过softmax函数来生成拼接特征的变化图可表示为：

29、cmcon＝σ(fc(concat(fds,fms)))  (8)

30、其中，concat(fds，fms)表示特征fds和特征fms的拼接，fc表示完全连接的网络，σ表示softmax函数。

31、进一步的步骤六：生成最终的变化检测结果图包括：对从差分流、乘法流和级联流中检测到的变化图进行加权和汇总，以生成最终变化图dtotal，其可表示为：

32、

33、其中，w1，w2和w3分别代表差分流变化图、乘法流变化图和级联流变化图的权重。

34、进一步的设置w1＝0.4，w2＝0.1，w3＝0.5。

35、进一步的步骤七包括使用的损失函数是一个复合损失函数，主要包括两个项：二进制交叉熵损失和对比损失，总损失可以写成：

36、loss＝λ1lbce+λ2lce  (10)

37、其中，lbce为二进制交叉熵损失，lce为对比损失，λ1和λ2分别是lbce和lce的惩罚参数，λ1＝1，λ2＝0.25；二进制的交叉熵损失是二元分类问题的交叉熵损失，公式如下：

38、

39、其中，n为样本的批数量，yi为标签信息，yi＝0表示不相似，yi＝1表示相似，为预测值；对比损失的数学表达式写如下:

40、

41、其中，y是标签，y＝0表示不相似，y＝1表示相似；d是两个样本的特征的欧氏距离；n为样本的批数量，margin表示阈值，其值为0.5。其中表1表示unettrans特征提取网络中各神经网络的参数。

42、表1 unettrans特征提取网络中各神经网络的参数

43、

44、