基于渐进式注意的差异特征增强网络的遥感图像变化检测方法

本发明属于变化检测的方法，涉及计算机视觉和遥感技术两个。

背景技术：

1、在遥感领域，变化检测(cd)是主要的研究课题之一。遥感图像变化检测是一种通过处理多时相遥感影像数据来获取同一地区不同时期地物的空间和时间分布变化情况的技术。随着深度学习的发展，遥感图像的变化检测取得了很大的进展。现代变化检测(cd)使用具备很强的判别能力的深度卷积，已经在实践中取得了成功。尽管如此，高分辨率遥感图像变化检测依然具有挑战性。由于场景中物体的复杂性和多样性，即使是具有相同语义概念的物体，在不同的时间和空间位置也可能表现出不同的光谱特征，这也影响了变化检测的准确性。

2、现有模型的常见做法是利用孪生网络提取双相图片特征，将它们合并到一个深度学习网络中。然后根据处理后的双相图片特征生成差异特征进行分类。在深度学习之前，基于直接分类的方法在cd方面取得了很大的进展，例如变化向量分析在提取像素级特征方面具有强大的功能。随着图像分辨率的快速提高，遥感图像中记录了更多的物体细节，许多工作通过提取更多的判别特征来提高cd性能。然而，这些方法在分析变化区域时仍然存在一些问题。fcn模型在检测新建筑物区域时使用u-net模型。但是，由于fcn模型忽略了空间信息和物体在不同尺度上的变化，使得模型性能较差。snunet专注于处理多尺度特征，以便通过ecam(集成通道注意模块)处理对象的尺度变化。但是，该ecam只考虑了通道注意力，忽略了像素之间的空间关系，导致生成的变化图中检测到了一些具有植被季节性变化的意外区域。

3、空间和时间范围内的上下文建模对于识别高分辨率遥感图像中的兴趣变化至关重要。因此，研究集中在通过添加更多的卷积层、使用扩张卷积和应用注意机制来增大模型的接受场(rf)。这有助于模型获取更多的上下文信息，并提高模型准确性。与单纯基于卷积的方法只能依赖有限的接收场大小不同，基于注意力机制的方法(如通道注意、空间注意和自注意力)在建模全局信息方面更加有效。它可以在全局范围内对图像进行分析和处理，以更好地捕获空间和语义上的关联性，提高模型性能和准确性。现有的大多数方法仍在努力将时空中的远程概念联系起来。这是因为它们要么单独对每个时间图像应用注意力来增强其特征，要么简单地使用注意力在通道或空间维度上重新加权融合的双时间特征，无法捕捉到时空间上的更深的相关性。一些研究通过利用自注意机制模拟时空中任意像素之间的语义关系取得了良好的效果。但是，这些方法的计算效率很低，并且需要高计算复杂性，因为随着像素数量的增加，计算复杂度呈二次增长。

4、此外，guo等人使用带有对比损失的全卷积siamese网络来测量变化区域。zhang等人提出了一种用于cd的深度监督图像融合网络。也有一些研究专注于特定对象cd。例如，liu等人提出了一种双任务约束的深度siamese卷积网络来构建cd。jiang等人提出了一种基于金字塔特征的注意力引导siamese网络来构建cd。lei等人提出了一种用于街景cd的分层配对通道融合网络。上述方法在cd特征学习方面取得了巨大的成功。然而，这些方法的全局表示能力有限，通常只关注变化对象的局部区域。我们发现transformer在提取全局特征方面有很强的特点。因此，与以往的工作不同，我们利用transformer的优点，探索全局信息与差异信息之间的关系，提出了一种新的学习框架，充分利用高分辨率图像的语义信息，实现更具判别性的特征表示。

技术实现思路

1、本发明的目的是为了解决在基于堆叠卷积的遥感图像变化检测方法中，很少考虑双相图像中全局信息和差异信息的关系，忽略了特征交互重要性的问题。并且，随着遥感图像分辨率的提高，高分辨率图像中包含的丰富语义信息没有得到充分利用。

2、本发明为解决上述技术问题采取的技术方案是：

3、s1.构建渐进式注意模块，根据输入双相图像特征得到全局特征与差异特征；

4、s2.利用语义提取器、transformer编码器和解码器提取更深层的上下文特征；

5、s3.构建特征融合模块，根据全局特征指导并增强差异特征；

6、s4.结合s1中的网络和s3中的网络构建基于渐进式注意的差异特征增强网络架构；

7、渐进式注意模块根据双相图像之间的相关性和差异性来挖掘更完整的视觉特征，利用通道级注意力增强全局上下文信息，通过残差提高学习能力，从而提高边界信息的利用率，我们在下面描述详细的操作：

8、给定双相图片特征ft1，c＝32，h＝64，w＝64，通过下列三步生成fc'：

9、fc'＝relu(bn(conv([ft1,ft2])))   (1)

10、其中conv是1个3*3的卷积核，对concatenate后的特征进行降维。

11、bn()指的是归一化处理，relu()是激活函数。

12、由fc'得到池化后的特征fp1：

13、fp1＝gap(fc')+gmp(fc')   (2)

14、其中gap()为全局平均池化函数，gmp()为全局最大池化函数。

15、再另fp通过1个1*1的卷积核及激活函数，再与fc′相乘做残差连接后得到渐进式注意模块的输出fc：

16、fc＝fc′*σ(conv(fp1)+fc′   (3)

17、其中σ()为sigmoid函数。

18、下面为对双相图片做特征减法，并通过渐进式注意模块处理得到fd，步骤和以上相同：

19、fd′＝relu(bn(conv(ft1-ft2)))   (4)

20、fp2＝gap(fd′)+gmp(fd′)   (5)

21、fd＝fd′*σ(conv(fp2)+fd′   (6)

22、该方法将两路输入变为双相图片的求和特征与差异特征，恢复图像有价值但常被忽略的边界信息；通过通道注意力机制提高了相互依赖型，增强了特征表达能力。

23、深层特征提取模块，利用语义提取器、transformer编码器和解码器的长距离特征提取优越性得到更深层的上下文特征，充分利用了高分辨率图像的丰富语义信息。

24、渐进注意模块得到的的求和特征fc和差异特征图像的特征fd被输入到深层特征提取模块中，首先经过语义生成器；同时，fc和fd也被发送到transformer解码器的交叉注意力中，以获得更具全局上下文的特征，语义生成器的输出表示为tc和td，由下式给出：

25、tc＝(ac)tfc   (7)

26、td＝(ad)tfd   (8)

27、其中ac和ad分别是fc，fd通过1个3*3的卷积得到的，(ac)t及(ad)t表示矩阵的转置。

28、通过逐点卷积分别得到tc与td全局标签与差异标签，c＝32，l＝h*w。

29、再将生成的tc和td作为transformer编码器的输入，生成更具全局上下文与边界信息的标签，tce和tde：

30、[tce，ide]＝transformerencoder(tc，id)   (9)

31、将fc，fd，tce和ide输入到transformer解码器中，得到深层全局特征fcd与深层差异特征fdd：

32、fcd＝transformerdecoder(fc，tce)   (10)

33、fdd＝transformerdecoder(fd，tde)   (11)

34、其中fcd，c＝32，h＝64，w＝64。

35、差异特征增强模块对深层全局特征与深层差异特征进行交互，整合来自双时态图片特征的不同线索。通过以全局图像特征fo为先验知识的方式，调制差异图像特征fp，得到增强后的双时态图片细粒度局部变化的融合差异特征fx：

36、fo＝conv(relu(conv(fcd))   (12)

37、fp＝conv(relu(conv(fdd))   (13)

38、fx＝fp*(fo+1)+fp   (14)

39、其中fo及fp分别通过2个1*1卷积，利用空间注意得到增强后的差异特征fx，最终得到分类结果。

40、所述的基于渐进式注意的差异特征增强网络的遥感图像变换检测方法包含一个渐进式注意模块、一个深层特征提取模块和一个差异特征增强模块。

41、与现有的技术相比，本发明的有益效果是：

42、1.本发明提出了一种新颖的基于渐进式注意的差异特征增强网络用于遥感图像cd方法。采用双时相图片全局特征与差异特征进行指导与交互，以实现全面的语义理解和融合，来改善差异图像的表达能力，提高分类准确率。

43、2.本发明提出了渐进式注意模块来挖掘更丰富的视觉特征，并设计了通道注意来增强图像的全局信息与差异信息，两者均用于改善图像的整体语义和提高图片分类的准确性。