基于双孪生分支的遥感图像变化检测网络及检测方法

本发明属于图像处理，特别涉及一种遥感图像变化检测技术，可用于土地覆盖识别、城市扩张估计、灾害评估和林业农业监测。

背景技术：

1、遥感图像变化检测是遥感图像处理中的重要内容之一，其目的是检测同一地区不同时间拍摄的两幅遥感图像之间感兴趣的变化。变化检测技术可以用于各种遥感应用，包括土地覆盖识别、城市扩张估计、灾害评估和林业农业监测等。随着航空航天传感器的高速发展，遥感图像的可获取性越来越高，其在推进变化检测领域发展的同时也带来了一些严峻的挑战。首先，由于环境条件不同，不可避免的非相关变化会对感兴趣的变化检测结果产生负面干扰。这些非相关变化通常是指在特定应用场景下其余不感兴趣的变化和由于成像条件和季节条件等导致的伪变化。其次，传感器的类型是多样的，导致生成的遥感图像的分辨率也是多样的，对变化检测技术的泛化能力提出了更高的要求。换句话说，现有变化检测模型很难在具有各种尺度的不同遥感图像中表现良好。因此开发用于遥感图像的变化检测技术是必要且紧迫的。

2、随着当前深度学习的快速发展，基于深度学习的方法已经主导了变化检测领域。卷积神经网络cnn凭借其强大的特征学习能力和非线性拟合能力，在变化检测领域中有着不错的表现。随后，研究者们发现单纯的cnn不足以建模上下文关系并强调重要区域。因此，大部分研究通过堆叠更多卷积层和嵌入视觉注意力机制等方法来增强基于cnn的变化检测技术。但是这类方法仍然不擅长对隐藏在遥感图像中全局长程上下文依赖关系进行建模，因此最近的变化检测技术中引入了基于自注意力机制的变换器，其英文为transformer，来增强遥感图像中全局长程上下文依赖关系的能力。transformer善于提取全局信息，在变化检测领域有着巨大的潜力。但是，基于transformer的技术仍有改进的空间。首先，transformer对于局部细粒度信息的关注能力不如cnn，这会对精细目标的检测结果产生负面影响。另外，大多数基于transformer的模型都是基于严格的网格将输入的遥感图像划分为规则的子块patch，这些规则的patch会扰乱复杂地理环境的连续性和变化对象的几何形状。这与变化检测的目标背道而驰。基于以上讨论，cnn与transformer实际上是两个互补的方法。

3、陈浩等人在电气电子工程师学会ieee，2021,60:1-14中提出了一种基于transformer的遥感图像变化检测方法。其首先通过基于残差网络的cnn骨干分别提取两个时相的特征，然后将两个时相的特征转换为语义标记后输入到transformer编码器中用于建模特征中的长程上下文依赖关系。该方法虽然结合了cnn与transformer的优势并获得了良好的检测性能，但模型中忽略了多尺度的信息，这无疑会限制其在不同尺度遥感图像中的性能。

4、郑建炜等人在ieee，2022，60：1-13中提出了一种基于cnn和transformer的遥感图像变化检测方法。该方法通过cnn和transformer提取分层局部和全局信息之后通过尺度内交叉交互和尺度间特征融合两种策略来获得同时拥有局部细粒度信息和全局长程上下文依赖关系的特征。并通过三层不同分支的融合策略获取变化预测图。该方法虽然取得了不错的检测性能，但由于其生成变化预测图时仅采用做差的方式，这种方式对于差异信息的学习能力不足，导致其检测性能仍有进一步提高的空间。

技术实现思路

1、本发明的目的在于针对上述现有技术的不足，提出基于双孪生分支的遥感图像变化检测网络及检测方法，以提取并集成具有全局信息和局部信息的多尺度特征，提高检测精度，增强泛化能力。

2、实现本发明目的的技术思路是：通过可变形思想，差异增强和特征融合，提高检测精度；通过孪生cnn和transformer分支的并行集成及编码器解码器之间的跳跃连接，增强泛化能力。

3、根据上述技术思路，本发明技术方案包括如下：

4、1.一种基于双孪生分支的遥感图像变化检测网络，其特征在于，包括：

5、孪生局部信息编码分支，包括若干个下采样层、若干个标准残差块和若干个可变形卷积单元，用于提取多层次双时相局部细粒度特征

6、孪生全局信息编码分支，包括若干个下采样层、若干个滑动窗口transformer块和可变形transformer块，用于提取多层次双时相全局上下文特征

7、差异增强模块，其包括减法单元、拼接单元和卷积单元，用于对孪生局部信息编码分支提取的同层次双时局部细粒度特征进行差异信息的增强并生成局部差异特征对孪生全局信息编码分支提取的同层次双时全局上下文特征进行差异信息的增强并生成全局差异特征

8、特征融合模块，其包括加法单元、通道注意力单元、乘法单元、卷积单元和拼接单元，用于逐级融合多层次特征，生成最终融合特征；

9、分类器，其由第一3×3卷积层、批次归一化层、relu激活函数层、第二3×3卷积层、softmax函数和argmax函数依次级联组成，用于对最终融合特征分类并生成二值变化预测图，其中0表示不变像素，1表示变化像素。

10、进一步，所述孪生局部信息编码分支，包含两个权重共享的局部特征提取器：

11、每个局部特征提取器包含顺次连接的一个下采样层、四个标准残差块和四个可变形卷积单元，其中四个标准残差块和四个可变形卷积单元将局部特征提取器分为四个层次；

12、每个下采样层，包含顺次连接的7×7卷积层、批次归一化层、relu激活函数层和最大池化层，用于降低输入图像的空间维度，其中7×7卷积层和最大池化层的步长均为2；

13、每个标准残差块，包括两个顺次连接的基本残差单元，每个残差单元包括两个3×3卷积层、两个批次归一化层和两个relu激活函数层；

14、每个可变形卷积单元，包括1个3×3卷积层、1个3×3可变形卷积层，1个批次归一化层和1个relu激活函数层。

15、进一步，所述孪生全局信息编码分支，包含两个权重共享的全局特征提取器：

16、每个全局特征提取器包含顺次连接的四个下采样层、两个滑动窗口transformer块和四个每个可变形transformer块，其中四个下采样层将全局特征提取器分为四个层次；

17、每个滑动窗口transformer块，包括顺次连接的1个窗口注意力单元和1个滑动窗口注意力单元，用于提取浅层全局上下文特征；

18、每个可变形transformer块，包括顺次连接的1个局部注意力单元和1个可变形全局注意力单元，用于提取深层全局上下文特征。

19、2.一种利用上述网络进行遥感图像变化检测的方法，其特征在于，包括如下步骤：

20、1)从光学遥感变化检测数据库中获取划分好的训练样本集和测试样本集；

21、2)通过孪生局部信息编码分支逐级对双时图像提取多层次双时相局部细粒度特征并将其输入至差异增强模块；

22、3)通过孪生全局信息编码分支逐级对双时图像提取多层次双时相全局上下文特征并将其输入至差异增强模块；

23、4)多层次双时局部细粒度特征和全局上下文特征利用差异增强模块生成并增强差异信息，获得携带变化信息的多层次局部差异增强特征和全局差异增强特征并将这些特征分层输入至特征融合模块；

24、5)特征融合模块对多层次局部差异增强特征和全局差异增强特征进行融合，解译双时遥感图像中变化信息，获得最终融合特征h1，传输给分类器；

25、6)分类模块将最终融合特征h1进行分类，获得二值变化预测图m，其中0表示不变像素，1表示变化像素；

26、7)利用训练样本集，采用反向传播对变化检测网络进行迭代训练，得到训练好的变化检测网络；

27、8)将测试样本集输入训练好的变化检测网络进行前向传播，获取所有测试样本的变化检测结果。

28、本发明与现有技术相比，具有如下优点：

29、第一，本发明设计的孪生局部信息编码分支，由于采用层次化结构设计，并通过将其标准残差块与可变形卷积单元的结合，可提取多层次局部细粒度特征。

30、第二，本发明设计的孪生全局信息编码分支，由于采用层次化结构设计，并通过将其滑动窗口transformer块与可变形transformer块的结合，可以提取多层次全局上下文特征。

31、第三，本发明通过孪生局部信息编码分支和孪生全局信息编码分支并行结合的方式，可充分解译双时遥感图像中丰富的变化信息，增强了在不同尺度遥感图像上的泛化能力。

32、第四，本发明设计的变化检测网络，由于采用差异增强模块，不仅可强调显著变化，而且能够以可学习的方式逐渐接近感兴趣的变化，并抑制非相关变化对检测精度的负面影响；同时由于该网络采用特征融合模块，既可以集成局部、全局和跨层次的信息，又可以深入挖掘通道间线索，这两种模块的共同作用提高了本发明对遥感图像的变化检测精度。