一种基于改进SwinTransformer的遥感影像建筑物变化检测方法

本发明属于基于深度学习的图像处理领域，具体基于改进swin transformer的遥感影像建筑物变化检测方法。

背景技术：

1、遥感影像的变化检测主要针对同一位置下不同时期的遥感影像之间所发生的变化，通过变化检测方法以快速掌握土地类型，从而应用于土地类型管理、城市土地资源规划和灾害评估等各方面应用。随着城市化速度的加快，不同时序遥感影像中的建筑物也随之快速发生变化。针对遥感影像中建筑物所发生的变化，包括新建、扩建、拆除和因灾害导致毁坏的建筑物，研究者采用了很多不同的方法去提高变化检测的效率和精度。传统方法包括像素级、对象级以及场景级变化检测，这些方法大都很难从图像底层提取特征信息。

2、近年来，随着深度学习的迅速发展，基于深度学习的变化检测也很快被应用到遥感领域上。深度学习方法为遥感领域的变化检测方法带来了极大的性能提升，但是随着我国卫星遥感技术的发展，遥感影像的分辨率也在不断提高。清晰度提高的同时也带来了很多复杂场景下的干扰，导致了现有变化检测方法无法进一步提高精度。而深度学习方法中，尽管基于卷积神经网络的变化检测方法能对图像特征进行深度挖掘，进一步提取图像中的特征，但是普遍的卷积神经网络方法都缺少对全局信息的关注，容易在特征提取过程中丢失空间信息。后来transformer结构针对长距离的上下文信息提取被提出，该结构可以有效提取图像的全局信息，将长距离的区域特征关联起来。但transformer在一定程度上丢失了局部信息的关注，因此本发明结合cnn与transformer的优点，设计一个采用cnn结构与swintransformer进行融合的网络模型对遥感影像中的建筑物进行变化检测。

技术实现思路

1、鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于改进swintransformer的遥感影像建筑物变化检测方法，该方法包括以下步骤：

2、步骤一：对遥感影像数据进行预处理，制作训练数据集；

3、步骤二：构建cnn-swin transformer特征提取模块来提取建筑物的全局-局部特征；

4、步骤三：基于所述模块来设计特征提取编码器和多尺度特征融合解码器，用于提取图像中的多尺度建筑物特征和特征融合；

5、步骤四：基于所述cnn-swin transformer特征提取模块、特征提取编码器，多尺度特征融合解码器来构建改进的变化检测网络；

6、步骤五：将所述编码器所提取特征输入解码器中，得到二分类结果图。

7、其中，所述cnn-swin transformer模块包括cnn特征提取模块和swintransformer模块。

8、所述基于卷积层建立cnn特征提取模块，将输入图像输入至所述cnn特征提取模块，得到经过初步提取的建筑物局部特征，具体方式为：

9、通过所述cnn特征提取模块对输入图像依次进行1x1卷积、bn运算和gelu运算，得到经过维度提升的初步特征图。这一步是为了提取更多的信息，在输入深度卷积前都会将特征图的维度调整为高维度特征。

10、通过所述cnn特征提取模块对所述初步特征图结果依次进行3x3深度可分离卷积、bn运算、gelu运算和1x1逐点卷积得到局部信息。

11、通过所述cnn特征提取模块对所述局部信息连接到全局注意力机制进行运算，得到经过所提取特征的加权权值。

12、通过所述cnn特征提取模块所述的局部信息、加权权值与原始图像进行相乘，得到经过注意力权值计算的局部相关特征。

13、其中，所述swin transformer模块分为四个阶段，每个阶段都包括两层特征提取层。

14、通过所述多层次特征提取主干网络部分对输入图像进行全局-局部特征提取，得到4张不同尺度下的变化特征图的具体方式为：

15、通过所述swin transformer模块对所述局部相关特征通过swin transformer的自注意力结构进行运算，得到建筑物基于局部特征所提取的全局特征；

16、将所述特征作为下一个cnn-swin transformer模块的输入，并且重复进行全局-局部特征的迭代提取；

17、重复该过程直到第四张变化特征图提取结束；

18、其中，所述多尺度特征融合解码器使用类似于unet解码器的结构来进行拼接与上采样；

19、通过所述多尺度特征融合解码器来对不同尺度的变化特征图进行通道数调整，首先将图片分辨率最小的图片通过上采样调整图片大小，经过调整大小的图片与上一层图片进行融合拼接，重复该过程直到4张变化特征图融合为一张变化结果图。

20、如上所述，本发明的一种基于改进swin transformer的遥感影像建筑物变化检测方法，具有以下有益效果：

21、本发明设计基于cnn设计一个局部特征提取模块，使用swin transformer网络框架作为特征提取主干网络，结合cnn与transformer的优点对输入的遥感图像进行特征提取。基于cnn的特征提取模块可以提取图像中的局部特征，通过该前馈神经网络弥补swintransformer局部感受野不足的问题。通过两者结合的模型来提取图像中的建筑物特征，解决现有的变化检测方法特征提取无法兼顾全局信息与局部信息的问题。

22、针对现有方法在建筑物变化检测过程中所出现的变化区域空洞较多、边缘粗糙不规则以及伪变化区域较多等问题，本发明所改进的解码器对图像中的建筑物进行特征提取，兼顾图像中的全局上下文信息与局部空间信息，能够最大程度改善上述问题。

23、变化检测精度的提高意味着深度学习在遥感领域的进一步应用，对于让自然资源管理相关部分开展城市建筑规划、预防违建与违拆等工作具有重要意义。

技术特征：

1.一种基于改进swin transformer的遥感影像建筑物变化检测方法，其特征在于，该方法包括以下步骤：

2.如权利要求1所述的基于改进swin transformer的遥感影像建筑物变化检测方法，其特征在于，所述特征提取模块包括用于提取所述建筑物局部特征的cnn特征提取模块与用于提取所述建筑物全局特征的swin transformer模块。

3.如权利要求2所述的基于改进swin transformer的遥感影像建筑物变化检测方法，其特征在于，利用所述cnn特征提取模块提取所述建筑物局部特征的具体方式为：

4.如权利要求2所述的基于改进swin transformer的遥感影像建筑物变化检测方法，其特征在于，所述swin transformer模块是基于swin transformer构建的全局特征提取模块，将局部特征图输入所述swin transformer模块，得到建筑物的全局-局部融合特征的具体方式为：

5.如权利要求1所述的基于改进swin transformer的遥感影像建筑物变化检测方法，其特征在于，通过所述cnn-swin transformer特征提取模块，构建改进的变化检测网络模型的具体方式为：

6.如权利要求1所述的基于改进swin transformer的遥感影像建筑物变化检测方法，其特征在于，所述多尺度特征融合解码器类似于unet解码器的结构来进行拼接与上采样；通过所述多尺度特征融合解码器来对不同尺度的变化特征图进行通道数调整，首先将图片分辨率最小的图片通过上采样调整图片大小，经过调整大小的图片与上一层图片进行融合拼接，重复该过程直到4张变化特征图融合为一张变化结果图。

技术总结
本发明提出一种基于改进Swin Transformer的遥感影像建筑物变化检测方法，包括一：采集建筑物的遥感影响数据，对数据集中的遥感影像数据进行预处理，制作训练数据集；二：构建CNN模块与Swin Transformer模块，用于提取建筑物的全局‑局部特征；三：基于CNN‑Swin Transformer特征提取模块来设计特征提取编码器和多尺度特征融合解码器；四：基于CNN‑Swin Transformer特征提取编码器，以及解码器来构建改进的变化检测网络；五：将编码器所提取的特征输入到解码器中，得到二分类结果图。本发明有效提高了建筑物变化检测的准确率，分割结果形状规则且边缘细腻，基本没有检测到伪变化区域。实现对建筑物变化区域的准确检测，对比现有变化检测方法在应用于国土资源管理方面上更具优势。

技术研发人员：黄建华,于政尧,孙希延,纪元法,符强,王守华,严素清,罗明明,万逸轩
受保护的技术使用者：桂林电子科技大学
技术研发日：
技术公布日：2024/1/15