基于孪生U-Net神经网络的多模态遥感数据变化检测方法及系统

本发明涉及遥感影像处理，特别涉及一种基于孪生u-net神经网络的多模态遥感数据变化检测方法及系统。

背景技术：

1、遥感影像变化检测是遥感技术中的一项重要应用，它以前、后时相的遥感数据作为输入，输出为地表的地物类型变化信息。输入的遥感数据可以是遥感影像、地形图、数字表面模型(dsm)或三维模型等，输出的变化信息如新建建筑物、已拆除的建筑物、新栽植被、消失的植被、地表增高、地表高度降低等。遥感影像变化检测技术可用于城市发展监测、环境变化监测、资源调查等方面。随着卫星遥感技术的不断发展，获取地表信息的能力不断提高，同时多源、多模态的遥感数据也得到了广泛的应用。其次，随着城市化进程的加速和自然环境变化的加剧，对地表覆盖变化的监测越来越受到关注。针对这些研究背景，多模态遥感数据变化检测可以更好地利用多源遥感数据，对地表覆盖变化的监测进行更加准确和全面的研究。

2、虽然遥感影像分类的研究中同时使用影像和dsm的研究很多，但是遥感影像变化检测中加入dsm的研究很少，原因是在前、后时间同时获得配准的遥感影像和dsm数据有一定的限制。为了满足遥感影像和dsm数据配准，遥感影像必须得是经过数字微分校正的正射影像。此外，传统的遥感影像变化检测方法主要基于手工特征提取。即以前后时相的遥感影像数据作为输入，先对影像提取特征进行变化矢量分析(change vector analysis)，再利用dsm差分结果改进优化影像变化结果，最终得到更可靠的变化检测结果。但上述传统方法仍具有以下缺点：1、采用先影像特征提取、再dsm差分的方式，独立使用二维影像特征和三维几何特征，不利于综合运用影像特征和几何特征之间的内在关联，特征融合层次较浅、变化检测准确率低；2、提取影像特征主要是人工提取的影像光谱特征、辐射特征、纹理特征，使用的几何特征主要是高度差分特征，特征使用率较低，丢失了很多原始数据的有价值信息；3、分两步进行由粗到精的变化检测，特征均为人工计算得到，算法复杂度高、运算量大。

技术实现思路

1、为此，本发明提供一种基于孪生u-net神经网络的多模态遥感数据变化检测方法及系统，解决现有遥感影像变化检测中准确率低、丢失原始数据有价值信息、复杂度高、运算量大的问题，通过融合遥感影像中的二维和三维特征并利用孪生神经网络结构实现变化检测，提升地表变化检测的效率和精度。

2、按照本发明所提供的设计方案，一方面，提供一种基于孪生u-net神经网络的多模态遥感数据变化检测方法，包含：

3、对目标区域中至少前后两个时相的遥感影像原始数据分别进行预处理，得到原始数据对应的多模态目标数据，所述多模态目标数据包含：dsm信息和rgb信息；

4、基于多模态目标数据并利用预训练的孪生神经网络模型对目标区域中不同时相下遥感影像中的地表变化进行检测，其中，孪生神经网络模型采用两个相同结构的u-net神经网络结构。

5、作为本发明基于孪生u-net神经网络的多模态遥感数据变化检测方法，进一步地，对遥感影像原始数据进行预处理，得到原始数据对应的多模态目标数据，包含：

6、将原始数据的rgb影像数据、地面高程模型dsm数据进行归一化处理，并在通道维度上将不同模态数据进行拼接，以分别获取不同时隙融合数据下的ndsm信息、rgb信息。

7、作为本发明基于孪生u-net神经网络的多模态遥感数据变化检测方法，进一步地，将原始数据的rgb影像数据进行归一化处理，包含：

8、将rgb影像数据的每个灰度值除以255，以使rgb影像数据的三个彩色通道均归一化到[0，1]。

9、作为本发明基于孪生u-net神经网络的多模态遥感数据变化检测方法，进一步地，将原始数据的地面高程模型dsm数据进行归一化处理，包含：

10、基于目标区域内多个时相中的高程最小值和高程最大值将目标区域各格网位置高程归一化到[0，1]。

11、作为本发明基于孪生u-net神经网络的多模态遥感数据变化检测方法，进一步地，基于多模态目标数据并利用预训练的孪生神经网络模型对目标区域中不同时相下遥感影像中的地表变化进行检测，包含：

12、针对不同时相下的目标数据，将其中一时相的目标数据作为孪生神经网络模型的第一分支输入，另一个时相的目标数据作为孪生神经网络模型的第二分支输入，利用孪生神经网络模型提取两个时相中遥感影响之间的地表变化差异并基于地表变化差异判定地表是否发生变化。

13、作为本发明基于孪生u-net神经网络的多模态遥感数据变化检测方法，进一步地，u-net神经网络结构中，编码器和解码器之间采用跳跃连接，以融合不同分辨率特征，其中，编码器采用多层感知机mlp提取目标数据多尺度特征并设置有用于减少特征图尺寸和模型参数数量的最大池化操作；解码器采用转置卷积对特征图进行逐层上采样以恢复原始特征图大小；且在编码器和解码器之间的跳跃连接中利用压缩激活运算机制来增强模型对多样化地物目标调整学习能力。

14、作为本发明基于孪生u-net神经网络的多模态遥感数据变化检测方法，进一步地，在编码器和解码器之间的跳跃连接中利用压缩激活运算机制来增强模型对多样化地物目标调整学习能力，包含：

15、对前、后两个时相中相同尺度的特征图进行差分运算，并通过注意力机制se对差分结果进行特征增强，将特征增强后的特征图连接到孪生神经网络的解码器，通过解码器来实现特征联接。

16、作为本发明基于孪生u-net神经网络的多模态遥感数据变化检测方法，进一步地，在编码器和解码器之间的跳跃连接中利用压缩激活运算机制来增强模型对多样化地物目标调整学习能力，还包含：

17、利用注意力机制se显式建模特征通道之间的相互依赖关系，并通过学习方式获取每个通道重要程度；依据重要程度对通道上的特征进行加权处理。

18、作为本发明基于孪生u-net神经网络的多模态遥感数据变化检测方法，进一步地，孪生神经网络模型的预训练中，采用二元交叉熵作为二分类问题模型训练中的损失函数。

19、进一步地，本发明还提供一种基于孪生u-net神经网络的多模态遥感数据变化检测系统，包含：数据处理模块和变化检测模块，其中，

20、对目标区域中至少前后两个时相的遥感影像原始数据分别进行预处理，得到原始数据对应的多模态目标数据，所述多模态目标数据包含：dsm信息和rgb信息；

21、基于多模态目标数据并利用预训练的孪生神经网络模型对目标区域中不同时相下遥感影像中的地表变化进行检测，其中，孪生神经网络模型采用两个相同结构的u-net神经网络结构。

22、本发明的有益效果：

23、本发明通过融合遥感影像中的二维rgb影像和三维几何特征，特征提取和融合在多个分辨率尺度、不同阶段交叉进行，提取特征是通过大量训练数据训练得到，特征融合程度较深，特征的表征能力更强；孪生神经网络结构采用“端到端”设计，以多模态遥感影像和dsm数据作为输入，而输出即为不同像素位置处的变化信息，避免了人工特征提取，因而效率高；且在特征图差分运算后添加注意力机制，在关键位置引入不同尺度的注意力机制，使模型对于真实变化更敏感，抑制无关变化、噪声信息的干扰，从而提高变化检测精度及效率，便于实际场景中的应用。