一种多源遥感图像处理方法及系统

本发明涉及遥感图像数据处理，具体涉及一种多源遥感图像空间特征提取与分类的方法及系统。

背景技术：

1、高分辨率遥感技术(high resolution remote sensing)可以提供米级甚至亚米级空间分辨率的精细图像，能够清楚地表达地物目标的空间结构与表层纹理特征。先进的激光雷达系统可以出色的补充高分辨率(hr)图像的高程信息。高分辨率图像分类和激光雷达点云数据分类作为遥感领域的研究前沿，在城市规划、环境监测、农林管理、土地清查等广泛应用中发挥着重要作用。语义分割技术是为图像中的每个像素分配一个标签，已被应用于精准农业、城市规划和自然资源库存。

2、随着遥感技术的快速发展，多源遥感数据的获取更加方便，高分数据与lidar数据的融合分类是一个可行的研究方向，多源遥感数据融合可分为3个层次：像素级、特征级和决策级，特征级融合是指融合前先对遥感图像数据进行特征提取，产生特征矢量，再进行特征融合，将特征进行有意义的组合，具有较高的可信度和准确性。

3、目前，围绕lidar数据和高分辨率图像协同应用的研究，集中在特征提取和地物分类方面，主要是纹理、结构、颜色、强度和高度信息方面的研究，无法高效实现多源遥感数据中的高分图像数据与lidar数据的特征提取与分类。

技术实现思路

1、针对上述领域中存在的问题，本发明提出了一种多源遥感图像处理方法及系统，能够解决无法高效实现多源遥感数据中的高分数据与lidar数据的特征提取与分类的技术问题。

2、为解决上述技术问题，本发明公开了一种多源遥感图像处理方法，包括步骤如下：

3、获取待融合的高分图像数据、lidar图像数据的多个数据增强样本矩阵；

4、根据获取的多个数据增强样本矩阵，基于resnet-34网络提取lidar和高分图像数据的空间结构；利用lidar数据信息提取lidar图像数据的空间信息、高程特征，利用高分图像数据信息提取高分图像数据的空间特征；

5、构造多模态残差注意力融合块，所述多模态残差注意力融合块包括融合模块和深度可分离残差模块；将空间特征和高程特征输入到融合模块，利用融合模块将所获得的高程特征、空间特征的通道权重进行相加融合，输入到深度可分离残差模块中进行下一步的特征提取，获取多模态特征提取数据；

6、提出改进的se融合模块，所述改进的se融合模块包括两层全连接层，通过全连接层对获取的多模态特征提取数据的不同阶段进行通道维度的压缩和复原，学习不同通道间的相互关联关系，通过融合网络不同阶段的多模态特征提取数据通道间特征信息，实现不同阶段的特征重用，获取跨层融合的输出数据；

7、构建多层特征全局上下文信息学习模块ffd，所述多层特征全局上下文信息学习模块ffd包括普通卷积层和傅里叶频域变换层；将获取的跨层融合的输出数据与相邻上一阶段的采样数据加和融合，输入至普通卷积层进行空间特征提取后，利用傅里叶频域变换层将图像转换到频域，获取频域的全局上下文信息；

8、将获取的频域的全局上下文信息送入分类器进行分类，得到分类结果。

9、优选地，所述获取待融合的高分图像数据、lidar图像数据的多个数据增强样本矩阵，包括步骤如下：

10、获取高分图像数据、lidar图像数据的原始图像矩阵；

11、根据原始图像矩阵的原始图像数据，在垂直方向和水平方向分别通过随机翻转获取数据增强样本，其中，水平方向和垂直方向的翻转角度取值范围均为[0°，270°]。

12、优选地，所述构造多模态残差注意力融合块，即raf模块，将rgb编码器的横向特征融合到dsm编码器相应的横向特征上，对rgb和dsm编码器特征均使用多级特征融合，之后进行跨模态融合，设dm表示跨模态融合的输出，则跨模态融合的输出特征计算公式为:

13、

14、其中，表示rgb分支第m个编码器的侧输出编码器特征，表示dsm分支第m个编码器的侧输出编码器特征，m表示第m个特征编码器，raf表示多模态残差注意力融合块。

15、优选地，所述学习不同通道间的相互关联关系，包括学习第五阶段多模态特征提取数据与前面四阶段多模态特征提取数据通道间的相互关联关系，融合网络不同阶段多模态特征数据通道间特征信息，通过融合第五层的高级特征和从所述多模态残差注意力融合块获得的第一层至第四层的跨模态融合特征，生成高分辨率的语义指令，将第五层的跨模态融合特征依次融合到第一层至第四层的跨模态融合特征中，实现第五层特征重用，se融合不同阶段的多模态特征提取数据的公式为：

16、f＝se(concat[dm,d5]),m＝1,......,4

17、其中，f表示跨层融合的输出，concat[·]表示拼接操作，dm表示跨模态融合的输出，d5表示第五个跨模态融合的输出。

18、优选地，所述构建多层特征全局上下文信息学习模块ffd，包括步骤如下：

19、将获取的跨层融合的输出数据与相邻上一阶段上采样数据这两个相邻阶段的上下文信息送入3×3卷积进行浅层特征提取，送入2d fft、hadamard积和2d逆fft将空间信息和频域信息相结合，对相邻阶段的上下文信息进行提取；

20、将提取的相邻阶段的上下文信息发送到3×3卷积中进行二次信息提取，获取频域的全局上下文信息；

21、使用1×1卷积来调整通道的维数。

22、优选地，还包括一种多源遥感图像处理系统，包括：

23、数据获取模块，用于获取待融合的高分图像数据、lidar图像数据的多个数据增强样本矩阵；根据获取的多个数据增强样本矩阵，基于resnet-34网络提取lidar数据的空间结构；利用lidar数据信息提取lidar图像数据的空间信息、高程特征，利用高分图像数据信息提取高分图像数据的空间特征；

24、多模态残差注意力融合块，用于将空间特征和高程特征输入到特征融合模块，利用融合模块将所获得的高程特征、空间特征的通道权重进行相加融合，输入到深度可分离残差模块中进行下一步的特征提取，获取多模态特征提取数据；

25、改进的se融合模块，包括两层全连接层，通过全连接层对获取的多模态特征提取数据的不同阶段进行通道维度的压缩和复原，学习不同通道间的相互关联关系，通过融合网络不同阶段的多模态特征提取数据通道间特征信息，实现不同阶段的特征重用，获取跨层融合的输出数据；

26、多层特征上下文信息学习模块ffd，包括普通卷积层和傅里叶频域变换层，用于将获取的跨层融合的输出数据与相邻上一阶段的采样数据加和融合，输入至普通卷积层进行空间特征提取后，利用傅里叶频域变换层将图像转换到频域，获取频域的全局上下文信息；

27、分类模块，将获取的频域的全局上下文信息送入分类器，得到分类结果。

28、与现有技术相比，本发明具有如下有益效果：

29、本发明基于resnet-34网络做编码器，能够实现对lidar数据信息和高分图像数据信息的空间结构的提取；构造的多模态残差注意力融合块，利用融合模块将所获得的高程特征、空间特征的通道权重进行相加融合，获取多模态的特征提取数据，为改进的se融合模块的信息融合提供数据支持；通过构建的全局上下文信息融合模块ffd，获取频域信息，可以提高cnn在某些任务中的性能，通过与经典的方法进行比较，得出本发明提出的方法在保证计算量的同时提高网络分类精度，提高lidar数据和高分图像数据的特征提取与分类效率。