基于平行深度学习网络架构的遥感影像锐化方法与流程

1.本发明属于图像超分辨率/锐化处理技术领域，具体涉及一种基于平行深度学习网络架构的遥感影像锐化方法。


背景技术：

2.具有高空间分辨率的多光谱遥感影像在土地利用/土地覆盖分类、目标检测和语义分割中起着重要的作用。然而，由于传感器的技术局限性和高成本，目前具有高空间分辨率的遥感图像可能无法用于支持区域/全球陆地表面的观测。虽然与多光谱遥感影像一同获取的全色影像具有更高的空间分辨率，但是缺乏丰富的光谱信息。为了同时利用全色影像精细的空间信息和多光谱影像丰富的光谱信息为社会生产生活服务，需要使用遥感影像锐化方法将两类影像进行融合处理，以生成具有丰富空间-光谱信息的更高分辨率的遥感产品。
3.目前最常使用的遥感影像锐化方法主要分为三种类型：1）基于组件替换的模型；2）基于多分辨率分析的模型； 3）基于优化学习的模型。其中，基于组件替换的模型具有计算速度快，并且易于实现的优点。基于组件替换的模型可以将多光谱遥感影像转换处理后的域分量之一替换为全色影像中的转换域分量，然后通过逆变换将混合的全色影像和多光谱影像的转换域分量重建为新的锐化影像。然而，虽然越来越多的频谱质量控制策略（例如部分替换和局部参数估计）用于基于组件替换的模型中以减少频谱失真的问题，但是由于频谱带宽不匹配，以及全色和多光谱遥感影像之间的转换域分量没有相同的波谱辐射特性，使用该类模型仍存在光谱信息差异的问题。
4.基于多分辨率分析的模型通常比基于组件替换的模型具有更好的频谱保真度。该类模型首先从全色遥感影像中提取空间结构信息，然后将其高频细节注入到多光谱影像中。然而，尽管基于多分辨率分析的模型可以减少全色和多光谱遥感影像之间光谱信息的差异，但是使用该类模型仍存在空间信息差异的问题。
5.基于优化学习的模型通常优于基于组件替换的模型和基于多分辨率分析的模型。该类模型将影像锐化过程视为没有唯一解的逆问题，并通过基于能量函数的能量最小化来重建锐化影像。现有基于深度卷积神经网络的遥感影像锐化模型快速发展，深度卷积神经网络的主要原理是建立低空间分辨率多光谱影像和高空间分辨率多光谱预测影像之间复杂的非线性功能映射。目前，基于深度卷积神经网络的遥感锐化模型已经从图像超分辨率网络发展到基于深度卷积神经网络的泛锐化模型，例如，残差网络或者多层次深度网络等。然而，尽管现有的基于深度卷积神经网络的遥感锐化模型表现出良好的性能，但是，针对不同传感器类型和复杂地物场景，其模型稳定性和锐化效果仍需要进一步提高。同时，对于高分辨率全色影像的空间细节特征仍需要进一步挖掘。


技术实现要素：

6.本发明的目的是针对上述问题，提供基于平行深度学习网络架构的遥感影像锐化
方法，可以适用于多种遥感影像传感器，同时又能在复杂地物类型中提高遥感影像空间分辨率和光谱信息保真度，解决利用遥感影像快速、准确生产出锐化产品的问题。
7.为达到上述目的，本发明采用了下列技术方案：基于平行深度学习网络架构的遥感影像锐化方法，包括以下步骤：s1、获得遥感全色影像在锐化过程中的光谱要素特征：建立多层次深度卷积神经网络架构，获取遥感影像中多光谱波段与全色波段时空-光谱之间的定量关系，以提高影像在锐化过程中的光谱信息保真度；s2、获得遥感多光谱影像在锐化过程中的纹理要素特征：建立多尺度深度卷积神经网络架构，获取遥感影像全色波段不同地物类型的纹理细节特征，以提高影像在锐化过程中的纹理信息保真度；s3、获取遥感影像锐化产品：融合所述光谱要素特征和纹理要素特征，建立深度学习重建网络以获取遥感影像锐化产品。本发明将经过多层次深度卷积神经网络架构获取的光谱要素特征和经过多尺度深度卷积神经网络架构获取的纹理要素特征进行融合，通过重建网络处理，输出结果不仅包含了不同土地覆盖类型的空间-光谱信息，而且保留了全色影像中丰富的纹理细节信息，得到高质量的遥感影像锐化产品。
8.进一步的，s1中的获得遥感全色影像在锐化过程中的光谱要素特征的具体步骤包括：s101、使用双三次插值对原始多光谱影像进行上采样，使原始多光谱影像保持与对应全色影像相同的空间分辨率；s102、将全色影像和经过上采样的多光谱影像进行堆叠组合，并作为第一特征提取网络的输入数据；s103、将第一特征提取网络的输出结果送入改进的递归网络，作为改进的递归网络的输入数据；s104、将改进的递归网络中各层卷积处理的结果进行累加并带入下一层网络，增强不同级别的特征要素，并分别保留各级网络的处理结果。
9.进一步的，第一特征提取网络包括多层卷积层，第一特征提取网络的第一层的输入为全色影像和经过上采样的多光谱影像的堆叠组合，对于第一特征提取网络的其它层，输入要素均为上一层卷积操作之后的输出结果：（1），其中，表示卷积处理，表示用于组成多光谱影像和全色影像的映射函数，表示低空间分辨率多光谱影像经过上采样之后的高空间分辨率多光谱拟合影像，表示高空间分辨率的全色影像，表示残差结果，表示第一特征提取网络中第一次卷积运算后得到的要素特征。
10.本发明经过第一特征提取网络后，输出的要素特征包含了低空间分辨率多光谱影像经过上采样之后的高空间分辨率多光谱拟合影像和高空间分辨率的全色影像的浅层纹理细节，以及两类影像在局部区域的空间-光谱关联信息。
11.进一步的，改进的递归网络包括多层卷积层，其中第一层卷积层的输入数据为第一特征提取网络的输出结果，对于改进的递归网络的其它卷积层，输入数据为改进的递归
网络中经过当前卷积层之前所有卷积层卷积处理后得到的要素特征累加，所述改进的递归网络公式如下所示：（2）；其中，表示改进的递归网络中第n次卷积运算后得到的要素特征，表示进行了第n次卷积处理，表示用于组成多光谱影像和全色影像的映射函数；所述多层次深度卷积神经网络架构通过建立多层次要素特征集合记录所述多层次深度卷积神经网络架构要素特征的输出结果：（3），其中，表示多层次要素特征集合，表示改进的递归网络中第n次卷积运算后得到的要素特征，表示用于组成多光谱影像和全色影像的映射函数。
12.本发明通过多层次深度卷积神经网络架构可以增强低空间分辨率多光谱影像经过上采样之后的高空间分辨率多光谱拟合影像和高空间分辨率的全色影像之间的区域依赖性，同时也能保留影像从浅层到深层的多层次纹理信息。获取改进的递归网络中经过当前卷积层之前所有卷积层卷积处理后得到的要素特征输出结果的积累可以迭代和强化不同网络层级得到的光谱细节特征。
13.进一步的，s2中获得遥感多光谱影像在锐化过程中的纹理要素特征具体包括以下步骤：s201、通过多尺度平行网络进行地物类型的特征提取，输出包含不同土地覆被类型的丰富纹理细节的多尺度浅层要素特征集合；s202、将多尺度平行网络的输出结果输入多尺度深度卷积神经网络架构下的第二特征提取网络，作为所述第二特征提取网络的输入数据。本发明将多尺度平行网络的输出结果输入多尺度深度卷积神经网络架构下的第二特征提取网络，可以增强不同土地覆盖类型的空间依赖性，并提取深层的纹理细节特征。
14.进一步的，多尺度平行网络包括多个卷积层，且不同的卷积层具有唯一尺寸的滤波器，所述多尺度平行网络中的所有卷积层都处于平行关系。本发明经过多尺度平行网络处理，输出的多尺度浅层要素特征集合包含了不同土地覆被类型的丰富纹理细节。
15.进一步的，在多尺度平行网络中，输入数据是高空间分辨率的全色影像，经过多尺度平行网络处理，输出结果包含高空间分辨率的全色影像的多尺度浅层要素特征集合：（4），其中，表示多尺度平行网络经过第s个卷积层卷积处理得到的要素特征，表示第s个卷积层的卷积处理，表示高空间分辨率的全色影像，表示残差结果。
16.进一步的，在第二特征提取网络中，第一层卷积层的输入数据是经过多尺度平行网络处理后的多尺度浅层要素特征集合，对于第二特征提取网络的其它卷积层，输入数据为上一层卷积层处理得到的要素特征输出结果；经过多尺度深度卷积神经网络架构得到的输出结果为：（5），
其中，表示多尺度要素特征集合，表示经过第s个卷积层卷积处理得到的要素特征，表示卷积处理，表示用于组成多光谱影像和全色影像的映射函数。
17.进一步的，s3中的获取遥感影像锐化产品包括以下步骤：s301、通过利用多层卷积神经网络作为变化影像的重建网络，经过重建网络处理，输出结果保留低空间分辨率多光谱影像经过上采样之后的高空间分辨率多光谱拟合影像和高空间分辨率的全色影像中的多层次光谱信息和多尺度纹理细节特征；s302、结合低空间分辨率多光谱影像经过上采样之后的高空间分辨率多光谱拟合影像和经过网络训练得到的多层次、多尺度要素特征集合，得到最终的遥感影像锐化产品：（6），其中，表示最终的遥感影像锐化产品，表示卷积处理，表示用于组成多光谱影像和全色影像的映射函数，表示多层次要素特征集合，表示多尺度要素特征集合，表示残差结果，表示低空间分辨率多光谱影像经过上采样之后的高空间分辨率多光谱拟合影像。
18.本发明输出结果可以保留低空间分辨率多光谱影像经过上采样之后的高空间分辨率多光谱拟合影像中的多层次光谱细节和多尺度纹理细节，不仅可以以高空间分辨率反映不同土地覆盖类型的空间结构，而且能够从高空间分辨率的全色影像中注入足够丰富的纹理细节信息。
19.进一步的，多层卷积神经网络中的第一层，输入数据是多层次要素特征集合和多尺度要素特征集合的融合结果。
20.与现有的技术相比，本发明的优点在于：1.本发明提出了一种基于平行深度学习网络架构的遥感影像锐化方法，通过获取多光谱遥感影像的光谱信息和全色影像的空间信息，为生产高空间-光谱分辨率的遥感锐化产品提供了新的方法，通过使用新型的平行深度学习网络架构研究多光谱影像和全色影像的复杂映射关系，并深度挖掘全色影像的空间纹理特征，可以更好的提高遥感锐化产品的空间分辨率和光谱信息精度；本发明将经过改进的递归网络的光谱要素特征和经过多尺度平行网络的纹理要素特征进行融合，两者缺一不可，可以解决目前遥感锐化产品存在的模型稳定性不足的问题；2.本发明在多层次深度神经网络架构中构建了第一特征提取网络和改进的递归网络，可以增强多光谱影像对全色影像的空间-光谱依赖度，获取丰富的多层次光谱特征要素，能够最大程度减少遥感锐化产品的光谱失真度；3.本发明在多尺度深度神经网络架构中构建了多尺度平行网络和第二特征提取网络，可以进一步增强多光谱影像对全色影像的空间依赖性，获取丰富的多尺度纹理细节特征要素，能够最大程度减少遥感锐化产品的空间失真度。
21.本发明的其它优点、目标和特征将部分通过下面的说明体现，部分还将通过对本发明的研究和实践而为本领域的技术人员所理解。
附图说明
22.图1是本发明的流程图；图2是本发明多层次深度卷积神经网络架构流程图；图3是本发明多尺度深度卷积神经网络架构流程图。
具体实施方式
23.为了使本技术领域的人员更好的理解本发明方案，下面将结合附图，对本发明实施例中的技术方案进行清楚、完整的描述。
24.如图1所示，本实施例基于平行深度学习网络架构的遥感影像锐化方法，包括以下步骤：s1、获得遥感全色影像在锐化过程中的光谱要素特征：建立多层次深度卷积神经网络架构，获取遥感影像中多光谱波段与全色波段时空-光谱之间的定量关系，以提高影像在锐化过程中的光谱信息保真度；s2、获得遥感多光谱影像在锐化过程中的纹理要素特征：建立多尺度深度卷积神经网络架构，获取遥感影像全色波段不同地物类型的纹理细节特征，以提高影像在锐化过程中的纹理信息保真度；s3、获取遥感影像锐化产品：融合所述光谱要素特征和纹理要素特征，建立深度学习重建网络以获取遥感影像锐化产品。本实施例将光谱要素特征和纹理要素特征进行融合，通过重建网络处理，输出结果不仅包含了不同土地覆盖类型的空间-光谱信息，而且获取了全色影像中丰富的纹理细节信息，得到高质量的遥感影像锐化产品。
25.本实施例多层次深度卷积神经网络架构的流程图如图2所示，本实施例s1中的获得遥感全色影像在锐化过程中的光谱要素特征包括建立特征提取网络以捕获多光谱影像的浅层特征，以及对应全色影像的纹理细节，具体步骤包括：s101、使用双三次插值对原始多光谱影像进行上采样，使原始多光谱影像保持与对应全色影像相同的空间分辨率；s102、将全色影像和经过上采样的多光谱影像进行堆叠组合，并作为第一特征提取网络的输入数据；s103、将第一特征提取网络的输出结果送入改进的递归网络，作为改进的递归网络的输入数据；其中，在第一特征提取网络之后建立改进的递归网络，可以增强多光谱影像和全色影像的区域依赖性，获取多层次光谱信息；s104、将改进的递归网络中各层卷积处理的结果进行累加并带入下一层网络，增强不同级别特征要素的积累，并分别保留各级网络处理结果。
26.本实施例为了捕获遥感多光谱影像的浅层特征和相应全色影像的纹理细节，首先利用了多层卷积神经网络（cnn）即第一特征提取网络进行影像特征提取。在影像的预处理上，通过双三次插值对低空间分辨率的多光谱影像进行上采样处理，以保持与相应全色影像相同的空间分辨率。
27.本实施例第一特征提取网络包括多层卷积层，将全色影像和经历过上采样处理的多光谱影像堆叠处理，作为第一特征提取网络的输入数据，对于第一特征提取网络的其它层，输入要素均为上一层卷积操作之后的输出结果：
（1），其中，表示卷积处理，表示用于组成多光谱影像和全色影像的映射函数，表示低空间分辨率多光谱影像经过上采样之后的高空间分辨率多光谱拟合影像，表示高空间分辨率的全色影像，表示残差结果，表示第一特征提取网络中第一次卷积运算后得到的要素特征。
28.本实施例经过第一特征提取网络后，输出的要素特征包含了低空间分辨率多光谱影像经过上采样之后的高空间分辨率多光谱拟合影像和高空间分辨率的全色影像的浅层纹理细节，以及两类影像在局部区域的空间-光谱关联信息。然而，简单的多层卷积网络结构只能获得影像的浅层要素特征，不足以提取影像所包含的复杂地表覆盖类型信息。随着网络深度的不断增加，深层的语义特征虽然可以得到补充，但浅层的纹理细节会因此不断丢失。针对以上问题，本实施例在多层次深度神经网络架构中提出了一种改进的递归网络，以增强低空间分辨率多光谱影像经过上采样之后的高空间分辨率多光谱拟合影像和高空间分辨率的全色影像之间的区域依赖性，同时也能保留影像从浅层到深层的多层次纹理信息。
29.本实施例改进的递归网络包括多层卷积层，第一层卷积层的输入数据为第一特征提取网络的输出结果，对于其它卷积层，输入数据为改进的递归网络中经过当前卷积层之前所有卷积层卷积处理后得到的要素特征累加，用以迭代和强化不同网络层级得到的纹理细节，所述改进的递归网络公式如下所示：（2）；其中，表示改进的递归网络中第n次卷积运算后得到的要素特征，表示进行了第n次卷积处理，表示用于组成多光谱影像和全色影像的映射函数；所述多层次深度卷积神经网络架构通过建立要素特征集合记录所述多层次深度卷积神经网络架构要素特征的输出结果：（3），其中，表示多层次要素特征集合，表示改进的递归网络中第n次卷积运算后得到的要素特征。
30.本实施例多尺度深度卷积神经网络架构的流程图如图3所示，本实施例在多尺度深度卷积神经网络架构中，使用了多尺度平行网络结构，即多个平行结构的卷积层。s2中获得遥感多光谱影像在锐化过程中的纹理要素特征具体包括以下步骤：s201、为了提取复杂地物类型区域的空间结构和地物边缘特征，利用多尺度平行网络进行地物类型的特征提取，经过多尺度平行网络处理，输出的多尺度浅层要素特征集合包含了不同土地覆被类型的丰富纹理细节；s202、将多尺度平行网络的输出结果送入多尺度深度卷积神经网络架构下的第二特征提取网络中，作为该网络的输入数据。本实施例第二特征提取网络由多层卷积神经网络构成，本实施例多尺度平行网络之后设置了第二特征提取网络，采用第二特征提取网络
可以增强全色影像的空间依赖性，并获取多种土地覆被类型之间更深的纹理特征。
31.本实施例多尺度平行网络包括多个卷积层，且不同的卷积层具有唯一尺寸的滤波器，多尺度平行网络中的所有卷积层都处于平行关系。本实施例经过多尺度平行网络处理，输出的多尺度浅层要素特征集合包含了不同土地覆被类型的丰富纹理细节。本实施例多尺度平行网络中，输入数据是高空间分辨率的全色影像，经过多尺度平行网络处理，输出结果是来自不同卷积层的合成特征要素，具体包含高空间分辨率的全色影像的多尺度浅层要素特征集合：（4），其中，表示经过第s个卷积层卷积处理得到的要素特征，表示第s个卷积层的卷积处理，表示高空间分辨率的全色影像，表示残差结果。
32.本实施例在第二特征提取网络中，第一层卷积层的输入数据是经过多尺度平行网络处理后的多尺度浅层要素特征集合，对于第二特征提取网络的其它卷积层，输入数据为上一层卷积层处理得到的要素特征输出结果；经过多尺度深度卷积神经网络架构得到的输出结果为：（5），其中，表示多尺度要素特征集合，表示经过第s个卷积层卷积处理得到的要素特征，表示卷积处理，表示用于组成多光谱影像和全色影像的映射函数。
33.本实施例s3中的获取遥感影像锐化产品包括以下步骤：s301、利用多层卷积神经网络作为变化影像的重建网络，经过重建网络处理，输出结果可以保留低空间分辨率多光谱影像经过上采样之后的高空间分辨率多光谱拟合影像和高空间分辨率的全色影像中的多层次、多尺度光谱-纹理细节，不仅可以反映不同土地覆盖类型的空间结构和光谱信息，而且能够从高空间分辨率的全色影像中注入足够丰富的纹理细节；s302、结合低空间分辨率多光谱影像经过上采样之后的高空间分辨率多光谱拟合影像和经过网络训练得到的多层次、多尺度要素特征集合，得到最终需要获取的遥感影像锐化产品：（6），其中，表示卷积处理，表示用于组成多光谱影像和全色影像的映射函数，表示多层次要素特征集合，表示多尺度要素特征集合，表示残差结果，表示低空间分辨率多光谱影像经过上采样之后的高空间分辨率多光谱拟合影像。
34.本实施例对于多层卷积神经网络中的第一层，输入要素为多层次深度神经网络架构和多尺度神经网络架构中获取的光谱特征要素和纹理细节特征要素的堆叠组合。
35.本实施例通过重建网络处理，输出结果不仅包含了不同土地覆盖类型的空间-光谱信息，而且获取了全色影像中丰富的纹理细节信息。最后，通过利用重建网络的输出结果与输入的高分辨率多光谱拟合影像得到最终的高质量遥感影像锐化产品。
36.本实施例将经过改进的递归网络的光谱要素特征和经过多尺度平行网络的纹理
要素特征进行融合，可以进一步提高基于深度卷积神经网络的遥感锐化产品的稳定性。
37.本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。