一种结合比值变换和分布转换的遥感图像融合方法

1.本发明属于数字图像处理技术领域，特别是一种结合比值变换和分布转换的遥感图像融合方法。


背景技术：

2.随着我国航空航天技术的蓬勃发展，越来越多的携带着多种不同传感器的卫星发射升空，遥感图像在对地观测中扮演越来越重要的角色。受限于卫星的负载能力，对于同一颗卫星采集的全色图像与多光谱图像来说，全色图像的空间分辨率较高但光谱分辨率较低(通常只有一个波段)，多光谱图像的空间分辨率较低但光谱分辨率较高(通常有超过4个波段)。在遥感图像的实现应用中，人们不会同时用到多光谱图像和全色图像。通常采取融合策略，将两者融合生成一张拥有高空间分辨率的多光谱图像。高空间分辨率多光谱图像的特点是具有多光谱图像的光谱分辨率的同时还有全色图像的空间分辨率，可以清晰地识别细小的地物，更有利于环境检测和灾害预防。遥感图像融合技术是多源遥感数据处理技术中重要研究方向，涉及传感器技术、信号处理、计算机应用和图像处理等多方向的边缘交叉学科，被广泛应用于城市规划、地理探测、植被农业评估、军事国防和环境污染等领域，对我国遥感行业的建设发展具有重要的实际意义。
3.现有的遥感图像融合算法种类繁多，虽能在一定程度上满足融合的需求，但他们都有各自的不足，其中最主要的问题是融合的图像仍存在着失真问题。图像失真分为光谱失真和细节失真，基于成分替代和基于多分辨率分析的方法存在着光谱失真，基于深度学习的方法存在着细节失真。失真的存在使得融合图像不能像原始图像一样直接使用，必须考虑其存在的偏差问题，因此所获得的应用价值有限。
4.因此，如何解决现有遥感图像融合算法中光谱失真和细节失真的问题，成为当前研究的关键问题。


技术实现要素：

5.鉴于上述问题，本发明提供一种至少解决上述部分技术问题的结合比值变换和分布转换的遥感图像融合方法，该方法通过深度神经网络生成低分辨率全色图像，再和全色图像进行比值运算，生成多光谱图像缺失的高频细节，从而解决低分辨率图像与全色图像灰度差异过大导致的细节失真问题；通过增益算法将高频细节转化为符合多光谱图像分布的光谱增益因子(即和上采样多光谱图像同分布的高频细节)，再注入到多光谱图像中生成融合图像，从而极大保留多光谱图像的光谱信息；最终获得更好的高分辨率多光谱融合图像。
6.本发明实施例提供了一种结合比值变换和分布转换的遥感图像融合方法，包括：
7.1、一种结合比值变换和分布转换的遥感图像融合方法，其特征在于，包括：
8.s1、分别对全色图像和上采样多光谱图像进行均值滤波处理，获得对应的全色图像高频分量和上采样多光谱图像高频分量；
9.s2、基于所述全色图像、上采样多光谱图像、全色图像高频分量和上采样多光谱图像高频分量，获得多光谱图像缺失的高频细节，记作第一高频细节；
10.s3、对所述第一高频细节进行标准正态化处理，获得标准正态化后的高频细节，记作第二高频细节；并计算所述上采样多光谱图像中各个通道中每个像素的均值和标准差；
11.s4、将所述上采样多光谱图像和所述第一高频细节进行拼接后输入至卷积网络中，生成第一仿射变换参数和第二仿射变换参数；
12.s5、基于所述第一仿射变换参数和第二仿射变换参数，将所述上采样多光谱图像中各个通道中每个像素的均值和标准差注入到所述第二高频细节中，生成和所述上采样多光谱图像同分布的高频细节，记作第三高频细节；
13.s6、基于所述第三高频细节，结合所述上采样多光谱图像，获得最终的融合图像。
14.进一步地，所述s1具体包括：
15.s11、获取全色图像和多光谱图像；
16.s12、对所述多光谱图像进行上采样，得到和所述全色图像同尺度的上采样多光谱图像；
17.s13、分别对所述全色图像和上采样多光谱图像进行均值滤波卷积计算，获得对应的全色图像低频分量和上采样多光谱图像低频分量；
18.s14、分别用所述全色图像和上采样多光谱图像与各自对应的低频分量作差，获得对应的全色图像高频分量和上采样多光谱图像高频分量。
19.进一步地，所述s2具体包括：
20.s21、将所述上采样多光谱图像高频分量和所述全色图像高频分量拼接并同时输入卷积网络，生成低分辨率全色图像高频分量；
21.s22、将所述上采样多光谱图像和所述全色图像拼接并同时输入网络，生成低分辨率全色图像；
22.s23、将所述低分辨率全色图像高频分量加入到所述低分辨率全色图像中，得到修正之后的低分辨率全色图像；
23.s24、将所述全色图像和所述低分辨率全色图像进行比值变换，获得多光谱图像缺失的细节，记作第一高频细节。
24.进一步地，所述s3中，对所述第一高频细节进行标准正态化处理，具体包括：
25.(1)计算所述第一高频细节中每个像素的均值，公式表示为：
[0026][0027]
其中，μ
detail
表示第一高频细节中每个像素的均值；p
detail
表示第一高频细节；p
detaily,x
表示第一高频细节中每个像素点的取值；h代表图像高度；w代表宽度；x代表像素点的横坐标；y代表像素点的纵坐标；
[0028]
(2)计算所述第一高频细节中每个像素的标准差；公式表示为：
[0029][0030]
其中，σ
detail
表示第一高频细节中每个像素的标准差；ε表示常数；
[0031]
(3)基于所述第一高频细节中每个像素的均值和标准差，对所述第一高频细节进行标准正态化处理，获得标准正态化后的高频细节，记作第二高频细节；计算公式表示为：
[0032][0033]
其中，表示标准正态化后的高频细节，即第二高频细节。
[0034]
进一步地，所述s3中，计算所述上采样多光谱图像中各个通道中每个像素的均值和标准差，具体包括：
[0035]
(1)计算所述上采样多光谱图像中各个通道中每个像素的均值；公式表示为：
[0036][0037]
其中，表示上采样多光谱图像中各个通道中每个像素的均值；h代表图像高度；w代表宽度；x代表像素点的横坐标；y代表像素点的纵坐标；表示c通道的(x，y)位置的像素值；
[0038]
(2)根据所述上采样多光谱图像中各个通道中每个像素的均值，计算所述上采样多光谱图像中各个通道中每个像素的标准差；公式表示为：
[0039][0040]
进一步地，所述s4中，所述第一仿射变换参数用于调整所述上采样多光谱图像中各个通道中每个像素的均值；
[0041]
所述第二仿射变换参数用于调整所述上采样多光谱图像中各个通道中每个像素的标准差。
[0042]
进一步地，所述第三高频细节表示为：
[0043][0044]
其中，表示第c通道的第三高频细节；表示上采样多光谱图像中第c通道的像素标准差；表示上采样多光谱图像中第c通道的像素均值；β表示第一仿射变换参数；γ表示第二仿射变换参数。
[0045]
进一步地，所述最终的融合图像表示为：
[0046][0047]
其中，表示第c通道的融合图像；表示第c通道的第三高频细节；表示第c通道的上采样多光谱图像。
[0048]
与现有技术相比，本发明记载的一种结合比值变换和分布转换的遥感图像融合方法，具有如下有益效果：
[0049]
1、本发明提高了对细节纹理和光谱信息的保留程度，解决了低分辨率图像与全色图像灰度差异过大导致的细节失真问题。
[0050]
2、在不同全色图像波段范围和多光谱图像波段范围的波段范围差异下都能取得较好融合效果。
[0051]
3、本发明基于深度学习融合方法实现了图像融合，同时解决了传统融合方法和传统深度学习融合方法中图像失真的问题。
[0052]
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
[0053]
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
[0054]
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
[0055]
图1为本发明实施例提供的结合比值变换和分布转换的遥感图像融合方法流程示意图。
[0056]
图2为本发明实施例提供的低分辨率全色图像的生成过程示意图。
[0057]
图3为本发明实施例提供的分布转换增益过程图。
具体实施方式
[0058]
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
[0059]
在本发明实施例中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
[0060]
参见图1所示，本发明实施例提供一种结合比值变换和分布转换的遥感图像融合方法，具体包括如下步骤：
[0061]
s1、分别对全色图像和上采样多光谱图像进行均值滤波处理，获得对应的全色图像高频分量和上采样多光谱图像高频分量；
[0062]
s2、基于所述全色图像、上采样多光谱图像、全色图像高频分量和上采样多光谱图像高频分量，获得多光谱图像缺失的高频细节，记作第一高频细节；
[0063]
s3、对所述第一高频细节进行标准正态化处理，获得标准正态化后的高频细节，记作第二高频细节；并计算所述上采样多光谱图像中各个通道中每个像素的均值和标准差；
[0064]
s4、将所述上采样多光谱图像和所述第一高频细节进行拼接后输入至卷积网络中，生成第一仿射变换参数和第二仿射变换参数；
[0065]
s5、基于所述第一仿射变换参数和第二仿射变换参数，将所述上采样多光谱图像
中各个通道中每个像素的均值和标准差注入到所述第二高频细节中，生成和所述上采样多光谱图像同分布的高频细节，记作第三高频细节；
[0066]
s6、基于所述第三高频细节，结合所述上采样多光谱图像，获得最终的融合图像。
[0067]
下面分别对上述各个步骤进行详细的说明。
[0068]
在上述步骤s1中，具体包括：
[0069]
s11、获取目标卫星所采集的全色图像p和多光谱图像m；
[0070]
s12、对多光谱图像m进行上采样，得到和全色图像p同尺度的上采样多光谱图像在本发明实施例中，具体对多光谱图像m进行上采样4倍；
[0071]
s13、分别对全色图像p和上采样多光谱图像进行均值滤波卷积计算，获得对应的全色图像低频分量p
l
和上采样多光谱图像低频分量卷积核k和公式如下；
[0072][0073][0074]
其中，
⊙
代表卷积运算；
[0075]
s14、分别用全色图像p和上采样多光谱图像与各自对应的低频分量作差，获得对应的全色图像高频分量ph和上采样多光谱图像高频分量通过公式表达为：
[0076][0077]
在上述步骤s2中，具体包括：
[0078]
s21、将上采样多光谱图像高频分量和全色图像高频分量ph拼接并同时输入卷积网络，生成低分辨率全色图像高频分量i
lh
；公式如下：
[0079][0080]
s22、将上采样多光谱图像和全色图像p拼接并同时输入网络，生成低分辨率全色图像i
ll
；
[0081][0082]
s23、将低分辨率全色图像高频分量i
lh
加入到低分辨率全色图像i
ll
中进行细节补充，最终生成修正之后的低分辨率全色图像i
l
；
[0083]
该过程如图2所示，公式如下：
[0084]il
＝i
ll
+i
lh
[0085]
s24、将全色图像p和低分辨率全色图像i
l
进行比值变换，获得多光谱图像缺失的高频细节p
detail
，记作第一高频细节p
detail
；公式如下
[0086]
p
detail
＝p/i
l
[0087]
在上述步骤s3中，对第一高频细节p
detail
进行去分布特性，即进行标准正态化处
理，具体包括：
[0088]
(1)计算第一高频细节p
detail
中每个像素的均值μ
detail
，计算公式表示为：
[0089][0090]
其中，μ
detail
表示第一高频细节p
detail
中每个像素的均值；p
detaily,x
表示第一高频细节中每个像素点的取值；h代表图像高度；w代表宽度；x代表像素点的横坐标；y代表像素点的纵坐标；
[0091]
(2)计算第一高频细节p
detail
中每个像素的标准差σ
detail
；计算公式表示为：
[0092][0093]
其中，σ
detail
表示第一高频细节p
detail
中每个像素的标准差；ε表示常数；
[0094]
(3)基于第一高频细节p
detail
中每个像素的均值μ
detail
和标准差σ
detail
，对所述第一高频细节p
detail
进行标准正态化处理，获得标准正态化后的高频细节记作第二高频细节计算公式表示为：
[0095][0096]
同时对多光谱图像进行相同的运算获得带有多光谱图像全局特性信息的均值和标准差计算上采样多光谱图像中各个通道中每个像素的均值和标准差具体包括：
[0097]
(1)计算上采样多光谱图像中各个通道中每个像素的均值公式表示为：
[0098][0099]
其中，表示上采样多光谱图像中各个通道中每个像素的均值；h代表图像高度；w代表宽度；x代表像素点的横坐标；y代表像素点的纵坐标；表示c通道的(x，y)位置的像素值；
[0100]
(2)根据上采样多光谱图像中各个通道中每个像素的均值计算上采样多光谱图像中各个通道中每个像素的标准差公式表示为：
[0101][0102]
在上述步骤s4中，将上采样多光谱图像和生成的第一高频细节p
detail
拼接到一起，再经过一层卷积网络之后分别经过两个卷积网络，生成分别用于调整均值和标准差的第一仿射变换参数β和第二仿射变换参数γ。
[0103]
在上述步骤s5中，基于所述第一仿射变换参数β和第二仿射变换参数γ，将所述上采样多光谱图像中各个通道中每个像素的均值和标准差注入到所述第二高频细节
中，生成和所述上采样多光谱图像同分布的高频细节记作第三高频细节过程如图3所示，公式如下：
[0104][0105]
其中，表示第c通道的第三高频细节；表示上采样多光谱图像中第c通道的像素标准差；表示上采样多光谱图像中第c通道的像素均值；
[0106]
在上述步骤s6中，基于所述第三高频细节结合所述上采样多光谱图像行乘法运算注入细节，获得最终的融合图像公式如下：
[0107][0108]
其中，表示第c通道的融合图像；表示第c通道的第三高频细节；表示第c通道的上采样多光谱图像。
[0109]
本发明实施例本发明公开了一种结合比值变换和分布转换的遥感图像融合方法，该方法基于成分替代的思想，并结合深度学习和比值变换的技术优势获取高频细节，再对细节进行分布转换最后注入到多光谱图像中达到高保真的图像融合。主要包括以下步骤：首先设计了高频细节生成方法，它利用深度学习非线性表达能力强的优势，通过将全色图像和多光谱图像拼接并同时输入进卷积网络生成低分辨率全色图像，再将全色图像和低分辨率全色图像进行比值变换生成多光谱图像缺失的高频细节。然后设计了基于高斯分布转换的光谱增益方法，通过对高频细节进行标准正态化，再向其注入多光谱图像的均值和标准差实现分布转换，再将其注入到多光谱图像中实现图像融合。通过以上两个主要模块的结合，完成了一种结合比值变换和分布转换的遥感图像高保真融合的方法，该方法可以同时保证融合图像获取更好的细节纹理和更完整的光谱信息，能减少融合图像细节失真和光谱失真的问题。
[0110]
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。