一种基于Curvelet变换的影像融合方法及系统与流程

本发明属于多源高分辨率卫星遥感影像融合领域，尤其涉及一种基于curvelet变换的影像融合方法及系统。

背景技术：

1982年，haydn首次将his(hue-intensity-saturation)方法应用到遥感影像融合中，his方法首先在多光谱影像中选择适当波段作为rgb三个通道数据，生成rgb彩色影像，然后将彩色影像变换到his变换空间，对待融合的高分辨率影像进行灰度拉伸替换i分量，最后进行his逆变换得到融合影像，his融合方法是一种实现简单、应用广泛的影像融合方法。

但是his融合方法要求对比度拉伸后的高分辨率影像不仅要与亮度分量高度相关，而且要与其光谱响应范围同多光谱影像的响应范围接近一致，在实际情况中，二者相关性很低，因此易发生光谱扭曲现象。对于高分辨率的sar影像而言，由于sar卫星成像系统基于相干成像原理，使得sar影像出现不同程度的斑点噪声，高空间分辨率影像质量受其影响更严重，受探测机理影响，其影像无法探测地物目标的光谱信息，高光谱卫星影像数据含有丰富的光谱信息，但空间分辨率通常不会特别高，尤其是在拉伸后的高分辨率影像直接替换高光谱影像的亮度分量，易使sar影像的噪声引入到融合影像中。

综上所述，由于sar卫星成像系统基于相干成像原理，使得sar影像出现不同程度的斑点噪声，高空间分辨率影像质量受其影响更严重，受探测机理影响，其影像无法探测地物目标的光谱信息。高光谱卫星影像数据含有丰富的光谱信息，但空间分辨率通常不会特别高。

因此，是否能够将his融合方法与sar影像方法相融合，改善his方法存在的光谱失真和易引入噪声问题，从而得到高质量的融合影像是亟待需要解决的问题。

技术实现要素：

本发明所要解决的技术问题是：现有技术中sar影像高空间分辨率影像质量较差，其影像无法探测地物目标的光谱信息，并且其空间分辨率较低。

为解决上面的技术问题，本发明提供了一种基于curvelet变换的影像融合方法，该方法包括如下步骤：

s1,对原始的高光谱影像进行影像插值，得到与sar影像相同像元尺寸的新的高光谱影像；

s2，对新的高光谱影像进行his变换，得到i、s和h分量，同时对sar影像进行灰度拉伸，得到sar^*影像；

s3，对i分量和sar^*影像分别进行curvelet变换，得到curvelet变换系数，并根据融合规则对curvelet变换系数进行融合，得到新的curvelet变换系数；

s4，将新的curvelet变换系数进行curvelet逆变换，得到i^*分量，同时将i^*分量和s、h分量进行his逆变换，得到融合后的影像。

本发明的有益效果：本发明中对curvelet变换并采用不同的融合规则进行融合，因此由于融合规则中对噪声的进行了抑制，有效地改善了融合影像的光谱失真问题，极大地提高了空间分辨率。

进一步地，所述s2中对sar影像进行灰度拉伸，得到sar^*影像，其公式为：

其中，μ1，σ1分别为sar影像的均值和标准差，μ0，σ0分别为i分量的均值和标准差。

进一步地，所述s3中包括：

s31，对i分量和sar^*影像分别进行curvelet变换，分别得到与i分量对应的i分量低频系数、i分量中频系数、i分量高频系数和与新的sar^*影像对应的sar^*影像低频系数、sar^*影像中频系数、sar^*影像高频系数；

s32，根据融合规则，将i分量低频系数、i分量中频系数、i分量高频系数分别对应地与sar^*影像低频系数、sar^*影像中频系数、sar^*影像高频系数进行融合，对应地得到新的curvelet变换的低频系数、中频系数、高频系数。

上述进一步地的有益效果：通过这些不同的融合规则进行的curvelet变换，同时融合规则对噪声的进行了抑制，有效地改善了融合影像的光谱失真问题，极大地提高了空间分辨率。

进一步地，所述s4中包括：

s41，将新的curvelet变换的低频系数、中频系数、高频系数进行curvelet逆变换，得到i^*分量；

s42，将i^*分量与s、h分量进行his反变换，得到融合后的影像。

进一步地，所述s2中包括：

在新的高光谱影像中选择三个波段作为r、g、b波段，并对该三个波段分别进行his变换，得到对应的i、s和h分量，同时对sar影像进行灰度拉伸，得到sar^*影像。

上述进一步地有益效果：选择三个波段作为r、g、b波段，并非是所有的波段都进行，这样的目的减少非必要的影响的转换，同时也节省很多的时间，提高了精度。

进一步地，所述s32中的融合规则包括：区域标准差和局部方向信息熵的融合规则、特征量积的融合规则、高频系数取零的融合规则；

所述区域标准差和局部方向信息熵的融合规则，是用于i分量低频系数与sar^*影像低频系数进行融合，得到新的curvelet变换的低频系数；

所述特征量积的融合规则，是用于i分量中频系数与sar^*影像中频系数进行融合，得到新的curvelet变换的中频系数；

所述高频系数取零的融合规则，是用于i分量高频系数分与sar^*影像高频系数进行融合，得到新的curvelet变换的高频系数。

上述进一步地的有益效果：通过这些不同的融合规则进行的curvelet变换，低频采用区域标准差和局部方向信息熵的融合规则，中频采用特征量积的融合规则，高频采用高频系数取零的融合规则，同时融合规则对噪声的进行了抑制，有效地改善了融合影像的光谱失真问题，极大地提高了空间分辨率。

本发明还涉及一种基于curvelet变换的影像融合系统，该系统包括：影像插值模块、影像处理模块、curvelet变换模块、融合影像模块；

所述影像插值模块，其用于对原始的高光谱影像进行影像插值，得到与sar影像相同像元尺寸的新的高光谱影像；

所述影像处理模块，其用于对新的高光谱影像进行his变换，得到i、s和h分量，同时对sar影像进行灰度拉伸，得到sar^*影像；

所述curvelet变换模块，其用于对i分量和sar^*影像分别进行curvelet变换，得到curvelet变换系数，并根据融合规则对curvelet变换系数进行融合，得到新的curvelet变换系数；

所述融合影像模块，其用于将新的curvelet变换系数进行curvelet逆变换，得到i^*分量，同时将i^*和s、h分量进行his反变换，得到融合后的影像。

本发明的有益效果：通过这些不同的融合规则进行的curvelet变换，低频采用区域标准差和局部方向信息熵的融合规则，中频采用特征量积的融合规则，高频采用高频系数取零的融合规则，同时融合规则对噪声的进行了抑制，有效地改善了融合影像的光谱失真问题，极大地提高了空间分辨率。

进一步地，所述curvelet变换模块包括：第一curvelet变换单元、第二curvelet变换单元；

所述第一curvelet变换单元，其用于对i分量和sar^*影像分别进行curvelet变换，分别得到与i分量对应的i分量低频系数、i分量中频系数、i分量高频系数和与sar^*影像对应的sar^*影像低频系数、sar^*影像中频系数、sar^*影像高频系数；

所述第二curvelet变换单元，其用于根据融合规则，将i分量低频系数、i分量中频系数、i分量高频系数分别对应地与sar^*影像低频系数、sar^*影像中频系数、sar^*影像高频系数进行融合，对应地得到新的curvelet变换的低频系数、中频系数、高频系数。

上述进一步地有益效果：通过这些不同的融合规则进行的curvelet变换，同时在融合规则中对噪声的进行抑制，有效地改善了融合影像的光谱失真问题，极大地提高了空间分辨率。

进一步地，所述融合影像模块中包括：第一融合影像单元、第二融合影像单元；

所述第一融合影像单元，其用于将新的curvelet变换的低频系数、中频系数、高频系数进行curvelet逆变换，得到i^*分量；

所述第二融合影像单元，其用于将i^*分量与s、h分量进行his反变换，得到融合后影像。

进一步地，所述影像处理模块，其具体用于在新的高光谱影像中选择三个波段作为r、g、b波段，并对该三个波段分别进行his变换，得到对应的i、s和h分量，同时对sar影像进行灰度拉伸，得到sar^*影像。

上述进一步地有益效果：选择三个波段作为r、g、b波段，并非是所有的波段都进行，这样的目的减少非必要的影响的转换，同时也节省很多的时间，提高了精度。

附图说明

图1为本发明的一种基于curvelet变换的影像融合方法的流程图；

图2为本发明的一种基于curvelet变换的影像融合方法的示意图；

图3为本发明的一种基于curvelet变换的影像融合系统的示意图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

实施例1

如图1和图2所示，本实施例1中的一种基于curvelet变换的影像融合方法，该方法包括如下步骤：

s1,对原始的高光谱影像进行影像插值，得到与sar影像相同像元尺寸的新的高光谱影像；

在本实施例1中，我们是首先将原始的高光谱影像进行影像插值，这样通过影像插值可以得到与sar影像相同像元尺寸的新的高光谱影像，也就是得到与sar影像相同像元尺寸的hs影像。这样做的目的是将原始的高光谱影像的精度进一步提高。

s2，对新的高光谱影像进行his变换，得到i、s和h分量，同时对sar影像进行灰度拉伸，得到sar^*影像；

在本实施例1中我们是根据上述步骤s1得到的新的高光谱影像，对得到的新的高光谱影像进行his变换，将这新的高光谱影像进行分段，得到i、s和h分量，在进行his变换的同时，我们也对sar影像进行灰度拉伸，得到sar^*影像。这样的目的是使得后续变换的时候能够更好地融合。

s3，对i分量和sar^*影像分别进行curvelet变换，得到新的curvelet变换系数；

在本实施例1中我们是对上述步骤s2中得到的sar^*影像和步骤s1中得到的i分量分别进行curvelet变换，得到新的curvelet变换系数，这样可以使得根据不同的融合规则，能够得到不同新的curvelet变换系数。

s4，将新的curvelet变换系数进行curvelet逆变换，得到新的i^*分量，同时将i^*分量和s、h分量进行his逆变换，得到融合后的影像。

在本实施例1中我们是将上述步骤s3中得到的新的curvelet变换系数进行curvelet逆变换，通过curvelet逆变换，我们可以得到i^*分量，在我们进行curvelet逆变换的同时，我们也将i^*分量和s、h分量进行his逆变换，通过his逆变换，我们可以得到融合后的影像，从而实现本实施例1中的目的。通过上述实施例s1至s4步骤，我们对curvelet变换的低频、中频和高频分量采用不同的融合规则，低频采用区域标准差和局部方向信息熵的融合规则，中频采用特征量积的融合规则，高频采用高频系数取零的融合规则，同时在融合规则中对噪声的进行抑制，有效地改善了融合影像的光谱失真问题，极大地提高了空间分辨率。

优选地，在本实施例1中我们对步骤s2进行了细化，其包括如下：所述s2中对sar影像进行灰度拉伸，得到sar^*影像，其公式为：

其中，μ1，σ1分别为sar影像的均值和标准差，μ0，σ0分别为i分量的均值和标准差。

优选地，我们还对上述步骤s3进行了细化，其包括如下：所述s3中包括：

s31，对i分量和sar^*影像分别进行curvelet变换，分别得到与i分量对应的i分量低频系数、i分量中频系数、i分量高频系数和与sar^*影像对应的sar^*影像低频系数、sar^*影像中频系数、sar^*影像高频系数；

s32，根据融合规则，将i分量低频系数、i分量中频系数、i分量高频系数分别对应地与sar^*影像低频系数、sar^*影像中频系数、sar^*影像高频系数进行融合，对应地得到新的curvelet变换的低频系数、中频系数、高频系数。

在本实施例1中我们是先对上述步骤s1中得到的i分量和上述步骤s2中得到的sar^*影像分别进行curvelet变换，分别得到与i分量对应的i分量低频系数、i分量中频系数、i分量高频系数和与sar^*影像对应的sar^*影像低频系数、sar^*影像中频系数、sar^*影像高频系数；在得到这些系数后，我们还根据不同的融合规则，将i分量低频系数、i分量中频系数、i分量高频系数分别对应地与sar^*影像低频系数、sar^*影像中频系数、sar^*影像高频系数进行融合，对应地得到新的curvelet变换的低频系数、中频系数、高频系数。通过这些不同的融合规则进行的curvelet变换，低频采用区域标准差和局部方向信息熵的融合规则，中频采用特征量积的融合规则，高频采用高频系数取零的融合规则，同时融合规则对噪声的进行了抑制，有效地改善了融合影像的光谱失真问题，极大地提高了空间分辨率。

优选地，在本实施例1中我们还对上述步骤s4进行了细化，其包括如下：

s41，将新的curvelet变换的低频系数、中频系数、高频系数进行curvelet逆变换，得到i^*分量；

s42，将i^*分量与s、h分量进行his反变换，得到融合后影像。

在本实施例1中我们是将上述步骤s32中得到的新的curvelet变换的低频系数、中频系数、高频系数进行curvelet逆变换，得到新的i^*分量；然后我们再将得到的i^*分量与s、h分量进行his反变换，得到融合后的影像。

优选地，在本实施例1中我们还对上述步骤s2进行细化，其包括：在新的高光谱影像中选择三个波段作为r、g、b波段，并对该三个波段分别进行his变换，得到对应的i、s和h分量，同时对sar影像进行灰度拉伸，得到sar^*影像。

在本实施例1中我们是在新的高光谱影像中选择三个波段作为r、g、b波段，并非是所有的波段都进行，这样的目的减少非必要的影响的转换，同时也节省很多的时间，提高了精度。我们再对选取的r、g、b波段进行his变换，得到对应的i、s和h分量，同时对sar影像进行灰度拉伸，得到新的sar^*影像。

优选地，在本实施例1中我们还进一步地细化上述步骤s32，其中所述s32中的融合规则包括：区域标准差和局部方向信息熵的融合规则、特征量积的融合规则、高频系数取零的融合规则；

所述区域标准差和局部方向信息熵的融合规则，是用于i分量低频系数与sar^*影像低频系数进行融合，得到新的curvelet变换的低频系数；

所述特征量积的融合规则，是用于i分量中频系数与sar^*影像中频系数进行融合，得到新的curvelet变换的中频系数；

所述高频系数取零的融合规则，是用于i分量高频系数分与sar^*影像高频系数进行融合，得到新的curvelet变换的高频系数。

在本实施例1中我们采用这样的不同的融合规则进行融合，对于低频系数，由于低频代表了影像的整体特征信息，为了尽可能多地保留地物的概貌信息，本实施例1中使用了以区域标准差和局部方向信息熵为主要判断依据的融合规则，更好地选择sar影像与i分量的低频信息进行融合。

其中我们需要说明的是，所述区域标准差和局部方向信息熵的融合规则，局部方向信息熵可作为衡量区域显著性的准则，其值越大，表明该区域包含越丰富的信息，定义如下：

其中r表示以(k1,k2)为中心选取的局部区域，其大小为m×n。

记分别为pan^*和i的低频系数，sr^pan(k1,k2)、srⁱ(k1,k2)分别为的局部方向信息熵，σ^pan(k1,k2)、σⁱ(k1,k2)为的局部区域标准差。

另外，对于所述区域标准差和局部方向信息熵的融合规则，是用于i分量低频系数与sar^*影像低频系数进行融合，得到新的curvelet变换的低频系数；其具体包括：

如果sr^pan(k1,k2)＞srⁱ(k1,k2)，

否则，

其中为融合后的低频系数，x1(k1,k2)、x2(k1,k2)分别为：

对于不同尺度及方向下的中频系数，由于绝对值取大的方法对噪声比较敏感，容易把噪声当作是有用信息注入到融合影像中，因此，融合中既需要考虑了局部窗口内整体特征，也需要考虑了每个像素的特征。特征量积使用了多个特征量表达细节信息，本实施例1中是采用基于特征量积的融合规则，尽可能多地保留有用的信息，减少噪声的影响。

其中，所述特征量积的融合规则，是用于i分量中频系数与sar^*影像中频系数进行融合，得到新的curvelet变换的中频系数；其过程如下：

记分别为sar^*和i的中频系数，j为尺度参数，l为方向参数。分别为以(k1,k2)为中心，大小为n×n的局部区域的标准差，分别为(k1,k2)的梯度，则：

特征量积的定义如下：

其中分别为以(k1,k2)为中心，大小为n×n的局部区域的特征量积。

还有的是，得到的中频系数融合如下所示：

其中为融合后的中频系数。

最后我们还需要解析的是，所述高频系数取零的融合规则，是用于i分量高频系数分与sar^*影像高频系数进行融合，得到新的curvelet变换的高频系数。其高频系数取零的融合规则是代表噪声的系数主要集中在高频系数中，本实施例1中采用高频系数取零的融合规则以尽可能地抑制sar影像中的斑点噪声。

实施例2

如图3所示，本实施例2涉及一种基于curvelet变换的影像融合系统，该系统包括：影像插值模块、影像处理模块、curvelet变换模块、融合影像模块；

所述影像插值模块，其用于对原始的高光谱影像进行影像插值，得到与sar影像相同像元尺寸的新的高光谱影像；

所述影像处理模块，其用于对新的高光谱影像进行his变换，得到i、s和h分量，同时对sar影像进行灰度拉伸，得到sar^*影像；

所述curvelet变换模块，其用于对i分量和sar^*影像分别进行curvelet变换，得到curvelet变换系数，并根据融合规则对curvelet变换系数进行融合，得到新的curvelet变换系数；

所述融合影像模块，其用于将新的curvelet变换系数进行curvelet逆变换，得到i^*分量，同时将i^*和s、h分量进行his反变换，得到融合后的影像。

在本实施例2中对curvelet变换的低频、中频和高频分量采用不同的融合规则，低频采用区域标准差和局部方向信息熵的融合规则，中频采用特征量积的融合规则，高频采用高频系数取零的融合规则，同时融合规则对噪声的进行了抑制，有效地改善了融合影像的光谱失真问题，极大地提高了空间分辨率。

优选地，所述curvelet变换模块包括：第一curvelet变换单元、第二curvelet变换单元；

所述第一curvelet变换单元，其用于对i分量和sar^*影像分别进行curvelet变换，分别得到与i分量对应的i分量低频系数、i分量中频系数、i分量高频系数和与sar^*影像对应的sar^*影像低频系数、sar^*影像中频系数、sar^*影像高频系数；

所述第二curvelet变换单元，其用于根据融合规则，将i分量低频系数、i分量中频系数、i分量高频系数分别对应地与sar^*影像低频系数、sar^*影像中频系数、sar^*影像高频系数进行融合，对应地得到新的curvelet变换的低频系数、中频系数、高频系数。

优选地，所述融合影像模块中包括：第一融合影像单元、第二融合影像单元；

所述第一融合影像单元，其用于将新的curvelet变换的低频系数、中频系数、高频系数进行curvelet逆变换，得到新的i^*分量；

所述第二融合影像单元，其用于将i^*分量与s、h分量进行his反变换，得到融合后的影像。

在本实施例2中我们需要说明的是，我们是先通过第一融合影像单元将将新的curvelet变换的低频系数、中频系数、高频系数进行curvelet逆变换，得到i^*分量；然后再通过第二融合影像单元将i^*分量与s、h分量进行his反变换，得到融合后的影像。

优选地，所述影像处理模块，其具体用于在新的高光谱影像中选择三个波段作为r、g、b波段，并对该三个波段分别进行his变换，得到对应的i、s和h分量，同时对sar影像进行灰度拉伸，得到sar^*影像。

在本实施例2中我们需要说明的是，我们是通过影像处理模块，在新的高光谱影像中选择三个波段作为r、g、b波段，并非是所有的波段都进行，这样的目的减少非必要的影响的转换，同时也节省很多的时间，提高了精度。我们再对选取的r、g、b波段进行his变换，得到对应的i、s和h分量，同时对sar影像进行灰度拉伸，得到sar^*影像。

下面使我们根据上面的方法进行的一些数据试验，如下表所示：

由表1数据可以看出，与其他方法相比，研究的curvelet_sar方法得到的融合影像各波段的亮度均值和标准差数值均为最大，说明融合后的影像亮度较高，灰度级分布分散，融合影像可以反映出更多的特征信息；在信息熵指标上，curvelet_sar方法得到的融合影像各波段数值都是最大，说明与其他方法相比，该方法得到的融合影像中的信息量更为丰富。

在平均梯度指标上，由于curvelet_sar方法考虑了sar影像中的斑点噪声对融合影像的影响，在高频系数融合规则中为了抑制斑点噪声而损失了部分细节信息，因此数值相对较低。

从表1中相关系数指标可以看出，文中方法得到的融合影像相关系数最高，其次是dwt_his方法，his方法得到的融合影像最低。因此说明curvelet_sar方法的光谱保持能力最好，his方法最差。在相对偏差指标上，dwt_his方法性能最优。

在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。