图像融合方法和设备的制作方法
【专利摘要】本发明提出了用于进行图像融合的方法和相应的设备。在本发明中，首先，获取多个图像。然后，基于全变差-L1范数能量函数，来融合所述多个图像。其中，所述全变差-L1范数能量函数包括两个分量，一个分量是全变差分量，表示保留高分辨率图像的细节信息，而另一个分量是L1范数分量，表示保留低分辨率多光谱图像的光谱信息。根据本发明，能够平衡融合后所得图像的细节信息和光谱信息。
【专利说明】图像融合方法和设备
【技术领域】
[0001]本发明涉及图像处理技术，更具体地，本发明涉及图像融合方法和设备。
【背景技术】
[0002]图像融合(Image Fusion)是指通过对多幅关于同一目标的源图像进行图像处理，最大限度的保留各自源图像中的有利信息，来将多幅源图像综合成高质量的单幅图像的过程。
[0003]图像融合的应用领域包括远程感测、医学成像、质量和缺陷检测、以及生物识别等等。尤其在移动通信中，存在强烈的对多幅图像进行融合以得到关于感测的场景的更好描述和解释的需求。
[0004]图像融合应当遵循某些融合规则，以构建一个合成图像。因此，如何设置融合规则/算法，是一个问题。常规的算法可以分类为3类:1)投影和替代方法，例如亮度-色调-饱和度(IHS)彩色融合和主成分分析(PCA)融合；2)波段比值和算术组合方法，例如相乘和合成变量比(SVR) ；3)基于小波的融合方法。
[0005]Nliflez 等人在文献“Multiresolution based image fusion with additivewavelet decomposition, IEEE Tran.Geosc1.Rem.Sensing,32(3),1204-1211(1999)” 中提出了使用加性小波(AW)算法来将一个高分辨率图像(SPOT)与一个低分辨率多光谱图像(Landsat Thematic Mapper (TM)图像)相融合。在该方案中，由TM图像的波段来替代 SPOT 图像的 Atrous 小波近似。Li 等人在文献“Multisensor image fusion usingthe wavelet transform, Graphical Models and Image Processing,57,235-245 (1995)，，中提出了基于小波变换的基于区域的最大选择规则(AMS)。Scheunders等人在文献“AMultivalued Imageffavelet Representation Based on Multiscale Fundamental Forms,IEEE Transactions on Image Processing, 10 (5), 568-575 (2002) ” 和文献 “Fusion andmerging of multispectral images using multiscale fundamental forms, Journalof the Optical Society of America A, Optics, Image Science, and Vision.18(10),2468-2477(2001)”中给出了基于多尺度第一基本形式(MFF)方法的新颖算法，其使用多值图像小波表示方法来融合图像。Chen等人在文献“Image fusion using weightedmultiscale fundamental form, Proceedings of the2004International Conference onImage Processing，5，3319-3322 (2004) ”中提出了改进的加权多尺度第一基本形式(WMFF)方法来避免MFF方法放大小波系数的问题。
[0006]然而，上面所述的这些基于小波的融合方法具有一些共同的限制:一个限制是需要选择预定义的小波基础，另一个限制是如何正确地选择小波分解级。并且，AW和AMS保留更多的光谱信息而忽略一些空间或细节信息，而MFF和WMFF更多地关注空间或细节信息，而扭曲了光谱信息。
[0007]为了解决上述问题，Chen等人在文献 “Fusion of color microscopic imagesbased on bidimensional empirical mode decomposition.0PTICS EXPRESS,18,21757-21769(2010) ”中提出了新的图像适应分解算法。但是这些图像分解算法结果并不稳定。
【发明内容】
[0008]根据本发明的第一方面，提出了一种方法，包括:获取多个图像；基于全变差-L1范数能量函数，来融合所述多个图像，其中，所述全变差-L1范数能量函数包括两个分量，一个分量是全变差分量，其表示保留待融合图像的细节信息，而另一个分量是L1范数分量，其表示保留待融合图像的光谱信息。
[0009]根据本发明的第二方面，提出了一种设备，包括:获取单元，用于获取多个图像；融合单元，用于基于全变差-L1范数能量函数，来融合所述多个图像，其中，所述全变差-L1范数能量函数包括两个分量，一个分量是全变差分量，其表示保留待融合图像的细节信息，而另一个分量是L1范数分量，其表示保留待融合图像的光谱信息。
[0010]根据本发明的第三方面，提出了一种设备，包括:用于获取多个图像的装置；用于基于全变差-L1范数能量函数，来融合所述多个图像的装置，其中，所述全变差-L1范数能量函数包括两个分量，一个分量是全变差分量，其表示保留待融合图像的细节信息，而另一个分量是L1范数分量，其表示保留待融合图像的光谱信息。
[0011]根据本发明的第四方面，提出了一种设备，包括:至少一个处理器以及包含计算机程序代码的至少一个存储器；所述处理器以及所述存储器被配置成利用所述处理器，使得所述设备至少执行:获取多个图像；基于全变差-L1范数能量函数，来融合所述多个图像，其中，所述全变差-L1范数能量函数包括两个分量,一个分量是全变差分量，其表示保留待融合图像的细节信息，而另一个分量是L1范数分量，其表示保留待融合图像的光谱信息。
[0012]根据本发明，能够平衡融合后所得图像的细节信息和光谱信息。
【专利附图】
【附图说明】
[0013]通过以下结合附图的说明，并且随着对本发明的更全面了解，本发明的其他目的和效果将变得更加清楚和易于理解，其中:
[0014]图1示出了根据本发明的一个实施方式的图像融合方法/设备100的流程图/框图；
[0015]图2示出了根据本发明的一个实施方式的数值计算方案的流程图。
[0016]图3示出了通过本发明的方案和根据现有的AW、AMS、MFF方法得到的融合图像；
[0017]图4示意性示出了根据本发明的一个实施例的图像融合设备的框图。
[0018]在所有的上述附图中，相同的标号表示具有相同、相似或相应的特征或功能。
【具体实施方式】
[0019]下面将参照附图更详细地描述本公开的优选实施方式。虽然附图中显示了本公开的优选实施方式，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整的传达给本领域的技术人员。
[0020]本发明提出了一种新的图像融合方案。本发明的基本思想是基于全变差-L1范数能量函数，来融合多个图像，以平衡融合后所获得的图像的细节信息和光谱信息。其中，所述全变差-L1范数能量函数包括两个分量，一个分量是全变差分量，其表示保留待融合图像的细节信息，而另一个分量是L1范数分量，其表示保留待融合图像的光谱信息。
[0021]图1示出了根据本发明的一个实施方式的图像融合方法/设备100的流程图/框图。
[0022]如图1所示，该方法/设备100包括获取步骤/获取单元110，用于获取多个图像；以及融合步骤/融合单元120，用于基于全变差-L1范数能量函数，来融合所述多个图像，其中，所述全变差-L1范数能量函数包括两个分量,一个分量是全变差分量,其表示保留待融合图像的细节信息，而另一个分量是L1范数分量，其表示保留待融合图像的光谱信息。
[0023]根据本发明的一个实施方式，在融合步骤/融合单元120之前，还包括配准步骤/配准单元115，用于对所述多个图像进行配准操作。
[0024]同一个从不同角度、不同位置拍摄的两幅图像，由于拍摄条件不同，每幅图像只反映某些方面的特征。要将这两幅图像融合在一起，就要将其中的一幅图像做移动和旋转，以使得它与另一幅图像对齐。这一对齐过程就是配准过程。保持不动的称作做参考图像，做变换的称作浮动图像。将配准后的图像进行融合就可以得到反映全貌的融合图像。
[0025]在本发明实施方式的如下描述中，待融合的图像的数目是两个，其中一个是细节信息较丰富的高分辨率图像，另一个是光谱信息较丰富的低分辨率多光谱图像。
[0026]当然，本领域的技术人员应该理解，本发明也适用于待融合的图像的数目大于两个的情况。
[0027]根据本发明的一个实施方式，对于高分辨率图像G、多光谱图像M的亮度部分IM，以及融合后所得到的图像R，能量函数采用如下形式:
[0028]_-邮+細-则I ⑴
[0029]其中，IlMf-代表全变差分量，I R-1Ml I1代表L1范数分量，R是融合后所得的图像，λ是权重参数，例如为一个正的常数，▽为梯度运算符。
[0030]需要理解的是，G、頂、R都是图像(计算过程中以矩阵的形式出现)。
[0031]全变差分量保留细节信息，而L1范数分量保留光谱信息。根据该能量函数，通过选择合适的λ值，在细节信息和多光谱信息之间进行平衡。其中，可以通过经验获得合适的入值。
[0032]根据本发明的一个实施方式，通过使上述能量函数(I)最小化来求得融合后所得的图像R。
[0033]即可以表示为:
[0034]ιτ?Λ(^^)=η?ηΛ{ΙΙ(2)
[0035]在本发明中，全变差是如下定义的各向同性全变差:
[0036]
【权利要求】
1.一种方法，包括: 获取多个图像； 基于全变差-L1范数能量函数，来融合所述多个图像， 其中，所述全变差-L1范数能量函数包括两个分量,一个分量是全变差分量，其表示保留待融合图像的细节信息，而另一个分量是L1范数分量，其表示保留待融合图像的光谱信肩、O
2.根据权利要求1所述的方法， 其中通过使全变差-L1范数能量函数最小化，来融合所述多个图像。
3.根据权利要求2所述的方法，其中所述能量函数采用如下形式:
4.根据权利要求3所述的方法，还包括对上述能量函数进行平滑处理，以求得所述融合后所得的图像R。
5.根据权利要求3所述的方法，其中采用解耦合方法和原始对偶方法来对上述能量函数进行计算。
6.根据权利要求1所述的方法，还包括在融合所述多个图像之前，对所述多个图像进行配准操作。
7.根据权利要求1-6中任一项所述的方法，其中待融合的图像的数目是两个，其中一个是细节信息丰富的高分辨率图像，另一个是光谱信息丰富的低分辨率多光谱图像。
8.—种设备,包括: 获取单元，用于获取多个图像； 融合单元，用于基于全变差-L1范数能量函数，来融合所述多个图像， 其中，所述全变差-L1范数能量函数包括两个分量,一个分量是全变差分量，其表示保留待融合图像的细节信息，而另一个分量是L1范数分量，其表示保留待融合图像的光谱信肩、O
9.根据权利要求8所述的设备， 其中通过使全变差-L1范数能量函数最小化，来融合所述多个图像。
10.根据权利要求9所述的设备，其中所述能量函数采用如下形式:
11.根据权利要求10所述的设备，还包括: 平滑单元，用于对上述能量函数进行平滑处理，以求得所述融合后所得的图像R。
12.根据权利要求10所述的设备，其中采用解耦合方法和原始对偶方法来对上述能量函数进行计算。
13.根据权利要求8所述的设备，还包括: 配准单元，用于在融合所述多个图像之前，对所述多个图像进行配准操作。
14.根据权利要求8-13中任一项所述的设备，其中待融合的图像的数目是两个，其中一个是细节信息较丰富的高分辨率图像，另一个是光谱信息较丰富的低分辨率多光谱图像。
15.一种设备，包括: 用于获取多个图像的装置； 用于基于全变差-L1范数能量函数，来融合所述多个图像的装置， 其中，所述全变差-L1范数能量函数包括两个分量,一个分量是全变差分量，其表示保留待融合图像的细节信息；另一个分量是L1范数分量，其表示保留待融合图像的光谱信息。
16.根据权利要求15所述的设备， 其中通过使全变差-L1范数能量函数最小化，来融合所述多个图像。
17.根据权利要求16所述的设备，其中所述能量函数采用如下形式: 其中，IlMf - 代表全变差分量，I |R-M| I1代表L1范数分量，R是融合后所得的图像，G是待融合图像中细节信息最丰富的图像，IM是待融合图像中光谱信息最丰富的图像的亮度部分，λ是权重参数，V为梯度运算符，通过使上述能量函数最小化来求得融合后所得的图像R。
18.根据权利要求17所述的设备，还包括: 用于对上述能量函数进行平滑处理，以求得所述融合后所得的图像R的装置。
19.根据权利要求17所述的设备，其中采用解耦合方法和原始对偶方法来对上述能量函数进行计算。
20.根据权利要求15所述的设备，还包括: 用于在融合所述多个图像之前，对所述多个图像进行配准操作的装置。
21.根据权利要求15-20中任一项所述的设备，其中待融合的图像的数目是两个，其中一个是细节信息较丰富的高分辨率图像，另一个是光谱信息较丰富的低分辨率多光谱图像。
22.—种设备,包括: 至少一个处理器以及包含计算机程序代码的至少一个存储器； 所述处理器以及所述存储器被配置成利用所述处理器，使得所述设备至少执行: 获取多个图像； 基于全变差-L1范数能 量函数，来融合所述多个图像， 其中，所述全变差-L1范数能量函数包括两个分量,一个分量是全变差分量，其表示保留待融合图像的细节信息，而另一个分量是L1范数分量，其表示保留待融合图像的光谱信肩、O
23.根据权利要求22所述的设备， 其中通过使全变差-L1范数能量函数最小化，来融合所述多个图像。
24.根据权利要求23所述的设备，其中所述能量函数采用如下形式:
25.根据权利要求24所述的设备，其中所述处理器以及所述存储器还被配置成利用所述处理器，使得所述设备至少执行: 对上述能量函数进行平滑处理，以求得所述融合后所得的图像R。
26.根据权利要求24所述的设备，其中采用解耦合方法和原始对偶方法来对上述能量函数进行计算。
27.根据权利要求22所述的设备，其中所述处理器以及所述存储器还被配置成利用所述处理器，使得所述设备至少执行: 在融合所述多个图像之前，对所述多个图像进行配准操作。
28.根据权利要求22-27中任一项所述的设备，其中待融合的图像的数目是两个，其中一个是细节信息较丰 富的高分辨率图像，另一个是光谱信息较丰富的低分辨率多光谱图像。
【文档编号】G06T5/50GK103914815SQ201210596216
【公开日】2014年7月9日 申请日期:2012年12月31日 优先权日:2012年12月31日
【发明者】姜安, 崔峰, 訾树波, 谢启伟 申请人:诺基亚公司