专利名称：：基于梳状波和拉普拉斯塔形分解的多源图像融合方法
技术领域：
：本发明属于图像处理
技术领域：
，涉及该技术在多源图像融合领域中的应用，具体地说是一种基于梳状波和拉普拉斯塔形分解的多源图像融合方法。该方法可用于合成孔径雷达SAR图像、航拍图像、医学图像和红外图像的预处理阶段。技术背景图像融合是数据融合的一个重要分支。各种单一传感器获取的图像数据在几何、光谱、时间和空间分辨率等方面存在明显的局限性和差异性，所以仅仅利用一种传感器图像数据是难以满足实际需求的，特别是在未来战争中，电磁环境将异常复杂，无论是空战、海战还是陆战以至于陆、海、空相结合的立体战争，都将日益依赖于各种传感器设备。为了对观测目标有一个更加全面、清晰、准确的理解与认识，人们迫切希望寻求一种综合利用各类图像数据的技术。因此把不同的图像数据的各自优势和互补性综合起来加以利用就显得非常重要和实用。多源图像融合可以用于SAR图像，航拍图像，医学图像，红外图像的处理，对国民经济的发展，国防现代化的建设都有实际的作用。因此，关于多源图像融合技术的研究具有重要的战略意义和社会效益。目前应用最为广泛的多源图像融合方法是基于小波变换的方法。该方法首先将源图像进行小波变换，得到包含源图像细节信息的高频分量和包含源图像光谱信息的低频分量，然后用不同的融合算子分别对源图像的高频分量和低频分量进行融合，得到融合图像的高频分量和低频分量，最后对融合图像的高频分量和低频分量进行小波逆变换，得到最终的融合图像。但是随着研究的深入，人们发现小波变换不能充分利用图像本身特有的几何特征，不是最优的或者说最稀疏的函数表示方法。小波变换在表示点状奇异性是最优的，而对于图像中边缘、轮廓，曲线等这些二维信息的表示却不是最优的，导致大量无效的分解。而且小波变换不具有平移不变性，这样就导致了对含有线状区域的目标进行融合时，会在融合图像的边缘附近产生模糊现象和锯齿状效应，影响融合图像的视觉效果。纹理是图像中最为常见，也是最为重要的特征之一，如遥感图像中的各种地貌特征、农作物、人工地物和居民区等，都可以看作为具有一定分布范围、方向和粗细度的纹理，医学图像中各种组织和器官也呈现出不同的纹理。梳状波Brushlet变换是一种新的图像分析工具，可以有效地捕捉图像的方向纹理信息。在图像融合中，利用Brushlet变换可以避免，在融合图像中产生使用小波变换对图像融合时，在融合图像中产生的边缘模糊及锯齿现象。然而在使用Brushlet变换对图像进行融合时，会在融合图像的均匀区域引入一种条纹状失真，特别是在待融合的多源图像的对比度差别很大的时候，条纹状失真非常严重，影响到融合图像的视觉效果。因此有必要研究一种新的融合方法，能够有效抑制或避免融合图像的失真。
发明内容本发明的目的在于为了克服现有技术中，简单地采用基于变换的方法在融合图像中存在引入失真的问题，提出了一种基于梳状波和拉普拉斯塔形分解的多源图像融合方法，该方法可以充分提取图像的纹理特征，对纹理区域和边缘区域有很好的融合效果，并且能够抑制融合图像中的条纹状失真。本发明的技术方案是首先对源图像作拉普拉斯分解，将源图像拉普拉斯分解系数的低频分量直接进行平均，作为最终融合图像拉普拉斯分解系数的低频分量，然后对源图像低频分量置零后的拉普拉斯系数作逆塔形变换，得到仅含有源图像高频信息的图像，对该图像在Brushlet变换域中进行融合，得到仅含有源图像高频信息的融合图像，对这幅融合图像进行拉普拉斯塔形分解，提取分解系数中高频分量作为最终融合图像拉普拉斯塔形分解系数的高频分量，利用得到的最终融合图像拉普拉斯分解系数的低频分量和高频分量，作逆塔形变换，得到最终的融合图像。本发明技术方案的具体实现过程如下-(1)、输入源图像/,(;c,力和/2(x，力，分别对其进行拉普拉斯塔形分解，得到源图像的拉普拉斯塔形分解系数，其中包括低频分量和高频分量，源图像/,(x,力的拉普拉斯塔形分解系数的低频分量和高频分量分别表示为A和A，源图像/2(1，力的拉普拉斯塔形分解系数的低频分量和高频分量分别表示为Z2和//2;(2)、对步骤(1)得到的源图像拉普拉斯塔形分解系数低频分量A和^直接进行平均，作为最终融合图像拉普拉斯塔形分解系数的低频分量4，即"^(A+A)/2;(3)、分别将源图像/,(;c,力和/2(;c，力低频分量置零后的拉普拉斯塔形分解系数进行逆塔形变换，得到仅含源图像/,(x，力高频信息的图像/,(;c,力和仅含源图像/2(;c,力高频信息的图像/f(;c,j0;(4)、对步骤(3)得到的仅含源图像高频信息的图像/f(x,力和/fO,力在Brushlet变换域中进行融合，得到仅含源图像高频信息的融合图像"Oc,力；(5)、对步骤(4)中得到的图像^Oc,力作拉普拉斯塔形分解，得到图像/^(x,力的拉普拉斯塔形分解系数，取其中的高频分量作为最终融合图像拉普拉斯塔形分解系数的高频分量/^;(6)、对步骤(2)得到的最终融合图像拉普拉斯塔形分解系数的低频分量；和步骤(5)得到的最终融合图像拉普拉斯塔形分解系数的高频分量/^，作逆塔形变换得到最终的融合图像^(x,j;)。上述的基于梳状波和拉普拉斯塔形分解的多源图像融合方法，所说的对仅含源图像高频信息的图像/fO,力和/f(x，力在Brushlet变换域中进行融合，其方法如下(1)、将含源图像高频信息的图像/,(x,力和/f(:c,少)分别进行Brushlet变换，得到图像/,(jc,力和/f(jc,力的Brushlet分解系数，其中包括类低频分量和高频分量，图像/，(x,力的Brushlet分解系数的类低频分量和高频分量分别表示为丄f和//f，图像/f0c,力的Brushlet分解系数的类低频分量和高频分量分别表示为《和//f;(2)、对类低频分量Zf和《直接进行平均，作为/,(;c，力和/fOc，力的融合图像的Brushlet分解系数的低频分量《，即《-(Zf+《)/2，并且对图像/f的高频分量和图像/f(jc,力的高频分量，采用局域方差融合算子进行融合，得到/,(;c,力和/fOc,力的融合图像的Brushlet系数的高频分量/^;(3)、对仅含源图像高频分量的融合图像的Brushlet变换的类低频分量g和高频分量《，作Brushlet逆变换，得到仅含源图像高频信息的融合图像。本发明与现有技术相比具有以下优点1、本发明可以有效保留源图像中的纹理和边缘信息，抑制了易在融合图像中产生的边缘模糊现象和条纹状失真，能够得到目标场景清晰、详细的融合图像。2、本发明中用到的拉普拉斯塔形分解相当于滤波器运算，而Brushlet变换采用的是快速傅立叶变换，所以整体方法运算速度快，可以进行实时处理。图1是本发明的实现流程2是本发明对厂区遥感图像融合结果比较3是本发明对高光谱光学相机拍摄的林区图像融合结果比较4是本发明对医学图像融合结果比较图具体实施方式参照图1、它是本发明的实现流程图。结合图1对本发明的实现步骤及具体实施方式说明如下1、输入源图像/"x,力和4(x，力，分别对其进行拉普拉斯塔形分解拉普拉斯塔形分解是图像的一种多分辨率表示方法。拉普拉斯塔形分解的基本思想是，首先，对源图像进行低通滤波和下采样得到一个粗尺度的近似图像，即分解得到的低通近似图像，把这个近似图像经过插值、滤波，再计算它和源图像的差值，就得到分解的高频分量'。下一级分解是在得到的低通近似图像上进行，迭代完成多尺度分解，最后得到图像拉普拉斯塔形分解系数，其中包括低频分量和高频分量。分析滤波器g和综合滤波器G为归一化滤波器，具有对称性。为了实现完全重构，要求g和G在2采样下为正交或双正交。设源图像表示为C。，金字塔第一层得到的低通采样图像为C,，第二层用同样的低通滤波器滤波再采样得到q，；为当前分解层，迭代过程可用公式(1)、(2)表示S('■，/)=!^(附,,(2z'+m，2y'+")(1)~(/,y)=^('■，力_2>(附,")S(1^,(2)若进行P层拉普拉斯分解，则图像空间r分解为^、『2、...『p、Fp共P+l个子空间。其中^为低频空间，『p为各层的高频子空间。r=F,("J(3)值得注意的是，应该设置好拉普拉斯塔形分解的层数P，因为如果分解层数太低，会使得最后得到的低频分量中仍然残留很多图像的细节信息；如果分解层数太高，会使得最后得到的高频分量中含有较多的光谱信息，不利于下一步的融合。一般情况下，分解层数P设置为35层，本发明采用3层拉普拉斯塔形分解。输入源图像/,0,力，对其进行3层拉普拉斯塔形分解，即C。-A(;c，力，尸=3，由迭代公式(1)、(2)得到源图像/,(x，力的拉普拉斯塔形分解系数的低频分量A-q(/J)和高频分量A-(^AA)。同理，可以得到输入源图像/2(1,力的拉普拉斯塔形分解系数的低频分量丄2和高频分量//2。2、求得最终融合图像拉普拉斯塔形分解系数的低频分量"因为图像的低频分量中含有图像的大部分光谱信息，几乎没有细节信息，采用直接平均的方法可以很好地融合图像的低频分量，所以本发明中对源图像拉普拉斯塔形分解系数低频分量A和^直接进行平均，作为最终融合图像拉普拉斯塔形分解系数的低频分量^，即丄F,+丄2)/2。3、进行逆塔形变换逆塔形变换是一种图像重构方法，相当于图像分解的逆过程。本发明使用得到的拉普拉斯分解系数，重构图像，就是把高频分量作为偏差不断地加回到由低频粗略信号得到的原始信号的估计中，这个过程可以用迭代方法来实现。分别将源图像/,0c,力和/2(x,力低频分量置零后的拉普拉斯塔形分解系数进行拉普拉斯逆塔形变换，得到仅含源图像/,(x,力高频信息的图像/^JC,力和仅含源图像/2(x，力高频信息的图像/f(;c,力。4、对仅含源图像高频信息的图像/f(x,力和/fOc,力在Brushlet变换域中进行融合为了能够抑制单独采用Brushlet变换融合多源图像时带来的条纹状失真，必须将待融合图像中低频分量分离，只对仅含源图像高频信息的图像/,"(x,力和/f(x,力在Brushlet变换域中进行融合；(1)、将含源图像高频信息的图像/,(x,力和/f(;c，力分别进行Brushlet变换，得到图像/,(;c,力和/2"(jc,力的Brushlet分解系数，其中包括类低频分量和高频分量，图像/,(;c,力的Brushlet分解系数的类低频分量和高频分量分别表示为丄f和，图像/f(x,力的Brushlet分解系数的类低频分量和高频分量分别表示为《和//2W。在信号处理中，常用一个光滑的窗函数将信号分成相邻的区间,然后在每一个区间内进行局部傅里叶分析。Brushlet就是基于以上思想来构造具有时频局部化性质的标准正交基。Brushlet变换具有类似于小波包的多层结构，能对Fourier域进行极佳的分解。Brushlet的第1层分解把Fourier平面分成4个象限，Brushlet系数被分为4部分，对应的方向为;r/4+，A:=0,1,2,3，Brushlet的第2层分解进一步把每个象限分为4个部分，共16个Bmshlet系数的集合，共分为12个方向。Brushlet系数阵列关于原点是反对称的，环绕着原点的4个子带为低频纹理分量，其余均为高频纹理，多层分解是对上一层的方向继续加以细分，但层数过多会有明显的频率混叠,故而一般选取13层分解，值得注意的是，Brushlet是复值函数，其系数实际上可以分为实部和虚部两个部分，且实部和虚部分别关于原点反对称。如果Brushlet分解的层数过低，会使得高频分量和低频分量不能完全分离，如果分解层数过高，会导致频域的过分割，产生频率混叠现象，这对最终的融合结果有很大的影响，本发明选择3层Brushlet分解；(2)、对类低频分量Zf和《直接进行平均，作为/f(;c，力和/f(x，力的融合图像的Bmshlet分解系数的低频分量g，即^=(《+《)/2，并且对图像/f(x,力的高频分量//,和图像/f(x,力的高频分量/ff，采用局域方差融合算子进行融合，得到/,(x,力和/fO,力的融合图像的Brushlet系数的高频分量/^，采用局域方差融合算子对高频分量进行融合的过程如下首先分别计算高频分量/^和Z/f中每个高频系数的局域方差，每个高频系数的局域方差，是以该高频系数为中心的『x『窗口区域内的方差，『可以取为3，5或7，采用局域方差算子对高频分量进行融合时，可以提取当前高频系数的整个窗口区域内的信息，充分考虑了图像的特征是由一个区域而非一个单独的系数来体现，本发明中『=3，高频系数《"(x,力的局域方差记为var,(x,力，相应的，高频系数7/f(x，力的局域方差记为var2(x,j)，然后计算局域方差v叫0,力和var2(x，力之间的相关程度cwvar，有cwvar(x,力=2xvaq(x,_y)xvar2(x,力/(vaif(x,力+var22(x,力)(4)如果cwvar(jc,力2/actor，其中/a"w相当于衡量局域方差var,(x,力和var2(x，>0之间相关程度corvar强弱的一个阈值，/actore，本发明中/o"or取为0.7，则w,(x,力=1/2—(1-corvar(x,力)/2，&>2(x,_y)=1_叫(x,力，O,力=",O,力x//f(jc，力+2(x，y)x//2"(x,力(5)如果corvar(x,_y)<力ctor，贝Utzw,、)^^0，力，var,",>02var2(x，_y)^0，力=〗h(6)L//2(x,x)，v叫(jc，力<var2(x，力(3)、对仅含源图像高频分量的融合图像的Brushlet变换的类低频分量i^(x,力和高频分量/^(x,力，作Brushlet逆变换，得到仅含源图像高频信息的融合图像^(x,力。5、求得最终融合图像拉普拉斯塔形分解系数的高频分量/^(x，力仅含源图像高频信息的融合图像《(x,力作拉普拉斯塔形分解，得到图像^(x,力的拉普拉斯塔形分解系数，取其中的高频分量作为最终融合图像拉普拉斯塔形分解系数的高频分量/^(x,力。6、对得到的最终融合图像拉普拉斯塔形分解系数的低频分量^(Jc,力和最终融合图像拉普拉斯塔形分解系数的高频分量Z/F(x,jO，作逆塔形变换得到最终的融合图像/f(x,力值得注意的是，本发明所提出的方法要求源图像至少达到像素级配准，没有达到配准要求的源图像需先单独进行配准操作，然后再用本方法进行融合操作。本发明所提出的方法是对两幅源图像进行的融合，当融合三幅或三幅以上图像时，须先对源图像两两进行融合，再将融合结果两两进行融合，直到得到最终融合结果。仿真试验中，将本发明所提出的方法与基于小波的多源图像融合方法和单独采用Brushlet变换的多源图像融合方法进行对比。试验用到的源图像来自于曼彻斯特大学图像融合计划UniversityofManchesterimagefiisionresearchprogramme的融合图像数据库，且已经过像素级配准。参照图2，它是本发明对厂区遥感图像融合结果比较图。其中图2(a)、图2(b)分别是采用不同传感器对厂区拍摄的遥感图像，图2(c)是采用基于小波的多源图像融合方法得到的融合结果，图2(d)是单独采用Brushlet变换融合多源图像的结果，图2(e)是采用本发明方法得到的融合结果，图2(f)、图2(g)和图2(h)分别是图2(c)、图2(d)和图2(e)的局部放大图。观察图2(c)、图2(d)和图2(e)可以看到三种方法都能够将源图的基本信息融合到结果图中，但是图2(c)中在边缘处有明显的锯齿和模糊失真现象，特别是在源图像灰度对比度差别大的地方，失真非常明显。图2(g)中则有明显的纹理失真现象，这种细小的纹理失真在图2(d)中不是很明显，但是局部放大之后，同样是在源图像灰度对比度差别大的地方，这种纹理失真就非常明显了。图2(e)是采用本发明方法所得的结果，可见融合图像较好地保留了源图像的边缘和纹理信息，并抑制失真。参照图3，它是本发明对高光谱光学相机拍摄的源图像融合结果比较图。图3(a)、(b)是高光谱光学照相机不同时刻获取的源图像，图3(c)是采用基于小波的多源图像融合方法得到的融合结果，图3(d)是单独采用Brushlet变换融合多源图像的结果，图3(e)是采用本发明的方法得到的融合结果。图3(f)、图3(g)和图3(h)分别是图3(c)、图3(d)和图3(e)的局部放大图。如图3(d)所示，单独采用Brushlet变换方法的融合结果中有很明显的条纹状失真，这是由于两幅源图相同目标区域的灰度对比度较大，导致条纹状失真非常明显。图3(c)中，基于小波的多源图像融合方法在融合结果的树梢处，有很明显的失真，这种失真经过放大后，如图3(f)所示，已经明显的影响了融合结果的视觉效果。而本发明的方法，在利用Brushlet变换融合图像之前，已经用拉普拉斯塔形分解分离了图像的低频分量，所以没有条纹状失真，而且在树梢处也非常清晰，没有失真出现。在视觉效果上，如图3(e)和图3(h)所示，无论从整体观察，还是细节分析，都是最好的结果。参照图4，它是本发明对医学图像融合结果比较图，其中图4(a)是CT图像，图4(b)是NMR图像，图4(c)是采用基于小波的多源图像融合方法得到的融合结果，图4(d)是单独采用Brushlet变换融合多源图像的结果，图4(e)是采用本发明的方法得到的融合结果。图4(f)、图4(g)和图4(h)分别是图4(c)、图4(d)和图4(e)的局部放大图。由于医学图像的特殊性，需要专门的背景知识来判断融合结果的好坏，这里仅单纯的对图像视觉效果进行评价。三种方法都比较好的融合了两幅源图像的信息，图4(c)中的脑膜处的融合较好，但图4(d)中的脑内部的信息融合得并不算很出色。从图4(f)、图4(g)的细节上看，基于小波的图像融合方法和单独采用Brushlet变换的图像融合的结果中，都仍有锯齿或条纹状的失真。而本发明的方法，如图4(h)保持了边缘的平滑，没有失真的出现。图像融合结果的评价分为主观评价和客观评价，由于图像的评价还是处于研究阶段，没有一个足够完善的客观参数评价体系来对图像进行全方面的评价，所以对图像的融合结果还是以主观评价为主，客观参数评价为辅。主观评价是通过目视效果，对图像的光谱、细节、边缘进行视觉评估，客观评价就是利用图像统计参数进行判定。本发明试验结果采用结构相似度作为客观平价指标。结构相似度SSIM是由Wang提出的一种评价压縮图像时的结构性衰减的指标。Pradhan等人将这个指标用于图像融合的评价上，证明这个客观评价指标在一定程度上可以反映图像的融合质量。由于原始的SSIM是依据亮度、对比度和结构信息来衡量两幅图像的相似度。按照Pradhan等人的方法，用于融合图像结果比较时，只用考虑图像的结构信息。为了直接衡量两幅图像之间的结构信息，两幅图像必须调整到相同的亮度和对比度。一个长度为iV的信号A:的亮度可以由其均值A近似而信号的对比度可以由其方差近似设两幅图像为yt和/，首先将两幅图调整到零均值单位方差q结构相似度5(^/)就定义为归一化的两幅图^'和/'的相关系数由于图像中各个位置的亮度和对比度并不一致，需要在一个小的区域内对其进行估计。所以可以在一个大小为KXK的滑窗Z内计算结构相似度。对于一个大小为^的矩阵，整个图像的SSIM就是所有局部结构相似度近似值的平均表1融合结果的结构相似度比较<table>tableseeoriginaldocumentpage12</column></row><table>表1是对三组图像融合结果的结构相似度的比较。SS/似^是源图A(x,y)和融合结果/f的结构相似度，SS/Mw是源图/2和融合结果斗的结构相似度。则两者的均方根ss/m_=7^^77^^7表示了融合结果与两幅源图的总体结构相似度，可以反映融合效果。可以看出，在三组图像的融合结果参数对比中，本发明所提方法的SSIM均方根5S/M^都是最大的，表示融合结果同源图的结构最为相似，本发明所提方法的结果最能够反映源图的信息。所以不管在最后融合图像的视觉质量，即主观评价上，还是在客观参数的评价上，本发明提出的方法都具有优越性，与现有的传统图像融合方法相比可以取得更好的效果。权利要求1、一种基于梳状波和拉普拉斯塔形分解的多源图像融合方法，其具体实现步骤如下(1)、输入源图像I1(x，y)和I2(x，y)，分别对其进行拉普拉斯塔形分解，得到源图像的拉普拉斯塔形分解系数，其中包括低频分量和高频分量，源图像I1(x，y)的拉普拉斯塔形分解系数的低频分量和高频分量分别表示为L1和H1，源图像I2(x，y)的拉普拉斯塔形分解系数的低频分量和高频分量分别表示为L2和H2；(2)、对步骤(1)得到的源图像拉普拉斯塔形分解系数低频分量L1和L2直接进行平均，作为最终融合图像拉普拉斯塔形分解系数的低频分量LF，即LF＝(L1+L2)/2；(3)、分别将源图像I1(x，y)和I2(x，y)低频分量置零后的拉普拉斯塔形分解系数进行逆塔形变换，得到仅含源图像I1(x，y)高频信息的图像I1H(x，y)和仅含源图像I2(x，y)高频信息的图像I2H(x，y)；(4)、对步骤(3)得到的仅含源图像高频信息的图像I1H(x，y)和I2H(x，y)在Brushlet变换域中进行融合，得到仅含源图像高频信息的融合图像IFH(x，y)；(5)、对步骤(4)中得到的图像IFH(x，y)作拉普拉斯塔形分解，得到图像IFH(x，y)的拉普拉斯塔形分解系数，取其中的高频分量作为最终融合图像拉普拉斯塔形分解系数的高频分量HF；(6)、对步骤(2)得到的最终融合图像拉普拉斯塔形分解系数的低频分量LF和步骤(5)得到的最终融合图像拉普拉斯塔形分解系数的高频分量HF，作逆塔形变换得到最终的融合图像IF(x，y)。2、根据权利要求1所述的基于梳状波和拉普拉斯塔形分解的多源图像融合方法，所说的对仅含源图像高频信息的图像/fOc，力和/fOc,力在Brushlet变换域中进行融合，其方法如下(1)、将含源图像高频信息的图像/f(;c,力和/fOc,力分别进行Brushlet变换，得到图像/f(x,力和/f(;c,力的Brushlet分解系数，其中包括类低频分量和高频分量，图像/f(x,力的Brushlet分解系数的类低频分量和高频分量分别表示为《和/ff，图像/f(x,力的Brushlet分解系数的类低频分量和高频分量分别表示为《和i/f;(2)、对类低频分量Zf和《直接进行平均，作为/f(x,力和/f(x,力的融合图像的Brushlet分解系数的低频分量《，即g-(丄f+《)/2，并且对图像/f的高频分量和图像/f(:c,力的高频分量，采用局域方差融合算子进行融合，得到/f(x,力和/f(x,力的融合图像的Brushlet系数的高频分量i^";(3)、对仅含源图像高频分量的融合图像的Brushlet变换的类低频分量i^和高频分量//厂作Brushlet逆变换，得到仅含源图像高频信息的融合图像"(x,力。全文摘要本发明公开了一种基于梳状波和拉普拉斯塔形分解的多源图像融合方法，它涉及图像处理
技术领域：
，其目的在于采用该方法可以充分提取图像的纹理特征，对纹理区域和边缘区域有很好的融合效果，并且能够抑制融合图像中的条纹状失真。该方法的实现步骤为输入源图像，分别对其进行拉普拉斯塔形分解；求得最终融合图像拉普拉斯塔形分解系数的低频分量；进行逆塔形变换；对仅含源图像高频信息的图像在Brushlet变换域中进行融合；求得最终融合图像拉普拉斯塔形分解系数的高频分量；对得到的最终融合图像拉普拉斯塔形分解系数的低频分量和高频分量，作逆塔形变换得到最终的融合图像。该方法可用于合成孔径雷达SAR图像、航拍图像、医学图像和红外图像的预处理阶段。文档编号G06T5/50GK101226635SQ200710199279公开日2008年7月23日申请日期2007年12月18日优先权日2007年12月18日发明者彪侯,公茂果,振吴,霞常,焦李成,爽王,桦钟申请人:西安电子科技大学