专利名称：：基于奇异值分解的图像融合方法
技术领域：
：本发明属于图像处理领域，具体涉及图像分解和图像融合方法，用于目标识别。技术背景图像融合是一种综合多个原图像信息的先进的图像处理技术，其目的是继承多个原图像中的冗余信息和互补信息，以强化图像中的信息、增加图像理解与识别的可靠性。通过图像融合将会获得更精确的结果，也将会使系统更实用。同时，融合后的图像具有良好的鲁棒性，例如，可以增加置信度、减少模糊性、增加可靠性、改善分类性能等。目前，将图像融合应用于数字图像处理的主要目的有以下几种1)图像锐化；2)产生立体视觉，以用于立体摄影测量；3)增强在单一传感器图像中无法看见/看清的某些特征；4)改善检测/分类/理解/识别性能，获取补充的图像数据信息；5)利用不同时刻的图像序列来检测场景/目标的变化情况；6)利用其他传感器图像来弥补某一传感器图像中丢失/故障的信息。图像融合技术首先在军事上得到应用。目前，图像融合技术在军事上的应用越来越广泛。无论是导弹防御系统的大系统，还是精确制导导弹、自主式炮弹等小系统都离不开这些技术。在民用方面，图像融合已在遥感、智能机器人等领域得到应用。在制造业，图像融合可用于产品的检验、材料探伤、复杂设备诊断、制造过程监视等；在医学上，可帮助医生对疾病更为准确的诊断；在图像和信息加密方面，通过图像融合也可实现数字图像的隐藏以及数字水印的图像植入；随着图像融合技术研究的不断深入，图像融合技术必将会得到更为广泛的应用。一般认为图像融合分为3个层次，即像素级融合、特征级融合和决策级融合。像素级融合是直接作用于图像像素点的最底层融合。主要分为两大类(1)空间域融合方法空间域融合方法包括加权平均融合方法、像素灰度值选择融合方法、基于区域特征的融合方法等。这类方法的基本原理是不对参加融合的各原图像进行任何图像变换或分解，而是直接对各原图像中的各对应像素进行简单的处理后，融合成一幅新的图像。该方法具有实现简单、融合速度快的特点，在某些特定的应用场合可以获得较好的融合效果，但存在的不足是在多数应用场合难以获得满意的融合效果。(2)频率域融合方法图像融合必须在融合的基本原则下进行，即优先保持低空间分辨率图像的低频信息，并在此基础上尽可能多地提高融合结果的空间分辨率。为此，把原图像的高、低频信息有效地分开，并对不同的频段进行不同的处理是对基本原则更为直接的体现，故基于频率域的图像融合方法将会取得更好的融合结果。可以用于频率域融合的方法主要有基于塔型分解的方法、基于小波变换的方法等，它们构造融合图像的多分辨数据结构的内在机理是一样的，都是基于多频率通道的图像融合。基于塔型分解的图像融合方法是一种多尺度、多分辨率图像融合方法，其融合过程是在不同尺度、不同空间分辨率、不同分解层次上进行的。基于塔型分解的图像融合方法主要可以分为以下几种1)基于拉普拉斯塔型分解的图像融合方法；2)基于比率塔型分解的图像融合方法；3)基于比度塔型分解的图像融合方法；4)基于梯度塔型分解的图像融合方法。图形进行塔型分解的目的是将原始图像分别分解到不同的空间频带上，利用其分解后的塔型结构，对具有不同空间分辨率的不同分辨层，分别采用不同的融合规则进行融合处理。基于塔型分解的图像融合方法，提出了多尺度，多分辨率的图像融合方法，使图像的融合效果获得很大的改进，但是由于塔型分解是冗余分解，它的各个分阶层有相关性，因而这种塔型分解方法的不足是，基于塔型分解之后的数据总量将要比原始数据量多三分之一以上，并且塔型分解不具有方向性。用小波变换的方法对图像进行融合时，先对每一原图像分别进行小波变换，建立图像的高分辨层和低分辨层；然后对各分解层分别进行处理，各分解层的不同频域分量可以采用不同的融合规则进行处理，最终得到融合后的小波系数；最后对新的小波系数进行小波逆变换，得到的重构图像为融合图像。小波分解是非冗余的，使得图像经小波分解之后的数据总量不会很大；同时，小波分解具有方向性，可以获得效果更佳的融合图像。虽然基于多尺度多分辨的图像分解方法目前获得广泛的应用，但是其也存在一定的局限性，比如，可能丢失一些边缘信息等。发明的内容本发明的目的在于避免上述已有技术的不足，提出一种基于奇异值分解的图像融合方法，以实现在空域对图像融合处理的良好的性能。为实现上述目的，本发明对图像融合处理，包括如下过程(1)将原始的一组红外图像与一组可见光图像中的每一幅图像进行同均值同方差的预处理；(2)利用奇异值分解将预处理后的红外与可见光原始图像分为低分辨层、高分辨层、超高分辨层三个层次；(3)对各个层次分别进行红外图像与可见光图像的一一对应融合，即对低分辨层采用加权平均锐化依次进行两幅对应图像融合；对高分辨层采用灰度选择，或者基于局部能量，或者基于小波变换方式进行两幅图像融合；对超高分辨层进行丢弃；(4)用融合后的低分辨层和高分辨层重构最终的融合图像为式中，/￡为融合后图像的低分辨层，/"为融合后图像的高分辨层。所述的对原始图像进行同均值同方差的预处理，利用如下预处理规则表达式进行叮0式中，g。表示预处理前图像，//。表示预处理前图像g。的均值，"。表示预处理前图像g。的均方差，//表示预处理后图像g的均值，cr表示预处理后图像g的均方差。所述对低分辨层采用加权平均锐化进行融合，按如下公式进行式中，/￡是融合后的低分辨层，gf和g;分别是原始两幅图像的低分辨层，、-和A:是常系数。所述的对高分辨层采用灰度选择进行两幅图像融合，是通过选取原始两幅图像的高分辨层g,"与gf中较大的象素值作为新的高分辨层/，即/"(!'，力-max^f(/,力l,lgf(z'，力IJ式中，gfO'，力和gf仏力为待融合两幅图像的高分辨层的像素值，/"(/,y)为选出的用来组成新的高分辨层的像素值。本发明由于采用基于图像能量的奇异值图像分层方法，较已有图像融合中的分层处理在效果更佳，可用于对多光谱图像融合，实验结果表明，本方法得出的融合图像与原始图像有更高的相似度，并且包含更多的边缘信息和细节信息，提高对目标识别的准确性。图l是本发明的流程图；图2是按本发明的方法分层示意图，其中(a)原始图像，(b)低分辨层图像，(c)高分辨层图像，(d)超高分辨层图像；图3是用不同融合方法融合后的图像示意图，其中(a)原始红外图像，(b)原始可见光图像，(c)采用已有加权平均锐化融合后的图像，(d)采用已有拉普拉斯塔型分解融合后的图像，(e)采用已有基于局部能量的小波融合后的图像，(f)采用本发明SVD灰度选择融合后的图像，(g)采用本发明SVD局部能量融合后的图像，(h)采用本发明SVD小波变换融合后的图像。具体实施方式参照图1，本发明的具体过程包括1、对原始的可见光图像和红外图像进行预处理在多模态图像融合处理的过程中，输入图像的光照强度有可能存在较大的差异，从而影响所设计出的融合策略的稳定性。为了减小光照差异的不利影响，在对所有的输入图像进行奇异值分解SVD分层处理前，均进行了同均值同方差的预处理。通过预处理后，可得到标准可见光灰度图像和标准红外灰度图像。所述的预处理按如下公式进行抓力,<formula>formulaseeoriginaldocumentpage8</formula>①式中，g。表示预处理前图像，/i。表示预处理前图像g。的均值，O"。表示预处理前图像g。的均方差，;/表示预处理后图像g的均值，cr表示预处理后图像g的均方差。若g,ei,"与&6^"分别表示不同光谱的两幅图像，且均经过均值//与方差为0"2的预处理后，贝IJ:|&|=||&|，上式表明采用相同均值和方差进行预处理后的图像将具有相等的图像能量。2、基于图像能量的SVD图像分层(1)SVD图像分层原理奇异值分解SVD在数据压縮、信号处理和模式识别多个方面都有广泛的应用，一般的奇异值分解公式为<formula>formulaseeoriginaldocumentpage8</formula>(2)式中，U是正交矩阵，"-[^//jA/zJeirxM,V是正交矩阵，F-h,V2,…,Vn]eiT"，S是对角矩阵，S-^agl4，4,…，4，0，…，oje及詞，其中/^24^…^4》o，向量/z,.是^^的特征向量，向量v^是j^4的特征向量，展开系数A是矩阵的特征值。任一幅灰度图像都可以看作是一个二维的矩阵，所以任意灰度图像可以进行SVD分层处理。式(2)是SVD图像分层方法的基础，同时表明任何一幅图像都可以分解为r层图像，其中第z'层的范数为<formula>formulaseeoriginaldocumentpage9</formula>(3)因此，如下公式成立:<formula>formulaseeoriginaldocumentpage9</formula>(4)图像矩阵的范数可以看作是该图像的能量，式(4)指出第/层的能量等于其相应的特征值，并且特征值按递减的顺序排列，也就是说i值较小的层集中了图像的大部分能量。'(2)SVD图像的层次由于经过SVD分解处理获得/"层图像，每一层没有明显的空间结构信息，从而不利于进行融合设计，因此，可以将r层重构为较少的几层，以重构3层为例进行详细阐述。将原始图像g分解为如下形式的三层<formula>formulaseeoriginaldocumentpage9</formula>(5)式中，<formula>formulaseeoriginaldocumentpage9</formula>代表图像的低分辨层;代表图像的高分辨层;代表图像的超高分辨层；令/,=1，且/^A^^2r，则以下式子一定成立:<formula>formulaseeoriginaldocumentpage9</formula>(6)通过选取低分辨层与高分辨层的临界层的值厶和高分辨层与超高分辨层的临界层的值/，可将一个灰度图像分解为具有不同能量分辨率的三层。由于式(5)中对图像的特征值进行了降序排列，所以g"由具有较大特征值的层组成，g"由具有中等特征值的层组成，gw由具有较小特征值的层组成。则低分辨层g工占据总图像能量的较大百分比，高分辨层g"占据中等的百分比，超高分辨层gW占据较小的百分比。如图2所示，三个层次的能量与图像总能量的百分比分别为低分辨层占据总图像能量的99%，高分辨层占据总图像能量的0.99%,超高分辨层分别占据总图像能量的0.01%。3、采用不同的融合方式对不同层分别进行数据处理对两幅原始图像g,，^分别进行基于能量的SVD分层处理后，层次分别表示为g。gr，与gf,gf，g，。该两幅图像对应的低分辨层、高分辨层和超高分辨层将具有近似的能量。(1)超高分辨层数据处理通常超高分辨层可以近似看作为图像的噪声，所以在整个融合过程中将该层的处理通常采用丢弃策略。(2)高分辨层数据处理对于高分辨层的融合问题，本发明提出三种融合方式A.SVD灰度选择融合对于SVD分解后的两幅图像的高分辨层，选出对应像素中较大的值作为新的高分辨层的像素值，由这些像素值组成新的高分辨层。具体计算公式如下<formula>formulaseeoriginaldocumentpage10</formula>式中，gf(i'，力和gf("力为待融合两幅图像的高分辨层的像素值，/,',力为选出的用来组成新的高分辨层的像素值。B.SVD局部能量选择融合对于SVD分解后的两幅图像的高分辨层，按如下公式进行处理<formula>formulaseeoriginaldocumentpage10</formula>在上式中，/"是形成的新的高分辨层，g,"和gf分别代表待融合的两幅图像的高分辨层，权值『由(9)(10)(11)(12)确定，具体公式如下<formula>formulaseeoriginaldocumentpage10</formula>若￡^<53，则『=0(12)在上述公式中，E代表一块区域的能量，计算公式如下￡"(m，w)=S/2(ffj+附'，w+w')(13);(m,w)表示(w，")位置处的像素值，m',M'表示以/7(m,w)为中心，以w'X"'为大小的一个区域，在上述公式中，M表示两幅图像在一块区域的匹配度，计算公式如下M」s(aw,w)=-ZPj(附+附',w+w)/75(w+附w+w〕(14)C.小波变换的融合首先，对两幅图像的高分辨层进行小波分解；然后，对分解后两组低频的小波系数取均值得到新的低频小波系数，对分解后两组高频的小波系数，取出^"应的系数中绝对值大的系数形成新的高频小波系数最后，根据上一步得到的新的小波分解低分辨层和高分辨层，由小波重构产生融合图像的新的高分辨层/"。(3)低分辨层数据处理在低分辨层的处理上采用加权平均锐化策略，该处理可以用如下公式描述/丄=+A:xgf]+一gf—*xg(I(15)式中，/￡是形成的新的低分辨层，gf和g纟分别代表待融合的两幅图像的低分辨层，a,y9是常系数，取"=0.8与-=0.05，A是常系数，t值由取决于两幅图像的局部方差比的均值，计算式为1m/cr20.80.62/nfcr<0.8(16)式中，m/cr代表两幅图像局部方差比的均值。4、形成融合图像将上一步得到的新的低分辨层,和新的高分辨层/"进行相加，得到最终的融合图像如下式-/=(17)本发明的效果可通过以下仿真实验进一步说明本仿真实验采用了两种无需基准融合图像的客观图像融合评价方法。第一种是基于图像显著性特征的客观融合图像评价方法，该方法定义了三个评价指标，分别为表征融合图像和原始图像特征相似度的G指标、加权指标o^和边缘相似度指标2￡，该a^和0E指标是对指标2的改进。第二种评价指标是使用图像边缘信息进行加权的评价指标0>。在这两种评价指标中若0^、2￡和^>获得较大的值，表征融合图像包含较多的细节信息。本实验使用了16组红外与可见光图像作为测试数据。分别采用加权平均融合方法、基于拉普拉斯的融合方法、基于局部能量的小波融合方法、SVD灰度选择融合方法、SVD局部能量融合方法和SVD小波变换融合方法对这16组图像进行了融合，融合结果如图3和表1所示。参见图3，该图像描述的是一个战场的场面，其中图3(a)是原始可见光图像，图3(b)是原始红外图像。由于光线比较暗，图3(a)中显示的信息很少，图3(b)包含了较多的信息，这说明在光线暗的时候红外图像比可见光图像的效果要好，但是图(b)的硝烟中仍然有看不清楚的信息。对原始可见光图像3(a)和原始红外图像3(b)分别采用加权平均融合方法、基于拉普拉斯塔型分解的融合方法、基于小波变换的融合方法融合后，所得图像为分别为3(c)、3(d)、3(e)。由图3(c)、3(d)、3(e)，与图像3(a)相比可见，经过融合后的图像中多了很多的信息，比如可以看见淡淡的硝烟，远处的山峰。由图3(c)、3(d)、3(e)与图(b)相比可见，经过融合后的图像比图像3(b)包含的信息虽多，但却硝烟转淡，山峰比较模糊。对原始可见光图像3(a)和原始红外图像3(b)分别采用本发明提出的方法融合得到的三幅图像为3(f)、3(g)、3(h)，将图f3(f)、3(g)、3(h)与对原始图像3(a)、图3(b)比较可见，用本发明方法融合后的图像不但原始比图像3(a)、3(b)多了很多细节信息，而且也比其它几种融合方法得到的融合图像更清晰，达到很好的融合效果。<table>tableseeoriginaldocumentpage12</column></row><table><table>tableseeoriginaldocumentpage13</column></row><table>表1显示了几种融合图像的评价指标的平均值。表中^p指标是基于图像局部显著性特征的，具体实现时使用的"显著性特征"是图像的局部方差，2f和^p指标都是基于图像边缘信息的。这三个评价指标的值越大，说明包含的信息越丰富，融合图像的效果也越好。由表l数据可见，本发明提出的基于SVD融合方法融合的图像的三个评价指标的值都明显大于已有加权平均融合方法得到的融合图像、基于拉普拉斯塔型分解的融合方法得到的融合图像和基于小波变换的融合方法得到的融合图像的三个评价指标的值。表l表明，用本发明提出的方法得到的融合图像包含最多的图像信息，不但有良好的视觉效果，还包含丰富的信息，而且取得了良好的融合效果。权利要求1.一种基于奇异值分解的图像融合方法，包括如下过程(1)将原始的一组红外图像与一组可见光图像中的每一幅图像进行同均值同方差的预处理；(2)利用奇异值分解将预处理后的红外光与可见光原始图像分为低分辨层、高分辨层、超高分辨层三个层次；(3)对各个层次分别进行红外图像与可见光图像的一一对应融合，即对低分辨层采用加权平均锐化依次进行两幅对应图像融合；对高分辨层采用灰度选择，或者基于局部能量，或者基于小波变换方式进行两幅图像融合；对超高分辨层进行丢弃；(4)用融合后的低分辨层和高分辨层重构最终的融合图像为f＝fL+fH式中，fL为融合后图像的低分辨层，fH为融合后图像的高分辨层。2.根据权利要求l所述的图像融合方法，其特征在于步骤(1)对原始图像进行同均值同方差的预处理，利用如下预处理规则表达式进行式中，g。表示预处理前图像，//。表示预处理前图像g。的均值，CT。表示预处理前图像g。的均方差，//表示预处理后图像g的均值，O"表示预处理后图像g的均方差。3.根据权利要求l所述的图像融合方法，其特征在于步骤(3)所述的对低分辨层采用加权平均锐化进行融合，按如下公式进行,=+hg纟]+/|&—h&I，式中，/￡是融合后的低分辨层，gf和w分别是原始两幅图像的低分辨层，"，-和A:是常系数。4.根据权利要求l所述的图像融合方法，其特征在于步骤(3)所述的对高分辨层采用灰度选择进行两幅图像融合，是通过选取原始两幅图像的高分辨层与gf中较大的象素值作为新的高分辨层,即<formula>formulaseeoriginaldocumentpage3</formula>式中，gf(z'J)和gf(z',力为待融合两幅图像的高分辨层的像素值，/,z',力为选出的用来组成新的高分辨层的像素值。5.根据权利要求l所述的图像融合方法，其特征在于步骤(3)所述的对高分辨层采用基于小波变换方式进行两幅图像融合，按如下过程进行-首先，对两幅图像的高分辨层进行小波分解；然后，对分解后两组低频的小波系数取均值得到新的低频小波系数，从分解后的两组高频小波系数中，取出对应系数中绝对值大的系数形成新的高频小波系数；最后，由所述的新的低频小波系数和高频小波系数，重构产生融合图像的新的高分辨层/。全文摘要本发明公开了一种基于奇异值分解的图像融合方法。该方法的处理过程是对原始的一组红外图像与一组可见光图像中的每一幅图像进行同均值同方差的预处理；利用奇异值分解将预处理后的原始图像分为低分辨层、高分辨层和超高分辨层；根据每层的不同特点分别对低分辨层采用加权平均锐化方式进行融合，对高分辨层提出基于灰度选择、基于局部能量和基于小波变换方式融合，对超高分辨层进行丢弃；用融合后的低分辨层和高分辨层重构最终的融合图像。实验结果表明用本发明方法得出的融合图像与原始图像有更高的相似度，并且包含更多的边缘信息和细节信息，优于已有的图像融合方法，可用于对目标的准确识别。文档编号G06T5/50GK101231748SQ20071019927公开日2008年7月30日申请日期2007年12月18日优先权日2007年12月18日发明者候彦宾,毅张,梁继民,静王,捷田,胡海虹,恒赵申请人:西安电子科技大学