专利名称：：基于scdpt变换及其幅相结合的多模态图像融合方法
技术领域：
：本发明涉及图像处理领域，具体的说是涉及一种图像融合方法，可用于多模态图像之间的融合。
背景技术：
：近年来，随着成像传感器技术的发展，多模态图像融合已经成为图像理解、计算机视觉等领域中ー项重要的技术。由于具有优良的多尺度、多方向和平移不变特性，并且具有较低地的运算复杂度和冗余度，复小波变换广泛应用于多模态图像融合技术中，例如I.Styliani,K.Vassilia,“Investigationofthedual-treecomplexandshift-invariantdiscretewavelettransformsonQuickbirdimagefusion，，，IEEEGeoscienceandRemoteSensingLetters,Vol.4,No.I,2007,pp.166-170.及J.J.Lewis,R.J.0’Callaghan,etal.,^PixeI-andregion-basedimagefusionwithcomplexwavelets”，InformationFusion,Vol.8,No.2,2007,pp.119-130.两篇文献公开的技术均属于基于复小波变换的多模态图像融合方法。在上述基于复小波变换的图像融合方法中，除了所采用的复小波变换工具，融合规则，即如何在复小波域中对源图像之间的各子带系数进行组合得到融合图像的子带系数，也是ー个关键的技木。由于成像机理不同，多模态图像之间存在大量的“冗余”和“互ネト”信息。简单地采用“加权平均”或“模值取大”的融合策略，而对源图像之间的“冗余”或“互补”信息不加区分，容易造成信息丢失或对比度降低等问题。目前，针对多模态图像之间的融合，基于多相似度测量的融合方法是ー类比较有效的融合方法，例如Q.Zhang,L.Wang,etal.,“Similarity-basedmultimodalityimageiusionwitnshittablecomplexdirectionalpyramid，，,PatternRecognitionLetters,vol.32,No.13，2011，pp.1544-1553.文献公开的技术。此类融合技术首先采用复小波变换将源图像分解到不同频率子带中；然后，针对不同频率子带，采用各自的相似度測量准则判断待融合图像之间的“冗余”和“互补”信息；最后，针对“冗余”信息，采用ー种“加权平均”的融合策略对源图像之间的子带系数组合，针对“互补”信息，采用ー种基于显著性测量的“模值取大”的融合策略对源图像之间的子带系数进行组合，从而获得了很好的融合效果。相似度測量准则和融合过程中采用的权系数或显著性因子是上述融合技术中两个关键因素。然而，与大多数基于复小波变换的图像融合方法类似，上述融合技术在融合过程中仅仅利用了复小波变换系数的幅度信息而忽略了相位信息，即所采用的相似度測量准则以及权系数和显著性因子基本上都是基于幅度定义的。复小波变换的复带通方向子带系数不仅具有幅度特性，还具有相位特性。在一定程度上，系数幅度反映了图像空间细节信息的強度，而相位反映了图像空间细节信息的纹理结构。相对于幅度，相位能够提供更多的有关图像几何特征方面的信息。例如，在复小波域，复子带系数的相对相位信息能够很好地反映图像中边缘的方向。因此，基于幅度的相似性准则函数能够很好地判断源图像在细节信息強度方面的相似程度，而无法判断源图像在空间细节信息纹理结构方面的相似程度，在某种场合下，容易出现错误的判断结果，从而影响了融合策略的正确实施。同样，基于幅度的权系数和显著性因子，仅仅能够反映源图像在空间细节信息強度方面的显著性，使得所设计的融合技术也仅仅在能量或空间细节信息强度提取方面具有较高的融合性能，融合后图像容易出现对比度降低的情况，从而影响了融合图像的视觉质量。
发明内容本发明的目的在于上述已有融合方法的不足，提出一种基于SCDPT变换及其幅相结合的多模态图像融合方法，以将空间细节信息更好地保留到融合图像中，提高融合图像的视觉质量。·为实现上述目的的技术思路是利用其良好的图像几何特征表示能力，结合复系数的幅度特性构建更为精确的相似性判断准则，以及更为有效的重要性判断准则。简单地说，就是利用分解系数的相位与幅度相结合的方式，对冗余或互补信息进行更为准确、有效地判断和融合，使其具有更好的融合效果。其具体实现步骤包括如下(I)对已配准的第一幅图像A和第二幅图像B分别进行S⑶PT分解，得到各自的变换系数{G(m,n),Q;(m，〃)丨和丨(^(m,n),CJBl(m,〃)}，其中，(ゴ(w，,)和Cjb(ra,n)分别表示第一幅图像A和第二幅图像B在最粗糙尺度J下的低通子带系数,Om;)和Cf(w，")分别表示第一幅图像A和第二幅图像B在尺度j、方向I和空间位置(m，n)处的复带通方向子带系数，Lj为第j尺度下带通方向子带的方向数,其中j=1，2，...，J,I=1，2，...，Lj;(2)构建基于区域能量匹配和相对相位周期相关系数的相似性准则:(2.I)分别计算第一幅图像A在尺度j、方向I和空间位置(m，n)处的复带通方向子带系数的相对相位-Mj/(m,n)=ZOmO-ZCf(，/7+l)，以及第二幅图像B在尺度j、方向I和空间位置(m，n)处的复带通方向子带系数0JB'(m,n)=ZCjb'(mri>)-ZC(;w,n+\),其中ZCf(叫め和ZCf(m，《)分别为图像A，B在尺度j、方向I、空间位置(m，n)处复带通方向子带系数的相位角；(2.2)计算所述复带通方向子带系数Cf⑶,")和Ov)在以空间位置(m，n)为中心、大小为M1XN1的局部区域R内的周期相关系数ダi(w，/7):y1^sinC^j'7(m+h,n+v)-(m,n))■(m+u,n+v)-0}B'(m,n))泰")=f:ニr=2，sin2(0JAJ(m+u,n+v)—6{J//))■sin2(O3b1{m+M^n+v)—(/;,"))Ya=-(M3—1)/2(A\-1)/2其中，M1=N1=3，u，V分别为在局部区域R内水平和垂直方向的自变量，色^加メ)为图像A的复带通方向子带系数在相应局部区域R内的相对相位周期均值，电'7(^0为B的复带通方向子带系数在相应局部区域R内的相对相位周期均值，死_七《+仏/+V)为第一幅图像A在空间位置(m+u，n+v)的相对相位，f(/w+n,"+v)为第二幅图像B在空间位置(m+u,n+v)的相对相位,其中，权利要求1.一种基于SCPDT复变换及其系数幅相结合的多模态图像融合方法，包括如下步骤(1)对已配准的第一幅图像A和第二幅图像B分别进行S⑶PT分解，得到各自的变换系Wi{CJ4(mji)，rf(m,HI和ド-(m,(m,//)}，其中，cJA(m，和Cjb(m,n)分别表示第一幅图像A和第二幅图像B在最粗糙尺度J下的低通子带系数，Cf(/,)和Cf(叫》)分别表示第一幅图像A和第二幅图像B在尺度j、方向I和空间位置(m，n)处的复带通方向子带系数，Lj为第j尺度下带通方向子带的方向数，其中j=1，2，...，J,I=1，2，...，Lj;(2)构建基于区域能量匹配和相对相位周期相关系数的相似性准则('Aで(/,"):(2.I)分别计算第一幅图像A在尺度j、方向I和空间位置(m，n)处的复带通方向子带系数G(W，")的相对相位り=ZCfOwjO-ZrfOww+l)，以及第二幅图像B在尺度j、方向I和空间位置(m，n)处的复带通方向子带系数2.根据权利要求I所述的融合方法，其特征在于步骤(4)中所述的根据相似度測量准则^￡3沐，《)以及下阈值1\(」，I)和上阈值Th(j，I)，将第一幅图像A和第二幅图像B的复带通方向子带系数划分为3类不同区域，按如下步骤进行(4a)将满足<Tll(JJ),KCE^nKn)>以ム/)条件的区域内系数，划分为带通第一类区域，表示第一幅图像A和第二幅图像B的复带通方向子带系数在此区域不相关；(4b)将满足《乃(ゾノ)条件的区域内系数，划分为带通第二类区域，表示第一幅图像A和第二幅图像B的复带通方向子带系数在此区域幅值强度相似、相位相反；(4c)将满足(ム/)条件的区域内系数，划分为带通第三类区域，表示第一幅图像A和第二幅图像B的复带通方向子带系数在此区域幅值和相位都相似，其中，j、I和(m，n)分别表示复带通方向子带系数的尺度，方向和空间位置。3.根据权利要求I所述的融合方法，其特征在于步骤(5)中所述的对不同区域定义不同的融合规则进行融合，得到融合图像F的复带通方向子带系数，按如下步骤进行(5a)针对带通第一类区域内的复带通方向子带系数，采用基于局部区域能量的“模值取大”融合策略进行组合4.根据权利要求I所述的融合方法，其特征在于步骤(7)中所述的根据相似度測量准则SSMab(m，n)以及下阈值T1(J)和上阈值Th(J)，将第一幅图像A和第二幅图像B的低通子带系数划分为3个不同的区域，包括如下步骤(7a)将满足SSMab(m，n)<Th(J)并且SSMab(m，n)XT1(J)的区域内条件的区域内系数，划分为低通第一类区域，表示低通子带系数不相似区域；(7b)将满足SSIMab(m，n)^T1(J)条件的区域内系数，划分为低通第二类区域，表示低通子带系数对比度相反区域；(7c)将满足SSMab(m，n)STh(J)条件的区域内系数，划分为低通第三类区域，表示低通子带系数相似度较高区域，其中，J和(m，n)分别表示复带通方向子带系数的最粗糙尺度和空间位置。5.根据权利要求I所述的融合方法，其特征在于步骤(8)中所述的对不同类型区域内的第一幅图像A和第二幅图像B的低频子带系数Cl(m，《)和分别进行融合，得到相应区域内融合图像F的低通子带系数q丨(％)，按如下步骤进行(Sa)针对低通第一类区域内第一幅图像A和第二幅图像B的低通子带系数，采用基于局部区域能量的“模值取大”融合策略进行组合全文摘要本发明公开了一种基于幅度和相位联合的多模态图像融合方法，主要解决现有融合技术不能充分利用源图像相位信息的问题。其实现过程为采用SCDPT变换对源图像进行多尺度多方向分解，得到不同子带系数；针对复带通方向子带系数，构建能量匹配和周期相关系数相结合的相似度因子进行相似测量，并用基于局部区域能量和相对相位周期方差的融合规则进行组合，得到融合图像带通方向子带系数；针对低通子带系数，利用结构相似度因子进行相似测量，并采用基于尺度间子带系数联合统计的融合规则进行组合，得到融合图像低通子带系数；对融合图像子带系数进作SCDPT逆变换，得到融合图像。本发明能够很好地保留源图像中的相位信息，具有很高的空间一致性。文档编号G06T5/50GK102800079SQ201210275279公开日2012年11月28日申请日期2012年8月3日优先权日2012年8月3日发明者张强,马兆坤,王龙,陈闵利申请人:西安电子科技大学