专利名称：基于区域和人眼对比敏感特性的异源图像融合方法
技术领域：
本发明属于异源图像、视频融合领域，特别涉及基于非下采样Contourlet变换NSCT的异源图像融合，主要用于红外图像、可见光图像、多聚焦图像、遥感图像等异源图像的融合，为一种基于区域和人眼对比敏感特性的异源图像融合方法。
背景技术：
随着计算机科学技术和传感器技术的迅猛发展，越来越多的传感器被应用在各个领域中。由单一的可见光模式逐渐发展成为多种传感器模式，各种传感器具有不同的成像机理，工作于不同的波长范围，满足不同工作环境的需要。为了满足实际中更多的应用，多传感器信息融合技术应运而生。异源图像融合为其中的一个分支，是把多个不同模式的图像传感器获得的同一场 景的多幅图像或同一传感器在不同时刻或方式下获得的同一场景的多幅图像合成为一幅包含输入图像相关信息的图像的过程。融合技术可以克服单一传感器图像在几何、光谱和空间分辨率等方面存在的局限性和差异性，提高图像的质量，从而可以有利于对事件的检测、识别和分析。主要优势可以分为以下几点(I)利用多个传感器提供的冗余信息来提高融合图像的精确性、可靠性和鲁棒性，即使其中的个别传感器发生故障也不会对最终的融合图像产生严重影响；(2)不同传感器提供的信息具有互补性，可以使融合后的图像包含更丰富、更全面的信息，带来更好的视觉感受，更有利于机器视觉对图像进一步分析、处理以及目标识别；(3)在恶劣环境条件下，通过多传感器图像融合可以改善单一传感器的检测性能。例如，低光照、烟雾等会降低图像质量甚至导致无法看清目标，而毫米波雷达获得的图像对于低光照、烟雾等有很强的穿透能力，红外相机则完全无视恶劣环境的存在，只接收物体的红外信号，尽管信号有所衰减，但仍然能获得比较清晰的图像。因此，融合可以使异源的图像缺点互补，各自优势得以更好的发展。异源图像融合技术的发展过程中，多尺度分析方法和融合规则都在不断地向前发展。当前较为热门的就是多分辨率分析。目前已有的多尺度方向分析方法有脊波(Ridgelet)变换、曲波Curvelet变换、Bandelet变换、Wedgelet变换、Beamlet变换以及较新的非下采样Contourlet变换等。在融合规则的制定和选择方面，西安电子科技大学的李智杰等提出的基于Curvelet变换的背景杂波抑制算法，对杂波和噪声有较强的抑制作用，同时很好地保留了目标点的信息。BelbachirA. N.等人提出一种基于Contourlet变换与小波变换结合的红外图像信息提取方法，从一系列天文红外图像中有效的提取出有用信息。总之，异源图像的处理、分析与融合已经成为国内外的一个热点话题。融合图像的质量以及融合的实时性都亟待提高，本发明致力于融合图像质量提高方面的研究。
发明内容
本发明要解决的问题是异源图像融合作为对事件的检测、识别和分析的有力技术，其融合图像的质量以及融合的实时性都亟待提高。本发明的技术方案为基于区域和人眼对比敏感特性的异源图像融合方法，用于异源图像的融合得到融合图像F，包括以下步骤I)对待融合的源图像A和B分别进行非下采样Contourlet变换，即NSCT分解将源图像分解到Contourlet变换域，得到源图像A和B的各级子带系数，包括低频子带系数和高频子带系数,Cf1Orj)和rf }认竹分别为源图像a、B的低频子带系数C4關(X，外和为相应的尺度I、方向d的高频子带系数；2)制定融合规则，得到融合图像系数使用人眼视觉对比度函数LCSF对低频子带系数制定融合规则，使用人眼视觉绝对对比度灵敏度函数ACSF对第一级高频子带系数进行活性测度，采用感觉亮度对比度函数FBCF和局部平均梯度敏感性函数LGSF分别确定高频子带系数的融合规则,综合得到融合图像F的各级子带系数{Cf (x,y),CfJ^(x,y)}:
用LCSF作为活性测度，对低频子带系数使用加权平均的融合规则(x,y) = XCf11 (x, j) + (I-O1)XCgjl(x,y)CI)其中肩!^幻丨分别为红外图像与可见光图像低
K" 3 " A. "* M
频子带系数的人眼视觉对比度函数值；用ACSF作为活性测度，对第一级高频子带系数使用如下的融合规则
\( fy. (x, v) if ACSF'Ul > ACSF1'-卜—(2)
I ( f-(.T,r) if ACSF^- < A( 'SF'1"和双'Wf 3分别为两幅源图像的判决因子；采用感觉亮度对比度函数FBCF作为第二级高频子带系数融合的判决因子
^ Ja ( 1 'fji' ( V v) + K
-O\ ^ ^f 3、Ig(x,y) +^0)
"0
(I Io—I
T- - yTt,似(紙"KTifW(x +卿，j; + n) (4)
“ I “ I
22式中，0彡X彡M, 0彡y彡N，(x, y)为子带系数矩阵中系数的坐标,M、N为子带系数矩阵的大小，w(m，n)为aX a的生成核，a为奇数，k和Ktl为韦伯 费赫涅尔定律中的常数，C{1’d}(x，y)为图像经NSCT分解后在尺度I、方向d上的高频子带系数，D是尺度I上的方向d的总数；用FBCF作为活性测度，FBCF系数越大表示该尺度该方向下的感觉亮度相比于背景亮度的对比度越大，对第二级高频子带系数采取如下融合规则
rnn0Rl r；I,；11Jlr、if FRCFf^(x,y)>FBCF^J]ix^C I- 1 (x,v)H,￠/:1,2,3,4 (5)
'l.r;f.rt if fWIjultui(x,y)<mifK'Ui(x,y)采用局部平均梯度敏感性函数LGSF作为第三级高频子带系数的判决因子
权利要求
1.基于区域和人眼对比敏感特性的异源图像融合方法，其特征是用于异源图像的融合得到融合图像F，包括以下步骤 1)对待融合的源图像A和B分别进行非下采样Contourlet变换，即NSCT分解将源图像分解到Contourlet变换域，得到源图像A和B的各级子带系数，包括低频子带系数和高频子带系数^分别为源图像A、B的低频子带系数，和为相应的尺度I、方向d的高频子带系数； 2)制定融合规则，得到融合图像系数使用人眼视觉对比度函数LCSF对低频子带系数制定融合规则，使用人眼视觉绝对对比度灵敏度函数ACSF对第一级高频子带系数进行活性测度，采用感觉亮度对比度函数FBCF和局部平均梯度敏感性函数LGSF分别确定高频子带系数的融合规则，综合得到融合图像F的各级子带系数丨(f; 用LCSF作为活性测度，对低频子带系数使用加权平均的融合规则
2.根据权利要求I所述的基于区域和人眼对比敏感特性的异源图像融合方法，其特征是将不同视频同一时间的图像帧融合，实现异源视频融合。
3.根据权利要求I所述的基于区域和人眼对比敏感特性的异源图像融合方法，其特征是所述异源图像包括红外图像、可见光图像、多聚焦图像或遥感图像。
全文摘要
基于区域和人眼对比敏感特性的异源图像融合方法，包含如下步骤(1)对待融合的源图像分别用非下采样Contourlet变换NSCT进行多尺度分解，得到源图像的各阶子带系数；(2)根据人眼视觉对比度函数LCSF、人眼视觉绝对对比度灵敏度函数ACSF、感觉亮度对比度函数FBCF和局部平均梯度敏感性函数LGSF分别制定低频子带系数和各级高频子带系数的融合规则，得到融合图像的各级子带系数；(3)对融合后的系数进行NSCT逆变换，重构得到融合后的图像。本发明符合人眼的视觉特性，很大程度上提高了融合图像的质量，具有鲁棒性，适用于红外与可见光图像、多聚焦图像、遥感图像等多种图像源的融合，应用前景广泛。
文档编号G06T5/50GK102800070SQ201210201730
公开日2012年11月28日 申请日期2012年6月19日 优先权日2012年6月19日
发明者李勃, 吴炜, 董蓉, 阮雅端, 王江, 蒋士正, 陈启美 申请人:南京大学