基于nsct的邻域特性区域化的红外与微光图像融合方法
【专利摘要】本发明针对微光环境下的同一场景红外与微光图像融合问题提出了一种利用邻域特性区域化处理的非下采样Contourlet变换融合方法。首先对红外和微光源图像进行多尺度、多方向分解；然后对低频系数采用一种邻域能量上改进的区域化能量加权融合规则，高频系数采用基于邻域能量区域化匹配的系数选择方案与邻域方差改进的区域方差取大融合规则；最后利用NSCT逆变换进行重构得到融合图像。本发明将像素级融合与特征级融合的优点有效结合起来，本发明不仅克服了传统图像融合产生的虚假轮廓现象，而且具有鲜明的红外目标指示特性及较好细节表现力。
【专利说明】基于NSCT的邻域特性区域化的红外与微光图像融合方法
【技术领域】
[0001]本发明涉及多源图像融合领域，具体涉及一种改进的邻域特性区域化处理的NSCT域红外与微光图像融合方法，用于实现微光环境下的图像融合。
技术背景
[0002]图像融合是以图像为研究对象的信息融合，它把对同一目标或场景的用不同传感器获得的不同图像，或用同种传感器以不同成像方式或在不同成像时间获得的不同图像，融合成一幅图像，在这一副图像中能反映多重原始图像的信息，以达到对目标和场景的综合描述，使之更适合视觉感知或计算机处理。从20世纪80年代初至今，多源图像融合已引发了世界范围的研究热潮，它在计算机视觉、遥感、机器人、医学图像处理及军事等领域有着广泛的应用前景。多源图像融合技术在国内所进行的研究相对于国际上的研究工作起步较晚，目前处于落后状态，迫切需要开展广泛深入的理论研究和工程技术研究工作。
[0003]红外和微光图像融合是多源图像融合的一种，其目的在于融合来自红外与微光图像中的互补信息。互补信息主要体现在红外图像中的高温物体具备高亮特征，而微光图像中物体的亮度仅与物体自身反射的外界光程度有关。融合得到的图像将红外图像的目标指示性与微光图像的细节表现力有效结合起来。
[0004]非下米样Contourlet 变换(nonsubsampledContourlettransform,简称 NSCT)不仅具有多尺度、时频局部特性，还具有多方向特性，能够有效捕捉图像中的几何特征，并且能为图像进行稀疏表示，变换后能量更加集中，为图像融合提供更多的有用信息。因此，基于NSCT变换的红外与微光图像融合方法在图像融合领域取得了很好的效果。将图像经NSCT进行多尺度、多方向分解，会产生一个低频子带和多个高频方向子带。分别针对图像的低频系数和高频系数采用不同的融合规则进行融合，因此融合规则的选取对融合图像的质量影响也至关重要。
[0005]然而，传统的融合规则主要是低频部分针对像素点进行加权平均、高频部分绝对值取大，这虽然在一定程度上实现融合，但是融合图像会产生虚假轮廓。低频部分用图像的清晰部分去弥补图像的模糊部分，降低了图像的对比度，损失了清晰部分重要信息；高频部分绝对值取大，虽然能较好的提取图像的轮廓，但是也增强了非边缘信息。
[0006]为了克服这些缺陷，近年来国内外很多研究人员有针对性的对融合规则进行了相应的改进，力求寻找一种更有效的方式，即能消除图像融合中产生的虚影，又能较好的体现红外图像的目标指示性与微光图像的细节表现力。他们的研究主要集中在低频部分的改进或者高频部分的改进，主要方法一般为基于邻域特征、区域特征或者学习机制的寻优方式寻找最佳加权值。这类改进虽然能一定程度上对融合图像质量有所改善。但是，基于邻域特征的融合规则虽然考虑了单个像素点的灰度值，以及该像素邻域内各像素点之间的相关性，但会出现单个像素点参与融合而导致其代表的物理意义割裂的情况。而基于区域特征的融合将图像中每个像素都视作区域或边缘的一部分，并用区域量测指标来指导融合选取。这种方式有效克服了像素级融合存在的问题，但是它未考虑区域边缘像素点与外围之间的关联，在融合过程中，容易产生区域块效应。学习机制寻找最优加权值，虽然能达到很好的效果，但是它运算量大，而且参数的设置同样需要不同的尝试，这样不便于快速实施融
口 O
[0007]近几年的研究表明:将NSCT用于图像融合，能取得不错的效果，可以有效去除其他多尺度方法带来的混频现象，如Contourlet变换。融合规则的改进能进一步改善了图像融合的效果。而且，规则的选择对融合图像质量的影响至关重要。本发明在传统研究的基础上，结合了像素级融合与特征级融合的优点，提出了一种基于邻域特性区域化处理的红外与微光图像融合方法，该方法分别对低频部分与高频部分做了相应的处理，针对低频部分提出了一种基于邻域能量的区域化能量加权选择规则；高频部分两部分处理，最高尺度采用基于邻域方差区域化的方差取大，其余尺度采用一种邻域能量区域化的匹配系数选择方案。该方法有效消除了传统融合方法产生的虚假轮廓，而且更好的融入源图像的重要信息及边缘轮廓信息。
【发明内容】
[0008]本发明所要解决的技术问题是:针对现有技术的上述不足，提出了一种基于邻域特性区域化处理的NSCT域红外与微光图像融合方法。消除了传统融合方法产生的虚假轮廓现象，较好的结合了像素级融合与特征级融合的优点，有效克服了像素级产生的模糊效应、对噪声敏感效应以及特征级融合容易产生的块效应。本发明针对微光环境下的红外与微光图像融合能够取得较好的视觉效果，具有良好的目标指示性与细节表现力。
[0009]本发明提出的方法包括对低频部分和高频部分融合规则的改进。提出一种基于邻域特性区域化的NSCT域红外与微光图像融合方法，一种基于邻域特性区域化的NSCT域红外与微光图像融合方法，其特征在于，将源图像的红外图像与微光图像进行非下采样NSCT变换，得到不同尺度、方向子带系数；计算红外和微光图像邻域能量；针对低频子带中的像素点，根据相邻两个像素点特性能量矩阵，进行加权融合得到的低频子带系数；对图像邻域方差矩阵进行区域化处理，对特性方差取大选择高频子带系数；将低频子带系数和高频子带系数进行NSCT反变换，得到融合后的图像。
[0010]所述不同尺度、方向低频子带系数包括:微光图像低频子带系数Cvi (x, y)、微光图像高频第j层I方向下子带系数红外图像低频子带系数CikU，y)、红外图像高频
第j层I方向下子带系数Cg(x，>’)。所述得到的低频子带系数具体包括:选取以低频子带里的每个像素点为中心的8邻域，求解邻域能量；将相应邻域能量矩阵划分成若干大小相同、相互独立的方形子区域矩阵，计算所有方形子区域矩阵的平均能量值，作为每个区域的特性区域能量；对特性区域能量进行加权融合得到的低频子带系数。所述得到高频子带系数具体包括:采用邻域方差区域化的方差取大原则进行融合获得最高尺度方向子带；针对最高尺度方向子带，求解每个像素点的邻域方差，作为特性区域方差，选取较大特性区域方差；对于其余的方向子带，获取每个区域的特性区域能量，进行匹配度分子系数区域化处理得到匹配度系数；当匹配度系数小于设定阈值时，按照特性能量矩阵系数取大原则融合获取高频子带系数；当匹配度系数大于阈值时，采取加权计算系数融合获取高频子带系数。[0011 ]根据公式:
【权利要求】
1.一种基于邻域特性区域化的NSCT域红外与微光图像融合方法，其特征在于，将源图像的红外图像与微光图像进行非下采样NSCT变换，得到不同尺度、方向子带系数；计算红外和微光图像邻域能量；针对低频子带中的像素点，根据相邻两个像素点特性能量矩阵，进行加权融合得到的低频子带系数；对图像邻域方差矩阵进行区域化处理，对特性方差取大选择高频子带系数；将低频子带系数和高频子带系数进行NSCT反变换，得到融合后的图像。
2.根据权利要求1所述方法，其特征在于，所述不同尺度、方向低频子带系数包括:微光图像低频子带系数Cvi (X，y)、微光图像高频第j层I方向下子带系数
3.根据权利要求1所述方法，其特征在于，所述得到的低频子带系数具体包括:选取以低频子带里的每个像素点为中心的8邻域，求解邻域能量；将相应邻域能量矩阵划分成若干大小相同、相互独立的方形子区域矩阵，计算所有方形子区域矩阵的平均能量值，作为每个区域的特性区域能量；对特性区域能量进行加权融合得到的低频子带系数。
4.根据权利要求1所述方法，其特征在于，所述得到高频子带系数具体包括:采用邻域方差区域化的方差取大原则进行融合获得最高尺度方向子带；针对最高尺度方向子带，求解每个像素点的邻域方差，作为特性区域方差，选取最大特性区域方差；对于其余的方向子带的，获取每个区域的特性区域能量，进行匹配度分子系数区域化处理得到匹配度系数；当匹配度系数小于设定阈值时，按照特性能量矩阵系数取大原则融合获取高频子带系数；当匹配度系数大于阈值时，采取加权计算系数融合获取高频子带系数。
5.根据权利要求1或3所述的方法，其特征在于，根据公式:
6.根据权利要求1或3所述的方法，其特征在于，根据图像I的第i个微光或第i个红外图像的邻域能量区域化后的能量特征值Evi, 1、Eie, i根据公式:wVI, i = Evi, J (Evi, ,+Eie, J，
7.根据权利要求1或4所述的方法，其特征在于，当Sja(x，y)< α ， 根据 公式
【文档编号】G06T5/50GK103530862SQ201310526331
【公开日】2014年1月22日 申请日期:2013年10月30日 优先权日:2013年10月30日
【发明者】陈勇, 熊杰, 吕霞付, 徐敏, 樊强, 邢江, 黄婷婷 申请人:重庆邮电大学