基于可操纵金字塔变换的图像融合方法及其装置制造方法
【专利摘要】本发明公开了一种基于可操纵金字塔变换的图像融合方法，根据可操纵金字塔变换分别对红外图像和可见光图像进行2层分解，对分解后获得的所述红外图像和可见光图像的高频子带系数及水平方向子带系数进行非下采样方向滤波获得非下采样方向子带系数，根据融合规则融合分解后获得的垂直、+45°、-45°方向子带系数、低频子带系数、以及滤波后获得的非下采样方向子带系数，对融合后获得的非下采样方向子带系数进行非下采样方向滤波重构，对融合后的子带系数、以及重构后获得的子带系数进行可操纵金字塔变换获得最终的融合图像。通过本发明能够有效地提升融合图像的清晰度、对比度及信息量等，得到融合效果更好的图像。
【专利说明】基于可操纵金字塔变换的图像融合方法及其装置
【技术领域】
[0001]本发明属于图像融合处理【技术领域】，具体涉及一种基于可操纵金字塔变换的图像融合方法及其装置。
【背景技术】
[0002]图像融合在图像分析和计算机视觉方面有着重要的意义。通过图像融合技术可以将从不同成像传感器获取同一场景的图像有机组合成一幅图像，其能有效地互补不同成像传感器所获取图像的优势，形成一幅能真实清晰反映客观场景的图像，以便对图像进一步分析、理解以及目标的检测与识别等。从二十世纪八十年代开始，多传感器图像融合已引起了广泛的兴趣和研究热潮，其在机器学习、遥感、计算机视觉、医学图像处理以及军事应用中有着广泛的应用前景。经过近三十年的发展，图像融合技术已形成了一定的规模，国内外也都开发出许多用于不同领域的融合系统，但是，这并不意味着图像融合技术已相当成熟了。从国内外目前的研究情况来看，图像融合技术在理论和技术方面均存在有待解决的问题。与国外相比，国内开展图像融合研究工作起步较晚，尽管国内近几年在图像融合方面的研究取得了较大的成就；但是，相比国外仍处于较落后的状态。因此，急需我们对图像融合进行广泛深入的基础理论和基础技术的研究。
[0003]随着信息技术的快速发展，实际应用中，人们对信息量的需求越来越大。在这种条件下，传统的图像融合方法，如多分辨分析的图像融合方法，参见文章《Image sequencefus1n using a shift-1nvariant wavelet transform》， Image Processing,1997.Proceedings., Internat1nal Conference on.1EEE, 1997, 3:288-291,因为小波变换不能很好地捕捉图像的边缘和纹理信息，而且，该方法用简单的系数绝对值取大的融合规则，得到的融合图像效果不理想；参见文章《Feature level fus1n of multimodal medicalimages in lifting wavelet transform domain)),Engineering in Medicine and B1logySociety,2004.1EMBS' 04.26th Annual Internat1nal Conference of the IEEE.1EEE,2004，1:1479-1482,该方法通过计算小波变换系数的梯度，并通过比较两幅图像的小波变换系数梯度之差与设定的阈值的大小来确定融合系数，该方法所得到的融合图像尽管效果有所改善，但是，还是难以满足要求。此后，苗启光等提出《基于改进的拉普拉斯金字塔变换的图像融合方法》，该方法是对图像金字塔各分解层分别进行融合处理，不同层可采用不同融合算子进行融合处理，最终得到融合后图像的拉普拉斯金字塔；对融合后所得到的拉普拉斯金字塔进行逆金字塔变换(即图像重构)，所得到的重构图像就是融合图像，通过该方法可有效地将来自不同图像的特征或细节融合在一起，得到的融合图像清晰度、对比度、信息量等均有所提升；但是，信息量、清晰度、对比度等依然相对较低，融合图像的整体效果还是不尽如人意。
【发明内容】
[0004]为解决现有存在的技术问题，本发明实施例提供一种基于可操纵金字塔变换的图像融合方法及其装置，能够更好地捕捉原图像中的方向信息，充分利用图像的空间一致性，采用双边滤波对低频子带进行融合，提高融合图像的清晰度、对比度、信息量等，以得到图像质量更好的融合图像。
[0005]为达到上述目的，本发明实施例的技术方案是这样实现的:
[0006]本发明实施例提供一种基于可操纵金字塔变换的图像融合方法，该方法包括:根据可操纵金字塔变换分别对红外图像和可见光图像进行2层分解，对分解后获得的所述红外图像和可见光图像的高频子带系数及水平方向子带系数进行非下采样方向滤波获得非下采样方向子带系数，根据融合规则融合分解后获得的所述红外图像和可见光图像的垂直方向子带系数、+45°方向子带系数、-45°方向子带系数、低频子带系数、以及滤波后获得的非下采样方向子带系数，对融合后获得的非下采样方向子带系数进行非下采样方向滤波重构，对融合后的垂直方向子带系数、+45°方向子带系数、-45°方向子带系数、低频子带系数、以及重构后获得的高频子带系数、水平方向子带系数进行可操纵金字塔逆变换获得最终的融合图像。
[0007]上述方案中，所述根据可操纵金字塔变换分别对红外图像和可见光图像进行2层分解为:对输入的红外图像和可见光图像分别进行可操纵金字塔分解，分别获得红外图像和可见光图像的低频子带系数、高频子带系数、及水平方向子带系数、垂直方向子带系数、+45°方向子带系数及-45°方向子带系数。
[0008]上述方案中，根据融合规则融合分解后获得的所述红外图像和可见光图像的垂直方向子带系数、+45°方向子带系数、-45°方向子带系数、低频子带系数，以及滤波后获得的非下采样方向子带系数为:根据系数绝对选大的融合规则融合获得的所述红外图像和可见光图像的垂直方向子带系数、+45°方向子带系数、-45°方向子带系数；根据基于非局部均值滤波的融合规则融合所述红外图像和可见光图像的低频子带系数；根据系数绝对选大的融合规则融合所述滤波后获得的非下采样方向子带系数。
[0009]本发明实施例还提供一种基于可操纵金字塔变换的图像融合装置，其特征在于，该装置包括:
[0010]分解单元、滤波单元、融合单元、重构单元、逆变换单元，其中
[0011]所述分解单元，用于根据可操纵金字塔变换分别对红外图像和可见光图像进行2层分解，发送分解后获得的所述红外图像和可见光图像的高频子带系数及水平方向子带系数到滤波单元，发送分解后获得的所述红外图像和可见光图像的低频子带系数到融合单元;
[0012]所述滤波单元，用于对接收到的所述红外图像和可见光图像的高频子带系数及水平方向子带系数进行非下采样方向滤波获得非下采样方向子带系数，发送滤波后获得的非下采样方向子带系数到融合单元；
[0013]所述融合单元，用于根据融合规则融合接收到的所述红外图像和可见光图像的垂直方向子带系数、+45°方向子带系数、-45°方向子带系数、低频子带系数，以及滤波后获得的非下采样方向子带系数，发送融合后的垂直方向子带系数、+45°方向子带系数、-45°方向子带系数、低频子带系数到逆变换单元，发送融合后的非下采样方向子带系数到重构单元；
[0014]所述重构单元，用于对接收到的非下采样方向子带系数进行非下采样方向滤波重构，发送重构后获得的高频子带系数、水平方向子带系数到逆变换单元；
[0015]所述逆变换单元，用于对融合后的垂直方向子带系数、+45°方向子带系数、-45°方向子带系数、低频子带系数、以及重构后获得的高频子带系数、水平方向子带系数进行可操纵金字塔逆变换获得最终的融合图像。
[0016]上述方案中，所述分解单元，具体用于对输入的红外图像和可见光图像分别进行可操纵金字塔分解，分别获得红外图像和可见光图像的低频子带系数、高频子带系数、水平方向子带系数、垂直方向子带系数、+45°方向子带系数及-45°方向子带系数。
[0017]上述方案中，所述融合单元，具体用于根据系数绝对选大的融合规则融合获得的所述红外图像和可见光图像的垂直方向子带系数、+45°方向子带系数、-45°方向子带系数；根据基于非局部均值滤波的融合规则融合所述红外图像和可见光图像的低频子带系数；还用于根据系数绝对选大的融合规则融合所述滤波后获得的非下采样方向子带系数。
[0018]本发明提供一种基于可操纵金字塔变换的图像融合方法及其装置，根据可操纵金字塔变换分别对红外图像和可见光图像进行2层分解，对分解后获得的所述红外图像和可见光图像的高频子带系数及水平方向子带系数进行非下采样方向滤波获得非下采样方向子带系数，根据融合规则融合分解后获得的所述红外图像和可见光图像的垂直方向子带系数、+45°方向子带系数、-45°方向子带系数、低频子带系数、以及滤波后获得的非下采样方向子带系数，对融合后获得的非下采样方向子带系数进行非下采样方向滤波重构，对融合后的垂直方向子带系数、+45°方向子带系数、-45°方向子带系数、低频子带系数、以及重构后获得的高频子带系数、水平方向子带系数进行可操纵金字塔逆变换获得最终的融合图像；通过可操纵金字塔变换分解的高频子带系数和水平方向子带系数进行非下采样方向滤波，使得其比传统的金字塔变换具有更好的方向性，能更好地捕捉源图像中的方向信息；通过经可操纵金字塔变换分解的低频子带系数采用双边滤波获得图像融合的权重，由于其充分考虑了图像的空间一致性，从而获得更优的融合权重，以便有效地提升融合图像的清晰度、对比度及信息量等，得到融合效果更好的图像。
【专利附图】
【附图说明】
[0019]图1为本发明实施例提供的一种基于可操纵金字塔变换的图像融合方法的流程示意图；
[0020]图2为一种源红外图像；
[0021]图3为一种源可见光图像。
[0022]图4为另一种源红外图像；
[0023]图5为另一种源可见光图像；
[0024]图6为通过现有技术中一种方法对图2、图3的源图像融合后的结果图；
[0025]图7为通过现有技术中另一种方法对图2、图3的源图像融合后的结果图；
[0026]图8为通过现有技术中第三种方法对图2、图3的源图像融合后的结果图；
[0027]图9为通过本发明对图2、图3的源图像融合后的结果图；
[0028]图10为通过现有技术中一种方法对图4、图5的源图像融合后的结果图；
[0029]图11为通过现有技术中另一种方法对图4、图5的源图像融合后的结果图；
[0030]图12为通过现有技术中第三种方法对图4、图5的源图像融合后的结果图；
[0031]图13为通过本发明对图4、图5的源图像融合后的结果图；
[0032]图14为本发明实施例提供的一种基于可操纵金字塔变换的图像融合装置的结构示意图。
【具体实施方式】
[0033]下面结合附图和【具体实施方式】对本发明进行详细说明。
[0034]本发明提供一种基于可操纵金字塔变换的图像融合方法，根据可操纵金字塔变换分别对红外图像和可见光图像进行2层分解，对分解后获得的所述红外图像和可见光图像的高频子带系数及水平方向子带系数进行非下采样方向滤波获得非下采样方向子带系数，根据融合规则融合分解后获得的所述红外图像和可见光图像的垂直方向子带系数、+45°方向子带系数、-45°方向子带系数、低频子带系数、以及滤波后获得的非下采样方向子带系数，对融合后获得的非下采样方向子带系数进行非下采样方向滤波重构，对融合后的垂直方向子带系数、+45°方向子带系数、-45°方向子带系数、低频子带系数、以及重构后获得的高频子带系数、水平方向子带系数进行可操纵金字塔逆变换获得最终的融合图像。
[0035]本发明实施例提供一种基于可操纵金字塔变换的图像融合方法，如图1所示，通过以下步骤实现:
[0036]步骤101:根据可操纵金字塔变换分别对红外图像和可见光图像进行2层分解。
[0037]具体的，对输入的红外图像I和可见光图像V进行可操纵金字塔分解，分别获得红外图像I和可见光图像V的低频子带系数C1和Cv、高频子带系数Cf和<及方向子带系数
<和0 ( φ = \,?χ...4m )其中m(m取2)表示分解层数，表示分解层数为2层，每层分解为4个方向,4个方向分别为水平、垂直、+45°和-45°。
[0038]可操纵金字塔变换与其它多分辨分析对图像进行处理相类似，也是将图像分解为低频子带系数和高频子带系数。对于基于多分辨分析的图像融合方法，融合规则的优劣直接影响到融合图像质量的优劣。由于低频子带系数是源图像的近似表示，高频子带系数是源图像的细节信息。
[0039]步骤102:对分解后获得的所述红外图像和可见光图像的高频子带系数及水平方向子带系数进行非下采样方向滤波获得非下采样方向子带系数。
[0040]具体的，把经可操纵金字塔变换分解得到的高频子带系数C丨和C"方向子带系数C/和< (0 = 1，5 ),输入到方向滤波器组，获得非下采样方向子带系数与
{p,qj)^ , (Φ = 1，5),其中，(p, q)为子带系数的空间位置，1(1 =8)为子带系数(Cf、C〗与勺、C及C;、Cf)被分解的方向数。
[0041]方向滤波是通过方向滤波器组实现的，本发明方法所使用的方向滤波器组是由树形结构滤波器组是通过采样两通道扇形滤波器组的下采样操作实现的。通过所述滤波器组对经可操纵金字塔变换得到的高频子带系数和水平方向子带系数进行滤波得到方向子带系数。本发明的方向滤波过程中没有进行下采样处理。而是对滤波器组进行了相应的上采样，因此，本发明的方向滤波过程具有平移不变性。
[0042]步骤103:根据融合规则融合分解后获得的所述红外图像和可见光图像的垂直方向子带系数、+45°方向子带系数、-45°方向子带系数、低频子带系数，以及滤波后获得的非下采样方向子带系数。
[0043]具体的，对经可操纵金字塔分解后的红外图像I和可见光图像V的低频子带系数C1和Cv进行融合，通过以下步骤实现:
[0044]步骤202:对经可操纵金字塔分解后的红外图像I和可见光图像V的低频子带系数C1和Cv进行非局部均值滤波，获得滤波子带系数CV和c*
【权利要求】
1.一种基于可操纵金字塔变换的图像融合方法，其特征在于，该方法包括:根据可操纵金字塔变换分别对红外图像和可见光图像进行2层分解，对分解后获得的所述红外图像和可见光图像的高频子带系数及水平方向子带系数进行非下采样方向滤波获得非下采样方向子带系数，根据融合规则融合分解后获得的所述红外图像和可见光图像的垂直方向子带系数、+45°方向子带系数、-45°方向子带系数、低频子带系数、以及滤波后获得的非下采样方向子带系数，对融合后获得的非下采样方向子带系数进行非下采样方向滤波重构，对融合后的垂直方向子带系数、+45°方向子带系数、-45°方向子带系数、低频子带系数、以及重构后获得的高频子带系数、水平方向子带系数进行可操纵金字塔逆变换获得最终的融合图像。
2.根据权利要求1所述的基于可操纵金字塔变换的图像融合方法，其特征在于，所述根据可操纵金字塔变换分别对红外图像和可见光图像进行2层分解为:对输入的红外图像和可见光图像分别进行可操纵金字塔分解，分别获得红外图像和可见光图像的低频子带系数、高频子带系数、及水平方向子带系数、垂直方向子带系数、+45°方向子带系数及-45°方向子带系数。
3.根据权利要求1或2所述的基于可操纵金字塔变换的图像融合方法，其特征在于，根据融合规则融合分解后获得的所述红外图像和可见光图像的垂直方向子带系数、+45°方向子带系数、-45°方向子带系数、低频子带系数，以及滤波后获得的非下采样方向子带系数为:根据系数绝对选大的融合规则融合获得的所述红外图像和可见光图像的垂直方向子带系数、+45°方向子带系数、-45°方向子带系数；根据基于非局部均值滤波的融合规则融合所述红外图像和可见光图像的低频子带系数；根据系数绝对选大的融合规则融合所述滤波后获得的非下采样方向子带系数。
4.一种基于可操纵金字塔变换的图像融合装置，其特征在于，该装置包括: 分解单元、滤波单元、融合单元、重构单元、逆变换单元，其中 所述分解单元，用于根据可操纵金字塔变换分别对红外图像和可见光图像进行2层分解，发送分解后获得的所述红外图像和可见光图像的高频子带系数及水平方向子带系数到滤波单元，发送分解后获得的所述红外图像和可见光图像的低频子带系数到融合单元； 所述滤波单元，用于对接收到的所述红外图像和可见光图像的高频子带系数及水平方向子带系数进行非下采样方向滤波获得非下采样方向子带系数，发送滤波后获得的非下采样方向子带系数到融合单元； 所述融合单元，用于根据融合规则融合接收到的所述红外图像和可见光图像的垂直方向子带系数、+45°方向子带系数、-45°方向子带系数、低频子带系数，以及滤波后获得的非下采样方向子带系数，发送融合后的垂直方向子带系数、+45°方向子带系数、-45°方向子带系数、低频子带系数到逆变换单元，发送融合后的非下采样方向子带系数到重构单元; 所述重构单元，用于对接收到的非下采样方向子带系数进行非下采样方向滤波重构，发送重构后获得的高频子带系数、水平方向子带系数到逆变换单元； 所述逆变换单元，用于对融合后的垂直方向子带系数、+45°方向子带系数、-45°方向子带系数、低频子带系数、以及重构后获得的高频子带系数、水平方向子带系数进行可操纵金字塔逆变换获得最终的融合图像。
5.根据权利要求4所述的基于可操纵金字塔变换的图像融合装置，其特征在于，所述分解单元，具体用于对输入的红外图像和可见光图像分别进行可操纵金字塔分解，分别获得红外图像和可见光图像的低频子带系数、高频子带系数、水平方向子带系数、垂直方向子带系数、+45°方向子带系数及-45°方向子带系数。
6.根据权利要求4或5所述的基于可操纵金字塔变换的图像融合装置，其特征在于，所述融合单元，具体用于根据系数绝对选大的融合规则融合获得的所述红外图像和可见光图像的垂直方向子带系数、+45°方向子带系数、-45°方向子带系数；根据基于非局部均值滤波的融合规则融合所述红外图像和可见光图像的低频子带系数；还用于根据系数绝对选大的融合规则融合所述滤波后获得的非下采样方向子带系数。
【文档编号】G06T5/50GK104182955SQ201410459119
【公开日】2014年12月3日 申请日期:2014年9月5日 优先权日:2014年9月5日
【发明者】延翔, 秦翰林, 韩姣姣, 牟媛, 周慧鑫, 李佳, 宗靖国, 曾庆杰, 吕恩龙, 赖睿 申请人:西安电子科技大学