基于cs-chmt和idpcnn的多聚焦噪声图像融合方法

基于cs-chmt和idpcnn的多聚焦噪声图像融合方法
【专利摘要】本发明公开了一种基于循环平移结合Contourlet域隐马尔科夫树模型(CS-CHMT)和改进的双通道脉冲耦合神经网络(IDPCNN)的多聚焦噪声图像融合方法，分别对包含一定水平高斯白噪声的两幅多聚焦图像采用CS-CHMT模型进行去噪处理，在此基础上，利用改进的双通道IDPCNN设计融合策略，获得最终的融合图像。本发明利用Contourlet变换高度的方向敏感性和各向异性的优势，结合隐马尔科夫树(HMT)模型进行图像降噪，并引入循环平移(CS)技术有效抑制图像在奇异点附近的伪Gibbs效应，提高了去噪图像的PSNR值；改进的IDPCNN融合方法相比传统的多聚焦图像融合方法不仅能有效保留更多表征图像特征的细节信息，极大地提高融合图像的质量，进一步改善其视觉效果，而且具有实时性。
【专利说明】基于CS-CHMT和IDPCNN的多聚焦噪声图像融合方法
【技术领域】
[0001]本发明涉及一种基于循环平移结合Contourlet域隐马尔科夫树模型(CS-CHMT)和改进的双通道脉冲耦合神经网络(IDPCNN)的多聚焦噪声图像融合方法，是数字图像处理【技术领域】的一项融合方法，在数码相机、机器视觉、目标识别等系统中有广泛地应用。
【背景技术】
[0002]图像融合作为数据融合的一个重要分支，综合了传感器、图像处理、信号处理、计算机和人工智能等现代高新技术，是图像理解和计算机视觉领域中不可或缺的一项。其中，多聚焦图像融合一直是图像融合领域的研究热点，即通过某种算法，将已配准、成像条件相同但不同聚焦的两幅或多幅图像合成一幅全局清晰的新图像。然而，在图像数字化和传输、存储过程中常会受到成像设备和光照、温度等外界因素的干扰而使图像降质，重要细节被噪声掩盖不仅影响其视觉效果，还直接关系到融合图像的品质，故首先应选择恰当的去噪方法在最大限度保留图像原始信息的基础上尽可能去除噪声，然后再对获得的去噪图像进行融合处理，采用有效的融合规则可以降低将噪声信号当作表征图像显著特征的有用信号的可能性，使融合图像综合更多的正确信息。多聚焦噪声图像的融合，被认为是现代多源图像处理和分析中非常重要的一步。
[0003]小波变换以其超越傅里叶变换的时频局域化、多分辨率等优点，在图像去噪等领域得到广泛的应用并取得了优异的效果。但可分离的二维小波仅有有限方向，即水平、垂直和对角，只能反映信号的“点”奇异性，不能充分利用图像本身特有的几何正则性，难以最优地表示含“线”或“面”奇异性的高维数据，导致小波域隐马尔科夫树WHMT模型的图像处理结果容易产生方向边缘成分模糊。2002年，M.N.Do和Martin Vetterli在继承小波多尺度分析思想的基础上提出了一种“真正”的二维图像稀疏表示方法-Contourlet变换，Contourlet域HMT模型与小波域HMT模型相比更灵活，不仅对尺度间的相关性进行直接建模，同时还对相邻方向间的系数相关性进行间接建模，更能充分地捕获系数之间的依赖关系。由于Contourlet变换中方向滤波器组降采样和上采样的存在，导致在图像奇异点附近会产生伪吉布斯现象，引入循环平移(Cycle Spinning)技术可以弥补Contourlet变换因缺乏平移不变性对去噪结果造成的影响，有效抑制图像失真。CS-CHMT模型能在提高去噪图像PSNR值的同时更好地保留其特征信息，使图像边缘更清晰、细节更丰富，有利于进一步的融合处理。
[0004]国内外学者对多聚焦图像融合技术已展开广泛地研究和应用，目前，基于空间域传统的融合方法主要有加权平均法、PCA算法、分块融合方法、对比度调制融合方法等，其基本思想是根据某种指标来选取图像清晰部分的像素构成场景中所有对象均清晰的融合图像，优点是计算简单，且能准确保留图像的原始信息，但融合结果对比度下降，适用面较窄，易出现明显的拼接效应，因此设计更合适的融合规则，有效提取各幅图像中的互补信息，获得更优的融合效果是进一步研究的重点。
[0005]脉冲耦合神经网络(PCNN)于20世纪90年代，Eckhom为解释在猫的大脑视觉皮层实验中所观察到的与特征有关的神经元同步行为而提出，是基于生物学背景建立、由若干个神经元互连构成的反馈型网络。PCNN不仅具有全局耦合性和脉冲同步发放特性，而且对图像的处理结果具有稳定性(如旋转不变性、强度不变性、尺度不变性和扭曲不变性等)，使其在图像去噪、增强、图像分割、图像融合、边缘检测以及目标识别等方面得到广泛的研究和应用。然而，基于PCNN的融合方法对于每一神经元仅有一个输入，计算耗时较长，对实时系统的应用缺乏一定的灵活性。本发明在CS-CHMT模型去噪的基础上提出一种改进的双通道IDPCNN融合方法，采用待融合图像的清晰度设计两个通道的权重系数，充分利用源图像中的互补信息和冗余信息，有效整合有用信息，在一定程度上增加了融合方法的自适应性，增加图像对比度、保留更多的图像细节信息，具有传统方法无可比拟的优越性。

【发明内容】

[0006]本发明的目的在于针对现有空间域传统融合技术的不足，提出了一种基于循环平移结合Contourlet域隐马尔科夫树模型(CS-CHMT)与改进的双通道脉冲耦合神经网络(IDPCNN)的多聚焦噪声图像融合方法，解决已有技术在多聚焦图像融合中易受噪声影响，融合质量不高的问题，获得客观指标和主观视觉效果均较优的融合图像。
[0007]本发明解决其技术问题所采用的技术方案是:
[0008]一种基于CS-CHMT和IDPCNN的多聚焦噪声图像融合方法，首先分别对包含一定水平高斯白噪声的两幅多聚焦图像采用CS-CHMT模型进行去噪处理，对得到的去噪图像利用改进的双通道IDPCNN设计融合策略，获得最终的融合图像。
[0009]本发明具体的实现步骤如下:
[0010](I)采用CS-CHMT模型分别对含噪声的多聚焦图像NIa、NIb进行去噪处理，获得去噪后的多聚焦图像CIA、CIb,降噪处理按照以下步骤进行:
[0011]Ia)对多聚焦噪声图像NIA、NIb进行循环平移操作，再对平移后的图像执行Contourlet变换，分解得到不同尺度、不同方向的子带系数，j表示分解尺度，k表示每尺度分解的方向子带数目；
[0012]Ib)保留低频子带系数不变,对高频子带系数分别进行Contourlet域HMT建模,并采用迭代期望最大化EM算法训练参数集合= A,B)；
[0013]lc)采用蒙特卡罗(Monte Carlo)统计模拟方法估计各个方向子带的噪声方差水
制广
[0014]Id)已知模型参数和噪声方差水平，计算Contourlet域去噪后的系数(X=A,B)；
[0015]Ie)对去噪后的系数执行Contourlet域逆变换(重构)得到图像，再进行逆向循环平移操作，获得最终的多聚焦去噪图像CIA、CIb ；
[0016](2)对去噪后的多聚焦图像CIA、CIb，采用基于改进的双通道脉冲耦合神经网络IDPCNN的融合方法得到最终的融合图像If，具体的融合步骤如下:
[0017]2a)初始化改进的双通道脉冲耦合神经网络IDPCNN参数；
[0018]2b)将待融合图像CIA、CIB归一化处理，分别输入到改进的双通道IDPCNN中，进行迭代运算，记录每次迭代后所有神经元脉冲点火总次数；
[0019]2c)若当前迭代后所有点火神经元总数小于IDPCNN中的所有神经元总数时返回到步骤2b)，否则对改进的双通道IDPCNN的内部活动U进行归一化处理，得到最终的融合图像。
[0020]本发明方法与现有技术相比较，具有以下优点:
[0021 ] 第一，本发明引入循环平移CS技术，有效弥补了 Contourlet变换非平移不变性造成的伪Gibbs效应,能更彻底地去除噪声,抑制图像失真。
[0022]第二，本发明对具有生物学背景的双通道脉冲耦合神经网络模型进行改进，采用待融合图像的清晰度设计双通道脉冲耦合神经网络的权重系数，充分利用源图像自身的信息在一定程度上增加了融合方法的自适应性，符合人类的视觉特性，并行的思想减少了程序的运行时间，使融合方法更具实时性。
[0023]第三，本发明与传统的多聚焦融合方法相比，不易受噪声影响，具有更好的鲁棒性，融合质量更高。 【专利附图】

【附图说明】
[0024]图1是本发明基于CS-CHMT和IDPCNN的多聚焦噪声图像融合方法的流程框图。
[0025]图2是本发明改进的双通道IDPCNN的结构图。
[0026]图3是本发明一个实施例的原始图像、噪声图像以及去噪图像。
[0027]图中:(a)左聚焦原始图像；(b)右聚焦原始图像；(C)左聚焦噪声图像；⑷右聚焦噪声图像；(e)基于WHMT模型的左聚焦去噪图像；(f)基于WHMT模型的右聚焦去噪图像；(g)基于CHMT模型的左聚焦去噪图像；(h)基于CHMT模型的右聚焦去噪图像；(i)基于CS-WHMT模型的左聚焦去噪图像；(j)基于CS-WHMT模型的右聚焦去噪图像；(k)基于CS-CHMT模型的左聚焦去噪图像；(I)基于CS-CHMT模型的右聚焦去噪图像。
[0028]图4是本发明方法与基于GP融合方法、基于PCA融合方法、基于Wavelet变换融合方法、基于Contourlet变换融合方法、基于双通道DPCNN融合方法所得融合结果的比较示意图。
[0029]图中:(a)基于GP方法的融合图像；(b)基于PCA方法的融合图像；(c)基于Wavelet变换方法的融合图像；(d)基于Contourlet变换方法的融合图像；(e)基于双通道DPCNN方法的融合图像；(f)本发明方法的融合图像。
【具体实施方式】
[0030]下面对本发明的一个实施例结合附图作详细说明，本实施例在以本发明技术方案为前提下进行，给出了详细的实施方式和具体的操作过程。
[0031]如图1所示,本实施例包括以下具体步骤:
[0032](I)对多聚焦噪声图像NIA、NIb进行循环平移操作，再对平移后的图像执行Contourlet变换，分解得到不同尺度、不同方向的子带系数C^b (j = 1,2..., J；k=l，2，...，mj), j表示分解尺度，k表示每尺度分解的方向子带数目，其中尺度分解LP选用“9-7”双正交滤波器，方向滤波器组DFB选用“pkva”，方向分解参数设为[2，2，3，3]，即进行4尺度分解，由粗糙到精细尺度所对应的方向子带数目依次为4，4，8，8 ;[0033](2)保留低频子带系数不变，对高频子带系数分别进彳丁 Contourlet域HMT建模，并采用迭代期望最大化EM算法训练参数集合
【权利要求】
1.一种基于CS-CHMT和IDPCNN的多聚焦噪声图像融合方法，其特征在于，分别对包含一定水平高斯白噪声的两幅多聚焦图像采用CS-CHMT模型进行去噪处理，在此基础上，对得到的去噪图像利用改进的双通道IDPCNN设计融合策略，获得最终的融合图像。
2.根据权利要求1所述的基于CS-CHMT和IDPCNN的多聚焦噪声图像融合方法，其特征是，包括以下具体步骤: (1)采用CS-CHMT模型分别对含噪声的多聚焦图像NIA、NIB进行去噪处理，获得去噪后的多聚焦图像CIA、CIb,降噪处理按照以下步骤进行: Ia)对多聚焦噪声图像NIA、NIB进行循环平移操作，再对平移后的图像执行Contourlet变换，分解得到不同尺度、不同方向的子带系数Cfl (j = 1，2...，J;k=l，2，...，mP，j表示分解尺度，k表示每尺度分解的方向子带数目； Ib)保留低频子带系数不变，对高频子带系数分别进行Contourlet域HMT建模，并采用迭代期望最大化EM算法训练参数集合
3.根据权利要求2所述的基于CS-CHMT和IDPCNN的多聚焦噪声图像融合方法，其特征是，所述的步骤(2)包括: (1)初始化改进的双通道IDPCNN模型参数，Uj,ki,l(0)= O，Yj,ki,j(O) = O,θj,ki,j(0)=1 设定W、a 0、Ve、βΑ、β Β、调节因子σ、迭代次数Nmax的初值； (2)将待融合图像CIA、CIb归一化处理后分别输入改进的双通道IDPCNN中，并按照下列公式进行迭代运算，记录每次迭代后所有神经元脉冲点火总次数，即本次迭代前所有神经元点火总数与当前迭代中的神经元点火次数的总和，并且每个神经元在整个过程中只点火一次；
4.根据权利要求3所述的方法，其特征是，所述的两个通道神经元的对称输入，分别对应两幅待融合多聚焦图像，在调制域进行耦合调制，计算内部活动Uul输入到脉冲产生部分用于产生神经元的脉冲输出Yiil ； 所述的脉冲产生部分，当Ui,(η-1)时，对应神经元被激活，产生一个脉冲输出，称为一次点火，同时神经元的阈值通过反馈迅速提高，继续进行迭代运算；当Θ “超过Ui, I时，脉冲产生器关闭，神经元停止发放脉冲，阈值开始指数下降，当Θ i, i再次低于Ui, I时，脉冲产生器再次打开，对应神经元重新处于激活状态，进入新的迭代循环。
【文档编号】G06T5/50GK104008536SQ201310540752
【公开日】2014年8月27日 申请日期:2013年11月4日 优先权日:2013年11月4日
【发明者】罗强, 罗晓清, 关彪, 张红英, 吴小俊, 张战成 申请人:无锡金帆钻凿设备股份有限公司