专利名称：基于双通道pcnn的多聚焦图像融合方法
技术领域：
本发明涉及一种图像处理技术领域的方法，具体是一种基于双通道PCNN (脉冲藕合神经网络，Pulse Coupled Neural Networks)的非下米样 Contourlet 变换(NSCT)多聚焦图像融合方法。
背景技术：
不同类型光学设备，由于其有限景深的特点，造成它们对于同一目标区域内的不 同对象所成的像由于焦距不同而产生具有不同焦点的图像，因而造成这些所取得图像的清晰区域也就各异，图像中所有对象不能够达到相同的清晰程度，任何一个图像对信息的表达都是不完整的，但是这些图像表现同一场景的侧重不一样，因此存在互为补充的信息。通过融合不同图像的焦点区域，使得生成的图像具备更为完整的信息内容。多聚焦图像是由同种传感器采用不同的成像方式(聚焦点的不同)获得的。多聚焦图像融合是将在同一时间或不同时间获取的多聚焦图像信息加以综合，以生成新的有关场景解释的信息处理过程。多聚焦图像融合可以使多个不同距离的目标物体同时清晰地呈现，这为特征提取、图像识别奠定了良好基础。多聚焦图像融合方法大致分为两类基于空间域的图像融合和基于变换域的图像融合。典型的空域方法是分块融合法，分块法直接选择清晰的图像块作为融合结果，而且不存在下采样环节，具备平移不变性，能有效抑制虚假信息的引入，能准确地保持源图像的有用信息，计算简单，实时性好，但在源图像的清晰区域与模糊区域的交界处容易出现块效应。常用的变换域融合方法包括小波变换及多尺度几何分析方法等。小波变换具有优良的时频局部化性能，它用一组尺度不同的带通滤波器对信号进行滤波，将信号分解为不同频带进行处理。融合图像效果的好坏主要取决于融合方法和融合规则选取的得当与否。但基于小波变换的图像融合方法在过程中会产生伪吉布斯效应，影响融合图像效果。两类方法各自的缺陷使得实现多聚焦图像融合成为一项必要而又相当困难的任务。中国专利文献号CN1873693，
公开日2006-12-06，记载了一种“基于Contourlet变换和改进型脉冲耦合神经网络的图像融合方法”，该技术步骤为在对输入的可见光与红外线图像进行多尺度、多方向Contourlet分解的基础上，对具有神经生理学背景的PCNN进行改进，利用改进型的IPCNN进行融合策略设计，根据可见光图像和红外线图像的不同特征，对高频细节部分和低频背景部分分别进行融合，生成Contourlet域融合系数，最后经过Contourlet反变换得到融合图像。但该技术的缺点在于Contourlet变换在离散域内进行，采样过程不具备平移不变性，会产生伪吉布斯效应，影响融合效果，应用对象为多光谱图像，不适合多聚焦图像融合。经过对现有技术的检索发现，西北工业大学李美丽等人提出“基于NSCT和PCNN的红外与可见光图像融合方法(《光电工程》2010年第6期90-95)，用非下采样Contourlet变换对已配准的源图像进行分解，得到低频子带系数和各带通子带系数，对各带通子带系数提出了一种改进的基于PCNN的图像融合方法来确定融合图像的各带通子带系数；最后经过非下采样Contourlet逆变换得到融合图像,该方法优于Laplacian方法、小波方法和非下采样Contourlet变换方法,证明利用非下采样Contourlet变换和PCNN进行图像融合是可行的，但该技术的缺点在于=PCNN模型复杂，参数多，计算耗时长，融合对象是包含相同内容的不同光谱图像，不能直接应用到多聚焦图像的融合中。进一步检索发现，焦竹青、邵金涛、徐保国在“一种新的NSCT域多聚焦图像融合方法”(第21届中国过程控制会议论文，中国杭州，2010年8月)中公开了一种针对同一场景的多聚焦图像，提出一种基于脉冲耦合神经网络(PCNN)的非下采样Contourlet变换(NSCT)域融合方法，该技术首先通过NSCT变换对源图像进行多尺度、多方向分解，将生成的低通子带系数和带通方向子带系数输入PCNN中，使各神经元迭代产生的点火频数构成点火映射图，根据其邻域接近度选择相应的子带系数，最后通过NSCT逆变换得到融合结果。实验分析表明，新方法更大程度的保留了多聚焦图像的清晰区域和特征信息，具有比经典小波变换、Contourlet变换和常规NSCT更好的融合性能。但该技术的缺点在于PCNN模 型复杂，参数多，计算耗时长，融合规则基于系数比较取大，融合图像每个像素对应融合系数仅反映了其中一幅源图像的信息，另一幅图像的影响没有考虑，该方法不适合应用于偏亮或偏暗的图像融合。中国专利文献号CN101968883A，
公开日2011_02_09，记载了一种基于小波变换和邻域特征的多聚焦图像融合方法。首先利用小波变换对图像进行多尺度分解，获得图像在不同分辨率和不同方向下的低频和高频信息；然后根据低频和高频信息的各自特性，采用不用的融合规则进行处理，其中，对低频子图像采用基于邻域归一化梯度加权平均的融合方法，克服了传统的低频分量融合方法忽略边缘信息的缺点，对高频子图像采用基于邻域标准差加权平均的融合方法，可以最大限度地保留图像的细节信息；最后进行小波重构得到融合图像。但该技术的缺点在于小波变换只在处理一维分段光滑信号效果好，而对于二维自然图像，其中包含大量纹理特性，线奇异性较突出时，小波变换并不是最优表示方法。因为小波展开系数的稀疏性并不理想，产生较大逼近误差，且采样过程不具备平移不变性，会产生伪吉布斯效应，影响融合效果。
发明内容
本发明针对现有融合技术存在的上述不足，为了弥补以上技术缺陷，提出一种基于双通道PCNN的多聚焦图像融合方法，克服传统多聚焦图像融合方法的缺陷，改善融合效果。本发明是通过以下技术方案实现的，本发明通过分别将两幅图像经NSCT变换后得到若干不同频率子图像，并对应采用基于双通道PCNN进行融合后确定融合图像的各带通子带系数，最后通过NSCT逆变换得到融合图像。本发明具体包括以下步骤第一步、通过非下采样Contourlet变换分解已配准的两幅源图像，并分别获得其各自的一个低频子图像和若干高频子图像。第二步、将一个低频子图像和若干高频子图像作为分解系数通过双通道脉冲藕合神经网络(PCNN)制定的融合规则进行融合，具体步骤如下I)初始化双通道脉冲藕合神经网络(PCNN)参数；
2)将源图像Ia和Ib的对应分解系数分别输入到双通道PCNN的两个通道，与双通道PCNN的反馈系数一起激励神经元；3)双通道PCNN的脉冲发生器根据当前的阈值决定点火事件，并记录每次迭代后所有点火神经元总数，即本次迭代前所有点火神经元总数与当前迭代中的神经元点火数量的总和，并且每个神经元在整个过程中只点一次火。4)当所有点火神经元总数小于双通道PCNN的中的所有神经元总数则返回步骤
2)，否则对双通道PCNN的内部活动项U进行归一化处理得到融合图像的融合低频分量和不同尺度下不同方向上的高频分量。第三步、对第二步得到的各带通子带系数进行NSCT逆变换，得到最终的融合图像。本发明利用了非下采样Contourlet变换能够更好的处理高维的奇异性，如轮廓、纹理等信息，使其能够更加充分挖掘待融合图像的方向信息，对于高维奇异性基于更稀疏的表示，体现了多尺度、多方向性。非下采样Contourlet变换具有更丰富的基函数，能更好地挖掘图像奇异性，得到对比度更高，轮廓更清晰的融合结果，而且由于没有进行下采样，因此有效的避免了 Gibbs效应的产生；相比Contourlet变换和其他多分辨分析方法，非下采样Contourlet变换可更好地展现多聚焦图像的方向细节。双通道PCNN能较好的处理偏暗或偏亮的图像，基于视觉特性模型激励的双通道PCNN模型符合人类视觉特性，与其它神经网络模型相比有着更简单的网络结构和更强的适应性，通过制定最佳迭代次数的判定准贝U，由自适应方法融合确定迭代次数，这就加强了模型的自适应性。双通道PCNN与非下采样Contourlet变换的结合使本发明方案具备了两者的优势，很好的弥补了传统融合技术的缺陷。
图I为本发明融合流程示意图。图2为本发明双通道PCNN的结构图。图3为实施例I效果示意图；图中(a)为左聚焦图像、(b)为右聚焦图像、(C)为实施例效果图、⑷为基于拉普拉斯金字塔变换融合效果图、(e)为基于双通道PCNN的融合效果图、(f)为基于PCNN的融合效果图。图4为实施例2效果示意图；图中(a)为左聚焦图像、(b)为右聚焦图像、(C)为实施例效果图、⑷为基于拉普拉斯金字塔变换融合效果图、(e)为基于双通道PCNN的融合效果图、(f)为基于PCNN的融合效果图。
具体实施例方式下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。实施例I
如图I所示，本实施例包括以下步骤第一步对已配准的反映相同内容的左聚焦原始图像Ia和右聚焦原始图像Ib分别进行非下采样Contourlet变换,得到平稳Contourlet变换域的方向子带系数图像；所述的非下采样Contourlet变换中采用的尺度分解滤波器为⑶F9/7塔状小波滤波器实现，采用的方向分解滤波器为Pkva方向滤波器，对原始图像进行两层的尺度分解得到低通分量图像和带通分量图像，即低频子图像IA_lf和IB_lf和高频子图像和，其中第I层有4个方向子带，第2层有8个方向子带，其中k为尺度分解的层数，I为方向分解的方向数。第二步初始化双通道脉冲藕合神经网络(PCNN)参数后，分别对于低频子图像 IA-lf和IB_lf以及高频子图像和采用基于双通道PCNN进行融合，得到融合后的低频子图像IF_lf以及融合后的高频子图像，其中/ff和/=)分别对应Ia和Ib分解后位于第k层尺度、I方向上的高频子图像。所述的融合是指通过将经归一化的待融合图像14和Ib的不同尺度下的高频子带与低频子带系数中的每个像素点对应一个神经元，若干神经元连接成网络，每个待融合源图像经非下采样Contourlet变换后的分解系数输入该网络，进行若干次迭代，使用不同尺度下的非下采样Contourlet变换分解系数作为对应神经元的输入，经过双通道PCNN点火得到源图像在非下采样Contourlet变换域的点火映射图，根据基于双通道PCNN的融合规则选取融合系数，将融合系数进行区域一致性检验，获取融合图像的各带通子带系数。所述的初始化是指设在I层子带中，初始时各神经元都处于熄火状态，^f 0(O) = 0 ,(I；- "(O) = 0 n(0) = 0，Ti, J [n] = 0，k 表示分解尺度数，I 表示分解方向数。所述的迭代具体步骤包括a)初始条件各神经元都处于熄火状态A(O) = OJfn(O) = O^m(O) = O,
= 0 4表示分解尺度数，I表示分解方向数；b)迭代操作将分解系数输入网络，通过接收域的表达、调制域和脉冲产生域，逐点计算和并比较两者大小以决定是否产生点火事件，具体包括如图2所示，对应迭代操作过程中的神经元由接收域、调制域和脉冲产生域组成接收域^⑷=S[ — i] + ^ F"(") = Z[ -!] + S"
kj ■ kj .
*9调制域U,M = 0 + 作+ 作>])+ O' ■
*脉冲产生域
H1]= ebe 'Tij j[n] = exp (-a T) Tij j [n-1]+V1Yij j [n]；
其中:巧、是两个通道第ij个神经元的反馈输入量，*^、#为外部激励输入，Ti, j为神经元动态阈值，a j为时间常数，Vt为归一化常数，wijkl、mijkl为突触联接权，Uijj为内部活动项，04和Pb分别是
权利要求
1.一种基于双通道PCNN的多聚焦图像融合方法，其特征在于，通过分别将两幅图像经NSCT变换后得到若干不同频率子图像，并对应采用基于双通道PCNN进行融合后确定融合图像的各带通子带系数，最后通过NSCT逆变换得到融合图像。
2.根据权利要求I所述的方法，其特征是，包括以下步骤 1、通过非下采样Contourlet变换分解已配准的两幅源图像，并分别获得其各自的一个低频子图像和若干高频子图像； 2、将一个低频子图像和若干高频子图像作为分解系数通过双通道脉冲藕合神经网络制定的融合规则进行融合； 3、对第2步得到的各带通子带系数进行NSCT逆变换，得到最终的融合图像。
3.根据权利要求2所述的方法，其特征是，所述的步骤2包括 1)初始化双通道脉冲藕合神经网络参数； 2)将源图像Ia和Ib的对应分解系数分别输入到双通道PCNN的两个通道，与双通道PCNN的反馈系数一起激励神经元； 3)双通道PCNN的脉冲发生器根据当前的阈值决定点火事件，并记录每次迭代后所有点火神经元总数,即本次迭代前所有点火神经元总数与当前迭代中的神经元点火数量的总和，并且每个神经元在整个过程中只点一次火； 4)当所有点火神经元总数小于双通道PCNN的中的所有神经元总数则返回步骤1)，否则对双通道PCNN的内部活动项U进行归一化处理得到融合图像的融合低频分量和不同尺度下不同方向上的高频分量。
4.根据权利要求I或2所述的方法，其特征是，所述的融合是指通过将经归一化的待融合图像Ia和Ib的不同尺度下的高频子带与低频子带系数中的每个像素点对应一个神经元，若干神经元连接成网络，每个待融合源图像经非下采样Contourlet变换后的分解系数输入该网络，进行若干次迭代，使用不同尺度下的非下采样Contourlet变换分解系数作为对应神经元的输入，经过双通道PCNN点火得到源图像在非下采样Contourlet变换域的点火映射图，根据基于双通道PCNN的融合规则选取融合系数，将融合系数进行区域一致性检验，获取融合图像的各带通子带系数。
5.根据权利要求4所述的方法，其特征是，所述的非下采样Contourlet变换中采用的尺度分解滤波器为CDF9/7塔状小波滤波器实现，采用的方向分解滤波器为pkva方向滤波器，对原始图像进行两层的尺度分解得到低通分量图像和带通分量图像，即低频子图像IA-lf和IB-lf和高频子图像^^和巧^，其中第I层有4个方向子带，第2层有8个方向子带，其中k为尺度分解的层数，I为方向分解的方向数。
6.根据权利要求3所述的方法，其特征是，所述的初始化是指设在I层子带中，初始时各神经元都处于熄火状态，I-T 10) = 0 O n(0) = 0 ,>/ 1(0) = 0= 0，k表示分解尺度数，I表示分解方向数。
7.根据权利要求3或4所述的方法，其特征是，所述的迭代包括 a)初始条件各神经元都处于熄火状态，Zf^(O) = 0，(/^(0) = 0，= 0，J/w)( ) = 0，k表示分解尺度数，I表示分解方向数； b)迭代操作将分解系数输入网络，通过接收域的表达、调制域和脉冲产生域，逐点计算 <'>)和7；_( -1)，并比较两者大小以决定是否产生点火事件； c)迭代终止条件所有分解系数均计算完毕后，完成本次迭代。
8.根据权利要求3或4所述的方法，其特征是，所述的迭代操作过程中的神经元由接收域、调制域和脉冲产生域组成 接收域
9.根据权利要求8所述的方法，其特征是，所述的接收域接受来自两个通道的外部输入，分别对应两幅不同聚焦源图，这两个量在调制部分进行调制，产生内部活动项Uu j, Ui, j输入到脉冲产生部分产生神经元的脉冲输出值Yi,」； 所述的脉冲产生域中，当UiJn] > Hn-I]时，神经元被激活，输出一个脉冲，同时，Ti.jtn]通过反馈迅速提升，继续进行下一次迭代； 当UM[n] <TM[n-l]时，脉冲产生器关闭，停止产生脉冲，之后阈值开始指数下降，当Uij j[n] > T^jtn-l]时,脉冲产生器打开,进入新的迭代循环。
全文摘要
一种图像处理技术领域的基于双通道PCNN的多聚焦图像融合方法，通过分别将两幅图像经NSCT变换后得到若干不同频率子图像，并对应采用基于双通道PCNN进行融合后确定融合图像的各带通子带系数，最后通过NSCT逆变换得到融合图像。本发明克服传统多聚焦图像融合方法的缺陷，改善融合效果。
文档编号G06N3/02GK102722877SQ20121018567
公开日2012年10月10日 申请日期2012年6月7日 优先权日2012年6月7日
发明者吕晓琪, 张宝华, 王月明 申请人:内蒙古科技大学