合策略是根据迭代后神经元的点火次数来决定融合系数 的选取。在改进的PCNN模型中，图像的每个像素点对应一个神经元，将改进拉普拉斯能量和 (SML)与图像深度信息结合的因子作为神经元输入。各源图像输入网络后进行相同的迭代 次数，根据神经元的点火次数选取较大的那个神经元对应的输入图像的像素值作为得到的 融合系数。
[0048] 高频子带图像基于改进PCNN的融合策略主要包括如下具体步骤：
[0049] (1 )PCNN模型初始化。设定参数的初始值和迭代次数。
[0050] (2)将高频子带图像作为输入图像，每个像素点对应一神经元，但不是将像素点的 灰度值作为输入对象。
[0051] (3)将改进拉普拉斯能量和(SML)与图像深度信息d(r)结合的因子作为神经元输 入。图2直观表示了像素深度的计算方法，
明的深度信息具体计算过程，计算得出图像的深度信息。用I(i，j)表示图像在(i，j)处的系 数，SML的定义如下：
[0053] PCNN的输入项Fij定义为：
[0054] Fij = SML(i，j)*[d(r)]-2
[0055] N为区域窗口大小。
[0056] (4)与原始PCNN模型不同，本发明的PCNN模型神经元的链接强度并没有取相同的 固定常数值，而是由对应的像素特征所决定。本文将采取像素的拉普拉斯能量（laplaCe_ energy，LE)以及可见度(visibility，VI)作为神经元的链接强度值。
[0059] 其中f(u，v)为(u，v)处的像素值，ω为以（x，y)为中心的窗口，mk为窗口中的像素 灰度平均值，N为该窗口中总的像素数。拉普拉斯能量越大，该局部图像越清晰。
[0060] (5)取得以拉普拉斯能量及可见度作为神经元的链接强度后，分别计算相应的图 像pcnnALE及pcnnAvi值，图像A的pcnnA= (pcnnALE+pcnnAvi)/2;同理也可以计算图像B的 pcnnB= (口〇1]11^+口〇1111^1)/2<^〇11^与口〇11113二者中较大的系数作为最终的吧0'系数。
[0061] 如图4所示，PCNN神经元是由接收域、调制部分和脉冲产生三部分组成。其数学表 达公式可描述为：
[0067]式中和Lu分别表示第（i，j)个神经元的反馈输入和耦合连接输入，η代表迭代 次数;Μ和W是周围邻域神经元对中心神经元传递信息程度强弱的表示，反映了中心神经元 受邻近神经元影响的程度。VF和V L分别为和Lu的固有电势，VF代表反馈的放大系数而aF代 表的是反馈的衰减时间常数;同样的，I表示耦合连接的放大系数而a F表示它的误差时间常 数。Ykl表示在迭代过程中第(n-Ι)次迭代后神经元的输出，为外部输入激励。时序脉冲序 列Y与内部活动项阈值及动态门限Θ之间的关系是，当动态门限Θ小于内部活动项时神 经元输出为1否则为0。
[0068] 在图像处理中，每个神经元对应一个像素点。当向一个PCNN神经网络输入一幅图 像时，某个神经元被点火，激发兴奋，它会通过邻域神经元的耦合连接子系统对邻域神经元 产生作用。当邻域像素的灰度值相近时，又会引起邻域像素的点火，激励并促使它们发生脉 冲点火。PCNN经常被引入图像融合中的核心原因就是其全局耦合神经元的脉冲同步特性， 这些生物学特性充分利用了本地图像的信息，而不像大多数基于多尺度分解图像融合算法 那样简单使用图像系数信息。此外，PCNN经网络等其他神经网络不同，它是单层模型的神经 网络，可以不通过学习以及训练就能实现图像分割、融合以及目标分类等。
[0069] 从图5可以看出，本发明所提出的图像融合算法与基于小波、PCNN、拉普拉斯、PCA、 Contourlet、NSCT_PCNN等融合算法相比，具有更好的融合效果，图像包含更多的细节信息 以及更少的模糊边缘信息。因此，本发明的融合算法更加适合于多聚焦图像的融合。表1展 示了本发明算法与其他融合算法的客观评价指标对比。
[0070] 客观评价指标中的清晰度也称为平均梯度，反映图像的清晰程度，同时反映出图 像中微小细节反差和纹理变换特征，其值越大图像越清晰；图像熵的含义为图像平均信息 量，信息量增加是融合的基本要求，熵值越大说明包含的信息越多，融合效果越好;标准差 反映了相对灰度均值的离散情况，标准差越大，灰度分布越分散;空间频率表征图像中灰度 变化剧烈程度的指标，是灰度在平面空间上的梯度。从表1可以看出本发明的融合方法在各 指标上均比其他算法高，这从客观角度说明了本发明方法优于其他算法。
[0071]表1融合算法的客观评价指标对比
【主权项】
1. 一种基于非下采样Contourlet变换及深度信息激励PO^N的多聚焦图像融合方法其 特征在于，对多聚焦的源图像进行多尺度多方向的非下采样Contourlet变换后，对低频子 带和高频子带采取不同的融合规则得到融合子带系数，高频子带采用改进的PCNN模型确定 融合系数，最后通过非下采样Contourlet逆变换得到融合图像。2. 根据权利要求1，本发明方法包含W下具体步骤： (1) 在对同一场景的多聚焦图像进行配准的预处理基础上，分别对多聚焦图像Ια和Ib进 行多尺度、多方向的非下采样Contourlet变换，两图各分解为一幅低频子带图像和一系列 不同分辨率的高频子带图像； (2) 对低频子带图像lA-lf和iB-lf采用基于子带系数的边缘信息能量来得到融合后的低 频子带图像iF-if，而没有采用传统方法平均法，因为该方法没有考虑图像边缘的信息，降低 了图像的对比度，能量表达式为：I(i，j)为边缘矩阵元素； (3) 高频子带图像巧：^和培If，采用改进的PCNN进行融合得到融合后的高频子带图像 攻心我，.和巧'心.分别为源图像分解后的第k尺度、1方向上的高频子图像； (4) 逆变换，对得到的高频及低频图像采取非下采样Contourlet逆变换，得到融合后的 图像If。3. 根据权利要求2，高频子带图像融合规则采用的改进PCNN模型的融合策略，其具体步 骤如下： (1 )PCN饰莫型初始化，设定参数的初始值和迭代次数； (2) 将高频子带图像作为输入图像，每个像素点对应一个神经元，但不是将像素点的灰 度值作为输入对象； (3) 将改进拉普拉斯能量和(SML)与图像深度信息d(r)结合的因子作为神经元输入，用 I(i，j)表示图像在(i，j)处的系数，SML的定义如下：引入的深度信息可用来移除图像的不清晰边缘，深度信息d(r)的定义如下：R(r)表示输入的散焦图像的梯度和它的高斯核重模糊图像梯度的比值，〇〇表示重模糊 核的标准偏差，称为重模糊尺度，贝化的输入项Fij定义为： Fij = SML(i，j)*[d(r)]-2 N为区域窗口大小； (4) 与原始PCNN模型不同，本发明的PCNN模型神经元的链接强度并没有取相同的固定 常数值，而是由对应的像素特征所决定，本文将采取像素的拉普拉斯能量（laplace_ en&rgy，LE) W及可见度(visibility，VI)作为神经元的链接强度值；其中f(u，v)为(u，v)处的像素值，ω为W(x，y)为中屯、的窗口，mk为窗口中的像素灰度平 均值，N为该窗口中总的像素数，拉普拉斯能量越大，该局部图像越清晰； (5) 取得W拉普拉斯能量及可见度作为神经元的链接强度后，分别计算相应的图像 pcnnALE及pcnnAvi值，图像A的pcnnA = (pcnnALE+pcnnAvi)/2;同理也可W计算图像B的pcnnB = (pcnnBLE+pcnnBvi)/2，pcnnA与pcnnB二者中较大的系数作为最终的NSCT系数。
【专利摘要】本发明公开了一种基于非下采样Contourlet变换及深度信息激励PCNN的多聚焦图像融合方法。它是对输入的多聚焦源图像进行多尺度多方向的非下采样Contourlet变换后生成一个低频子带图像及一系列的高频子带图像。再对低频子带采取基于子带系数的边缘信息能量来得到低频子带系数，对高频子带采取改进的PCNN模型确定各带通的子带系数。最后通过非下采样Contourlet逆变换得到融合图像。改进的PCNN主要体现在利用采用能够较好描述图像方向及纹理信息的改进拉普拉斯能量和(SML)与图像深度信息结合的因子作为模型的输入，而不像大多数基于PCNN算法将像素灰度值作为模型输入项。本发明方法能够很好的运用于图像融合领域中，不论从客观评价指标还是主观视觉效果，实验结果表明本发明发放能够得到更加符合人眼视觉规律的融合结果。
【IPC分类】G06N3/04, G06T5/50
【公开号】CN105551010
【申请号】CN201610039111
【发明人】丁世飞, 朱强波
【申请人】中国矿业大学
【公开日】2016年5月4日
【申请日】2016年1月20日