基于nsct及深度信息激励pcnn的多聚焦图像融合方法
【技术领域】
[0001]本发明属于图像处理中的图像融合领域，尤其涉及一种基于非下采样Contourlet 变换(NSCT)及深度信息激励PCNN的多聚焦图像融合方法。
【背景技术】
[0002] 多聚焦图像融合技术是指将同一场景中聚焦对象为不同局部物体的多幅源图像 进行融合，有效获取各个源图像的清晰部分，最终得到一幅包含该空间更为全面的图像信 息的高质量图像。
[0003] 图像融合方法分类有像素级、特征级、决策级这三个不同层次。本发明研究的多聚 焦图像融合属于像素级图像融合的层次，主要包括基于空间域的图像融合和基于变换域的 图像融合。目前大多数研究以基于变换域的方法为主。该方法主要通过多尺度变换的方法 将图像空域变为频域，再经过融合规则的处理得到融合系数，最终通过多尺度的逆变换得 到融合结果。小波变换是最常用的变换域融合方法，具有良好的时频局部性能，能很好地保 留图像细节信息，但其不具备平移不变性，会产生伪吉布斯现象。2002年Contour 1 et变换的 提出解决了小波变换分解方向子带少的问题，但其不具备平移不变性，导致融合图像失真， Arthur L.da Cunha等人提出非下采样Contourlet变换，具有平移不变性，避免出现伪吉布 斯现象。常用的多尺度变换还包括Laplace金字塔、曲波、轮廓波等。多尺度图像融合的研究 难点主要包括多尺度分解方法的选择以及融合方法的选择两方面。多尺度分解方法如前所 述有Lap lac ian塔式法、小波变换和Contour let变换等，在融合方法上主要有平均法、最大 值法和区域能量法等。研究表明，利用PCNN神经网络的同步激发特性来设计融合方法有较 好的融合效果。
[0004] 神经网络在图像融合中的应用主要有：双模态神经网络、多感知器以及脉冲耦合 神经网络。其中PCNN应用最广泛，国际上称为第三代人工神经网络。PCNN是1990年Eckhorn 通过对猫的大脑视觉皮层中的同步脉冲发放特性的研究而提出的新型神经网络。1993年 Johnson以Eckhorn提出模型为基础，正式提出了PCNN，由若干个神经元互连而构成的反馈 型网络。PCNN具有特有的生物学特性，它是以生物大脑视觉皮层中同步脉冲发放现象为背 景提出的，当应用到图像融合中时不仅利用了像素点的空间特性而且还具有融合的时间层 次性。
[0005] 本发明基于改进PCNN模型和非下采样Contourlet变换的多尺度分解算法，采用改 进拉普拉斯能量和(SML)与图像深度信息结合的因子对PCNN模型进行改进而提出的一种新 型图像融合方法。采用非下采样Contourlet变换对源图像进行多尺度分解得到低频子带及 各带通子带，低频子带的系数选取采用基于子带系数的边缘信息能量的方法确定，带通子 带系数通过PCNN模型来确定，最后通过非下采样Contourlet逆变换得到融合图像。由于人 眼视觉系统对单个像素不敏感，而对图像边缘、方向和纹理等信息较敏感，所提出的PCNN采 用能够较好描述图像方向及纹理信息的改进拉普拉斯能量和(SML)与图像深度信息结合的 因子作为输入项的值而没有采用单个像素的灰度值。
【发明内容】
[0006] 为了解决上述问题，本发明需要解决的技术问题是针对PCNN应用到图像融合中的 不足之处，提出基于改进PCNN模型和非下采样Contour let变换的多尺度分解算法。该方法 更符合人眼视觉系统的视物规律，使融合图像效果更佳。
[0007] 为达成上述目的，本发明采用如下技术方案：
[0008] 一种基于非下采样Contourlet变换及深度信息激励PCNN的多聚焦图像融合方法， 具体步骤如下：
[0009] (1)在对同一场景的多聚焦图像进行配准的预处理基础上，分别对多聚焦图像Ια 和Ιβ进行多尺度、多方向的非下采样Contourlet变换，两图各分解为一幅低频子带图像和 一系列不同分辨率的高频子带图像。
[0010] (2)对低频子带图像采用基于子带系数的边缘信息能量来得到融合后 的低频子带图像I F-if，而没有采用传统方法平均法，因为该方法没有考虑图像边缘的信息， 降低了图像的对比度。能量表达式为：
[0012] I(i，j)为边缘矩阵元素。
[0013] (3)高频子带图像1?和:采用改进的PCNN进行融合得到融合后的高频子带
:分别为源图像分解后的第k尺度、1方向上的高频子图像。
[0014] (4)逆变换，对得到的高频及低频图像采取非下采样Contourlet逆变换，得到融合 后的图像If。
[0015] 上述高频子带图像的融合策略是根据迭代后神经元的点火次数来决定融合系数 的选取。在改进的PCNN模型中，图像的每个像素点对应一个神经元，将改进拉普拉斯能量和 (SML)与图像深度信息结合的因子作为神经元输入。各源图像输入网络后进行相同的迭代 次数，根据神经元的点火次数选取较大的那个神经元对应的输入图像的像素值作为得到的 融合系数。
[0016] 高频子带图像基于改进PCNN的融合策略主要包括如下具体步骤：
[0017] (1 )PCNN模型初始化。设定参数的初始值和迭代次数。
[0018] (2)将高频子带图像作为输入图像，每个像素点对应一个神经元，但不是将像素点 的灰度值作为输入对象。
[0019] (3)将改进拉普拉斯能量和(SML)与图像深度信息d(r)结合的因子作为神经元输 入。用I(i，j)表示图像在(i，j)处的系数，SML的定义如下：
[0022]引入的深度信息可用来移除图像的不清晰边缘，深度信息d(r)的定义如下：
[0026] R(r)表示输入的散焦图像的梯度和它的高斯核重模糊图像梯度的比值，〇Q表示重 模糊核的标准偏差，称为重模糊尺度。
[0027] PCNN的输入项Fij定义为：
[0028] Fij = SML(i，j)*[d(r)]-2
[0029] N为区域窗口大小。
[0030] (4)与原始PCNN模型不同，本发明的PCNN模型神经元的链接强度并没有取相同的 固定常数值，而是由对应的像素特征所决定。本文将采取像素的拉普拉斯能量（laplaCe_ energy，LE)以及可见度(visibility，VI)作为神经元的链接强度值。
[0033]其中f(u，v)为(u，v)处的像素值，ω为以（x，y)为中心的窗口，mk为窗口中的像素 灰度平均值，N为该窗口中总的像素数。拉普拉斯能量越大，该局部图像越清晰。
[0034] (5)取得以拉普拉斯能量及可见度作为神经元的链接强度后，分别计算相应的图 像pcnnALE及pcnnAvi值，图像A的pcnnA= (pcnnALE+pcnnAvi)/2;同理也可以计算图像B的 pcnnB= (口〇1]11^+口〇1111^1)/2<^〇11^与口〇11113二者中较大的系数作为最终的吧0'系数。
【附图说明】
[0035]图1为融合算法流程图。
[0036]图2为薄透镜模型的聚焦和散焦演示图。
[0037]图3为深度信息估计过程。
[0038] 图4为单个PCNN神经元模型图。
[0039]图5为各种融合方法对比图。
【具体实施方式】
[0040]本发明基于非下采样Contourlet变换及深度信息激励PCNN的多聚焦图像融合方 法，如图1所示:分别对原始输入的多聚焦图像进行相同的非下采样Contourlet变换，得到 一幅低频子带图像及一系列的多分辨率及多方向性的高频子带图像。再对低频子带及高频 子带分别应用不同的融合策略得到融合系数，最后对得到的融合系数进行非下采样 Contourlet逆变换，得到最终的融合结果。具体的步骤如下：
[0041] (1)在对同一场景的多聚焦图像进行配准的预处理基础上，分别对多聚焦图像Ια 和Ιβ进行多尺度、多方向的非下采样Contourlet变换，两图各分解为一幅低频子带图像和 一系列不同分辨率的高频子带图像。
[0042] (2)对低频子带图像采用基于子带系数的边缘信息能量来得到融合后 的低频子带图像iF-if，而没有采用传统方法平均法，因为该方法没有考虑图像边缘的信息， 降低了图像的对比度。能量表达式为
[0044] I(i，j)为边缘矩阵元素。
[0045] (3)高频子带图像1=,.和，采用改进的PCNN进行融合得到融合后的高频子带 图像。Ο〗,和垃)；；/分别为源图像分解后的第k尺度、1方向上的高频子图像。
[0046] (4)逆变换，对得到的高频及低频图像采取非下采样Contourlet逆变换，得到融合 后的图像If。
[0047] 上述高频子带图像的融