一种多聚焦图像融合方法
【专利摘要】本发明公开了一种多聚焦图像融合方法。该方法首先对多聚焦图像进行鲁棒主成分分析分解得到与源图像相对应的稀疏成分矩阵；其次，对稀疏成分矩阵加权平均，得到一个临时稀疏成分矩阵并对临时稀疏成分矩阵进行四叉树分解；根据QT分解结果计算源图像稀疏成分矩阵对应矩阵子块的梯度能量，通过比较梯度能量大小构造融合决策矩阵；最后，根据决策矩阵将源图像对应图像子块合并，从而得到融合图像。该方法通过RPCA和QT分解相结合的方法，解决了图像块大小不能自适应划分的问题，可以有效抑制块效应，提高图像融合质量。
【专利说明】一种多聚焦图像融合方法
【技术领域】
[0001]本发明属于图像处理【技术领域】，具体涉及的是一种多聚焦图像融合方法。
【背景技术】
[0002]多聚焦图像融合就是对经过配准的相同成像条件下获得的关于某一场景中的多幅聚焦图像，采用某种融合算法提取各自的清晰区域，并将这些区域合并生成一幅该场景中所有目标物都清晰的图像。在交通、医疗、安全、物流等领域有广泛应用。可有效提高传感器图像信息的利用率和系统对目标表探测识别的可靠性。
[0003]像素级图像融合直接在原始图像像素灰度空间上采用合适的融合算法进行融合处理，主要目的是为后续的图像增强、图像分割和图像分类处理提供支持。像素级图像融合算法与特征级图像融合和决策级图像融合相比，准确性最高，信息损失最小，能够提供更多特征级和决策级图像融合所不具有的细节信息。
[0004]随着计算机和成像技术的不断发展，近年来逐渐形成了以下几种较为常用的像素级多聚焦图像融合算法:
[0005](I)基于小波变换(Discrete Wavelet Transform, DWT)的多聚焦图像融合方法。其主要过程是对源图像进行小波分解，然后采用合适的融合规则，将高频和低频系数进行融合，将融合后的小波系数进行小波逆变换得到融合图像。该方法具有良好的时频局部特性，取得了不错的效果，但DWT不能充分利用图像数据本身所具有的几何特征，不能最优或最“稀疏”的表示图像。
[0006](2)基于非下米样的轮廓波变换(Nonsubsampled Contourlet Transform, NSCT)的多聚焦图像融合方法。其主要过程是对源图像进行NSCT分解，然后采用合适的融合规贝U，将高频和低频系数进行融合，将融合后的小波系数进行NSCT逆变换得到融合图像。该方法可取得不错的融合效果，但运行速度较慢，分解系数需要占用大量的存储空间。
[0007](3)基于主成分分析(Principal Component Analysis, PCA)的多聚焦图像融合方法。其主要过程是将源图像按照行优先或者列优先转换成列向量，并计算协方差，根据协方差矩阵求取特征向量，确定第一主成分对应的特征向量并据此确定各源图像融合的权重，根据权重进行加权融合。该方法简单，运行速度快，但却容易降低融合图像对比度，影响融合图像质量。
[0008](4)基于空间频率(Spatial Frequency, SF)的多聚焦图像融合方法。其主要过程是将源图像进行块分割，然后计算各块SF，对比源图像对应块的SFJf SF值大的对应图像块合并得到融合图像。该方法简单易于实施，但分块大小难以自适应确定，分块太大，易将焦点外的像素都包含进来，降低融合质量，使融合图像对比度下降，易产生块效应，分块太小对区域清晰程度表征能力受限，易出现块的错误选择，且对噪声敏感。
[0009](5)基于脉冲f禹合神经网络(Pulse Coupled Neural Network, PCNN)的多聚焦图像融合方法。其主要过程是将单个像素灰度值作为PCNN的外部输入激励，根据PCNN的点火图，计算输入像素对应的点火频率，将具有较大点火频率的像素合并，得到融合图像。该方法可自动实现信息传递和信息耦合，其处理结果可较好保留图形本身的特征。但该方法参数较多，模型复杂，运行比较耗时，另外，人眼视觉对图像边缘的变化比较敏感而对单个像素的亮度并不敏感，单个像素的灰度值作为PCNN神经元的外部输入所产生的融合图像效果并不理想。
[0010]上述五种方法是较为常用的多聚焦图像融合方法，但这些方法中，小波变换(DWT)不能充分利用图像数据本身所具有的几何特征，不能最优或最“稀疏”的表示图像，易造成融合图像出现偏移和信息丢失现象。基于非下采样的轮廓波变换(NSCT)方法由于分解过程复杂，运行速度较慢，另外分解系数需要占用大量的存储空间。主成分分析(PCA)方法容易降低融合图像对比度，影响融合图像质量。脉冲耦合神经网络(PCNN)方法参数较多，模型复杂，运行比较耗时。这五种常用都存在着不同的缺点，速度和融合质量间难以调和，限制了这些方法的应用和推广。
【发明内容】
[0011]本发明所要解决的技术问题是多聚焦图像融合领域中由于不能自适应确定图像分块大小而造成的融合图像出现块效应，融合效果不甚理想的问题。为此，本发明提供了一种多聚焦图像融合方法，该方法对配准后的多聚焦图像Ia和Ib进行融合，Ia和Ib均为灰度
图像，且
【权利要求】
1.一种多聚图像融合方法，该方法对配准后的多聚焦图像Ia和Ib进行融合，Ia和Ib均为灰度图像，且^ RMxfi是大小为MXN的空间，M和N均为正整数，该融合方法包括以下步骤: (1)对Ia进行列向量转换得I’A，对Ib进行列向量转换得I’B，ZpZse R w S 是大小*ΜΝ>α的空间； 分别对I’ A和I’ B进行鲁棒主成分分析分解，得到I’ a的稀疏成分矩阵E'a、I’ B的稀疏成分矩阵E'b E^Eb G Μμλ?χ1； 对Ε'α进行向量转换得匕，对E'B进行向量转换得匕，&,&； (2)利用四叉树分解将临时稀疏成分矩阵Etl分解成K个矩阵子块，E0= (Ea+Eb)/2, K为正整数； 根据临时稀疏成分矩阵Etl四叉树分解结果，分别对稀疏成分矩阵Ea和Eb进行块划分，块划分后的各矩阵子块同临时稀疏成分矩阵Etl的各矩阵子块大小相同、位置一致，稀疏成分矩阵Ea与Eb的大小相同、位置一致的矩阵子块具有相同序号； (3)计算稀疏成分矩阵Ea的各矩阵子块的梯度能量，计算稀疏成分矩阵Eb的各矩阵子块的梯度能量； (4)构建决策矩阵//，//e Rmxjv:
2.如权利要求1所述的多聚焦图像融合方法，其特征在于，对步骤(4)中构建的决策矩阵进行腐蚀膨胀操作处理，并利用处理后的决策矩阵构建融合图像。
【文档编号】G06T5/50GK103455991SQ201310369954
【公开日】2013年12月18日 申请日期:2013年8月22日 优先权日:2013年8月22日
【发明者】陈莉, 张永新, 唐晓芬, 牛发发, 李亮, 尚军, 王珊珊, 周琳, 吕英杰, 刘健, 李青 申请人:西北大学