一种基于非负矩阵分解的多聚焦图像融合方法
【专利摘要】本发明公开了一种基于非负矩阵分解的多聚焦图像融合方法。该方法首先用基于NMF的融合算法对源图像进行融合，得到临时融合图像；然后将临时融合图像同源图像分别作差，得到临时融合图像与源图像的差异图像；接着分别计算差异图像各像素邻域窗口的梯度能量，根据差异各像素邻域窗口梯度能量大小，构建决策矩阵，根据一定的融合规则将源图像中对应像素进行融合，得到融合图像。该方法对源图像进行二次融合，通过提取源图像的全局特征构建临时融合图像，然后用得到的临时融合图像与源图像作差，由差异图像的梯度能量来对源图像聚焦区域特性进行准确的检测判断，进而提高融合图像质量。
【专利说明】一种基于非负矩阵分解的多聚焦图像融合方法
【技术领域】
[0001]本发明属于图像处理【技术领域】，具体涉及的是一种基于非负矩阵分解的多聚焦图像融合方法。
【背景技术】
[0002]多聚焦图像融合就是对经过配准的相同成像条件下获得的关于某一场景中的多幅聚焦图像，采用某种融合算法提取各自的清晰区域，并将这些区域合并生成一幅该场景中所有目标物都清晰的图像。在交通、医疗、安全、物流等领域有广泛应用。可有效提高传感器图像信息的利用率和系统对目标表探测识别的可靠性。
[0003]像素级图像融合直接在原始图像像素灰度空间上采用合适的融合算法进行融合处理，主要目的是为后续的图像增强、图像分割和图像分类处理提供支持。像素级图像融合算法与特征级图像融合和决策级图像融合相比，准确性高，信息损失最小，能够提供更多特征级和决策级图像融合所不具有的细节信息。
[0004]随着计算机和成像技术的不断发展，近年来逐渐形成了以下几种较为常用的像素级多聚焦图像融合算法:
[0005](I)基于小波变换(DiscreteWavelet Transform, DffT)的多聚焦图像融合方法。其主要过程是对源图像进行小波分解，然后采用合适的融合规则，将高频和低频系数进行融合，将融合后的小波系数进行小波逆变换得到融合图像。该方法具有良好的时频局部特性，取得了不错的效果，但DWT不能充分利用图像数据本身所具有的几何特征，不能最优或最“稀疏”的表示图像。
[0006](2)基于非下米样的轮廓波变换(Nonsubsampled Contourlet Transform, NSCT)的多聚焦图像融合方法。其主要过程是对源图像进行NSCT分解，然后采用合适的融合规贝U，将高频和低频系数进行融合，将融合后的小波系数进行NSCT逆变换得到融合图像。该方法可取得不错的融合效果，但运行速度较慢，分解系数需要占用大量的存储空间。
[0007](3)基于主成分分析(Principal Component Analysis, PCA)的多聚焦图像融合方法。其主要过程是将源图像按照行优先或者列优先转换成列向量，并计算协方差，根据协方差矩阵求取特征向量，确定第一主成分对应的特征向量并据此确定各源图像融合的权重，根据权重进行加权融合。该方法简单，运行速度快，但却容易降低融合图像对比度，影响融合图像质量。
[0008](4)基于空间频率(Spatial Frequency, SF)的多聚焦图像融合方法。其主要过程是将源图像进行块分割，然后计算各块SF，对比源图像对应块的SFJf SF值大的对应图像块合并得到融合图像。该方法简单易于实施，但分块大小难以自适应确定，分块太大，易将焦点外的像素都包含进来，降低融合质量，使融合图像对比度下降，易产生块效应，分块太小对区域清晰程度表征能力受限，易出现块的错误选择，且对噪声敏感。
[0009](5)基于脉冲I禹合神经网络(Pulse Coupled Neural Network, PCNN)的多聚焦图像融合方法。其主要过程是将单个像素灰度值作为PCNN的外部输入激励，根据PCNN的点火图，计算输入像素对应的点火频率，将具有较大点火频率的像素合并，得到融合图像。该方法可自动实现信息传递和信息耦合，其处理结果可较好保留图形本身的特征。但该方法参数较多，模型复杂，运行比较耗时，另外，人眼视觉对图像边缘的变化比较敏感而对单个像素的亮度并不敏感，单个像素的灰度值作为PCNN神经元的外部输入所产生的融合图像效果并不理想。
[0010]上述五种方法是较为常用的多聚焦图像融合方法，但这些方法中，小波变换(DWT)不能充分利用图像数据本身所具有的几何特征，不能最优或最“稀疏”的表示图像，易造成融合图像出现偏移和信息丢失现象。基于非下采样的轮廓波变换(NSCT)方法由于分解过程复杂，运行速度较慢，另外分解系数需要占用大量的存储空间。主成分分析(PCA)方法容易降低融合图像对比度，影响融合图像质量。脉冲耦合神经网络(PCNN)方法参数较多，模型复杂，运行比较耗时。这五种常用都存在着不同的缺点，速度和融合质量间难以调和，限制了这些方法的应用和推广。
【发明内容】
[0011]本发明所要解决的技术问题是多聚焦图像融合领域中融合算法对图像特征提取和细节特征表示不够清晰，不能自适应选择块大小而出现的块效应等，融合效果不甚理想的问题。为此，本发明提供了一种基于非负矩阵分解的多聚焦图像融合方法，该方法对配准
后的多聚焦图像Ia和Ib进行融合，Ia和Ib均为灰度图像，且e Kjvxjv，狀_是
大小为MXN的空间，M和N均为正整数，该融合方法包括以下步骤:
[0012](I)构建多聚焦图像Ia和Ib的观测矩阵V ；
[0013](2)用非负矩阵分解算法对观测矩阵V进行分解，得到基矩阵W ；
[0014](3)将基矩阵W转换成大小为MXN的矩阵，该矩阵对应的图像为临时融合图像1 ；
[0015](4)分别将临时融合图像Itl与源图像Ia和Ib作差，得到差异图像Da和差异图像Db,其中:Da = 10-1a, Db = 10-1b ；
[0016](5)计算差异图像Da和差异图像Db每个像素邻域内的梯度能量，邻域大小为5 X 5或 7X7 ；
[0017](6)构建特征矩阵丑,// G RMX,V:
[0018]
【权利要求】
1.一种基于非负矩阵分解的多聚焦图像融合方法，该方法对配准后的多聚焦图像、和Ib进行融合，Ia和Ib均为灰度图像，且/」，/? e R-UxiV，ΜΑ/χΛ^大小为MXN的空间，M和N均为正整数，其特征在于，该融合方法包括以下步骤: (1)构建多聚焦图像Ia和Ib的观测矩阵V; (2)用非负矩阵分解算法对观测矩阵V进行分解，得到基矩阵W；(3)将基矩阵W转换成大小为MXN的矩阵，该矩阵对应的图像为临时融合图像Itl； (4)分别将临时融合图像Itl与源图像Ia和Ib作差，得到差异图像Da和差异图像Db，其中:Da = 10-1a, Db = 10-1b ； (5)计算差异图像Da和差异图像Db每个像素邻域内的梯度能量，邻域大小为5X5或7X7 ； (6)构建特征矩阵
2.如权利要求1所述的基于非负矩阵分解的多聚焦图像融合方法，其特征在于，对步骤(6)中构建的特征矩阵进行腐蚀膨胀操作处理，并利用处理后的特征矩阵构建融合图像。
【文档编号】G06T5/50GK104036479SQ201410280417
【公开日】2014年9月10日 申请日期:2014年6月20日 优先权日:2013年11月11日
【发明者】陈莉, 张永新, 赵志华 申请人:西北大学