一种基于SiR的多聚焦图像融合方法及系统与流程

本发明属于光学图像处理技术领域，设计一种多聚焦图像融合方法，尤其涉及一种基于sir的多聚焦图像融合方法及系统。

背景技术：

由于聚焦范围有限，光学传感器成像系统无法对场景中的所有物体都清晰成像。当物体位于成像系统的焦点上时，它在像平面上的成像是清晰的，而同一场景内，其它位置上的物体在像平面上的成像是模糊的。虽然光学镜头成像技术的快速发展提高了成像系统的分辨率，却无法消除聚焦范围局限性对整体成像效果的影响，使得同一场景内的所有物体难以同时在像平面上清晰成像，不利于图像的准确分析和理解。另外，分析相当数量的相似图像既浪费时间又浪费精力，也会造成存储空间上的浪费。如何得到一幅同一场景中所有物体都清晰的图像，使其更加全面、真实的反映场景信息对于图像的准确分析和理解具有重要意义，而多聚焦图像融合是实现这一目标的有效技术途径之一。

多聚焦图像融合就是对经过配准的相同成像条件下获得的关于某一场景中的多幅聚焦图像，采用某种融合算法提取每幅聚焦图像的清晰区域，并根据一定的融合规则将这些区域合并生成一幅该场景中所有目标物都清晰的图像。多聚焦图像融合技术可以使处在不同成像距离上的场景目标能够清晰的呈现在一幅图像中，为特征提取，目标识别与追踪等奠定了良好的基础，从而有效地提高了图像信息的利用率和系统对目标表探测识别的可靠性，扩展了时空范围，降低了不确定性。该技术在智慧城市、医疗成像、军事作战以及安全监控等领域有广泛应用。

多聚焦图像融合算法的关键是对聚焦区域特性做出准确评判，准确定位并提取出聚焦范围内的区域或像素，这也是多聚焦图像融合技术中至今尚未得到很好解决的问题之一。目前，多聚焦图像融合算法主要分为两类：空间域多聚焦图像融合算法和变换域多聚焦图像融合算法。其中，空间域图像融合算法根据源图像中像素点的灰度值大小，利用不同的聚焦区域特性评价方法将聚焦区域的像素点或区域提取出来，根据融合规则得到融合图像。该算法的优点是方法简单，容易执行，计算复杂度低，融合图像包含源图像的原始信息。缺点是易受到噪声干扰，易产生“块效应”。变换域图像融合算法对源图像进行变换，根据融合规则对变换系数进行处理，将处理后的变换系数进行逆变换得到融合图像。其不足之处主要表现在分解过程复杂、耗时，高频系数空间占用大，融合过程中易造成信息丢失。如果改变融合图像的一个变换系数，则整个图像的空域灰度值都将会发生变化，结果在增强一些图像区域属性的过程中，引入了不必要的人为痕迹。

随着计算机和成像技术的不断发展，国内外研究者针对多聚焦图像融合技术中存在的聚焦区域判定和提取问题，提出了很多性能优异的融合算法，空间域和变换域较为常用的像素级多聚焦图像融合算法有以下几种：

(1)基于拉普拉斯金字塔(laplacianpyramid，lap)的多聚焦图像融合方法。其主要过程是对源图像进行拉普拉斯金字塔分解，然后采用合适的融合规则，将高频和低频系数进行融合，将融合后的金字塔系数进行逆变换得到融合图像。该方法具有良好的时频局部特性，取得了不错的效果，但各分解层间数据有冗余，无法确定各分解层上的数据相关性。提取细节信息能力差，分解过程中高频信息丢失严重，直接影响了融合图像质量。

(2)基于小波变换(discretewavelettransform，dwt)的多聚焦图像融合方法。其主要过程是对源图像进行小波分解，然后采用合适的融合规则，将高频和低频系数进行融合，将融合后的小波系数进行小波逆变换得到融合图像。该方法具有良好的时频局部特性，取得了不错的效果，但二维小波基是由一维小波基通过张量积的方式构成，对于图像中的奇异点的表示是最优的，但对于图像奇异的线和面却无法进行稀疏表示。另外dwt属于下采样变换，缺乏平移不变性，在融合过程中易造成信息的丢失，导致融合图像失真。

(3)基于非下采样的轮廓波变换(non-sub-sampledcontourlettransform，nsct)的多聚焦图像融合方法。其主要过程是对源图像进行nsct分解，然后采用合适的融合规则，将高频和低频系数进行融合，将融合后的小波系数进行nsct逆变换得到融合图像。该方法可取得不错的融合效果，但运行速度较慢，分解系数需要占用大量的存储空间。

(4)基于主成分分析(principalcomponentanalysis，pca)的多聚焦图像融合方法。其主要过程是将源图像按照行优先或者列优先转换成列向量，并计算协方差，根据协方差矩阵求取特征向量，确定第一主成分对应的特征向量并据此确定各源图像融合的权重，根据权重进行加权融合。该方法在源图像之间具有某些共有特征时，能够得到较好的融合效果；而在源图像之间的特征差异较大时，则容易在融合图像中引入虚假的信息，导致融合结果失真。该方法计算简单，速度快，但由于单个像素点的灰度值无法表示所在图像区域的聚焦特性，导致融合图像出现轮廓模糊，对比度低的问题。

(5)基于空间频率(spatialfrequency，sf)的多聚焦图像融合方法。其主要过程是将源图像进行块分割，然后计算各块sf，对比源图像对应块的sf，将sf值大的对应图像块合并得到融合图像。该方法简单易于实施，但分块大小难以自适应确定，分块太大，易将焦点外的像素都包含进来，降低融合质量，使融合图像对比度下降，易产生块效应，分块太小对区域清晰程度表征能力受限，易出现块的错误选择，使得相邻子块间一致性差，在交界处出现明显细节差异，产生“块效应”。另外，图像子块的聚焦特性难以准确描述，如何利用图像子块局部特征准确描述该子块的聚焦特性，将直接影响聚焦子块选择的准确性和融合图像的质量。

(6)基于鲁棒主成分分析(robustprincipalcomponentanalysis，rpca)的多聚焦图像融合方法。其主要过程是对源图像进行rpca分解，然后计算稀疏成分像素邻域内梯度能量(energyofthegradient，eog)，对比源图像对邻域的eog，将eog值大的对应像素合并到融合图像。该方法不直接依赖于源图像的聚焦特性，而是通过稀疏成分的显著性特征来判定源图像的聚焦区域，对噪声具有鲁棒性。

(7)基于卡通-纹理图像分解(cartoon-texturedecomposition，ctd)的多聚焦图像融合方法。其主要过程是对多聚焦源图像分别进行卡通-纹理图像分解，得到多聚焦源图像的卡通成分和纹理成分，并对多聚焦源图像的卡通成分和纹理成分分别进行融合，合并融合后的卡通成分和纹理成分得到融合图像。其融合规则是基于图像的卡通成分和纹理成分的聚焦特性设计的，不直接依赖于源图像的聚焦特性，从而对噪声和划痕破损具有鲁棒性。

(8)基于导向滤波的多聚焦图像融合方法(guidedfilterfusion，gff)。其主要过程是使用导向图像滤波器将图像分解为包含大尺度强度变化的基础层和包含小尺度细节的细节层，然后利用基础层和细节层的显著性和空间一致性构建融合权值图，并以此为基础将源图像的基础层和细节层分别融合，最后把融合的基础层和细节层合并得到最终融合图像，该方法可取得不错的融合效果，但对噪声缺乏鲁棒性。

上述八种方法是较为常用的多聚焦图像融合方法，但这些方法中，小波变换(dwt)不能充分利用图像数据本身所具有的几何特征，不能最优或最“稀疏”的表示图像，易造成融合图像出现偏移和信息丢失现象；基于非下采样的轮廓波变换(nsct)方法由于分解过程复杂，运行速度较慢，另外分解系数需要占用大量的存储空间。主成分分析(pca)方法容易降低融合图像对比度，影响融合图像质量。鲁棒主成分分析(rpca)、卡通纹理图像分解(ctd)、导向滤波(gff)都是近几年提出的新方法，都取得了不错的融合效果，其中导向滤波(gff)是基于局部非线性模型进行边缘保持和平移不变操作，计算效率高；可以利用迭代框架恢复大尺度边缘的同时，消除边缘附近的小细节；前四种常用融合方法都存在着不同的缺点，速度和融合质量间难以调和，限制了这些方法的应用和推广，第八种方法是目前融合性能比较优异的融合算法，但也存在一定缺陷。

综上所述，现有技术存在的问题是：

现有技术中，(1)传统的空间域方法主要采用区域划分方法进行，区域划分尺寸过大将导致焦点内外区域位于同一区域，导致融合图像质量下降；区域划分尺寸过小，子区域特征不能充分反映该区域特征，容易导致聚焦区域像素的判定不准确并产生误选，使得相邻区域间一致性差，在交界处出现明显细节差异，产生“块效应”。(2)传统的基于多尺度分解的多聚焦融合方法中，总是将整幅多聚焦源图像作为单个整体进行处理，细节信息提取不完整，不能在融合图像中较好表示源图像边缘纹理等细节信息，影响了融合图像对源图像潜在信息描述的完整性，进而影响融合图像质量。

技术实现要素：

针对现有技术存在的问题，本发明提供了一种不但能够有效消除“块效应”，扩展光学成像系统景深且能极大提升融合图像主客观品质的基于sir的多聚焦图像融合方法及系统。克服了多聚焦图像融合中存在的聚焦区域判定不准确，不能有效提取源图像边缘纹理信息，融合图像细节特征表征不完整，部分细节丢失，“块效应”，对比度下降等诸多问题。

本发明是这样实现的，首先用二维高斯滤波对输入图像进行平滑，移除源图像中的小结构；然后通过迭代引导边缘感知滤波恢复源图像的强边缘得到源图像的基础层和细节层；利用滑动窗口技术分别计算源图像基础层和细节层各像素邻域窗口的梯度能量；并根据基础层和细节层各像素邻域窗口梯度能量大小构建决策矩阵，并利用形态学滤波方法对其进行膨胀腐蚀操作；然后基于决策矩阵，根据一定的融合规则分别将基础层和细节层对应像素融合；最后将融合后的基础层和细节层合并，得到融合图像。

进一步，所述基于sir的多聚焦图像融合方法，对配准后的多聚焦图像ia和ib进行融合，ia和ib均为灰度图像，且ia，是大小为m×n的空间，m和n均为正整数，具体包括以下步骤：

(1)利用平滑滤波器s分别对多聚焦图像i1和i2进行平滑操作，移除源图像i1和i2中的小结构，得到i′1和i′2，其中：(i′1，i′2)＝s(i1，i2)；

(2)分别将源图像i1和i2作为引导图像，使用导向边缘恢复滤波器rig对i′1和i′2进行迭代边缘感知滤波操作，恢复源图像中的强势边缘，得到源图像i1和i2的基础层i1b、i2b和细节层i1d、i2d，其中：(i1b，i1d)＝rig(i1，i′1)，(i2b，i2d)＝rig(i2，i′2)；

(3)分别计算源图像i1、i2的基础层i1b、i2b和细节层i1d、i2d每个像素邻域内的梯度能量，邻域大小为5×5或7×7；

(4)分别构建基础层特征矩阵hb，和细节层特征矩阵hd，

(式1)中：

eog1b(i，j)为基础层i1b像素(i，j)邻域内的梯度能量；

eog2b(i，j)为基础层i2b像素(i，j)邻域内的梯度能量；

i＝1，2，3，…，m；j＝1，2，3，…，n；

hb(i，j)为矩阵hb第i行、第j列的元素；

(式2)中：

eog1d(i，j)为细节层i1d像素(i，j)邻域内的梯度能量；

eog2d(i，j)为细节层i2d像素(i，j)邻域内的梯度能量；

i＝1，2，3，…，m；j＝1，2，3，…，n；

hd(i，j)为矩阵hd第i行、第j列的元素；

(5)根据特征矩阵hb和hd构建融合图像基础层fb，和细节层fd，得到融合后的基础层fb和细节层fd：

(式3)中：

fb(i，j)为融合后的源图像基础层fb像素点(i，j)处的灰度值；

i1b(i，j)为融合前源图像基础层i1b的像素点(i，j)处的灰度值；

i2b(i，j)为融合前源图像基础层i2b的像素点(i，j)处的灰度值。

(式4)中：

fd(i，j)为融合后的源图像细节层fd像素点(i，j)处的灰度值；

i1d(i，j)为融合前源图像细节层i1d的像素点(i，j)处的灰度值；

i2d(i，j)为融合前源图像细节层i2d的像素点(i，j)处的灰度值。

(6)构建融合图像f，得到融合后的灰度图像，其中：f＝fb+fd。

进一步，对步骤(4)中构建的特征矩阵进行腐蚀膨胀操作处理，并利用处理后的特征矩阵构建融合图像。

本发明的另一目的在于提供一种基于sir的多聚焦图像融合系统。

本发明的另一目的在于提供一种利用上述基于sir的多聚焦图像融合方法的智慧城市多聚焦图像融合系统。

本发明的另一目的在于提供一种利用上述基于sir的多聚焦图像融合方法的医疗成像多聚焦图像融合系统。

本发明的另一目的在于提供一种利用上述基于sir的多聚焦图像融合方法的安全监控多聚焦图像融合系统。

本发明的优点及积极效果为：

(1)本发明首先对源图像进行平滑迭代恢复滤波处理，得到源图像基础层和细节层，通过分别比较基础层和细节层像素邻域内的能量梯度来对基础层、细节层的聚焦区域特性进行判定，进而分别构建基础层和细节层融合决策矩阵，分别将源图像基础层和细节层融合，然后将融合后的基础层和细节层进行融合得到源图像的融合图像。对源图像进行二次融合，提高了对源图像聚焦区域特性判定的准确率，有利于清晰区域目标的提取，可以更好的从源图像转移边缘纹理等细节信息，有效提高融合图像主客观品质。

(2)本发明中，图像融合框架灵活，易于实施，可用于其他类型的图像融合任务。在融合过程中，可以根据任务需要采用最合适的滤波器进行滤波操作，以保证最好的融合效果。

(3)本融合算法用平滑滤波器对源图像进行平滑操作时，可以有效抑制源图像中的噪声对融合图像质量的影响。

(4)本融合算法采用滑动窗口技术计算像素邻域内像素的聚焦区域特性，可以有效消除“块效应”。

本发明图像融合方法框架灵活，对源图像聚焦区域特性判定具有较高的准确率，可较为准确的提取聚焦区域目标细节，清晰表示图像细节特征，同时有效消除“块效应”，有效提高融合图像主客观品质。

附图说明

图1是本发明实施案例提供的基于sir的多聚焦图像融合方法流程图。

图2是本发明实施案例1提供的待融合源图像‘disk’效果图。

图3是本发明实施案例提供的为拉普拉斯(lap)、小波变换(dwt)、基于非下采样的轮廓波变换(nsct)、主成分分析(pca)方法、空间频率(sf)、鲁棒主成分分析(rpca)、卡通纹理图像分解(ctd)、导向滤波(gff)以及本发明(proposed)共九种图像融合方法对多聚焦图像‘disk’图1的融合效果图。

图4是本发明实施案例2提供2的待融合图像‘book’效果图；

图5为拉普拉斯(lap)、小波变换(dwt)、基于非下采样的轮廓波变换(nsct)、主成分分析(pca)方法、空间频率(sf)、鲁棒主成分分析(rpca)、卡通纹理图像分解(ctd)、导向滤波(gff)以及本发明(proposed)图像九种融合方法对多聚焦图像‘book’图4(a)与(b)的融合效果图像。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施案例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施案例仅仅用以解释本发明，并不用于限定本发明。

现有技术中，多聚焦图像融合领域中融合算法对源图像聚焦区域判定不准确，细节信息提取不完整，不能在融合图像中较好表示源图像边缘纹理等细节信息，融合效果差。

下面结合附图对本发明的应用原理作详细描述。

如图1所示，本发明实施案例提供的基于sir的多聚焦图像融合方法，包括：

s101：首先用二维高斯滤波对输入图像进行平滑，移除源图像中的小结构，在此基础上将源图像作为引导图像，通过迭代引导边缘感知滤波恢复源图像的强边缘，进而得到源图像的基础层和细节层。

s102：然后分别计算源图像基础层和细节层各像素邻域窗口的梯度能量，根据基础层和细节层各像素邻域窗口梯度能量大小构建决策矩阵，并根据一定的融合规则分别将基础层和细节层对应像素融合。

s103：最后将融合后的基础层和细节层合并，得到融合图像。

下面结合具体流程对本发明作进一步描述。

本发明实施案例提供的基于sir的多聚焦图像融合方法，具体流程包括：

对ia，两幅多聚焦图像进行融合，两幅多聚焦图像大小均为m×n：利用平滑滤波器s分别对多聚焦图像i1和i2进行平滑操作，移除源图像i1和i2中的小结构，得到i′1和i′2，其中：(i′1，i′2)＝s(i1，i2)；

分别将源图像i1和i2作为引导图像，使用导向边缘恢复滤波器rig对i′1和i′2进行迭代边缘感知滤波操作，恢复源图像中的强势边缘，得到源图像i1和i2的基础层i1b、i2b和细节层i1d、i2d，其中：(i1b，i1d)＝rig(i1，i′1)，(i2b，i2d)＝rig(i2，i′2)；

计算源图像i1、i2的基础层i1b、i2b和细节层i1d、i2d每个像素邻域内的梯度能量，邻域大小为5×5或7×7。梯度能量(eog)计算方法如下式所示：

fα+k＝[f0(α+k+1，β)-f(α+k+1，β)]-[f0(α+k，β)-f(α+k，β)]

fβ+l＝[f0(α，β+l+1)-f(α，β+l+1)]-[f0(α，β+l)-f(α，β+l)]；

其中：

k×l为像素点(α，β)邻域的大小，取值为5×5或7×7；

-(k-1)/2≤k≤(k-1)/2，且k取整数；

-(l-1)/2≤l≤-(l-1)/2，且l取整数；

f(α，β)和f0(α，β)为基础层和细节层中像素点(α，β)的灰度值；

分别构建基础层特征矩阵hb，和细节层特征矩阵hd，

根据特征矩阵hb和hd构建融合图像基础层fb，和细节层fd，得到融合后的基础层fb和细节层fd：

(式3)中：

fb(i，j)为融合后的源图像基础层fb像素点(i，j)处的灰度值；

i1b(i，j)为融合前源图像基础层i1b的像素点(i，j)处的灰度值；

i2b(i，j)为融合前源图像基础层i2b的像素点(i，j)处的灰度值。

(式4)中：

fd(i，j)为融合后的源图像细节层fd像素点(i，j)处的灰度值；

i1d(i，j)为融合前源图像细节层i1d的像素点(i，j)处的灰度值；

i2d(i，j)为融合前源图像细节层i2d的像素点(i，j)处的灰度值。

构建融合图像f，得到融合后的灰度图像，其中：f＝fb+fd；

由于单独依靠梯度能量作为图像清晰度的评价标准，可能不能完全提取出所有清晰子块，在决策矩阵中区域间存在着毛刺，截断和狭窄的粘连，需要对决策矩阵进行形态学的腐蚀膨胀操作。

下面结合具体实施案例对本发明作进一步描述。

图2是本发明实施案例1提供的待融合源图像‘disk’效果图。

实施案例1

遵循本发明的方案，该实施案例1对图2(a)与(b)所示两幅源图像进行融合处理，处理结果如图3中的propose所示。同时利用拉普拉斯(lap)、小波变换(dwt)、基于非下采样的轮廓波变换(nsct)、主成分分析(pca)方法、空间频率(sf)、鲁棒主成分分析(rpca)、卡通纹理图像分解(ctd)、导向滤波(gff)八种图像融合方法对图2(a)与(b)所示两幅源图像进行融合处理，对不同融合方法的融合图像进行质量评价，处理计算得表1所示结果。

表1多聚焦图像‘disk’融合图像质量评价.

实施案例2：

遵循本发明的方案，该实施案例对图4(a)与(b)所示两幅源图像进行融合处理，处理结果如图5中的proposed所示。

同时拉普拉斯(lap)、小波变换(dwt)、基于非下采样的轮廓波变换(nsct)、主成分分析(pca)方法、空间频率(sf)、鲁棒主成分分析(rpca)、卡通纹理图像分解(ctd)、导向滤波(gff)八种图像融合方法对图4所示两幅源图像(a)与(b)进行融合处理，对图5不同融合方法的融合图像进行质量评价，处理计算得表2所示结果。

表2多聚焦图像‘book’融合图像质量评价.

表1和表2中：method代表方法；融合方法包括八种分别是：拉普拉斯(lap)、小波变换(dwt)、基于非下采样的轮廓波变换(nsct)、主成分分析(pca)方法、空间频率(sf)、鲁棒主成分分析(rpca)、卡通纹理图像分解(ctd)、导向滤波(gff)；runningtime代表运行时间，单位为秒。mi代表互信息，是基于互信息的融合图像质量客观评价指标。q^ab/f代表从源图像中转移的边缘信息总量。

从图3、图5可以看出，其它方法中频域方法包括拉普拉斯(lap)、小波变换(dwt)、基于非下采样的轮廓波变换(nsct)，其融合图像都存再伪影，模糊以及对比度差的问题；空域方法中主成分分析(pca)方法其融合图像对比度最差，、空间频率(sf)方法的融合图像存在“块效应”现象，而鲁棒主成分分析(rpca)、卡通纹理图像分解(ctd)、导向滤波(gff)融合质量相对较好，但也存在少量部分模糊。本发明的方法对多聚焦图像图3‘disk’和多聚焦图像图5‘book’的融合图像主观视觉效果明显优于其他融合方法的融合效果。

从融合图像可看出，本发明方法对源图像焦点区域目标边缘和纹理的提取能力明显优于其他方法，能够很好的将源图像中焦点区域的目标信息转移到融合图像中去。可以有效捕捉聚焦区域的目标细节信息，提高图像融合质量。本发明方法具有良好的主观品质。

从表1和表2可以看出，本发明方法融合图像的图像质量客观评价指标mi比其他方法的融合图像对应指标平均高出0.75，融合图像的图像质量客观评价指标q^ab/f比其他方法的融合图像对应指标0.04。说明本方法获得融合图像具有良好的客观品质。

以上所述仅为本发明的较佳实施案例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。