一种利用边界检测和多尺度形态学清晰度度量的多聚焦图像融合方法
【专利摘要】一种利用边界检测和多尺度形态学清晰度度量的多聚焦图像融合方法，其步骤是：首先，提取多尺度多结构元素，再通过加权合并得到图像的多尺度形态学梯度特征；其次，构造图像的清晰度度量，利用该度量检测多聚焦源图像中聚焦与离焦区域的边界区域；再次，将边界区域细化，得到最终的边界线特征；接着，通过度量每幅源图像在边界线分割的清晰度度量，从而得到初始的多聚焦图像的融合决策图像；继而，滤除融合决策图像中的弱小孤立区域，并利用最近邻方法填补空白区域；此后，膨胀融合决策图像中的边界线，得到最终的融合决策图像；最后，根据融合决策图像及制定的融合策略得到一幅各处都清晰的融合图像。本发明广泛应用于各类图像处理的应用系统。
【专利说明】一种利用边界检测和多尺度形态学清晰度度量的多聚焦图像融合方法
【技术领域】
[0001]本发明涉及一种利用边界检测和多尺度形态学清晰度度量的多聚焦图像融合方法，属于数字图像处理领域，主要涉及数学形态学和图像融合技术。图像融合可以有效提高图像信息的利用率，并且为图像理解与分析等奠定良好基础。因此，多聚焦图像融合在各类基于图像的应用系统中有广阔的应用前景。
【背景技术】
[0002]多聚焦图像融合技术，可以有效解决将同一场景中位于不同距离的景物都清晰地呈现在一幅图像中的难题。图像融合技术可以有效提高图像信息的利用率，是图像分析和模式识别的重要基础。图像融合技术通常能够为不同的图像处理应用提供更多的有用信息，如目标识别、显微成像和军事作战等。但是，多聚焦图像中聚焦区域的检测是多聚焦区域的一个难点，并且图像中的内容复杂，一般很难对所有区域的清晰度进行准确地度量。因此，多聚焦图像融合技术是非常困难的。
[0003]为了更好地将多聚焦图像中不同距离的景物呈现在一幅图像中，研究者们提出了不同的方法。这些方法大致分为两类:变换域图像融合方法和空间域图像融合方法。常用的变换域融合方法主要包括:基于金字塔分解的方法(参见文献:彼得罗维奇等，基于梯度的多分辨率分析图像融合方法，美国电子电气工程师协会图像处理汇刊，13 (2) (2004)228 - 237。(V.S.Petrovic, C.S.Xydeas, Gradient-based multiresolutionimage fusion, IEEE Transactions on Image Processing, 13(2)(2004)228 - 237.))和基于小波变换的方法(参见文献:李等，利用小波变换的多传感器图像融合，图形模型和图像处理，57 (3) (1995) 235 - 245。(H.Li, B.S.Manjunath, S.K.Mitra, Multisensor imagefusion using the wavelet transform, Graphical Models and Image Processing, 57(3)(1995)235 - 245.))。这些变换域融合方法被广泛应用于图像融合中，但是这些融合方法不能有效保持图像的原始信息，并且由于算法自身局限性，会对图像边缘有一定的平滑作用，导致融合图像的边缘模糊。在空间域融合方法中，最简单的一种方法是多聚焦图像的每个像素进行加权平均处理。这种方法具有计算简单和融合速度快等优点，但是会降低融合图像的对比度，并且对融合图像的边缘、轮廓等产生一定程度的模糊。而基于区域的融合方法(参见文献:李等，利用空间频率的多聚焦图像融合方法，信息融合，26 (7) (2001) 169 -176。(S.Li, J.T.Kwok, Y.Wang, Combination of images with diverse focuses usingthe spatial frequency, Information Fusion26 (7) (2001) 169 - 176.))充分考虑了局部区域内像素的相关性，可以提高聚焦区域提取的准确性，并且可以有效保持图像的原始信息。但是基于区域的融合方法直接依赖于图像分割算法的结果，并且图像分割算法一般具有计算复杂、速度慢等特点，不利于实时处理。研究者又提出了基于块分割的多聚焦融合方法(参见文献:黄等，基于多聚焦图像融合的清晰度度量评价方法，模式识别快报，28(4)(2007)493 - 500。(W.Huang, Z.Jing, Evaluation of focus measures in mult1-focusimage fusion, Pattern Recognition Letters28 (4) (2007) 493 - 500.))。基于块分割方法考虑了局部像素的相关性，并且计算比较简单。但是基于块分割的融合方法的融合效果依赖于分块大小；同时图像一般较为复杂，使图像块的清晰程度难以准确度量，往往导致融合图像中存在块效应。
[0004]多聚焦图像融合的本质是提取每幅源图像的聚焦区域，然后通过组合重建得到融合图像。在多聚焦图像中，聚焦与离焦区域的边界部分通常是不同图像间清晰度度量差异比较小的图像区域。因此，通过利用多聚焦源图像间清晰度度量的差异信息，可能会产生一种非常有效的多聚焦图像的聚焦与离焦区域的边界线提取方法，进而将边界线分割出的每个聚焦区域从相应的源图像中拷贝并组合成一幅全部聚焦的融合图像。数学形态学中的梯度运算，可以有效提取图像的局部显著特征，所以能够作为图像的清晰度度量。并且根据多尺度理论(参见文献:帕斯托雷等，基于形态学运算和测地距离的大脑核磁共振图像分割，数字信号处理，15 (2005) 153 - 160。(J.1.Pastore, E.G.Moler, V.L.Ballarin.Segmentation of brain magnetic resonance images through morphologicaloperators and geodesic distance, Digital Signal Processingl5(2005) 153 - 160.)；鲍厄那亚等，空间不变的形态学复原与骨架表示，美国电子电气工程师协会图像处理汇干Ij, 15 (I I) (2006) 3579 - 3591。(N.Bouaynaya, M.Charif-Chefchaouni, D.Schonfeld.Spatially variant morphological restoration and skeleton representation, IEEETransactions on Image Processing, 15 (11) (2006) 3579 - 3591.)),形态学的梯度特征可以被推广到提取图像多个尺度下的梯度特征，从而产生一种更稳定的清晰度度量。
[0005]为了得到一幅视觉效果更好的融合图像，本发明提出了一种利用边界检测和多尺度形态学清晰度度量的多聚焦图像融合方法。
【发明内容】
[0006]多聚焦图像融合是图像理解与图像分析的关键技术。但现有的图像融合方法并不能很好地将不同聚焦距离的源图像融合在一起，生成的融合图像往往对比度较低、存在产生块效应或边缘模糊现象等。
[0007]为了解决上述问题并弥补传统方法的不足，本发明提出了一种利用边界检测和多尺度形态学清晰度度量的多聚焦图像融合方法。首先，构造能够使形态学梯度运算用于提取图像梯度特征的多尺度多结构元素，并利用构造的结构元素提取多个尺度下的梯度特征，再通过加权合并每个尺度的梯度特征得到图像的多尺度形态学梯度特征；其次，利用多尺度形态学梯度特征构造图像的清晰度度量，并利用该度量检测多聚焦源图像中聚焦与离焦区域的边界区域；再次，将边界区域细化，并剔除其中的弱小线特征，得到的最终的边界线特征；接着，通过度量每幅源图像在边界线分割每个区域的清晰度，从而得到初始的多聚焦图像的融合决策图像；继而，滤除融合决策图像中的弱小孤立区域，并利用最近邻方法填补空白区域；此后，膨胀融合决策图像中的边界线，得到最终的融合决策图像；最后，根据融合决策图像及制定的融合策略，即直接从多聚焦源图像中对应地拷贝到融合结果中，而边界区域的像素则将源图像对应的像素加权拷贝到融合结果中，从而得到一幅各处都清晰的融合图像。多聚焦图像融合的结果，是图像处理相关应用的重要前提。
[0008]本发明一种利用边界检测和多尺度形态学清晰度度量的多聚焦图像融合方法，它包含以下具体步骤:
[0009]步骤一:构造用于提取多个尺度梯度特征的结构元素。
[0010]设结构元素有η个尺度，即B1,B2,…，Bj,…，Bn，其中
【权利要求】
1.一种利用边界检测和多尺度形态学清晰度度量的多聚焦图像融合方法，其特征在于:它包含以下具体步骤: 步骤一:构造用于提取多个尺度梯度特征的结构元素； 设结构元素有η个尺度，即B1, B2, -,Bj,…，Bn，其中
2.根据权利要求1所述的一种利用边界检测和多尺度形态学清晰度度量的多聚焦图像融合方法，其特征在于:步骤八所述的“制定的融合准则”，其具体内容如下:首先，对于决策图像中的非空区域，从相应的多聚焦图像拷贝到融合图像中的相应位置；然后，对于决策图像中的边界区域，以每个像素位置到边界中心线最小距离的倒数为权重，将多聚焦图像的加权和拷贝到融合图像中的该像素位置，得到最终的多聚焦融合图像。
【文档编号】G06T5/50GK103985108SQ201410241796
【公开日】2014年8月13日 申请日期:2014年6月3日 优先权日:2014年6月3日
【发明者】白相志, 张余 申请人:北京航空航天大学