基于字典学习、旋转引导滤波的多聚焦图像融合方法及装置与流程

本发明属于图像融合处理技术领域，具体涉及一种基于字典学习、旋转引导滤波的多聚焦图像融合方法及装置。

背景技术：

由于传统相机的光学透镜景深的限制，导致其难以获取一幅所有景物均聚焦的清晰图像；为了解决这一问题，学者们便发明了图像融合技术，该技术是通过提取并综合来自多个传感器的图像信息，获得对同一场景或目标的更为准确、全面、可靠的图像描述，而且尽可能低保留源图像的显著性视觉信息并不引入人工噪声，以便对图像进行进一步的分析、理解及目标检测、识别或跟踪。图像融合技术在计算机视觉、目标自动识别等领域有着广泛的应用前景。

目前，市场上适用的图像融合方法主要两类，一类是基于变换域的图像融合方法，另一类是基于空域的图像融合方法。

基于变换与的融合方法，其核心思想是：首先将输入图像分解成不同的变换系数，然后对变换系数进行融合，最后对融合系数进行重构获得融合图像。在这种框架下，基于多尺度变化的图像融合方法是最经典的也是最常用的方法，其主要有基于金字塔变化的图像融合方法，参见文献《Image fusion by using steerable pyramid》Pattern Recognition Letters,2001,22(9):929-939；基于离散小波变换的图像融合方法，参见文献《Multisensor image fusion using the wavelet transform》Graphical models and image processing,1995,57(3):235-245；基于非下采样轮廓波变化的图像融合方法，参见文献《Multifocus image fusion using the nonsubsampled contourlet transform》Signal Processing,2009,89(7):1334-1346。此外，还有基于独立成分分析的图像融合方法，参见文献《Pixel-based and region-based image fusion schemes using ICA bases》Information fusion,2007,8(2):131-142；基于鲁棒性主成分分析的图像融合方法，参见文献《Multifocus image fusion based on robust principal component analysis》Pattern Recognition Letters,2013,34(9):1001-1008；基于稀疏表示的图像融合方法，参见文献《Simultaneous image fusion and denoising with adaptive sparse representation》IET Image Processing,2014,9(5):347-357；基于多尺度变换与稀疏表示的图像融合方法，参见文献《A general framework for image fusion based on multi-scale transform and sparse representation》Information Fusion,2015,24:147-164。对于这些方法，通常改变了图像的强度值及在融合图像中产生空间不连续性问题和引入了一些人工噪声，从而模糊化了融合图像的细节信息，造成融合图像的清晰度下降。尤其是对未完全配准的多聚焦图像，这些方法的性能表现的更差。

基于空域的方法中最早的是采用像素的加权平均融合方法，该方法通常会引入人工噪声。近年来，一些基于块和区域的融合方法已经被提出，其中基于块的图像融合方法通常会在融合结果中产生块效应；相比下，基于区域的图像融合方法通常能够较好地在融合结果中保留输入图像的细节和空间连续性，主要有IM方法，参见《Image matting for fusion of multi-focus images in dynamic scenes》Information Fusion,2013,14(2):147-162；GF方法，参见《Image fusion with guided filtering》IEEE Transactions on Image Processing,2013,22(7):2864-2875；DSIFT方法，参见《Multi-focus image fusion with dense SIFT》Information Fusion,2015,23:139-155；MWGF方法，参见《Multi-scale weighted gradient-based fusion for multi-focus images》Information Fusion,2014,20:60-72等。这些新兴的方法对配准的多聚焦图像通常能够取得较好的效果；但是对于未完全配准的多聚焦图像，这些方法通常不能够很好地保留图像的细节信息以及产生空间不连续性问题或引入人工噪声。

技术实现要素：

有鉴于此，本发明的主要目的在于提供一种基于字典学习、旋转引导滤波的多聚焦图像融合方法及装置。

为达到上述目的，本发明的技术方案是这样实现的：

本发明实施例提供一种基于字典学习、旋转引导滤波的多聚焦图像融合方法，该方法为：首先通过对若干幅经典多聚焦图像进行旋转引导滤波处理获得每幅图像的滤波图像，对所述若干幅滤波图像进行字典学习获得图像的散焦字典，输入的多幅配准的多聚焦图像并将所述的散焦字典作用于输入图像并进行处理获得每幅输入多聚焦图像的聚焦特征图对所述获得的每幅输入图像对应的聚焦特征图进行处理获得融合权重图，最后，根据所述获得的融合权重图获得融合图像。

上述方案中，所述对多幅输入配准的多聚焦图像进行处理分别获得每幅输入配准的图像对应的聚焦特征图，具体为：分别对多幅输入配准的多聚焦图像进行分块获得每幅输入配准的多聚焦图像对应的图像块，将所述每幅输入配准的多聚焦图像对应的图像块分别转化成图像块列向量，根据散焦图像字典D和OMP算法求解式对每个图像块列向量进行处理获得对应的稀疏系数，根据稀疏系数构造每个图像块列向量对应的稀疏特征，最后对每幅输入配准的多聚焦图像的图像块的稀疏特征进行拼接获得每幅输入配准的多聚焦图像的聚焦特征图。

上述方案中，所述对多幅输入配准的多聚焦图像进行处理分别获得每幅输入配准的图像对应的聚焦特征图，具体为：

步骤1：分别对输入图像I₁和I₂进行分块，其滑动窗口的大小为8×8，相邻窗口的步长为1，得到输入图像I₁和I₂的图像块I_1,j和I_2,j；

步骤2：获得的输入图像I₁和I₂的图像块I_1,j和I_2,j分别转化成图像块列向量和散焦图像字典D作用于所述获得的每个图像块列向量和通过OMP算法求解式，得到输入图像I₁和I₂的图像块列向量和对应的稀疏系数和

||·||₁表示·的一范数，||·||₂表示·的二范数，常数θ在本发明中的取值为18.4；但是，对于不同的问题和需求，常数θ是可调的；

步骤3：通过获得的稀疏系数和构造输入的图像块列向量和的稀疏特征f_1,j和f_2,j，如式(3)和(4)所示，

构建输入图像I1和I2的聚焦特征图，基于获得的图像块的稀疏特征f_1,j和f₂,_j，通过对所有的稀疏特征块f_1,j和f_2,j进行拼接，得到输入图像I₁和I₂的聚焦特征图W_1,1和W_2,1；

步骤4：根据旋转引导滤波对获得的聚焦特征图W_1,1和W_2,1进行平滑，获得聚焦区域和散焦区域的差异明显的聚焦特征图W_1,2和W_2,2，具体计算如式(5)和(6)所示：

W_1,2＝F_RG(W_1,1,σ_s,σ_r,t) (5)

W_2,2＝F_RG(W_2,1,σ_s,σ_r,t) (6)

其中，F_RG(·)表示旋转引导滤波算子，参数σ_s和σ_r分别控制空间和幅度权重，t表示滤波次数。

上述方案中，所述散焦图像字典D具体通过如下方法获得：对若干幅经典的多聚焦图像分别进行旋转引导滤波获得若干幅滤波图像，根据所述若干幅滤波图像随机选取图像块来训练获得散焦图像字典D。

上述方案中，所述散焦图像字典D获得的具体步骤如下：

步骤(1)从滤波图像中随机选取多个图像块，每个图像块分别被表示为P₁,P₂,...P_j，图像块的大小为8×8，分别将P₁,P₂,...P_j转化成对应图像块的列向量

步骤(2)基于列向量通过K-SVD算法求解式，得到每个图像块列向量的稀疏系数α_j和散焦图像字典D，

其中，表示·的二范数平方，||·||₀表示·的零范数，参数k＝5，k表示求解的稀疏系数α_j中的非零项不多于k个。

上述方案中，该方法还包括：根据旋转引导滤波对所述获得每幅输入配准的多聚焦图像对应的聚焦特征图进行平滑处理获得聚焦区域和散焦区域的差异明显的聚焦特征图，通过比较聚焦特征图差异获得初始融合权重图，再根据形态学闭运算算子对获得的多幅输入配准的多聚焦图像初始融合权重图进行膨胀和腐蚀获得融合权重图，最后，根据所述获得的融合权重图获得融合图像。

本发明实施例还提供一种基于字典学习、旋转引导滤波的多聚焦图像融合装置，该装置包括图像处理单元、融合权重单元、融合单元；

所述图像处理单元，用于对多幅输入配准的多聚焦图像进行处理分别获得每幅输入配准的多聚焦图像对应的聚焦特征图，发送到对融合权重单元；

所述融合权重单元，用于对所述获得的每幅输入配准的图像对应的聚焦特征图进行特征差异比较获得初始融合权重图，然后对初始融合权重图进行膨胀和腐蚀获得融合权重图，发送到融合单元；

所述融合单元，用于根据所述获得的融合权重图获得融合图像。

上述方案中，所述图像处理单元，具体用于分别对多幅输入配准的多聚焦图像进行分块获得每幅输入配准的多聚焦图像对应的图像块，将所述每幅输入配准的多聚焦图像对应的图像块分别转化成图像块列向量，根据散焦图像字典D和OMP算法求解式对每个图像块列向量进行处理获得对应的稀疏系数，根据稀疏系数构造每个图像块列向量对应的稀疏特征，最后对每幅输入图像的图像块的稀疏特征进行拼接获得每幅输入图像的聚焦特征图。

上述方案中，所述图像处理单元，还具体用于对若干幅经典的多聚焦图像分别进行旋转引导滤波获得若干幅滤波图像，根据所述若干幅滤波图像随机选取图像块训练获得散焦图像字典D。

上述方案中，所述图像处理单元，还用于根据旋转引导滤波对所述获得的每幅输入配准的多聚焦图像对应的聚焦特征图进行平滑处理获得聚焦区域和散焦区域的差异较明显的聚焦特征图，发送到融合权重单元；

所述融合权重单元，用于比较聚焦特征图的特征差异获得初始融合权重图，然后根据形态学闭运算算子对获得的初始融合权重图进行膨胀和腐蚀获得融合权重图，发送到融合；

所述融合单元，用于根据所述获得的融合权重图获得融合图像。

与现有技术相比，本发明的有益效果：

1.本发明利用旋转引导滤波模糊多聚焦图像，其滤波结果与散焦区域的图像结构和视觉效果非常相似，通过经旋转引导滤波模糊的多聚焦图像，有利于训练一个有效的散焦图像字典；

2.本发明是利用经过旋转引导滤波模糊后的多聚焦图像进行训练散焦图像字典，其能够很好地表示图像散焦区域的信息；

3.本发明利用学习的散焦图像字典作用于输入的多聚焦图像，获得图像稀疏表示系数，并通过稀疏表示系数的L1范数来构建多聚焦图像的聚焦测量模型；

4.利用多聚焦测量模型来计算输入图像的融合权重图；

5.对已获得的融合权重图采用形态学闭运算进行优化获得理想的融合权重图，该技术不仅操作简单，而且有效地提升了图像的清晰度、解决了块效应和人工噪声问题，得到了融合效果更好的图像。

附图说明

图1是本发明的整体流程图。

图2是本发明使用的两组多聚焦图像的源图像。

图3是本发明与现有五种融合方法对第一组多聚焦图像进行融合的结果图。

图4是本发明与现有五种融合方法对第一组多聚焦图像进行融合获得结果与输入的一幅图像的差异结果图。

图5是本发明与现有五种融合方法对第二组多聚焦图像进行融合的结果图。

图6是本发明与现有五种融合方法对第二组多聚焦图像进行融合获得结果与输入的一幅图像的差异结果图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例提供一种基于字典学习与旋转引导滤波的多聚焦图像融合方法，如图1所示，该方法具体通过以下步骤实现：

步骤101：对至少两幅输入配准的图像进行处理分别获得每幅输入配准的图像对应的聚焦特征图；

具体地，分别对至少两幅输入配准的图像进行分块获得每幅输入配准的图像对应的图像块，将所述每幅输入配准的图像对应的图像块分别转化成图像块列向量，根据散焦图像字典D和OMP算法求解式对每个图像块列向量进行处理获得对应的稀疏系数，根据稀疏系数构造每个图像块列向量对应的稀疏特征，最后对每幅输入配准的图像的图像块的稀疏特征进行拼接获得每幅输入配准的图像的聚焦特征图。

根据旋转引导滤波对所述获得的每幅输入配准的图像对应的聚焦特征图进行平滑处理获得聚焦区域和散焦区域的差异明显的聚焦特征图，然后根据聚焦特征图的聚焦特征差异比较获得初始融合权重图，再根据形态学闭运算算子对获得的至少两幅输入配准的多聚焦图像的初始融合权重图进行膨胀和腐蚀获得融合权重图。

分别对输入图像I₁和I₂进行分块，分块是通过对整个图像滑窗得到的：分别对输入图像I₁和I₂进行分块，其滑动窗口的大小为8×8，相邻窗口的步长为1，得到输入图像I₁和I₂的图像块I_1,j和I_2,j。

获得的输入图像I₁和I₂的图像块I_1,j和I_2,j分别转化成图像块列向量和散焦图像字典D作用于所述获得的每个图像块列向量和通过OMP算法求解式，得到输入图像I₁和I₂的图像块列向量和对应的稀疏系数和

||·||₁表示·的一范数，||·||₂表示·的二范数，常数θ在本发明中的取值为18.4；但是，对于不同的问题和需求，常数θ是可调的。

通过获得的稀疏系数和构造输入的图像块列向量和的稀疏特征f_1,j和f_2,j，如式(3)和(4)所示，

构建输入图像I₁和I₂的聚焦特征图，基于获得的图像块的稀疏特征f_1,j和f₂,_j，通过对所有的稀疏特征块f_1,j和f_2,j进行拼接，得到输入图像I₁和I₂的聚焦特征图W_1,1和W_2,1，

由于通过所述获得的聚焦特征图中的聚焦区域和散焦区域的差异不是非常明显，为了增大此差异，本发明再次利用旋转引导滤波对获得的聚焦特征图W_1,1和W_2,1进行平滑，获得聚焦区域和散焦区域的差异明显的聚焦特征图W_1,2和W_2,2，具体计算如式(5)和(6)所示：

W_1,2＝F_RG(W_1,1,σ_s,σ_r,t) (5)

W_2,2＝F_RG(W_2,1,σ_s,σ_r,t) (6)。

所述散焦图像字典D具体通过如下方法获得：对若干幅经典的多聚焦图像分别进行旋转引导滤波获得若干幅滤波图像，根据所述若干幅滤波图像训练获得散焦图像字典D。

对多幅经典的多聚焦图像I₁，I₂，......，I_n进行旋转引导滤波，获得滤波图像其中n表示第n幅图像(本发明中所取的是4)。

设像素位置p和q,其对应的旋转引导滤波可表示为：

其中，

这里，J^t+1(p)表示第t次迭代的滤波结果，t表示滤波次数，N(p)表示像素p的邻域像素级，参数σ_s和σ_r分别控制空间和幅度权重；此外，N(p)的大小是由输入图像的尺寸和σ_s决定的。在本发明中，用F_RG(I,σ_s,σ_r,t)表示旋转引导滤波算子。

根据所述获取的滤波图像训练散焦图像字典D，具体步骤如下：

(1)从滤波图像中随机选取多个图像块，每个图像块分别被表示为P₁,P₂,...P_j(本发明所设计的图像块的大小为8×8)，分别将P₁,P₂,...P_j转化成对应图像块的列向量

(2)基于列向量通过K-SVD算法求解式，得到每个图像块列向量的稀疏系数α_j和散焦图像字典D，

其中，表示·的二范数平方，||·||₀表示·的零范数，参数k＝5，k表示求解的稀疏系数α_j中的非零项不多于k个。

步骤102：对所述获得的每幅输入图像对应的聚焦特征图进行处理获得融合权重图；

具体地，根据获得的聚焦特征图W_1,2和W_2,2，获取本发明中的初始融合权重图，如式(12)所示。

由于初始融合图W与目标边缘存在不一致性，而且将一些散焦的小区域及一些“孔洞”出现在聚焦区域，为此本发明采用简单的形态学闭运算算子可以有效地解决此问题，获得理想的融合图W*，计算如下式所示：

W^*＝imclose(W,b) (13)

其中，imclose(·)表示·的形态学闭运算，b表示结构元素，本发明中b采用的半径为19个像素大小的圆形结构。

步骤103：根据所述获得的融合权重图获得融合图像。

具体地，根据如下公式I_F(x,y)＝W^*(x,y)I₁(x,y)+(1-W^*(x,y))I₂(x,y) (14)计算获得本发明的融合图像I_F。

本发明实施例还提供一种基于字典学习与旋转引导滤波的图像融合装置，该装置包括图像处理单元、融合权重单元、融合单元；

所述图像处理单元，用于对至少两幅输入配准的图像进行处理分别获得每幅输入配准的图像对应的聚焦特征图，发送到对融合权重单元；

所述融合权重单元，用于对所述获得的每幅输入配准的图像对应的聚焦特征图进行处理获得融合权重图，发送到融合单元；

所述融合单元，用于根据所述获得的融合权重图获得融合图像。

所述图像处理单元，具体用于分别对至少两幅输入配准的图像进行分块获得每幅输入配准的图像对应的图像块，将所述每幅输入配准的图像对应的图像块分别转化成图像块列向量，根据散焦图像字典D和OMP算法求解式对每个图像块列向量进行处理获得对应的稀疏系数，根据稀疏系数构造每个图像块列向量对应的稀疏特征，最后对每幅输入配准的图像的图像块的稀疏特征进行拼接获得每幅输入配准的图像的聚焦特征图。

所述图像处理单元，还具体用于对若干幅经典的多聚焦图像分别进行旋转引导滤波获得若干幅滤波图像，根据所述若干幅滤波图像训练获得散焦图像字典D。

所述图像处理单元，还用于根据旋转引导滤波对所述获得的每幅输入配准的图像对应的聚焦特征图进行平滑处理获得聚焦区域和散焦区域的差异明显的聚焦特征图，发送到融合权重单元；

所述融合权重单元，用于根据聚焦特征图的差异获得初始融合权重图，再用于根据形态学闭运算算子对获得的至少两幅配准的图像的初始融合权重图进行膨胀和腐蚀获得融合权重图，发送到融合；

所述融合单，用于根据所述获得的融合权重图获得融合图像。

本发明的效果可以通过仿真实验具体说明：

1.实验条件

实验所用的CPU为Intel Core(TM)i5-3320M 2.6GHz内存3GB,编程平台是MATLAB R2014a。实验采用的是两组未完全配准的多聚焦图，图像来源于网站http://home.ustc.edu.cn/～liuyu1/。两组多聚焦图像的大小分别为320×240和256×256，如图2所示。

2.实验内容与结果

实验一，利用本发明对图2(a1)和(a2)进行仿真，得到如图3(a)—(f)所示的融合图像。其中图3(a)是NSCT法的融合结果图，图3(b)是ASR法的融合结果图，3(c)是NSCT-SR法的融合结果图，3(d)是GF法的融合结果图，3(e)是DSIFT法的融合结果图，3(f)是本发明的融合结果图，从图3(a)—(f)的融合结果图可见，本发明的融合图更加清晰、细节信息更丰富，而且为了证明本发明对未完全配准的多聚焦图像融合，未引入人工噪声和空间不连续问题，图4给出了融合结果与其中输入图像图2(a2)的差异图的效果图。图4(a)是NSCT法的融合差异图，图4(b)是ASR法的融合差异图，4(c)是NSCT-SR法的融合差异图，4(d)是GF法的融合差异图，4(e)是DSIFT法的融合差异图，4(f)是本发明的融合差异图，从图4(a)—(f)的融合差异图可见，本发明的融合对未配准的多聚焦图像融合未引入人工噪声和产生空间不连续性问题。

实验二，利用本发明对图2(b1)和(b2)进行仿真，得到如图5(a)—(f)所示的融合图像。其中图5(a)是NSCT法的融合结果图，图5(b)是ASR法的融合结果图，5(c)是NSCT-SR法的融合结果图，5(d)是GF法的融合结果图，3(e)是DSIFT法的融合结果图，5(f)是本发明的融合结果图，从图5(a)—(f)的融合结果图可见，本发明的融合图更加清晰、细节信息更丰富，而且为了证明本发明对未完全配准的多聚焦图像融合，未引入人工噪声和空间不连续问题，图6给出了融合结果与其中输入图像图2(b2)的差异图的效果图。图6(a)是NSCT法的融合差异图，图6(b)是ASR法的融合差异图，6(c)是NSCT-SR法的融合差异图，6(d)是GF法的融合差异图，6(e)是DSIFT法的融合差异图，6(f)是本发明的融合差异图，从图6(a)—(f)的融合差异图可见，本发明的融合对未配准的多聚焦图像融合未引入人工噪声和产生空间不连续性问题。

此外，为了更好地说明本发明的优越性和先进性，本发明将里采用常用的4个典型的图像融合客观评价指标来评价利用本发明技术获得融合结果与别的方法获得的融合结果的客观质量。4种评价指标分别为：Q_G用来测量输入图像中的边缘信息在融合图像中的保留情况，Q_MI测量输入图像的信息在融合图像中的保留情况，Q_Y测量输入图像的结构信息在融合图像中的保留情况，Q_CB测量融合图像的视觉效果；而且，这些评价指标值越高说明融合图像质量越好。两组实验图像的客观评价指标如表1和表2所示。

表1

表2

由表1和表2可以看出，本发明融合结果得到的4项客观评价指标均优于其它方法，因此本发明能够有效提高图像的清晰度和细节信息。

综上，本发明提出的基于字典学习与旋转引导滤波的多聚焦图像融合方法对未配准的多聚焦图像问题能够有效提高图像的清晰度和细节信息并取得较好的视觉效果。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。