一种结合高低频系数改进聚焦清晰度度量的多聚焦图像融合方法

1.本发明属于数字图像处理技术领域，具体涉及一种结合高低频系数改进聚焦清晰度度量的多聚焦图像融合方法


背景技术：

2.多聚焦图像融合是扩展成像系统景深、获取全焦图像的一种常用方法，也是当前图像融合领域一个重要分支。通过采用特定融合算法提取这些部分聚焦图像的清晰区域中的像素点，将其融合成为一幅该场景中所有物体都清晰的融合图像，生成的融合图像包含了源图像重要聚焦区域信息，并减少了冗余信息，在军事、医学图像处理、地质勘查、计算机视觉等领域有着广泛应用。
3.在传统图像融合方法中存在着如下问题，分块的多聚焦图像融合算法主要通过从源图像上选择清晰子块来构造融合图像，故非常依赖分块算法性能。但算法很难恰好在清晰区域和模糊区域之间划出一条分割线，且空间域融合算法在融合过程中会丢失部分源图像自身的高频信息，导致图像边缘细节缺失，发生出现边缘模糊甚至产生伪影的情况。


技术实现要素：

4.为了解决上述传统图像融合方法中存在的问题，本发明采用高低频系数融合图像重构算法框架，其中改进聚焦清晰度度量方法利用邻域像素之间的关联性，结合空间几何距离，降低噪声引入，扩大了度量范围，解决了清晰区域和模糊区域分割不准确的问题；提出的边缘增强方法解决了融合图像边缘信息丢失、纹理细节保留不充分的问题，从而提高了融合图像的综合质量。
5.本发明所采用的技术方案是：一种结合高低频系数改进聚焦清晰度度量的多聚焦图像融合方法，用于解决传统图像融合方法中图像纹理细节信息保留不充分，图像边缘模糊，以及图像清晰度质量低的问题，其特征在于，包括以下步骤：
6.步骤1，采用拉普拉斯金字塔变换将源图像i
a
和i
b
分解为低频系数图像i
la
和i
lb
，和高频系数图像i
ha
和i
hb
；
7.步骤2，在低频系数图像上，通过改进的聚焦清晰度度量方法swnl获取低频初始融合决策图d
p
；
8.步骤3，利用形态学滤波获得低频二级融合决策图，结合低频系数输入图像得到低频初级融合图；
9.步骤4，将低频初级融合图作为引导图像利用引导滤波方法结合低频二级融合决策图得到低频最终融合决策图，并根据输入图像得到低频系数融合图像f
l
；
10.步骤5，在高频系数图像上，采用均值滤波获取模糊图像，通过计算图像像素梯度差值的绝对值提取高频信息部分，生成1级聚焦图；
11.步骤6，将源图像作为引导图像，利用引导滤波器增强高频信息生成2级聚焦图；
12.步骤7，选取2级聚焦图中像素点高频信息最大的一方构成高频初始融合决策图，获得高频初始融合图像；
13.步骤8，将高频初始融合决策图经形态学滤波后得到高频二级融合决策图，采用引导滤波器与高频初始融合图像进行空间一致性验证，生成高频最终融合决策图；
14.步骤9，将高频最终融合决策图与输入源图像结合获得高频系数融合图像f
h
；
15.步骤10，将得到的低频系数融合图像和高频系数融合图像根据拉普拉斯逆变换后得到最终的融合图像f。
16.作为优选的，步骤2中，低频初始融合决策图d
p
的表达式为：
[0017][0018]
其中，改进清晰度度量方法的swnl
a
(x,y)和swnl
b
(x,y)表示低频系数图像i
la
和i
lb
中窗口中心像素点(x,y)的全方向上的加权改进拉普拉斯能量和，如公式(2)所示：
[0019][0020]
其中，i，j为横纵坐标梯度位置，n为计算梯度值窗口的大小，t为设定的阈值，wnml(x,y)为点(x,y)的加权的新拉普拉斯能量和，nml(x,y)为点(x,y)的新拉普拉斯能量和，具体定义如公式(3)所示：
[0021][0022]
其中，f(x,y)为源图像中每个点(x,y)处像素值。
[0023]
作为优选的，步骤3中，形态学滤波过程为；
[0024][0025]
其中，f1为低频开运算融合决策图，f2为经过开、闭合运算的低频二级融合决策图；“·”为开运算符号和闭运算符号，“θ”为腐蚀和膨胀操作符号，b为执行开闭和操作需要的结构元素。
[0026]
作为优选的，步骤4中，引导滤波器定义为；
[0027][0028]
其中，r为引导滤波滑窗半径，a
k
和b
k
是w
k
内的线性常数w
k
是大小为(2r+1)
×
(2r+1)的窗口，o
i
和g
i
分别表示位置点i处输出图像和引导图像的像素值；
[0029]
并在引导滤波器的基础下采用公式(6)的融合规则获取低频系数融合图像f
l
；
[0030]
f
l
(x,y)＝o
i
(x,y)*i
la
(x,y)+(1
‑
o
i
(x,y))*i
lb
(x,y)
ꢀꢀꢀ
(6)
[0031]
其中，f
l
(x,y)为低频系数融合图像，o
i
(x,y)为对图像中每个点(x,y)引导滤波后得到的二值化的低频最终融合决策图，i
la
(x,y)和i
lb
(x,y)为低频系数图像。
[0032]
作为优选的，步骤5中，均值滤波过程如公式(7)所示；
[0033][0034]
其中，i
ha
(x,y)和i
hb
(x,y)为高频系数图像，f
m
为窗口滤波卷积算子，m1(x,y)为i
ha
(x,y)均值滤波后得到的模糊图像，m2(x,y)为i
hb
(x,y)均值滤波后得到的模糊图像；在均值滤波的基础上，采用公式(8)，对i
ha
(x,y)和m1(x,y)计算图像像素梯度差值的绝对值提取高频信息部分，生成1级聚焦图fm1(x,y)，对i
hb
(x,y)和m2(x,y)计算图像像素梯度差值的绝对值提取高频信息部分，生成1级聚焦图fm2(x,y)；
[0035][0036]
作为优选的，步骤6中，利用引导滤波器增强高频信息生成2级聚焦图gmf1(x,y)和gmf2(x,y)，如公式(9)所示：
[0037][0038]
g为guide filter的缩写，即引导滤波。
[0039]
作为优选的，步骤7中，选取像素点高频信息最大的一方构成初始高频融合决策图dm1(x,y)，如公式(10)所示：
[0040][0041]
作为优选的，步骤8中，继续采用步骤3中的形态学滤波获得高频二级融合决策图dm2(x,y)，并采用步骤4中的引导滤波与融合图像f1(x,y)进行空间一致性验证，生成高频最终决策图dm3(x,y)，如公式(11)所示：
[0042][0043]
g为guide filter的缩写，即引导滤波。
[0044]
作为优选的，步骤9中，将高频最终融合决策图与输入源图像结合获得高频系数融合图像f
h
(x,y)，如公式(12)所示：
[0045]
f
h
(x,y)＝dm3(x，y)i
ha
(x，y)+(1
‑
dm3(x，y))i
hb
(x，y)
ꢀꢀꢀ
(12)。
[0046]
作为优选的，步骤10中，将得到的低频系数融合图像和高频系数融合图像根据拉普拉斯逆变换后得到最终的融合图像f。
[0047]
本技术实施例中的上述一个或多个技术方案，至少具有如下一种或多种技术效果：
[0048]
本发明提出了一种结合高低频系数改进聚焦清晰度度量的多聚焦图像融合方法，通过将源图像经过拉普拉斯金字塔变换后分解为高频系数和低频系数，提出一种改进的聚焦清晰度度量方法，以获取初始融合决策图d
p
；并利用引导滤波细化决策图，得到低频系数
融合图像；针对高频系数采用一种边缘增强方法保留并增强源图像的高频信息，利用引导滤波对高频系数下的融合决策图进行滤波操作，得到高频融合图像；提出一种高低频系数融合图像重构算法框架，通过拉普拉斯金字塔逆变换得到最终的融合图像。本发明所提出的图像融合方法，在保留图像主体结构的同时，能增强图像边缘信息，有效保持图像纹理细节，提高了融合图像的清晰度和融合质量。
附图说明
[0049]
图1为改进聚焦清晰度度量的高低频系数多聚焦图像融合算法框架；
[0050]
图2为拉普拉斯金字塔图像融合基本流程；
[0051]
图3为低频系数图像融合决策图；
[0052]
图4为高频聚焦图；
[0053]
图5为高频系数图像融合决策图；
[0054]
图6为融合图像流程。
具体实施方式
[0055]
为了更清楚地说明本发明实施例或现有技术中的技术方案，便于本领域普通技术人员理解，将结合上述附图对本发明作进一步介绍，附图中包含本发明的整体算法框架，以及一些实施例。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以将本发明运用于其他实施例中。
[0056]
请见图1，本发明提出的一种结合高低频系数改进聚焦清晰度度量的多聚焦图像融合方法，包括以下步骤：
[0057]
步骤1，采用拉普拉斯金字塔变换将源图像i
a
和i
b
分解为低频系数图像i
la
和i
lb
，和高频系数图像i
ha
和i
hb
；
[0058]
步骤2，在低频系数图像上，通过改进的聚焦清晰度度量方法swnl获取低频初始融合决策图d
p
；
[0059]
步骤3，利用形态学滤波获得低频二级融合决策图，结合低频系数输入图像得到低频初级融合图；
[0060]
步骤4，将低频初级融合图作为引导图像利用引导滤波方法结合低频二级融合决策图得到低频最终融合决策图，并根据输入图像得到低频系数融合图像f
l
；
[0061]
步骤5，在高频系数图像上，采用均值滤波获取模糊图像，通过计算图像像素梯度差值的绝对值提取高频信息部分，生成1级聚焦图；
[0062]
步骤6，将源图像作为引导图像，利用引导滤波器增强高频信息生成2级聚焦图；
[0063]
步骤7，选取2级聚焦图中像素点高频信息最大的一方构成高频初始融合决策图，获得高频初始融合图像；
[0064]
步骤8，将高频初始融合决策图经形态学滤波后得到高频二级融合决策图，采用引导滤波器与高频初始融合图像进行空间一致性验证，生成高频最终融合决策图；
[0065]
步骤9，将高频最终融合决策图与输入源图像结合获得高频系数融合图像f
h
；
[0066]
步骤10，将得到的低频系数融合图像和高频系数融合图像根据拉普拉斯逆变换后
得到最终的融合图像f。
[0067]
如图2所示，拉普拉斯金字塔分解的目的是将源图像分别分解到不同的空间频带上，在各空间频率层上分别进行图像融合，针对不同分解层的不同频带上的特征与细节，将来自不同图像的特征与细节融合在一起，多聚焦图像融合的最优分解层为2层。故本发明中对源图像进行lp分解的层数设置为2层，即源图像高频系数部分和低频系数部分。包含以下步骤：
[0068]
步骤1，采用拉普拉斯金字塔变换将源图像i
a
和i
b
分解为低频系数图像i
la
和i
lb
和高频系数图像i
ha
和i
hb
。
[0069]
如图3所示，采用改进的聚焦清晰度度度量方法swnl来挑选子块，得到初始融合决策图d
p
，由于对子块的分割效果还有度量方法的选取并非完美理想，得到的初级融合决策图存在一定的空洞和孤立点，采用形态学滤波方法处理后得到二级融合决策图；利用初始融合图像作为引导图像，利用引导滤波方法进一步对二级融合决策图进行优化，将初级融合图作为引导图像利用引导滤波方法结合二级决策图得到最终融合决策图，并在引导滤波器的基础下采用公式(6)的融合规则获取低频系数融合图像f
l
。包含以下步骤：
[0070]
步骤2中，低频初始融合决策图d
p
的表达式为：
[0071][0072]
其中，swnl
a
(x,y)和swnl
b
(x,y)表示低频系数图像i
la
和i
lb
中窗口中心像素点(x,y)的全方向上的加权改进拉普拉斯能量和，如公式(2)所示：
[0073][0074]
其中,i，j为横纵坐标梯度位置，n为计算梯度值窗口的大小，t为设定的阈值，wnml(x,y)为点(x,y)的加权的新拉普拉斯能量和，nml(x,y)为点(x,y)的新拉普拉斯能量和，具体定义如公式(3)所示：
[0075][0076]
其中，f(x,y)为源图像点(x,y)处像素值。
[0077]
步骤3中，形态学滤波过程为：
[0078][0079]
其中，f1和f2分别为经过开运算后的融合决策图和经过开、闭合运算的低频二级融合决策图；“·”为开运算符号和闭运算符号，“θ”为腐蚀和膨胀操作符号，b为执
行开闭和操作需要的结构元素，一般选择半径为3。
[0080]
步骤4中，引导滤波器定义为：
[0081][0082]
其中，r为引导滤波滑窗半径，a
k
和b
k
是w
k
内的线性常数w
k
是大小为(2r+1)
×
(2r+1)的窗口，o
i
和g
i
分别表示位置点i处输出图像和引导图像的像素值。
[0083]
并在引导滤波器的基础下采用公式(6)的融合规则获取低频系数融合图像f
l
；
[0084]
f
l
(x,y)＝o
i
(x,y)*i
la
(x,y)+(1
‑
o
i
(x,y))*i
lb
(x,y)
ꢀꢀꢀ
(6)
[0085]
其中，f
l
(x,y)为低频系数融合图像，o
i
(x,y)为对图像中每个点(x,y)引导滤波后得到的二值化的低频最终融合决策图。i
la
(x,y)和i
lb
(x,y)为低频系数图像。
[0086]
如图4所示，高频系数图像经过均值滤波后得到的模糊图像，对一个目标图像窗口中心点的像素值由窗口邻域的均值来代替，能有效消除高斯噪声，但会使得图像变得模糊降低图像细节，通过公式(8)计算输入源图像与经过均值滤波后图像像素梯度差值的绝对值，提取图像的高频信息部分，生成1级聚焦图。将均值滤波器滑动窗口半径设置为6，引导滤波器滑动窗口半径设置为r＝8
‑
level，当前分解层为1，故取r为7，ε为3。采用引导滤波方法将引导图像中的高频信息传输到输出图像中，以源图像作为引导图像，利用引导滤波器对一级聚焦焦图的高频信息进行增强，从而生成2级聚焦图。包含以下步骤：
[0087]
步骤5中，均值滤波过程如公式(7)所示：
[0088][0089]
其中，i
ha
(x,y)和i
hb
(x,y)为高频系数图像，f
m
为窗口滤波卷积算子，m1(x,y)为i
ha
(x,y)均值滤波后得到的模糊图像，m2(x,y)为i
hb
(x,y)均值滤波后得到的模糊图像。在均值滤波的基础上，采用公式(8)，对i
ha
(x,y)和m1(x,y)计算图像像素梯度差值的绝对值提取高频信息部分，生成1级聚焦图fm1(x,y)；对i
hb
(x,y)和m2(x,y)计算图像像素梯度差值的绝对值提取高频信息部分，生成1级聚焦图fm2(x,y)；
[0090][0091]
步骤6中，利用引导滤波器增强高频信息生成2级聚焦图gmf1(x,y)和gmf2(x,y)，如公式(9)所示：
[0092][0093]
其中g为guide filter的缩写，即采用公式(5)进行引导滤波过程。
[0094]
如图5所示，对得到增强的高频信息聚焦图，选取像素点高频信息最大的一方构成初始融合决策图，从而获得初始融合图像。由于初始融合图像同样存在噪声和孤立点。这主要是由于同质区域在聚焦和离焦状态下都是相似的，在这些区域中没有高频信息，因此无法区分它们，其他原因是由于图像噪声或图像压缩造成的伪影，这些添加了虚假和无关的信息，从而导致错误检测。故采取步骤3中的形态学滤波处理后得到二级融合决策图。然而，处理后的二级决策图不能保留源图像的焦点和离焦区域的边界，这可能会导致融合后的图
像出现伪影。为了得到理想的融合图像，再次使用引导滤波器与作为引导图像的初始融合图像f1进行空间一致性验证，生成理想的最终决策图。采用公式(12)将最终融合决策图与输入源图像结合获得高频系数融合图像。包含以下步骤：
[0095]
步骤7中，对得到的2级聚焦图，选取像素点高频信息最大的一方构成高频初始融合决策图dm1(x,y)，如公式(10)所示：
[0096][0097]
步骤8中，继续采用步骤3中的形态学滤波获得高频二级融合决策图dm2(x,y)，并采用步骤4中的引导滤波与融合图像f1(x,y)进行空间一致性验证，生成高频最终决策图dm3(x,y)，如公式(11)所示：
[0098][0099]
步骤9中，将高频最终融合决策图与输入源图像结合获得高频系数融合图像f
h
(x,y)，如公式(12)所示：
[0100]
f
h
(x,y)＝dm3(x,y)i
ha
(x,y)+(1
‑
dm3(x,y))i
hb
(x,y)
ꢀꢀꢀ
(12)
[0101]
如图6所示，代表着具体实施例，为最终的高低频图像融合过程。包含以下步骤：
[0102]
步骤10中，将得到的低频系数融合图像和高频系数融合图像根据拉普拉斯逆变换后得到最终的融合图像f。
[0103]
本发明在变换域上结合图像高低频纹理细节，大大减少了图像细节信息的丢失，增强了图像边缘纹理性能。具体表现如下：
[0104]
1)本发明提出了一种高低频系数融合图像重构算法框架，在保留图像主体结构的同时，能增强图像纹理细节信息，提高了融合图像的清晰度和融合质量。
[0105]
2)本发明提出了一种改进的聚焦清晰度度量方法，利用邻域像素之间的关联性，结合空间几何距离，降低噪声引入，扩大了度量范围，结合均匀分块和非均匀分块的方式逼近图像清晰像素边界，对于多场景下图像融合的质量有较好的提升。
[0106]
3)本发明提出了一种边缘增强方法，利用图像像素梯度插值，结合均值滤波和引导滤波，有效保持图像纹理细节，增强了图像边缘信息。
[0107]
本发明中所描述的具体实施例是对本发明思想作举例说明。本发明所属技术领域的技术人员在本发明的启示下，可以对所描述的具体实施例做各种的修改或补充或采用类似的方式替代，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。