一种基于导向滤波显著区域提取的多尺度图像融合方法与流程

本发明涉及计算机图像处理技术，尤其涉及一种基于导向滤波显著性区域提取的多尺度红外可见光图像融合方法。

背景技术：

随着传感器技术的发展，不同波段的图像传感器被广泛应用，随之发展的图像融合技术也成为人们研究的热点。多波段图像融合能够将同一场景下不同图像传感器采集的图像进行信息融合，获得信息更为丰富的融合图像，在军事和民用等成像探测领域有着重要的应用。

红外可见光图像融合技术能够将红外图像中的热辐射目标区域信息和可见光图像中的场景细节信息相结合，在融合结果中同时保留两者图像中的特征信息。国内外研究学者提出了很多图像融合算法，主要包括利用多尺度图像分解工具、利用金字塔分解、利用主成分分析以及形态学高帽变换等算法，融合结合具有良好的纹理及对比度特征，提取了可见光和红外图像中重要特征。从融合算法的研究动态来看，如何有效的提取多源图像中的显著性特征信息，实现图像细节信息的精细融合，是红外可见光图像融合算法亟待解决的问题。

技术实现要素：

本发明提出一种基于导向滤波显著区域提取的多尺度图像融合方法，利用非下采样轮廓波变换(nsct)对输入的红外图像和可见光图像进行多尺度分解，在不同细节尺度图层中，结合基于导向滤波的显著性区域提取方法，开展有效的图像融合，保证了各个图层的多尺度分解图像中视觉显著区域信息的保留，最终通过加权重建得到具有很好视觉增强效果的融合结果。

本发明利用nsct多尺度图像分解和导向滤波显著性区域提取方法，提出了一种基于导向滤波显著性区域提取的多尺度红外可见光图像融合方法，其主要思路是：

1.利用nsct多尺度分解工具，实现了有效的多尺度分解，保证了融合信息由粗糙到精细的分层处理，有助于提升融合结果的信息丰富程度。同时，利用加权累加重建，将不同尺度细节图层融合融合结果重建得到最终的融合图像，通过合理的权重值设置能够得到较好的视觉信息增强效果。

2.采用了基于导向滤波的显著性区域提取算法，能够有效提取对应图层的显著区域信息。利用设计的算法得到二值化的显著性区域权重图，作为导向滤波操作的输入图像，该图表征了原始图像中局部标准差较大的边缘和细节丰富区域，使得滤波结果能够反映人眼视觉显著特性。将原始图作为导向滤波操作的导向图，能够得到原始图像中[0,1]连续分布的边缘显著信息，并结合导向模糊参数设置，可以得到由粗糙到精细的不同尺度的显著性图结果，使得各个图层的多尺度分解图像的显著区域信息得到更好的保留。

一种基于导向滤波显著区域提取的多尺度图像融合方法，包括如下步骤：

(1)利用非下采样轮廓波变换开展多尺度图像分解。

输入同一成像场景的可见光图像f和红外图像g，分别对其实施多尺度图像分解，利用非下采样轮廓波分解(nsct，non-subsampledcontourlettransform)得到不同细节尺度的分解图层，其过程表示如下：

fi＝multi_nsct(f,i)(1)

gi＝multi_nsct(g,i)(2)

其中，i＝1,2...n，n表示nsct的分解层数。multi_nsct表示利用nsct的图像多尺度分解框架。fi和gi分别表示对应尺度的可见光和红外细节图层。

nsct具有良好的多尺度和时频局部特性，同时也具备各项异性的多方向特性。利用nsct开展图像多尺度分解，分解后的各图层图像能够较好地保留不同尺度的图像边缘信息，有助于最终效果的提升。同时，该分解方法没有任何下采样操作，每个分解图层都能够保持图像原有的分辨率大小，重建过程没有上采样带来的信息损失。

(2)局部标准差分布图计算。

对于步骤(1)得到的各图层分解图像，采用局部窗口遍历方法，计算得到局部标准差分布图，过程表示如下：

其中，w为大小为t×t的局部窗口，localstd为局部窗口图像标准差计算操作，和分别为可见光和红外对应图层的局部标准差分布图。局部方差较大的图像区域在分布图中具有较大的像素值。

(3)二值化显著性权重图获取。

对于步骤(2)得到的局部标准差分布图，通过同一图层的红外和可见光标准差分布图比较，并结合图像闭操作，得到二值化的显著性权重图，过程表示如下：

其中，和分别为可见光和红外图对应图层在像素k处的像素值。二值化的选取准则保证了显著性权重图能够很好的体现各自波段的显著性信息。随后，应用图像形态学中的闭操作，得到最终的二值化的显著性权重图：

其中，imclose()为图像形态学处理中的闭操作，和分别为得到的对应图层的二值化显著性权重图。通过图像闭操作，能够有效消除显著性权区域中的细小未联通区域，得到更加光滑的显著性区域轮廓。

(4)基于导向滤波的显著性区域图提取。

对于步骤(3)得到的二值化显著性权重图，利用导向滤波得到显著性区域提取的结果，其过程表示为：

其中，gf()表示导向滤波操作，和为导向滤波处理过程中的输入图像，f和g为导向滤波处理过程中的导向图，ri和μi分别为对应图层的导向滤波器尺寸和模糊程度，和分别为可见光和红外对应图层的显著性区域提取结果。

在显著性区域提取过程中，将二值化的显著性权重图作为输入图像，该图表示了原始图像中局部方差较大的边缘和细节丰富区域，这些区域正是人眼视觉最感兴趣、最关注的区域，结合导向滤波的过程，保证了滤波结果能够反映人眼视觉显著特性。将原始图像作为导向图，通过导向滤波操作，相比二值化的显著区域权重图，能够进一步得到原始图像中[0,1]连续分布的边缘显著信息，同时，利用不同的导向滤波模糊参数设置，可以得到由粗糙到精细的不同尺度的显著性图结果，使得各个图层的多尺度分解图像的显著区域信息得到更好的保留。

(5)结合显著性区域提取的图像融合

利用步骤(4)得到的显著性区域图提取结果，在各尺度图层上开展图像融合处理，使得融合结果能够更好地保留不同图像中的显著区域细节信息，具体表示如下：

其中，mi表示各图层的融合结果。

(6)融合图像加权重建

对于步骤(5)得到的各图层融合结果，利用加权累加重建得到最终的融合结果，融合图像加权重建过程表示如下：

其中，λi为各图层融合结果重建权重值，mfusion为最终的可见光红外融合结果，通过设置合理的权重值来得到信息增强的融合图像结果。

本发明的有益效果是：本发明针对可见光和红外图像融合技术，利用利用非下采样轮廓波变换nsct对图像进行多尺度分解，在不同细节尺度图层中，结合基于导向滤波的显著性区域提取方法，开展有效的图像融合，保证了各个图层的多尺度分解图像中视觉显著区域信息的保留，最终通过加权重建得到具有很好视觉增强效果的融合结果。在本发明中，只要输入同一场景的可见光图像和红外图像，即可实施有效的多尺度图像融合，得到高质量的融合结果。本发明可应用于遥感探测、军事侦察、安全监控、工业生产等领域。

附图说明

图1为算法流程图；

图2(a)为输入的红外图像；

图2(b)为可见光图像；

图3(a)为红外图像局部标准差分布图；

图3(b)为可见光图像局部标准差分布图；

图4(a)为红外图像二值化显著性权重图；

图4(b)为可见光图像二值化显著性权重图；

图5(a)为红外图像显著性区域图；

图5(b)为可见光图像显著性区域图；

图6为红外可见光图像融合结果。

具体实施方式

下面结合附图，通过具体实施例，对本发明的技术方案进行清楚、完整的描述。

本发明方法的流程图如图1所示。

图2为一组同一场景的红外可见光图像的例子，其中图2(a)为输入的红外图像，图2(b)为输入的可见光图像。

图3-图5展示了基于导向滤波的显著性区域图获取的过程。图3(a)和(b)分别为红外图像和可见光图像的局部标准差分布图，凸显出了处理图像中局部标准差较大的场景区域；图4(a)和(b)分别为红外图像和可见光图像的二值化显著性权重图，反映了各自图像的人眼显著性信息；图5(a)和(b)分别为红外图像和可见光图像的显著性区域图，显著性图反映了人眼视觉最感兴趣当前区域，将其引入图像融合框架，有助于得到具有更好主观视觉效果的融合结果。

本实施例中，设置n＝4，即利用nsct多尺度分解工具对输入图像进行4个尺度的多尺度分解，得到由粗糙到精细的4个细节图层。

随后对于每个分解尺度，借助对应的原始红外图和可见光图作为导向图，开展显著性区域图提取。其中，局部标准差分布图计算过程中，局部窗口w的大小设置为t＝11；导向滤波显著性区域图提取过程中，导向滤波器尺寸和模糊程度参数设置为ri＝{10,7,7,7},μi＝{0.1,0.001,0.00001,0.000001}

(i＝1,2,3,4)。分解图层越精细，对应的导向滤波模糊程度越小，以便更好地保留显著性区域的细节信息。

结合显著性图分布，对于每个尺度的红外图和可见光图像开展融合，能够较好地保持图像的边缘和细节，突出人眼视觉显著性区域。

最后，通过各尺度融合结果图的加权重建得到最终的红外可见光融合结果。融合结果重建权重值选取为λi＝{0.60,0.31,0.45,0.75}(i＝1,2,3,4)，最终的融合结果如图6所示，较好地保留了红外图和可见光图的显著性区域信息，具有优异的视觉效果。