基于高斯滤波加权的红外和可见光图像融合方法与流程

本发明涉及一种红外和可见光图像融合方法，可以应用于各种军用或民用的图像处理系统。

背景技术：

由于成像机理和技术限制，单一成像传感器在应用环境、使用范围以及特定目标获取的图像并不能反映被观测对象的所有特征，因此需要对不同传感器图像，去除冗余信息，提取各自有用信息融合成一幅具备更完整信息，获取同一场景中目标更精确的全方位空间信息，方便人类观察和处理图像。

可见光图像包含了所拍摄场景丰富的细节信息和频谱信息，但是体现不出有烟雾或者隐藏在低光照条件下的物体，尤其是刻意伪装的人或物。红外成像传感器穿透烟尘能力强，可以在昼夜工作，能捕获到有热辐射的物体，但红外成像仪只对温度分布较敏感，无法获取拍摄场景丰富纹理信息和频谱信息。基于两种传感器的互补特性，将可见光图像与红外图像融合，得到一幅对场景描述更全面的图像，其中既包含可见光图像中信息又包含红外图像中的信息。因此，红外与可见光的图像融合是多源图像融合领域重要组成部分，在计算机视觉、机器人领域和战场目标侦察和识别得到了很大的应用。美国最新版夜视镜能够对红外图像和可见光图像进行融合处理，搜寻人员能够在光照强度不好的情况下很好完成各种侦查任务；英国利用多源图像融合技术将红外图像与彩色可见光图像应用于直升机上的图像融合系统，重构后的图像取得了良好的视觉效果。因此红外和可见光图像融合技术的研究有着深远的意义。

近年来，针对红外和可见光图像融合技术，已有大量的图像融合算法被相继提出，取得很好的效果。为了解决未考虑融合过程中的空间一致性产生亮斑的问题，文献《pixelandregionbasedimagefusionwithcomplexwavelets》，informationfusion,2007,8(2):119～130.该文献采用双数复小波变换(dtcwt算法)方法；文献《remotesensingimagefusionusingthecurvelettransform》，informationfusion,2007,8(2):143～156.该文献采用曲率波变换(cvt算法)进行图像融合；文献《infraredandvisibleimagefusionbasedonthecompensationmechanisminnsctdomain.》chinesejournalofscientificinstrument,2016,37(4):860-870.该文献采用非下采样轮廓波变换(nsct算法)。

技术实现要素：

要解决的技术问题

为了避免现有技术的不足之处，本发明提出一种一种针对红外与可见光图像的高斯滤波器加权的图像融合方法。

技术方案

一种基于高斯滤波加权的红外和可见光图像融合方法，其特征在于步骤如下：

步骤1：高斯平滑滤波器对源图像进行分解

利用高斯平滑滤波器将源图像分解得到低频分量，高频分量通过源图像减去低频分量获得，如下式：

式中：in为源图像，为源图像的低频分量，为源图像的高频分量，gr,σ表示方差为σ，大小为(2r+1)×(2r+1)高斯平滑滤波器；

步骤2：决策值的度量，多视觉特征加权映射图构造

由于图像对比度、清晰度、结构信息是可见光和红外图像融合图像视觉质量的三个重要特征，分别构造对比度、清晰度和结构显著性加权映射图：

(a).对比度加权映射图

利用局部对比度和高斯平滑滤波器构建对比度加权映射图，以此表征相应图像的局部特征，对比度显著图定义如下式：

式中：*为卷积符号，ω(j,k)为3×3窗口的权值，i和j表示某一个像素点在局部窗口中的位置坐标，为以(x,y)为中心的3×3窗口的均值，gr,σ为(2r+1)×(2r+1)窗口的高斯平滑滤波器，那么，对比度加权映射图定义如下：

式中：n为输入图像的像素数，为像素数为k时的对比度显著值，n为输入图像的个数；

(b).清晰度加权映射图

清晰度显著图反映图像的边缘突变和清晰度信息，清晰度显著图定义如下：

式中：ω(i,j)为3×3窗口的权值，ml为改进的拉普拉斯分量，那么，清晰度加权映射图定义如下：

式中：n为输入图像的像素数，为像素数为k时的清晰度显著值，n为输入图像的个数；

(c).结构显著性加权映射图

根据高斯滤波器可有效表征图像的局部结构信息特性，设计的高斯滤波器加权的局部梯度协方差矩阵如下：

式中：ix(x)和iy(x)表示x＝(x,y)沿x和y方向的梯度，*为卷积符号，gσ为方差为σ的高斯滤波器，为了获得局部图像结构的表示信息，对矩阵c进行分解求得其特征值分别为和并构造图像结构显著图定义如下:

为表征融合图像的边缘和纹理特征，这里α＝0.5；

图像结构显著性加权映射图定义如下：

式中：n为输入图像的像素数，表示像素数为k时对比度显著值，n为输入图像的个数；

(d).基于快速引导滤波器加权映射图构造

引入快速引导滤波器应用于每个视觉特征加权映射图d1,n，d2,n，和d3,n中，源图像in作为引导图像生成最终的加权图构造如下：

式中：r1，ε1，r2，ε2分别为快速加权引导滤波器的参数；和分别为低频分量和高频分量的加权图，m＝(1,2,3)；

(e).总的加权映射图

采用加权映射图和以表征与源图像in相对应总的加权图：

式中：wn^b和wn^d分别为低频分量和高频分量总的加权图，λ为0～1之间的一个参数；

步骤3：两尺度图像重构

将红外和可见光图像的低频分量和高频分量分别通过加权求和方式进行融合得到各自的融合分量，如下式：

融合后的低频分量和高频分量进行重构得到融合后的图像，则

有益效果

本发明提出的一种基于高斯滤波加权的红外和可见光图像融合方法，对源图像采用高斯平滑滤波器进行分解；为便于对视觉特征的显著性进行度量，采用高斯滤波器加权构造结构显著性视觉特征和融合的决策图模型；根据融合图像邻域像素之间的相关性，采用基于快速引导滤波器抑制噪声和决策图边界不一致而产生的光晕伪影现象。实验证明，本发明方法与现有的图像融合方法相比具有更好的融合效果，可克服融合图像的纹理细节缺失、失真不足问题，融合图像的显著性得到很大的提高。

本发明利用了高斯滤波器对于图像细节特征保持特性，提取了源图像中的轮廓、纹理及细节信息，达到有效保持图像边缘特征；利用快速加权导向滤波器保边特征可使保边特性融合效率得到很大的提高。该方法融合后图像边缘纹理细节、失真等方面得到很大的提高，目标显著性得到很大的改善，在保证图像质量的基础上，提高了处理速度。

附图说明

图1本发明方法的基本流程图

图2可见光与红外图像数据：(1)第一组源图像、(2)第二组源图像、(3)第三组源图像、(4)第四组源图像

图3第一组可见光与红外图像同和结果：(1)可见光、(2)红外、(3)dtcwt、(4)cvt、(5)nsct、(6)本发明算法

图4第二组可见光与红外图像融合结果：(1)可见光、(2)红外、(3)dtcwt、(4)cvt、(5)nsct、(6)本发明算法

图5第三组可见光与红外图像融合结果：(1)可见光、(2)红外、(3)dtcwt、(4)cvt、(5)nsct、(6)本发明算法

图6第四组可见光与红外图像融合结果：(1)可见光、(2)红外、(3)dtcwt、(4)cvt、(5)nsct、(6)本发明算法

具体实施方式

现结合实施例、附图对本发明作进一步描述：

用于实施的硬件环境是：实验环境为cpuintelcorei55200u@2.20ghz，内存为4gb，采用matlabr2014a编程。本发明采用红外与可见光图像进行融合处理验证。本发明方法的基本流程如附图1所示，实验源图像数据如附图2所示，具体实施如下：

步骤一：高斯平滑滤波器对源图像进行分解

利用高斯平滑滤波器将源图像分解得到低频分量，高频分量通过源图像减去低频分量获得，如下式：

式中：in为源图像，为源图像的低频分量，为源图像的高频分量。gr,σ表示方差为σ，大小为(2r+1)×(2r+1)高斯平滑滤波器。

步骤二：决策值的度量，多视觉特征加权映射图构造

由于图像对比度、清晰度、结构信息是可见光和红外图像融合图像视觉质量的三个重要特征，本发明分别构造对比度、清晰度和结构显著性加权映射图。

(f).对比度加权映射图

本发明利用局部对比度和高斯平滑滤波器构建对比度加权映射图，以此表征相应图像的局部特征。局部对比度定义如下式：

式中：ω(j,k)为3×3窗口的权值，i和j表示某一个像素点在局部窗口中的位置坐标，为以(x,y)为中心的3×3窗口的均值，gr,σ为(2r+1)×(2r+1)窗口的高斯平滑滤波器。那么，对比度加权映射图定义如下：

式中：n为输入图像的像素数，为像素数为k时的对比度显著值，n输入图像的个数。

(g).清晰度加权映射图

清晰度显著图很好地反映了图像的边缘突变和清晰度信息，清晰度显著图定义如下：

式中：ω(m,n)为3×3窗口的权值，ml为改进的拉普拉斯分量。那么，清晰度加权映射图定义如下：

式中：n为输入图像的像素数，为像素数为k时的清晰度显著值，n为输入图像的个数。

(h).结构显著性加权映射图

由于红外和可见光图像局部结构与局部梯度协方差密切相关，本发明根据高斯滤波器可有效表征图像的局部结构信息特性，设计的高斯滤波器加权的局部梯度协方差矩阵如下：

式中：ix(x)和iy(x)表示x＝(x,y)沿x和y方向的梯度，*为卷积符号，gσ为方差为σ的高斯滤波器。为了获得局部图像结构的表示信息，对矩阵c进行分解求得其特征值分别为和并构造图像结构显著图定义如下:

为表征融合图像的边缘和纹理特征，这里α＝0.5。

图像结构显著性加权映射图定义如下：

式中：n为输入图像的像素数，表示像素数为k时对比度显著值，n为输入图像的个数。

(i).基于快速引导滤波器加权映射图构造

由于引导滤波器具有边缘保持的特性。引导滤波的关键点是假设滤波输出图像和引导图像在以像素为中心的窗口中存在局部线性关系，但是由于引导滤波器需要计算窗口中较多的像素值，导致算法较慢。因此，本发明引入快速引导滤波器应用于每个视觉特征加权映射图d1,n，d2,n，和d3,n中，源图像in作为引导图像生成最终的加权图构造如下：

式中：r1，ε1，r2和ε2分别为快速加权引导滤波器的参数；和分别为低频分量和高频分量的加权图，m＝(1,2,3)。

(j).总的加权映射图

为反映对比度、清晰度和结构显著性度量在图像视觉特征在融合重的作用，本发明采用加权映射图和以表征与源图像in相对应总的加权图：

式中：wn^b和wn^d分别为低频分量和高频分量总的加权图，λ为0～1之间的一个参数。

步骤三：两尺度图像重构

将红外和可见光图像的低频分量和高频分量分别通过加权和进行融合得到各自的融合分量，如下式：

融合后的低频分量和高频分量进行重构得到融合后的图像，则

下面结合附图3～图6对本发明的效果做进一步描述。

附图2是四组红外和可见光源图像，附图3～图6是可见光和红外融合实验结果图。

1.实验条件

实验环境为cpuintelcorei55200u@2.20ghz，内存为4gb，采用matlabr2014a编程。本发明采用四组红外与可见光图像集(256×256)。

2.实验内容

附图3～图6是四组红外和可见光图像融合后图像的对比图。

用本发明的方法和现有的三种融合方法对附图2(c)中四组红外与可见光源图像融合进行融合实验。附图5融合结果从左及右依次是文献(简称dtcwt算法)《pixelandregionbasedimagefusionwithcomplexwavelets》，informationfusion,2007,8(2):119～130.文献(简称cvt算法)《remotesensingimagefusionusingthecurvelettransform》，informationfusion,2007,8(2):143～156.文献(简称nsct算法)infraredandvisibleimagefusionbasedonthecompensationmechanisminnsctdomain.》chinesejournalofscientificinstrument,2016,37(4):860-870.和本发明的图像融合结果图。

通过实验观察，文献1～文献3的融合图像和本发明实验结果相比，融合后的图像对比度出现一定程度上降低，获得的融合图像背景信息粗糙，不能很好地反映出可见光图像中的部分纹理信息。

从图3～图6中的图像(2)可以看到可见光图像中的明亮的正方形面板，在红外图像图3～图6中图像(1)中可以辨别出植物叶子以及树林中隐藏的物体。一定程度上通过基于dtcwt、cvt、nsct算法所得的融合结果图像对比度降低，如图3～图6中图像(3)～(5)。从视觉效果上观察本发明融合图像的效果明显优于对比融合图像。

图6中的图像(1)和(2)可以看到可见光图像中的树木、房屋和公路，在红外图像中可以看到在可见光图像中未能发现的人，通过基于dtcwt、cvt、nsct算法所得的融合结果图像对比度出现一定程度上降低，并且不能很好地反映出可见光图像中的部分纹理信息，如图6(3)～(5)；本发明算法的融合图像从视觉效果上优于以上算法，得到的融合图像不仅能够很清晰的分辨出红外目标，而且还能较好的表示出可见光图像中的纹理细节信息。

为进一步说明本发明效果，采用图像互信息mi、信息结构相似度qy、标准差sd和边缘保持度q^ab/f等客观评价指标对融合图像的质量进行定量评价。对于四组可见光和红外图像，本发明的融合的方法与其他方案的定量性能比较见表1。综合主观视觉和客观评价指标，相比于其它四种融合方法，本发明融合方法可以更有效地保留源图像的细节等纹理信息，并凸显出源图像的显著性特征。

表1不同融合方法的客观评价