一种保持显著性信息的红外与可见光图像变分融合方法与流程

本发明属于多源图像融合技术领域，具体涉及一种保持显著性信息的红外与可见光图像变分融合方法。

背景技术：

当前，视觉目标检测系统大多利用可见光成像设备，其优势在于可获得纹理细节丰富，且与人眼感受一致的可见光图像，便于计算机视觉算法处理。然而，可见光成像设备易受成像场景中气候、光照等环境因素影响，尤其当目标被遮蔽时，检测任务几乎无法实现，此时有必要借助不同成像机理的成像源(如红外、合成孔径雷达等)提供场景的互补信息。在后期处理中，借助多源图像融合技术将可见光和其他模态的图像进行像素级融合，以获得对成像场景更准确的表达。

在诸多其他类型的成像设备中，红外传感器能够通过采集目标的热辐射准确获取目标的轮廓特征，在光线较暗或目标被遮蔽等情况下优势明显，因而获得越来越广泛的应用。然而，红外图像纹理模糊、信噪比低的缺点使得单独使用红外图像进行目标检测也存在一定困难。因此，红外与可见光图像融合方法获得大量研究。在图像融合的实际应用中，由于待检测目标的位置在源图像中难以提前预知，因此可以考虑将源图像的显著区域(代表视觉注意力的焦点)作为图像融合方法的先验信息，在融合过程中突显这些区域，可以有效增强目标特性。

时至今日，已经出现一些凸显源图像显著性的多源图像融合方法，在这些现有方法中，变分融合方法在增强源图像视觉显著信息方面表现尤为突出，其中：在早期的研究中，socolinsky和wolff(参考文献[1]：d.a.socolinsky,l.b.wolff.“multispectralimagevisualizationthroughfirst-orderfusion,”ieeetransactionsonimageprocessing,vol.11,no.8,pp.923-931,aug.2002)提出利用图像的一阶对比度信息来增强图像融合效果，这项工作被视为凸显视觉显著性的方法原型；gemmapiella(参考文献[2]：g.piella.“avariationalapproachforimagefusionvisualization,”inproc.europeansignalprocessingconference,lausanne,switzerland,2008,pp.1-5；参考文献[3]：g.piella.“imagefusionforenhancedvisualization-avariationalapproach,”internationaljournalofcomputervision,vol.83,no.1,pp.1-11,jan.2009)提出一种用于任意数量图像融合的变分框架，该框架可以保持显著信息并增强图像对比度，其基本思想是利用源图像的结构张量构建全重来获得融合结果的结构张量；wang(参考文献[4]：w.w.wang,p.l.shui,x.c.feng.“variationalmodelsforfusionanddenoisingofmultifocusimages,”ieeesignalprocessingletters,vol.15,pp.65-68,sep.2008)提出一种用于图像融合和去噪的变分模型，该变分模型利用局部平均梯度建立用于融合的加权函数族；ma(参考文献[5]：j.ma,c.chen,c.li,etal.“infraredandvisibleimagefusionviagradienttransferandtotalvariationminimization,”inf.fusion,vol.31,pp.100-109,feb.2016)提出一种基于梯度传递和全变差最小化的红外与可见光图像融合方法，在所建立的优化问题中，保真项保持红外图像的主要亮度分布，正则项保持可见光图像的梯度变量。

图像的显著图反映的是这幅图像的“感兴趣区域”或其中的重要内容。现有变分融合方法主要利用图像梯度或局部对比度来保持显著信息，较少利用源图像的显著图。尽管一些基于多分辨率分析的融合方法利用显著图来制定融合策略，但这些方法往往依赖于基于显著图的“区域分割”，使得融合结果时常出现“块效应”，导致“显著性”与“融合”之间是“割裂”的。因此，在红外与可见光图像融合领域，亟需将源图像的显著图与图像融合方法进行有效整合。

技术实现要素：

本发明提出了一种保持显著性信息的红外与可见光图像变分融合方法，该方法具体包括如下几个步骤：

步骤一、获得两幅待融合源图像的显著图；

步骤二、构造基于待融合源图像的显著图的权重函数，形成加权融合项；

步骤三、构造加权结构张量，通过加权结构张量的最大特征值和相应的特征向量获得目标梯度，形成“梯度融合项”；

步骤四、建立并求解保持显著性信息的图像融合变分优化问题。

本发明的优点在于：

本发明通过在公开数据集上的多组实验对比，证明本发明提出保持显著性信息的图像变分融合方法可以有效地增强源图像的显著性信息，在主客观评价方面均优于现有几种流行的图像融合方法。

附图说明

图1为本发明提供的保持显著性信息的红外与可见光图像变分融合方法整体步骤流程图；

图2为本发明用于红外与彩色可见光图像融合的详细工作流程；

图3为用于对比实验的七组实验数据(从左到右：“建筑”、“沙丘”、“住所”、“士兵”、“街道”、“白天”和“夜晚”)；

图4为本发明与其它七种图像融合方法生成的融合结果(从上到下：dwt方法、nsct方法、jsr方法、lp-sr方法、wls方法、vm方法、gtf方法和本发明方法)；

图5为实验结果的mi值对比(从左到右：dwt方法、nsct方法、jsr方法、lp-sr方法、wls方法、vm方法、gtf方法和本发明方法)；

图6为实验结果的q^g值对比(从左到右：dwt方法、nsct方法、jsr方法、lp-sr方法、wls方法、vm方法、gtf方法和本发明方法)；

图7为实验结果的fmi值对比(从左到右：dwt方法、nsct方法、jsr方法、lp-sr方法、wls方法、vm方法、gtf方法和本发明方法)；

图8为实验结果的en值对比(从左到右：dwt方法、nsct方法、jsr方法、lp-sr方法、wls方法、vm方法、gtf方法和本发明方法)。

具体实施方式

图1为本发明方法的整体流程，为便于本领域技术人员理解和实施本发明，下面结合附图对本发明的各个步骤做更详细的描述。

本发明提供一种保持显著性信息的红外与可见光图像变分融合方法，如图1所示流程，具体包括如下步骤：

步骤一、获得两幅待融合源图像的显著图；

如图2所示，本发明首先利用快速有效的显著性检测模型b—gbvs方法来获得两幅待融合源图像i1和i2的显著图s1和s2，所述的两幅待融合源图像为红外图像。对于具有rgb通道的彩色可见光图像，可以通过his变换将彩色可见光图像的rgb空间转换为his空间，得到i分量(亮度)、h分量(色度)和s分量(饱和度)；并将rgb图像的亮度分量(i分量)用于显著性检测模型a的输入，his变换的基本公式如下：

其中，i代表亮度，h代表色度，s代表饱和度，v1、v2为颜色分量，此处为临时变量，r、g、b分别表示红色、绿色和蓝色。

色度分量h和饱和度分量s作为保留项，用于步骤四的逆his变换。

步骤二、构造基于待融合源图像的显著图的权重函数，形成加权融合项；

本发明在建立每幅待融合源图像的显著图的权重函数时不再遵循传统思路(如利用源图像的局部梯度等信息)，而是利用待融合源图像的显著图来构建新的权重函数，其具体做法为：对两幅待融合源图像的显著图s1和s2进行归一化操作，记归一化的显著图为和(x,y)表示图像像素位置，则用于构建加权融合项的权重函数定义如下：

其中，ω1(x,y)和ω2(x,y)分别为显著图s1和显著图s2的权重函数。

基于上面的权重函数ω1(x,y)和ω2(x,y)，本发明变分模型的加权融合项构建形式如下：

其中，i1(x,y)、i2(x,y)为两幅待融合源图像，if(x,y)为权重融合结果。

步骤三、构造加权结构张量，形成“梯度融合项”；

由于图像的结构张量可以有效反映图像的细节信息，如平坦区域、边缘和角点等，因此本发明构建加权结构张量c(x,y)实现结构张量对图像显著信息的融合。加权结构张量c(x,y)定义如下：

上式中，k＝1,2(两幅待融合源图像的序号)，ik为待融合源图像，ωk为待融合图像的权重。

对加权结构张量c(x,y)进行奇异值分解，可以获得加权梯度场v(x,y)：c(x,y)的最大特征值的均方根作为加权梯度场v(x,y)的幅度，相应的特征向量的方向作为加权梯度场v(x,y)的方向。为了使加权梯度场v(x,y)的最终方向不违背两幅待融合源图像梯度的平均方向，最终的加权梯度场的表达式如下：

其中，λ+为加权结构张量c(x,y)的最大正特征值，θ⁺是相应的特征向量，ω1(x,y)和ω2(x,y)表示两幅待融合源图像的权重，和表示待融合源图像i1(x,y)和i2(x,y)在像素点(x,y)处的梯度。

这种构造加权梯度场v(x,y)的方式可以有效地反映源图像的显著性信息。

基于加权梯度场v(x,y)，本发明中变分模型中的“梯度融合项”构建形式如下：

其中，v(x,y)为式(5)求得的加权梯度场，为梯度融合结果。

步骤四、建立并求解保持显著性信息的图像融合变分优化问题。

本发明提出的保持显著性信息的红外与可见光图像变分融合方法，其变分模型优化问题即为求解式(5)的“加权融合项”与式(6)的“梯度融合项”之和，该优化问题可以表述为：

通过求解式(7)的优化问题得到融合结果if(x,y)。其中，ω1(x,y)和ω2(x,y)表示两幅待融合源图像的权重，λ为优化参数。

在求解方法上，首先建立式(7)的euler–lagrange方程：

然后通过引入时间变量t，式(8)可以演化成如下形式：

因此，方程(9)的稳态解也可通过如下迭代过程获得：

if⁽ⁿ⁺¹⁾＝if⁽ⁿ⁾+δt[ω1(if⁽ⁿ⁾-i1)+ω2(if⁽ⁿ⁾-i2)+λ(δif⁽ⁿ⁾-divv)](10)

上式中，δt为时间变量迭代步长。在实际迭代过程中，式(10)的过程解if⁽ⁿ⁺¹⁾可能会出现“数据溢出”现象，即会产生像素范围0～255之外的数据，为此本发明为优化问题(7)增加对“溢出”问题的约束，将过程解if⁽ⁿ⁺¹⁾的数值范围限制在0～255之间。因此，最终融合结果if(x,y)可通过求解如下有约束优化问题：

问题(11)通过如下交替迭代方法求解：

在求得融合灰度图像if后，彩色融合结果通过对原彩色可见光图像的色度分量h、饱和度分量s和融合灰度图像if进行逆his变换获得。逆his变换的基本公式如下：

为了表明本发明方法的优越性，将本发明提出的变分融合方法与七种当前流行的融合方法进行比较，这七种方法包括：基于小波的融合方法(dwt)、基于多分辨率分析的融合方法(nsct)、基于联合稀疏表示的融合方法(jsr)、基于混合稀疏的融合方法(lp-sr)，利用单幅显著图的融合方法(wls)，基于变分的图像融合与去噪方法(vm)和基于梯度传递和全变分最小化融合方法(gtf)。上述七种对比的融合方法都是基于开源代码实现，其算法参数根据原始论文设置。在实验数据方面，采用红外与可见光图像公开数据集进行测评，选取其中具有挑战性的典型场景，例如低光照，遮蔽和热交叉等。

图3为用于对比实验的七组实验数据，包括“建筑”、“沙丘”、“住所”、“士兵”、“街道”、“白天”和“夜晚”。如图3所示，七组实验数据场景中均包含行人、车辆等目标，由于环境因素的影响，大部分实验数据的可见光图像几乎看不到目标。同样，部分红外图像(“白天”)目标和背景之间温度相似会引起热交叉现象，这也导致仅依赖于红外图像也难以完成目标检测。

图4为本发明与其它七种图像融合方法生成的融合结果。如图4所示，前七行图像为七种现有的对比融合方法的融合结果，最后一行图像为本发明方法的融合结果。从融合结果可以看到，八种方法都较好地保持红外和可见光图像的特征。然而，现有的dwt，nsct，jsr，lp-sr，wls和vm方法的融合结果虽然很好地保留源图像的特征，但图像中的显著区域并未被突显。相比之下，gtf方法和本发明的融合方法在继承源图像特征和保留重要细节方面均优于其他六种方法。相比于gtf方法，本发明方法不仅在增强目标特征方面更有效，而且还保留了背景细节等信息。

实验中还使用四个客观指标—互信息(mi)、基于梯度的融合度量(q^g)、特征互信息(fmi)和熵(en)来定量评估八种方法产生的融合结果。对于上述四种客观评价指标而言，数值越大表明融合算法的性能更好。图5～图8为融合结果客观评价结果，图中从左到右依次为mi、q^g、fmi和en指标结果，从中可以看到，本发明的融合方法(最右侧的柱状图)在客观评价上优于其他七种融合方法。