一种红外与可见光的图像融合方法与流程

本发明属于图像处理技术领域，具体涉及一种红外与可见光的图像融合方法。

背景技术：

图像融合技术是信息融合的一个重要分支，是当前计算机视觉与模式识别领域的研究热点之一。其中，红外与可见光图像融合技术在军事领域起到了十分重要的作用，可见光图像为我们展示了一幅场景中目力所及的所有物体，红外图像则能显示出某些位于障碍物后的物体的图像，通过图像融合技术的应用，能够将红外图像中的显著性成分与可见光背景图像想融合，得到的融合图像能对同一场景中的物体进行更精确、更全面、更可靠的描述，同时，也更加便于直观的人眼视觉观察。

目前，基于多尺度变换的图像融合算法在图像融合领域被广泛应用，如：拉普拉斯金字塔变换、离散小波变换、非下采样轮廓波变换、非下采样剪切波变换等等，这些基于多尺度变换的算法可以简单概括为以下步骤：1.对源图像进行多尺度分解，以得到不同的信息分量图；2.根据不同图像分量的特点，选取不同的融合规则对相应分量单独进行融合；3.采用逆多尺度变换来获得最终的融合图像。

然而，现有的图像融合算法处理后得到的图像会损失部分细节、纹理而造成图像不清晰甚至难以被人眼直接观察。

技术实现要素：

为了提高红外与可见光图像的融合质量，本发明提供了一种红外与可见光的图像融合方法，该方法的技术方案如下：

步骤1.图像分解，利用l0-l1正则化模型对红外图像和可见光图像进行分解，分别得到两个基层分量b1、b2和两个细节分量d1、d2，l0-l1正则化模型的计算公式如下：

式中，p是图像像素索引，n为输入图像的总像素数，s,b,s-b分别为输入图像、基层图像和细节图像；l1梯度稀疏项代表图像的基层分量，l0梯度稀疏项代表图像的细节分量；

通过应用上述分解模型，可以得到输入图像的基层分量图和细节分量图：

dk＝sk-bk

其中，k＝1,2分别表示输入的红外与可见光源图像。

步骤2.图像融合，根据基层分量和细节分量的特征，采用不同的融合规则分别对基层分量和细节分量进行融合：

a.基层分量融合规则：利用显著性检测算法提取红外图像与可见光图像的显著性分量，结合图像分解得到的两个基层分量b1、b2来进行融合，得到融合基层图fb，红外图像和可见光图像的显著性分量由以下公式获得：

s(x,y)＝||iμ-ig(x,y)||

式中，iμ为图像的均值像素图，ig(x,y)为图像引导滤波图；

融合基层图fb由以下公式获得：

fb＝s(x,y)*b1+(1-s(x,y))*b2

b.细节分量融合规则：利用深度卷积神经网络vgg19模型提取两个细节分量d1、d2的深度特征并得到多层特征图，各层特征图的权重与细节分量进行融合得到各层融合分量，选取各层融合分量中最优结果作为融合细节图fd；

其中，各层特征图的权重由以下公式确定：

式中的由计算各层特征图的范数l1范数获得；

各层融合分量及融合细节图fd分别通过以下公式得到：

步骤3.图像叠加，融合基层图fb和融合细节图fd采用相加的方法，最终得到融合的rgb彩色图像，相加公式为：f＝fb+fd。

本发明的有益效果：本发明通过计算一些常用的图像融合客观评价指标，与其他几种传统融合算法进行对比，无论从主观视觉效果还是客观评价标准上都优于其他对比图像融合算法，本发明算法可以很好的保留源图像的细节、纹理和主要特征信息，这使得融合后的图像更为清晰、可靠、更便于人眼直观视觉观察。

附图说明

图1：混合l0-l1正则化图像分解模型；

图2：基层分量融合规则；

图3：细节分量融合规则；

图4：细节分量融合模型中的图像重构模型。

具体实施方式

如图1所示，本发明提供了一种红外与可见光的图像融合方法。下面结合附图对本发明作进一步具体的说明。

一种红外与可见光的图像融合方法，具体包含以下步骤：

步骤1.将红外与可见光图像进行分解，分别得到两个基层分量b1、b2和两个细节分量d1、d2，其中分解模型如下所示：

其中，p是图像像素索引，n为输入图像的总像素数，s,b,s-b分别为输入图像、基层图像和细节图像。l1梯度稀疏项代表了图像的基层信息分量，图像的细节信息分量则由l0梯度稀疏项表示。通过应用上述分解模型，可以得到输入图像的基层与细节层分量信息图：

dk＝sk-bk(3)

其中，k＝1,2分别表示输入的红外与可见光源图像。图像分解过程如附图1所示。

步骤2.根据基层与细节层分量的特征，采取不同的融合规则分别对其进行融合：

a.基层分量融合规则：利用显著性检测算法提取原红外与可见光图像的显著性图，结合步骤1所获得的两个基层分量来进行融合，得到融合基层图(fb)，如附图2所示；红外图像显著性分量可由下式获得：

s(x,y)＝||iμ-ig(x,y)||(4)

其中，iμ为图像的均值像素图，ig(x,y)为图像引导滤波图。由此，融合的基层图可由式(5)获得：

fb＝s(x,y)*b1+(1-s(x,y))*b2(5)

b、细节分量融合规则：利用vgg19模型提取两个细节层d1、d2的深度特征，并选取合适的权重对细节层进行融合，以得到融合细节图fd，如附图3所示。对于图像重构部分，如附图4所示，通过计算各层特征图的l1范数来获得相应特征的激活图由此便可根据式(6)计算各层特征图的权重图

将各层特征图的权重与细节分量相结合，以获得各层特征图的融合分量，选取各层融合分量中最优结果作为最终的细节融合分量，如式(7)-(8)所示：

步骤3.最后对步骤2中所获得的融合分量图fb、fd采用相加的方法，最终得到融合后的rgb彩色图像，如式(9)所示：

f＝fb+fd(9)

表1.基于不同融合方法所得融合图像的融合质量评价值

从表1所示客观评价指标中可以看出，本文算法在这些评价客观指标上的数值相比其他算法较为有效，证明了本文算法对红外与可见光图像融合的有效性和可行性。

本发明不局限于上述最佳实施方式，任何人在本发明的启示下都可得出其他各种形式的产品，但不论在其形状或结构上作任何变化，凡是具有与本申请相同或相近似的技术方案，均落在本发明的保护范围之内。