一种红外与可见光图像融合方法与流程

本发明涉及图像融合技术领域，具体涉及一种红外与可见光图像融合方法。

背景技术：

多传感器数据通常提供某区域的互补信息。图像融合的目的是由这些数据得到新的图像以提供更多的复杂和详细的场景表示。其在模式识别、遥感、医学成像和现代军事等场景分析中有着重要的应用。可见光传感器主要捕获反射光使得可见光图像具有丰富的背景信息，更有利于建立判别模型。相比之下，红外传感器主要捕捉物体发出的热辐射，受光照变化或伪装的影响较小，因此，它可以克服一些障碍发现目标并且昼夜工作。因此，将红外图像中的热物体信息和可见光的背景信息融合到一张图像中不仅可以使其更符合人的视觉感知，并且有利于后续应用比如目标识别等。一般情况下，图像融合由低到高分为三个层次：像素级融合、特征级融合、决策级融合。

当前的红外与可见光图像融合方法主要可以分为两大类：变换域融合算法和空间域融合算法。本专利研究的主要是变换域融合算法。变换域融合算法主要步骤如下：首先将图像变换到特定的图像表示域，然后利用融合规则对图像表示系数进行融合，最后利用逆变换得到融合图像。变换域融合方法在图像融合领域通常能获得较好的效果。由于红外与可见光图像展示的是同一场景下的不同内容，变换域融合方法得到的融合结果通常具有较多不相关的光谱信息，使融合图像很难解释及不方便后续处理。

技术实现要素：

本发明所要解决的问题是：提供一种红外与可见光图像融合方法，本方法得到的融合图像更符合人的视觉感知，并且能运用于基于图像融合的目标识别系统等。

本发明为解决上述问题所提供的技术方案为：一种红外与可见光图像融合方法，所述方法包括以下步骤，

(1)、基于lef的多尺度分解：利用lef将原始图像{ir,vi}进行l级多尺度分解得到它们各自的初始基层和细节层原始图像的最终基层{bir,bvi}通过对初始基层分别进行高斯滤波得到；l+1级细节层由初始基层减去对应最终基层{bir,bvi}得到；

(2)、基层融合：首先得到红外图像ir的显著性信息图sir；然后利用得到的显著性信息图sir对基层{bir,bvi}进行线性加权得到融合图像的基层fb；

(3)、细节层融合：利用绝对值最大规则对细节层进行融合得到融合图像的细节层

(4)、图像重建：将基层fb及所有的细节层相加即为融合图像。

优选的，所述步骤(2)中得到红外图像ir的显著性信息图sir包括以下步骤，

a、利用滑动窗技术从上到下、从左到右将红外图像分割为若干图像块并将其各自矢量化，最后串接为一个大矩阵；

b、利用rpca算法得到大矩阵中的稀疏矩阵；

c、将得到的矩阵每一列还原为一个图像块，并利用得到图像块重建红外图像的稀疏矩阵图，即显著性信息图。

与现有技术相比，本发明的优点是：本发明提出一种新的红外与可见光图像融合方法，在该方法中，我们首先利用局部极值滤波器分别将源图像分解成各自的基层和若干细节层，之后利用设计的基层融合规则、绝对值最大融合规则对源图像的基层和细节层分别进行融合处理，最后由得到的基层和细节层重构融合图像。该方法得到的融合图像更符合人的视觉感知，并且能运用于基于图像融合的目标识别系统等。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1是本发明基于局部极值滤波(lef)及鲁棒主成分分分析(rpca)的红外与可见光图像融合方法的基本框架

附图标注：ir:红外图像，vi:可见光图像，lef:局部极值滤波器，bir:红外图像基层，bvi:可见光图像的细节层，红外图像的第i级细节层，可见光图像的第i级细节层，amr:绝对值最大规则，psie:提出的基层融合规则，fb:融图像的基层，融合图像的细节层，f:融合图像。

具体实施方式

以下将配合附图及实施例来详细说明本发明的实施方式，藉此对本发明如何应用技术手段来解决技术问题并达成技术功效的实现过程能充分理解并据以实施。

一种红外与可见光图像融合方法：

step1:基于lef的多尺度分解

利用lef将原始图像{ir,vi}进行l级多尺度分解得到它们各自的初始基层和细节层

原始图像的最终基层{bir,bvi}由式(3-4)得到

其中gaussian代表高斯滤波函数，σg为其标准差。

l+1级细节层由式(5-6)得到

step2:基层融合

1、首先得到红外图像的显著性信息图。具体步骤如下：

(1)利用滑动窗技术从上到下、从左到右将红外图像分割为若干图像块并将其各自矢量化，最后串接为一个大矩阵。

(2)利用rpca算法得到大矩阵中的稀疏矩阵。

(3)将得到的矩阵每一列还原为一个图像块，并利用得到图像块重建红外图像的稀疏矩阵图(归一化至[0,1])，即显著性信息图。

为了方便，上述三步显著性信息提取过程我们以如下的数学关系来表示。

sir＝psie(ir)(7)

其中sir为红外图像ir的显著性信息图，psie为显著性信息提取函数。

2、然后利用根据式(8)对基层{bir,bvi}进行融合得到融合图像的基层fb。

fb＝sirbir+(1-sir)bvi(8)

step3:细节层融合

细节层根据式(9-11)进行融合。

wi＝gaussian(vi,σs)(i＝1,2...,l+1)(10)

其中vi代表初始权值图，wi代表细化权值图，为融合图像的第i层细节层。

step4:图像重建

融合图像f由式(12)得到

本发明的有益效果是：本发明提出一种新的红外与可见光图像融合方法，在该方法中，我们首先利用局部极值滤波器分别将源图像分解成各自的基层和若干细节层，之后利用设计的基层融合规则、绝对值最大融合规则对源图像的基层和细节层分别进行融合处理，最后由得到的基层和细节层重构融合图像。该方法得到的融合图像更符合人的视觉感知，并且能运用于基于图像融合的目标识别系统等。

以上仅就本发明的最佳实施例作了说明，但不能理解为是对权利要求的限制。本发明不仅局限于以上实施例，其具体结构允许有变化。凡在本发明独立权利要求的保护范围内所作的各种变化均在本发明保护范围内。