一种基于区域稀疏表示的红外与可见光图像融合方法与流程

本发明涉及一种图像融合方法，尤其是涉及一种基于区域稀疏表示的红外与可见光图像融合方法。

背景技术：

图像融合可以将关于某个具体场景的多个图像加以综合，并以符合特定任务需求的方式展现给观测者或供下一步处理。图像融合可以使信息覆盖更广泛的空间和时间范围、降低信息的冗余性及不确定性、提升信息的互补性及可靠性，在民用及国防领域都有着重要应用。红外图像与可见光图像的融合是多源图像融合的重要方面。红外图像可以提供较多的目标信息，可见光图像可以提供较多的背景信息，两者融合后可以显著提升观测者的认知表现。

图像融合方法可以大体上分为两类，基于空间域的融合方法与基于变换域的融合方法。基于空间域的融合方法直接对源图像的像素值进行融合，包括取像素最值，取像素均值及主成分分析等。基于变换域的融合方法对源图像在变换域中的系数进行融合，再将融合后的系数进行反变换后得到融合图像。

根据所变换区域的不同，基于变换域的融合方法可以分为全局变换融合与局部变换融合两种方案，前者对整幅源图像进行变换和融合处理，包括基于拉普拉斯金字塔的融合方法，基于离散小波变换的融合方法，基于离散余弦变换的融合方法等；后者将源图像分块，块间保留一定的重叠，从上至下，从左至右，逐个对图像块进行变换和融合处理，最后将所有图像块组装成融合图像，包括基于稀疏表示的融合方法、基于特征学习的融合方法等。与采用全局变换融合的方法相比，采用局部变换融合的方法可以更好地保留源图像中的边缘信息及对比度，具有更佳的融合效果，近年来引起广泛关注。

与一般的图像融合问题相比，红外与可见光图像融合有其自身特点。图像融合的过程实质上就是保留显著性高的信息、忽略显著性低的信息的过程。然而，由于特殊的成像机制，红外图像画面模糊、细节缺乏，若仅从局部来看，与可见光图像中的细节信息相比，红外图像中的边界或轮廓等结构信息普遍具有较低的显著性。因此，在现有的采用局部变换融合的方法中，这些来自红外图像的、重要的结构信息，或是被可见光图像中的细节信息遮盖而在融合图中消失，或是被细节信息分割而在融合图中表现为不连续的结构。

无论哪一种情况出现在融合图中，都会对识别任务造成负面影响，应该尽量避免。

技术实现要素：

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于区域稀疏表示的红外与可见光图像融合方法，解决了现有融合方法对红外图像中的边界、轮廓等结构信息保留缺乏完整性的问题。

本发明的目的可以通过以下技术方案来实现：

一种基于区域稀疏表示的红外与可见光图像融合方法，该方法首先将红外与可见光图像分块；然后检索出每个图像块所在的一致性区域，对一致性区域进行联合稀疏编码并据此计算显著性测度；最后按照显著性测度对相应图像块进行加权融合，把所有的融合图像块组装成融合图像。

所述的将红外与可见光图像分块时，其块间设有设定的重叠区域，并按照从上到下、从左到右依次逐个处理图像块。

所述的一致性区域检索时以每个图像块为中心，所述的一致性区域是指位于中心图像块的半径为N个像素的搜索范围之内、与中心图像块最相似的一组图像块集合，该集合包含中心图像块。

所述的图像块之间的相似性采用结构相似度进行度量。

所述的结构相似度计算具体如下：

给定两个大小同为r×r的图像块A和B，记和分别为A和B的均值，和分别A和B的方差，σ_AB为A和B之间的斜方差，则A与B的结构相似度为

SSIM(A,B)即为评价图像块A和B之间结构相似度的指数，取值范围为[-1 1]，值越大越相似，乘积的第一部分为两图像块的相似系数，第二部分为亮度扭曲度，第三部分为对比度扭曲度。

所述的联合稀疏编码使来自红外的图像块集合与来自可见光的图像块集合在进行稀疏分解时使用相同的字典基，只有系数不同；这能够保证区域间稀疏编码的可比较性。

所述的显著性测度具体计算如下：

图像块i的显著性测度e_i定义为

其中，

S_i为图像块i的相似集，x_j为图像块i的相似集中的图像块j的稀疏编码，x_j,t是x_j中的第t个元素，I＝1，当x_j,1(l)≠0。

所述的按照显著性测度对相应图像块进行加权融合为：

针对待融合的红外与可见光图像块分别重新进行独立稀疏编码，再根据显著性测度进行加权融合，可以最小化重建误差。

所述的加权融合具体过程如下：

在稀疏分解前对每个图像块都被减去其均值m_i，并对系数和均值的融合分别进行处理；

稀疏系数的融合公式为：

均值的融合公式为：

其中，x_i(1)、e_i(1)表示来自红外图像的图像块i及其显著性测度，x_i(2)、e_i(2)表示来自可将光图像的图像块i及其显著性测度，k为控制函数平滑度的参数，可以在(0,∞)间选择，k＝0时，融合公式为取平均值策略；k＝∞时，融合公式为取最大值策略

融合图像块由下式得到：

D为联合稀疏编码时使用过的字典基。

所述的把所有的融合图像块组装成融合图像具体为：将所有融合图像块按照从上至下、从左至右依次逐个排列成融合图像，重叠部分取各图像块上相应像素的均值。

与现有技术相比，本发明可以保存红外图像中局部不显著、但非局部显著的结构信息，能够有效提升融合图像的结构完整性及区域一致性。

附图说明

图1为本发明的工作流程图；

图2为实施例使用本发明方法及现有主流融合方法的融合效果对比图，其中a)和b)分别为模拟伏击战情的红外图像和可见光图像，c)为拉普拉斯金字塔方法(LAP)的融合效果图，d)为平移不变离散小波变换方法(SIDWT)的融合效果图，e)为基于稀疏表示方法(SR)的融合效果图，f)为本发明方法的融合效果图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。

图2为实施例使用本发明方法及现有主流融合方法的融合效果对比图。其中，本发明方法的融合效果图通过以下具体方式实施：

1)将红外与可见光图像分块，块间保留一定的重叠，从上至下，从左至右，逐个处理图像块。本实施例中，红外与可见光图像均为256×256像素，所分图像块的大小为5×5像素，重叠宽度为2像素。

2)以每个图像块为中心，检索出其所在的一致性区域。所谓一致性区域是指位于中心图像块的半径为N个像素的搜索范围之内、与中心图像块相似的一组图像块集合，该集合包含中心图像块。图像块之间的相似性采用结构相似度进行度量。本实施例中，半径N为15个像素，每个图像集合包含了前15个与中心图像块最相似的图像块。

本实施例中，用于度量图像块相似性的结构相似度定义为：

给定两个大小同为r×r的图像块A和B，记和分别为A和B的均值，和分别A和B的方差，σ_AB为A和B之间的斜方差，则A与B的结构相似度为

SSIM(A,B)即为评价图像块A和B之间结构相似度的指数，取值范围为[-1 1]，值越大越相似。乘积的第一部分为两图像块的相似系数，第二部分为亮度扭曲度，第三部分为对比度扭曲度。

3)对每一对待融合的红外图像块与可见光图像块所在的两个一致性区域进行联合稀疏编码，并据此计算显著性测度。本实施例中，联合稀疏编码采用SOMP算法，针对每一对待融合图像块，参与联合稀疏编码的图像块共为30个，其中15个为红外图像块的相似集、15个为可见光图像块的相似集。

本实施例中，图像块i的显著性测度e_i定义为

其中，

S_i为图像块i的相似集，x_j为图像块i的相似集中的图像块j的稀疏编码，x_j,t是x_j中的第t个元素。I＝1，当x_j,1(l)≠0。

本实施例中，联合稀疏编码所用到的过完备字典D大小为25×100，预先从来自60幅红外及可见光图像的10⁵个样本块中使用K-SVD方法学习而得，最大迭代次数为20。

4)针对待融合图像块重新进行独立稀疏编码，按照显著性测度对独立稀疏编码结果进行加权融合，生成融合图像块。本实施例中，独立稀疏编码采用OMP算法。

本实施例中，独立稀疏编码结果采用如下方法进行加权融合：

为了提高图像块稀疏编码的的稳定性，在稀疏分解前每个图像块都被减去其均值m_i，因此本实施例对系数和均值的融合分别进行处理。

稀疏系数的融合公式为：

均值的融合公式为：

·(1)表示来自红外图像，·(2)表示来自可将光图像。k为控制函数平滑度的参数，可以在(0,∞)间选择，k＝0时，融合公式为取平均值策略；k＝∞时，融合公式为取最大值策略，本实施例中k＝100。

融合图像块由下式得到：

D为步骤3中使用的过完备字典。

5)把所有的融合图像块组装成融合图像。将所有融合图像块按照从上至下，从左至右，逐个排列成融合图像，重叠部分取各图像块上相应像素的均值。

从图2可以看出，SR和本发明方法结果图的对比度和边缘信息均显著优于基于多尺度分析的LAP和SIDWT，提供了较好的目标区域的穿透烟雾的观测效果，并且保留了可见光图像中的草丛等细节信息。但是相比于本发明方法结果图中各景物的完整结构，SR的结果图中出现了明显的不连续区域，如左下角的草丛区域，并在在烟雾穿透区域产生了斑状虚假信息。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。