基于显著性分析与低秩表示的红外与可见光图像融合方法与流程

本发明公开了基于显著性分析与低秩表示的红外与可见光图像融合方法，属于多源图像融合技术领域。

背景技术：

图像融合技术旨在将多个成像传感器获得的关于同一场景的多幅图像融合成一幅图像，使得融合得到的图像能够综合每幅输入图像中的互补信息，同时尽可能地减少图像之间的冗余信息，实现对场景的更加全面和准确的描述，便于人眼和机器视觉的感知，以及后续的图像处理工作。

红外与可见光图像融合技术作为图像融合领域的一个重要分支，其主要目标在于通过图像融合，不仅能够提取红外图像中的热目标信息，并且要求较好地保留可见光图像中丰富的纹理细节信息。红外与可见光图像融合技术能够广泛应用于军事管理、安防监控、工农业生产等重要领域。

现有的基于稀疏表示理论或低秩表示理论的红外与可见光图像融合方法通常包括如下几个处理步骤：(1)利用滑动窗技术将输入图像划分为一系列具有一定像素重叠的图像块，得到源图像的向量化矩阵；(2)使用一定的优化求解算法，并结合字典，对源图像的向量化矩阵进行编码，得到图像块的稀疏或低秩表示系数；(3)根据表示系数向量计算活动度水平，并设计融合规则，得到融合后的稀疏或低秩表示系数；(4)利用融合后的表示系数，结合字典，重构出融合图像。这类方法在设计融合规则时通常只根据当前图像块的表示系数向量来确定其活动度水平，再根据活动水平来将当前对应位置的图像块加以融合，即由源图像的局部特征来确定该局部区域像素的活跃度(重要程度)。得到的融合结果虽然考虑了局部图像块的重要性，但是并不能反映出源图像中目标的全局显著特性，造成融合图像中目标对比度降低，以及其他细节信息存在不同程度的丢失。

技术实现要素：

发明目的：本发明的目的在于克服上述现有技术的不足，提供一种基于显著性分析与低秩表示的红外与可见光图像融合方法。本发明公开的技术方案能够得到更高质量的融合结果，特别是能够完整保留以及凸显出源图像中的全局显著目标信息，并且融合结果具有较高的对比度和更好的视觉保真度。

技术方案：基于显著性分析与低秩表示的红外与可见光图像融合方法，包括：

步骤(1)、分别对输入的待融合红外图像与可见光图像执行图像块的划分，并将获取的图像块按字典语义顺序拉伸成向量形式，然后将同一幅图像的所有图像块的向量按列堆叠，分别得到红外图像的图像块数据矩阵和可见光图像的图像块数据矩阵；

步骤(2)、对输入的两幅图像分别构建一个分层树形结构

利用基于图的图像分割算法，对步骤(1)中得到的待融合红外图像与可见光图像的图像块划分结果，分别按照其位置关系以及特征相似性进行不同程度的聚合，分别得到红外图像以及可见光图像在不同阈值下的由粗糙至精细的聚合结果，即构建得到两幅输入图像对应的分层树形结构；

步骤(3)、利用输入源图像，构建背景字典d；

步骤(4)、构建分层联合低秩表示模型，然后向该分层联合低秩表示模型输入步骤(1)得到的红外图像的图像块数据矩阵/可见光图像的图像块数据矩阵，以及步骤(2)得到的对应图像的分层树形结构，分别执行分层联合低秩表示，得到红外/可见光图像的低秩表示系数矩阵以及代表显著信息的稀疏重构误差系数矩阵；

步骤(5)、将步骤(4)计算得到的系数矩阵分别执行融合操作，得到融后的表示系数矩阵，然后利用融合后的表示系数矩阵重构出粗融合图像if；

步骤(6)、利用引导滤波算法对步骤(5)得到的粗融合结果if进行进一步处理，得到最终的融合图像

进一步地，步骤(1)包括如下步骤：

(1a)输入经过配准且大小相等的红外图像ia和可见光图像ib，其中，ia∈r^h×w，ib∈r^h×w，h和w分别表示源图像ia和ib的高度和宽度；

(1b)将输入图像划分为图像块

采用大小为的窗口，按照步长s，从图像左上角开始，在图像上移动至图像右下角，对输入的两幅源图像ia和ib进行无像素重叠地遍历，得到n个无像素重叠的子图像块，表示向上取整操作，其中：

n为正整数；

(1c)将步骤(1b)得到的n个无像素重叠的子图像块按照字典语义顺序拉伸成向量形式，并将这些向量按列堆叠，得到对应输入源图像的向量化数据矩阵xa和xb，其中：

对应了源图像ia的数据矩阵xa的第i列，

对应了源图像ib的数据矩阵xb的第i列。

进一步地，步骤(2)包括以下步骤：

(2a)分别提取待融合红外图像与可见光图像的每个像素点的强度值、边缘、纹理特征，构成对应像素点的特征向量，然后再计算每个图像块的特征向量，其中：

每个图像块的特征向量等于该图像块中所有像素点特征向量的平均值；

(2b)基于图论的思想，将输入的整幅图像看作图论的图，将划分的图像块看作是图的节点，相邻图像块之间的特征相似性作为图的边权重。利用基于图的分割算法，将空间相邻且特征相似的图像块进行合并，通过设置多个不同的合并阈值，可以得到源图像的由粗糙至精细的分割结果，即构建得到的分层树形结构。

进一步地，步骤(3)包括以下步骤：

(3a)利用基于结构矩阵分解的图像显著性检测算法对输入的红外图像与可见光图像执行显著性检测，分别得到对应图像的显著图。在显著图中能够显示出显著目标的位置，并且显著图中像素值高的区域即为显著目标区域；

(3b)将步骤(1b)的图像块划分结果映射在显著图中，计算显著图中每个图像块所有像素点显著值的平均值，作为该图像块的显著值，并用该值作为图像块的前景概率，记作pfg(i)；图像块的显著值越大，则其背景概率越小，设置一个概率阈值th，pfg(i)小于该阈值的图像块作为背景图像块；

(3c)将得到的背景图像块作为字典学习的训练集，采用k-均值聚类算法对背景图像块进行聚类，再对属于每一类的聚类结果使用pca算法，获取其中最主要的一部分主成分分量作为字典原子，学习得到一个子字典，最后将所有子字典加以综合，得到最终的背景字典d。

进一步地，步骤(4)包括以下步骤：

(4a)构建一种新的分层联合低秩表示模型，其表达式如下：

其中：

x∈r^n×n代表一幅输入图像的图像块数据矩阵；

d∈r^n×k代表所构建的背景字典；

z∈r^k×n为求解得到的联合低秩表示系数矩阵；

e∈r^n×n为代表着图像显著部分的稀疏重构误差系数矩阵；

为子矩阵的核范数，用来约束子区域的低秩特性；

表示在树形结构某一尺度层d上的属于同一类的图像块的表示系数更具有低秩特性；

为矩阵e的l2,1范数，用来约束显著部分的稀疏特性；

参数λ＞0以及β＞0作为平衡因子，用来平衡模型中的三项所占的权重；

矩阵q代表图像的对比度先验信息；

约束项tr(e^tq)表示矩阵e^tq的迹，通过对e施加此约束，使得分解得到的e部分(显著部分)更加紧凑，能够包含完整的目标区域，并减少信息丢失；

(4b)利用具有自适应惩罚因子的线性迭代方向算法对分层联合低秩表示模型进行求解，得到红外图像ia的表示系数以及可见光图像ib的表示系数其计算公式如下：

更进一步地，矩阵q的计算过程如下：

计算图像向量化矩阵x的每一列的均值，表示对应位置处图像块的灰度均值，如此得到所有图像块的灰度均值向量；

对某一图像块i，计算该图像块的像素灰度均值与其他图像块的像素灰度均值之差，并将所有差值的绝对值相加，结果作为该图像块的对比度先验q(i)，q(i)公式表示为：

其中：

n为图像块个数；

mean(x(:,i))表示计算矩阵x的第i列的均值；

考虑到矩阵相乘的规则，对图像块灰度均值向量q∈rⁿ扩展成矩阵q∈r^n×n，维度与矩阵e相同。

进一步地，步骤(5)包括以下步骤：

(5a)采用加权平均的策略，将低秩表示系数和进行融合，得到融合后的表示系数zf

待融合红外图像与可见光图像的第j个对应位置处的图像块融合后的低秩表示系数zf(:,j)计算为：

其中：

表示矩阵的第j列，也即图像ia的第j个图像块的低秩表示系数；

表示矩阵的第j列，也即图像ib的第j个图像块的低秩表示系数；

ωa和ωb均为向量，其中各元素代表两幅图像的对应位置图像块的融合权重值。对于两幅输入图像的第j个图像块而言，融合权重ωa(j)与ωb(j)分别计算为：

其中，e(·)表示计算当前图像块区域的能量，具体计算为图像块数据向量所有元素的平方和；

(5b)采用直接相加的策略，将代表图像显著信息的稀疏重构误差系数矩阵和进行融合，得到融合后的系数矩阵ef，即：

(5c)结合背景字典，得到融合后的图像块数据矩阵xf，具体融合方式为：xf＝dzf+ef；

(5d)利用得到的数据矩阵xf，按照类似于划分图像块的逆操作，重构出粗融合图像if。

进一步地，步骤(6)包括以下步骤：

利用引导滤波算法对粗融合结果if进行处理，缓解图像中的“块”效应，得到最终的融合图像引导滤波过程可以用公式描述为：

其中：

if代表进行引导滤波的粗融合图像；

ig代表引导图像，这里选择将输入的两幅源图像的简单像素平均融合结果作为引导图像，即：ig＝(ia+ib)/2；

参数r用来控制滤波半径；参数θ用来控制滤波的程度；

即为最终的融合结果。

有益效果：本发明公开的基于显著性分析与低秩表示的红外与可见光图像融合方法与现有技术相比，具有以下有益效果：

(1)本发明在对图像进行块划分时，将源图像划分为无像素重叠的图像块，使得划分得到的图像块数量大大减少，从而降低了本发明的计算复杂度；

(2)本发明中构建输入源图像的分层树形结构，考虑了图像块的特征相似性，得到的树形结构能够反映出目标在图像中的全局显著特性。

(3)本发明中构建了一种分层联合低秩表示模型，利用此模型对输入源图像进行分解，能够有效提取出图像中的全局显著目标信息。

(4)本发明中通过简单的融合规则，能够有效地将提取出的显著信息综合在融合结果中，同时，减少了融合结果对比度的损失。并且利用引导滤波方法，有效缓解融合结果中的“块”效应，提升了融合结果的视觉效果。

附图说明

图1为本发明公开的基于显著性分析与低秩表示的红外与可见光图像融合方法的实现流程框图；

图2a～图2j为本发明公开的基于显著性分析与低秩表示的红外与可见光图像融合方法与现有技术的对比实验中用到的五组红外图像与可见光图像，图2a～图2e为红外图像，图2f～图2j为可见光图像；

图3a～图3l为本发明公开的基于显著性分析与低秩表示的红外与可见光图像融合方法与现有技术的实验对比图，其中：

图3a、图3b分别为输入的待融合红外图像与可见光图像，图3c-图3k分别为dwt,cvt,msvd,gtf,cbf,ts,wls,jsr,latlrr方法的融合结果图，图3l为本发明公开的方法的融合结果图。

图4a～图4l为本发明公开的基于显著性分析与低秩表示的红外与可见光图像融合方法与现有技术的实验对比图，其中：

图4a、图4b分别为输入的待融合红外图像与可见光图像，图4c-图4k分别为dwt,cvt,msvd,gtf,cbf,ts,wls,jsr,latlrr方法的融合结果图，图4l为本发明公开的方法的融合结果图。

具体实施方式：

下面对本发明的具体实施方式详细说明。

参照图1，基于显著性分析与低秩表示的红外与可见光图像融合方法，包括：

步骤(1)、分别对输入的待融合红外图像与可见光图像执行图像块的划分，并将获取的图像块按字典语义顺序拉伸成向量形式，然后将同一幅图像的所有图像块的向量按列堆叠，分别得到红外图像的图像块数据矩阵和可见光图像的图像块数据矩阵；

步骤(2)、对输入的两幅图像分别构建一个分层树形结构

利用基于图的图像分割算法，对步骤(1)中得到的待融合红外图像与可见光图像的图像块划分结果，分别按照其位置关系以及特征相似性进行不同程度的聚合，分别得到红外图像以及可见光图像在不同阈值下的由粗糙至精细的聚合结果，即构建得到两幅输入图像对应的分层树形结构；

步骤(3)、利用输入源图像，构建背景字典d；

步骤(4)、构建分层联合低秩表示模型，然后向该分层联合低秩表示模型输入步骤(1)得到的红外图像的图像块数据矩阵/可见光图像的图像块数据矩阵，以及步骤(2)得到的对应图像的分层树形结构，分别执行分层联合低秩表示，得到红外/可见光图像的低秩表示系数矩阵以及代表显著信息的稀疏重构误差系数矩阵；

步骤(5)、将步骤(4)计算得到的系数矩阵分别执行融合操作，得到融后的表示系数矩阵，然后利用融合后的表示系数矩阵重构出粗融合图像if；

步骤(6)、利用引导滤波算法对步骤(5)得到的粗融合结果if进行进一步处理，得到最终的融合图像

进一步地，步骤(1)包括如下步骤：

(1a)输入经过配准且大小相等的红外图像ia和可见光图像ib，其中，ia∈r^h×w，ib∈r^h×w，h和w分别表示源图像ia和ib的高度和宽度；

(1b)将输入图像划分为图像块

采用大小为的窗口，按照步长s，从图像左上角开始，在图像上移动至图像右下角，对输入的两幅源图像ia和ib进行无像素重叠地遍历，得到n个无像素重叠的子图像块，表示向上取整操作，其中：

n为正整数；

(1c)将步骤(1b)得到的n个无像素重叠的子图像块按照字典语义顺序拉伸成向量形式，并将这些向量按列堆叠，得到对应输入源图像的向量化数据矩阵xa和xb，其中：

对应了源图像ia的数据矩阵xa的第i列，

对应了源图像ib的数据矩阵xb的第i列。

进一步地，步骤(2)包括以下步骤：

(2a)分别提取待融合红外图像与可见光图像的每个像素点的强度值、边缘、纹理特征，构成对应像素点的特征向量，然后再计算每个图像块的特征向量，其中：

每个图像块的特征向量等于该图像块中所有像素点特征向量的平均值；

(2b)基于图论的思想，将输入的整幅图像看作图论的图，将划分的图像块看作是图的节点，相邻图像块之间的特征相似性作为图的边权重。利用基于图的分割算法，将空间相邻且特征相似的图像块进行合并，通过设置多个不同的合并阈值，可以得到源图像的由粗糙至精细的分割结果，即构建得到的分层树形结构。

进一步地，步骤(3)包括以下步骤：

(3a)利用基于结构矩阵分解的图像显著性检测算法对输入的红外图像与可见光图像执行显著性检测，分别得到对应图像的显著图。在显著图中能够显示出显著目标的位置，并且显著图中像素值高的区域即为显著目标区域；

(3b)将步骤(1b)的图像块划分结果映射在显著图中，计算显著图中每个图像块所有像素点显著值的平均值，作为该图像块的显著值，并用该值作为图像块的前景概率，记作pfg(i)；图像块的显著值越大，则其背景概率越小，设置一个概率阈值th，pfg(i)小于该阈值的图像块作为背景图像块；

(3c)将得到的背景图像块作为字典学习的训练集，采用k-均值聚类算法对背景图像块进行聚类，再对属于每一类的聚类结果使用pca算法，获取其中最主要的一部分主成分分量作为字典原子，学习得到一个子字典，最后将所有子字典加以综合，得到最终的背景字典d。

进一步地，步骤(4)包括以下步骤：

(4a)构建一种新的分层联合低秩表示模型，其表达式如下：

其中：

x∈r^n×n代表一幅输入图像的图像块数据矩阵；

d∈r^n×k代表所构建的背景字典；

z∈r^k×n为求解得到的联合低秩表示系数矩阵；

e∈r^n×n为代表着图像显著部分的稀疏重构误差系数矩阵；

为子矩阵的核范数，用来约束子区域的低秩特性；

表示在树形结构某一尺度层d上的属于同一类的图像块的表示系数更具有低秩特性；

为矩阵e的l2,1范数，用来约束显著部分的稀疏特性；

参数λ＞0以及β＞0作为平衡因子，用来平衡模型中的三项所占的权重；

矩阵q代表图像的对比度先验信息；

约束项tr(e^tq)表示矩阵e^tq的迹，通过对e施加此约束，使得分解得到的e部分(显著部分)更加紧凑，能够包含完整的目标区域，并减少信息丢失；

(4b)利用具有自适应惩罚因子的线性迭代方向算法对分层联合低秩表示模型进行求解，得到红外图像ia的表示系数以及可见光图像ib的表示系数其计算公式如下：

更进一步地，矩阵q的计算过程如下：

计算图像向量化矩阵x的每一列的均值，表示对应位置处图像块的灰度均值，如此得到所有图像块的灰度均值向量；

对某一图像块i，计算该图像块的像素灰度均值与其他图像块的像素灰度均值之差，并将所有差值的绝对值相加，结果作为该图像块的对比度先验q(i)，q(i)公式表示为：

其中：

n为图像块个数；

mean(x(:,i))表示计算矩阵x的第i列的均值；

考虑到矩阵相乘的规则，对图像块灰度均值向量q∈rⁿ扩展成矩阵q∈r^n×n，维度与矩阵e相同。

进一步地，步骤(5)包括以下步骤：

(5a)采用加权平均的策略，将低秩表示系数和进行融合，得到融合后的表示系数zf

待融合红外图像与可见光图像的第j个对应位置处的图像块融合后的低秩表示系数zf(:,j)计算为：

其中：

表示矩阵的第j列，也即图像ia的第j个图像块的低秩表示系数；

表示矩阵的第j列，也即图像ib的第j个图像块的低秩表示系数；

ωa和ωb均为向量，其中各元素代表两幅图像的对应位置图像块的融合权重值。对于两幅输入图像的第j个图像块而言，融合权重ωa(j)与ωb(j)分别计算为：

其中，e(·)表示计算当前图像块区域的能量，具体计算为图像块数据向量所有元素的平方和；

(5b)采用直接相加的策略，将代表图像显著信息的稀疏重构误差系数矩阵和进行融合，得到融合后的系数矩阵ef，即：

(5c)结合背景字典，得到融合后的图像块数据矩阵xf，具体融合方式为：xf＝dzf+ef；

(5d)利用得到的数据矩阵xf，按照类似于划分图像块的逆操作，重构出粗融合图像if。

进一步地，步骤(6)包括以下步骤：

利用引导滤波算法对粗融合结果if进行处理，缓解图像中的“块”效应，得到最终的融合图像引导滤波过程可以用公式描述为：

其中：

if代表进行引导滤波的粗融合图像；

ig代表引导图像，这里选择将输入的两幅源图像的简单像素平均融合结果作为引导图像，即：ig＝(ia+ib)/2；

参数r用来控制滤波半径；参数θ用来控制滤波的程度；

即为最终的融合结果。

下面结合仿真实验，对本发明公开的基于显著性分析与低秩表示的红外与可见光图像融合方法的技术效果做进一步详细的分析。

一、实验条件

实验硬件平台为：台式机；cpu为intelcorei5-2320，主频3.00ghz；内存大小为8g；软件平台为：电脑操作系统为windows7旗舰版64位，matlab软件版本为r2017a。

二、实验内容

实验1：

使用本发明公开的基于显著性分析与低秩表示的红外与可见光图像融合方法与现有的几种方法对同一组源图像进行融合。图3a～图3l、图4a～图4l例举了两组红外与可见光图像的融合结果，这里用白色方框在结果图中标记出源图像的目标信息。对比这些方法得到的结果图，可以发现本发明相比于现有技术，能够得到更高质量的融合结果，输入源图像中的全局显著目标能够完整准确地保留在融合结果中，并且融合图像整体对比度高，视觉效果更好。

实验2：

使用本发明与现有技术对5组源图像(图2a～图2j)进行融合，并用平均梯度(qag)、信息熵(en)、归一化互信息(nmi)、piella’smetric(qs)、基于结构相似性的度量指标(qy)和视觉信息保真度度量(viff)六种客观评价指标对融合图像进行客观评价，六种客观评价指标的值越大代表融合图像的质量越高。实验结果如表1所示。

表1.本发明与现有技术融合结果的客观对比

注：黑体加粗表示该列数据的最高值，斜体加粗表示该列数据的次高值。

从表1中可以发现本发明获得的融合图像的qag、en、qs、qy、viff这5个指标均高于测试的这几种现有技术，特别是viff指标值明显高于其他方法，而nmi指标值也仅次于jsr方法。从而进一步表明了本发明能够得到更高质量的融合结果，特别是能够凸显源图像的显著目标信息，融合结果视觉保真度好，也即融合图像的人眼视觉效果好。

上面对本发明的实施方式做了详细说明。但是本发明并不限于上述实施方式，在所属技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。