一种总变分和结构张量的图像融合方法及装置与流程

本发明涉及图像融合领域，特别涉及一种总变分和结构张量的图像融合方法及装置。

背景技术：

图像融合作为信息融合的一门分支，是一门包含信号处理、图像处理、计算机技术、图像探测器技术等多种领域的综合高新技术。图像融合对某一场景获取的多幅图像信息加以提取，最终将两幅或多幅包含多样、冗余信息的图像合成为一幅含有更丰富信息的新图像。融合图像克服了单幅图像在空间分辨率、物理属性、时间分辨率以及光谱信息等方面的局限性，能更好地为重要目标的定位、识别和理解提供支撑。

红外(ir)与可见光(vi)传感器之间的信息融合是目前应用最多，同时也是最具有现实意义的融合方式。通过将可见光的纹理细节信息与红外热辐射目标的显著信息相结合，有利于在隐藏、伪装和迷惑的情况下更快、更精确地探测目标。针对ir与vi图像之间的融合，最为常见的就是加权平均法。该方法只是将源图像之间的亮度进行空间叠加，容易导致融合图像解析度下降，并且丢失很多纹理细节信息。为了能够获得更优良的融合效果，使融合图像符合人眼视觉特性，人们相继提出了新的融合方法。总变分法(tv)是一种新颖的融合方法，其独特之处在于将融合问题转化为图像优化和重建问题。由于其内部参数较少，并且能够完整地保持图像局部特征，因此目前受到了学者们的广泛关注。tv模型在解决融合问题时，往往在正则项内约束融合图像与给定vi图像具有相似的梯度特征，然而包含在ir图像的纹理信息却被忽略，导致融合图像出边缘细节缺失的问题。为此，我们希望可以直接获取融合图像的梯度场，将其放入到正则项内，从而保证源图像内部的纹理梯度信息较为全面的转移到融合图像中。

作为另一个重要的分支，基于梯度域的图像融合方法也得到了的广泛应用。人类视觉对图像局部细节的变化非常敏感，而图像局部细节实际上就是图像梯度。在梯度域内对图像进行处理，可以使融合图像保留输入图像的重要特征。文献《g.piella,imagefusionforenhancedvisualization:avariationalapproach[j],int.j.comput.vision83(1)(2009)1-11.》等人采用结构张量来获取融合图像的目标梯度场，并从目标梯度场中重建融合图像。该方法为本文的研究提供了一定的思路，我们可以将获取的目标梯度场放入到tv模型的正则项内，从而取代原有的vi图像梯度场。通过全新的约束关系，使融合图像的梯度场最大程度接近于目标梯度场，抑制了纹理细节的丢失。除此外，鉴于红外热像图与可见光图像的较大光谱差异性，单一地使用加权法来设计目标梯度场的光谱梯度权重，会导致融合结果出现光晕伪影现象。除此外，针对tv模型的求解问题，学者们一般采用梯度下降法。然而，利用该方法获取的欧拉-拉格朗日方程往往具有非线性和不可微性，并且由于其最小化速度较慢，会影响求解速度。

技术实现要素：

本发明实施例提供了一种总变分和结构张量的图像融合方法及装置，可以弥补两种源图像较大的光谱差异性，同时较完整地保留了丰富的纹理信息和细节信息，并且图像过渡自然。

第一方面，本发明提供一种总变分和结构张量的图像融合方法，所述方法包括：

获取来自同一场景并进行图像配准的红外图像和可见光图像；

利用红外图像和可见光图像的结构张量获取融合图像的目标梯度场；

利用soft-max函数柔化所述目标梯度场的权重；

将融合梯度场放入总变分tv模型的正则项内，以使得融合图像的融合梯度场和目标梯度场接近；

利用分裂bregman算法求解tv模型得到融合图像。

可选地，所述获取来自同一场景并进行图像配准的红外图像和可见光图像，包括：

分别获取同一场景的红外图像和可见光图像；

对红外图像和可见光图像进行特征提取得到特征点，通过进行相似性度量找到匹配的特征点对，通过匹配的特征点对得到图像空间坐标变换参数，由坐标变换参数进行红外图像和可见光图像的图像配准。

可选地，所述利用红外图像和可见光图像的结构张量获取融合图像的目标梯度场，包括：

对于每一幅源图像in(n＝1,2,····,n)及每一个像素元(x,y)，定义一个归一化权重sn(x,y)，表示在图像in点(x,y)附近的显著性指标，可得加权的g矩阵为：

利用合成梯度方向与原各波段梯度方向存在一致性使得合成梯度的方向与各图像的平均梯度方向在同一侧，定义目标梯度场vf为：

可选地，所述利用soft-max函数柔化所述目标梯度场的权重，包括：

利用soft-max函数构成目标梯度场的梯度权重，表达式如下：

其中a为收缩因子，用于控制soft-max函数曲线的形状。

可选地，所述将融合梯度场放入总变分tv模型的正则项内，以使得融合图像的融合梯度场和目标梯度场接近，包括：

利用结构张量获取的目标梯度场放入到总变分tv模型的正则项内，约束融合图像的融合梯度场与目标梯度场vf接近，表达式如下：

在数据保真项内加入权重函数，用于表达源图像对融合图像的贡献程度，表达式如下：

其中f代表融合图像，i代表红外图像，v代表可见光图像，α与β是两个非负权重函数，定义权重函数的表达式为：

其中f(x,y)表示两种源图像中像素(x,y)的强度值，p表示像素强度，mp表示其强度等于p的像素的数量，并且l是灰度级的数量，s(x,y)代表源图像的显著特征矩阵。

可选地，所述利用分裂bregman算法求解tv模型得到融合图像，包括：

总变分模型的建立

将tv模型的数据保真项与正则项相结合，得到如下表达式：

将tv模型用离散化的l2范数与l1范数再次简化，表示为：

其中λ为正则参数，并且：

总变分模型的求解

采用分裂bregman算法实现tv模型的最优求解，其求解过程如下：

引入变量d，将公式(8)变为以下形式：

对f^k+1可以按照如下方式求解：

对f的最小化方程由以下最优性条件给出：

(f-αi-βv)-δf+γdiv(vf+d^k-b^k)＝0；(12)

根据公式(12)是线性的性质，把公式(12)重写为如下形式：

f-δf＝αi+βv-γdiv(vf+d^k-b^k)；(13)

对公式(13)的进行快速傅立叶fft形式为：

f(k)f(f^k+1)＝f(rhs^k)；(14)

k＝i-δ；(15)

rhk＝αi+βv-γdiv(vf+d^k-b^k)；(16)

其中i表示单位矩阵，f表示快速傅里叶变换；

公式(14)中f^k+1的闭合形式解为：

d^k+1可以按照如下方式求解：

公式(18)的解使用如下的软阈值形式获得：

由shrink算子得到d^k+1的解为：

对每一步迭代中对其做出如下约束：

f^k+1＝max[min(f^k+1,1),0](21)。

第二方面，本发明提供一种总变分和结构张量的图像融合装置，所述装置包括：

图像配准单元，用于获取来自同一场景并进行图像配准的红外图像和可见光图像；

目标梯度场获取单元，用于利用红外图像和可见光图像的结构张量获取融合图像的目标梯度场；

权重获取单元，用于利用soft-max函数柔化所述目标梯度场的权重；

处理单元，用于将融合梯度场放入总变分tv模型的正则项内，以使得融合图像的融合梯度场和目标梯度场接近；

融合单元，用于利用分裂bregman算法求解tv模型得到融合图像。

可选地，所述图像配准单元具体用于：

分别获取同一场景的红外图像和可见光图像；

对红外图像和可见光图像进行特征提取得到特征点，通过进行相似性度量找到匹配的特征点对，通过匹配的特征点对得到图像空间坐标变换参数，由坐标变换参数进行红外图像和可见光图像的图像配准。

可选地，所述目标梯度场获取单元具体用于：

对于每一幅源图像in(n＝1,2,····,n)及每一个像素元(x,y)，定义一个归一化权重sn(x,y)，表示在图像in点(x,y)附近的显著性指标，可得加权的g矩阵为：

利用合成梯度方向与原各波段梯度方向存在一致性使得合成梯度的方向与各图像的平均梯度方向在同一侧，定义目标梯度场vf为：

可选地，所述处理单元具体用于：

其中a为收缩因子，用于控制soft-max函数曲线的形状。

从以上技术方案可以看出，本发明实施例具有以下优点：

本发明提出一种总变分和结构张量的图像融合方法及装置，总变分tv模型利用图像的结构张量获取融合图像的目标梯度场，在目标梯度场内部利用soft-max函数柔化梯度场的权重，将融合梯度场放入到tv模型的正则项内，保障融合图像的梯度场与目标梯度场接近，利用分裂bregman算法求解全新的tv模型，获取最终的融合图像，通过采用本方案可以更好地表达图像的特征，将微光的纹理信息与红外图像的显著性特征完美结合，取得较好的融合效果，可以较完整地保留了丰富的纹理信息和细节信息，并且图像过渡自然。

附图说明

图1是本发明实施例中的总变分和结构张量的图像融合方法中一种实施例的流程图；

图2是本发明实施例中的总变分和结构张量的图像融合方法中一种实施例的图像融合示意图；

图3是本发明实施例中的总变分和结构张量的图像融合方法中一种实施例的soft-max函数示意图；

图4是本发明实施例中的总变分和结构张量的图像融合方法中一种实施例的融合图像对比示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

结合图1和2所示，本发明提供一种总变分和结构张量的图像融合方法，所述方法包括：

s101、获取来自同一场景并进行图像配准的红外图像和可见光图像。

选取来自同一场景并且经过严格配准的红外图像与可见光图像，对红外图像和可见光图像进行特征提取得到特征点，通过进行相似性度量找到匹配的特征点对，通过匹配的特征点对得到图像空间坐标变换参数，由坐标变换参数进行红外图像和可见光图像的图像配准。

s102、利用红外图像和可见光图像的结构张量获取融合图像的目标梯度场。

对于每一幅源图像in(n＝1,2,····,n)及每一个像素元(x,y)，定义一个归一化权重sn(x,y)，表示在图像in点(x,y)附近的显著性指标，可得加权的g矩阵为：

利用合成梯度方向与原各波段梯度方向存在一致性使得合成梯度的方向与各图像的平均梯度方向在同一侧，定义目标梯度场vf为：

s103、利用soft-max函数柔化所述目标梯度场的权重。

结合图3所示，利用soft-max函数构成目标梯度场的梯度权重，表达式如下：

其中a为收缩因子，用于控制soft-max函数曲线的形状。

s104、将融合梯度场放入总变分tv模型的正则项内，以使得融合图像的融合梯度场和目标梯度场接近。

利用结构张量获取的目标梯度场放入到总变分tv模型的正则项内，约束融合图像的融合梯度场与目标梯度场vf接近，表达式如下：

在数据保真项内加入权重函数，用于表达源图像对融合图像的贡献程度，表达式如下：

其中f代表融合图像，i代表红外图像，v代表可见光图像，α与β是两个非负权重函数，定义权重函数的表达式为：

其中f(x,y)表示两种源图像中像素(x,y)的强度值，p表示像素强度，mp表示其强度等于p的像素的数量，并且l是灰度级的数量，s(x,y)代表源图像的显著特征矩阵。

s105、利用分裂bregman算法求解tv模型得到融合图像。

总变分模型的建立

将tv模型的数据保真项与正则项相结合，得到如下表达式：

将tv模型用离散化的l2范数与l1范数再次简化，表示为：

其中λ为正则参数，并且：

总变分模型的求解

采用分裂bregman算法实现tv模型的最优求解，其求解过程如下：

引入变量d，将公式(8)变为以下形式：

对f^k+1可以按照如下方式求解：

对f的最小化方程由以下最优性条件给出：

(f-αi-βv)-δf+γdiv(vf+d^k-b^k)＝0；(12)

根据公式(12)是线性的性质，把公式(12)重写为如下形式：

f-δf＝αi+βv-γdiv(vf+d^k-b^k)；(13)

对公式(13)的进行快速傅立叶fft形式为：

f(k)f(f^k+1)＝f(rhs^k)；(14)

k＝i-δ；(15)

rhk＝αi+βv-γdiv(vf+d^k-b^k)；(16)

其中i表示单位矩阵，f表示快速傅里叶变换；

公式(14)中f^k+1的闭合形式解为：

d^k+1可以按照如下方式求解：

公式(18)的解使用如下的软阈值形式获得：

由shrink算子得到d^k+1的解为：

对每一步迭代中对其做出如下约束：

f^k+1＝max[min(f^k+1,1),0]。(21)

本发明提出一种总变分和结构张量的图像融合方法，总变分tv模型利用图像的结构张量获取融合图像的目标梯度场，在目标梯度场内部利用soft-max函数柔化梯度场的权重，将融合梯度场放入到tv模型的正则项内，保障融合图像的梯度场与目标梯度场接近，利用分裂bregman算法求解全新的tv模型，获取最终的融合图像，通过采用本方案可以更好地表达图像的特征，将微光的纹理信息与红外图像的显著性特征完美结合，取得较好的融合效果，可以较完整地保留了丰富的纹理信息和细节信息，并且图像过渡自然。

具体地，结合图2和3所示，本发明的总变分和结构张量的图像融合方法还提供了一种实施例，包括以下步骤：

步骤1：本发明选取来自同一场景并且经过严格配准红外与可见光图像。

步骤2：利用图像的结构张量和soft-max函数获取融合图像的加权目标梯度：

1.对于每一幅源图像in(n＝1,2,····,n)及每一个像素元(x,y)，定义一个归一化权重sn(x,y)，表示在图像in点(x,y)附近的显著性指标，可得加权的g矩阵为：

2.考虑到合成梯度方向与原各波段梯度方向一般都存在一定的一致性，我们可以使合成梯度的方向与各图像的平均梯度方向在同一侧，于是可定义目标梯度为：

3.由于异源图像的光谱差异较大，融合的图像容易产生光晕和伪影等现象，为此本文利用soft-max函数构成目标梯度场的梯度权重，其表达式如下所示：

其中a为收缩因子，它控制着soft-max函数曲线的形状。

步骤3：本文利用结构张量获取的目标梯度场放入到总变分模型的正则项内，从而约束融合图像的梯度场与目标梯度场vf接近。其表达式如下：

步骤4：总变分模型的数据保真项是使融合图像与两幅源图像相差不大，因此它决定了最终的主观融合视觉效果。如果只约束融合源图像与其中一种源图像接近，这显然是不妥当的。为此，我们在数据保真项内加入权重函数，用以表达源图像对融合图像的贡献程度，其表达式如下：

其中f代表最终的融合图像，i代表红外图像，v代表可见光图像，α与β是两个非负权重函数，它可以根据源图像灰度值的变化而变化，从而平衡源图像与融合图像之间的像素强度配比。由于数据保真项还需要兼容两种源图像的光谱特性，因此其非负权重函数的选择决定了最终的融合视觉特性。为此能充分挖掘源图像内部的显著性特征，本文采用如下方式定义权重函数：

其中f(x,y)表示两种源图像中像素(x,y)的强度值，p表示像素强度，mp表示其强度等于p的像素的数量，并且l是灰度级的数量(本文中为256)，s(x,y)代表源图像的显著特征矩阵。

步骤5：总变分模型的建立

1.我们将tv模型的数据保真项与正则项相结合，得到如下表达式：

2.将上述融合模型用离散化的l2范数与l1范数再次简化，将其表示为：

其中λ为正则参数，并且：

步骤6：总变分模型的求解

鉴于分裂bregman算法是求解带有l1正则项的快速算法，在本节中我们采用该方法实现全新模型的最优求解，其求解过程如下：

第一步：引入变量d，将公式(8)变为以下形式：

第二步：1.f^k+1可以按照如下方式求解：

2.f的最小化方程由以下最优性条件给出：

(f-αi-βv)-δf+γdiv(vf+d^k-b^k)＝0；(12)

3.由于公式(12)是线性的，它可以使用快速傅立叶变换实现求解。为此，把公式(12)重写为如下形式：

f-δf＝αi+βv-γdiv(vf+d^k-b^k)；(13)

4.公式(13)的快速傅立叶(fft)形式为：

f(k)f(f^k+1)＝f(rhs^k)；(14)

k＝i-δ；(15)

rhk＝αi+βv-γdiv(vf+d^k-b^k)；(16)

其中i表示单位矩阵，f表示快速傅里叶变换。至此，公式(14)中f^k+1的闭合形式解为：

第三步：1.d^k+1可以按照如下方式求解：

2.公式(18)的解可以使用如下的软阈值形式获得：

3.由shrink算子得到d^k+1的解为：

第四步：为防止f^k+1超出范围，在每一步迭代中对其做出如下约束：

f^k+1＝max[min(f^k+1,1),0]；(21)

图像融合结果的性能可以通过主观和客观的方式进行评价。在大多数情况下，融合结果之间的差异不大，则难以用主观方式正确地评价融合结果。因此，在客观质量评价的基础上对融合效果进行评价也是非常必要的，本文选取了以下5个客观质量指标作为评判标准：1.平均梯度(avg)2.信息熵(ie)3.边缘信息保留量(q^ab/f)4.空间频率(sf)5.标准差(sd)。详细地说，avg用来体现图像中的微小细节反差和纹理变化特征；ie可以直接用来衡量图像信息的丰富程度；sf用来反映图像在空间域的总体活跃程度；sd用来反应像素灰度值的分布状况；q^ab/f评价从源图像传递到融合图像的边缘信息量。对于这5个指标，数值越大代表性能越好。

结合图4所示，下面通过采用多种算法进行仿真对比各种算法的图像融合效果，本仿真采用基于wls的融合算法、基于pcnn的融合算法、基于gff的融合算法、基于hmsd的融合算法、基于mwgf的融合算法、基于gtf的融合算法、基于l1-tv的融合算法等作为对比，其中，图4(a)为红外图像，图4(b)为可见光图像，图4(c)是基于wls的融合效果图，图4(d)是基于pcnn的融合效果图，图4(e)是基于cff的融合效果图，图4(f)是基于hmsd的融合效果图，图4(g)是基于mwgf的融合效果图，图4(h)是基于gtf的融合效果图，图4(i)是基于l1-tv的融合效果图，图4(j)是基于本发明算法的融合效果图。

表1表示不同算法的评价指标对比。

从图4(c)-(j)可以看出，图4(d)方法的融合图像依旧还有伪影噪点。图4(e)方法的融合图像较为接近vi图像，因此丢失了ir图像的显著性特征。与图4(e)的观感相反，图4(g)-(i)的观感依旧接近ir图像，因此丢了很多包含在vi图像的纹理细节信息。图4(c)和图4(f)方法的融合图像与图4(j)较为接近，但是本文算法的人物更加清晰，同时背景的梯度特征也保留的最多。同时从表一也可以发现，除了sf值低于vsm-wls算法外，剩下的评价参数值均高于其它对比算法，这一定程度与主观观感相似，说明本文算法能保证在人眼视觉基础的可见光场景下，极大的融合了红外目标与背景信息，同时在融合过程中没有遗失边缘细节信息，因此观感最佳。由于全新的优化模型在数据保真项加入了显著性权重函数，因此融合图像在主体观感上兼容了源图像的光谱特性，凸显了各自的显著性信息，更加符合人眼的视觉观感。除此外，正则项利用融合的梯度场还原了更多的梯度特征，使融合图像细节更加丰富。

相应地，本发明提供一种总变分和结构张量的图像融合装置，所述装置包括：

图像配准单元，用于获取来自同一场景并进行图像配准的红外图像和可见光图像；

目标梯度场获取单元，用于利用红外图像和可见光图像的结构张量获取融合图像的目标梯度场；

权重获取单元，用于利用soft-max函数柔化所述目标梯度场的权重；

处理单元，用于将融合梯度场放入总变分tv模型的正则项内，以使得融合图像的融合梯度场和目标梯度场接近；

融合单元，用于利用分裂bregman算法求解tv模型得到融合图像。

可选地，所述图像配准单元具体用于：

分别获取同一场景的红外图像和可见光图像；

对红外图像和可见光图像进行特征提取得到特征点，通过进行相似性度量找到匹配的特征点对，通过匹配的特征点对得到图像空间坐标变换参数，由坐标变换参数进行红外图像和可见光图像的图像配准。

可选地，所述目标梯度场获取单元具体用于：

对于每一幅源图像in(n＝1,2,····,n)及每一个像素元(x,y)，定义一个归一化权重sn(x,y)，表示在图像in点(x,y)附近的显著性指标，可得加权的g矩阵为：

利用合成梯度方向与原各波段梯度方向存在一致性使得合成梯度的方向与各图像的平均梯度方向在同一侧，定义目标梯度场vf为：

可选地，所述处理单元具体用于：

其中a为收缩因子，用于控制soft-max函数曲线的形状。

本发明提出一种总变分和结构张量的图像融合装置，总变分tv模型利用图像的结构张量获取融合图像的目标梯度场，在目标梯度场内部利用soft-max函数柔化梯度场的权重，将融合梯度场放入到tv模型的正则项内，保障融合图像的梯度场与目标梯度场接近，利用分裂bregman算法求解全新的tv模型，获取最终的融合图像，通过采用本方案可以更好地表达图像的特征，将微光的纹理信息与红外图像的显著性特征完美结合，取得较好的融合效果，可以较完整地保留了丰富的纹理信息和细节信息，并且图像过渡自然。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(rom，readonlymemory)、随机存取存储器(ram，randomaccessmemory)、磁盘或光盘等。

以上对本发明所提供的一种总变分和结构张量的图像融合方法及装置进行了详细介绍，对于本领域的一般技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。