基于潜在低秩表示和结构张量的图像融合方法及装置与流程

本发明涉及图像融合领域，特别涉及一种基于潜在低秩表示和结构张量的图像融合方法及装置。

背景技术：

随着数字图像处理技术、数据融合技术的不断发展，红外(ir)与可见光(vi)图像融合技术的研究已逐渐成为了研究热点。红外与可见光图像融合就是将红外图像的显著性特征与可见光图像的梯度纹理特征相结合，从而有利于在隐藏、伪装和迷惑的情况下更快、更精确地探测目标。由于融合后的图像可以把源图像之间的优点结合起来，因此该技术目前已广泛应用于军事侦查、计算机视觉、安全监控等多个领域。

针对ir与vi图像之间的融合，目前主要有两大类方法。第一类方法是基于多尺度分解(mst)的融合方法。mst工具如curvelet变换，非下采样contourlet变换(nsct)，剪切波变换(st)等已经成功用于图像融合领域。该类方法可以很好地提取图像的多尺度特征，但是在图像重构的过程中会平滑图像的细节，并且容易引入频谱混叠效应，影响融合效果。另一类方法则是在空间域选取具有更加明显特征的像素作为融合图像的像素，其中最具有代表性的就是pcnn方法。由于pcnn特有的仿生机制，能够保持输入图像空间二维信息的完整性，将图像的信息特征与其视觉特性完美结合，因此可以获得较好的融合效果。目前针对pcnn的研究，学者们从未停止，并且已经提出了大量的改进。传统pcnn模型大多以单通道为主，其内部含有大量不可省略的外设参数，并且多数都要靠经验设置，这导致融合的时效性与准确性大大降低。现有技术中，提出一种双通道pcnn(dual-pcnn)模型解决了上述问题。dual-pcnn继承了传统pcnn模型的所有优点，并且将单通道输入变为双通道模型输入。由于采用双通道使其内部集成了融合机制，因此很大程度上提高了pcnn模型的融合效果。作为pcnn模型内部最重要的两个参数，外界刺激与链接强度都反映了人眼视觉系统对图像不同特征区域反应的强烈程度。两个参数的设置与选择，也往往决定了最终的融合效果。为了对融合效果进行提高，学者们分别采用拉普拉斯能量和、平均梯度、空间频率等可以表征图像局部特征的算子对两个参数进行自适应设置。然而经过大量实验发现，针对图像光谱差异较大的ir与vi图像融合，上述算子容易导致pcnn模型中外界刺激与链接强度值的稳定性下降，因此最终的融合图像往往存在目标光晕和黑色伪影等问题。

技术实现要素：

本发明实施例提供了一种基于潜在低秩表示和结构张量的图像融合方法及装置，解决了红外图像与可见光图像光谱差异较大而导致融合图像对比度偏低和出现大量黑色伪影等问题，可以更好地表达图像的特征，将可见光的纹理信息与红外图像的显著性特征完美结合，最终取得较好的融合效果

第一方面，本发明提供一种基于潜在低秩表示和结构张量的图像融合方法，所述方法包括：

获取来自同一场景并进行图像配准的红外图像和可见光图像；

利用潜在低秩表示latlrr算法对所述红外图像和所述可见光图像进行分解得到第一显著性特征图和第二显著性特征图，对所述第一显著性特征图和所述第二显著性特征图各自的灰度值进行归一化，分别对应形成第一加权系数矩阵和第二加权系数矩阵；

利用所述第一加权系数矩阵和所述第二加权系数矩阵分别指导基于红外显著性红外显著性与可见光显著性的原图像自适应加权叠加，将叠加后的系数矩阵归一化构成低秩显著性lsr算子；

获取图像任一点像素的梯度向量，利用利用所述梯度向量确定所述像素点的张量，对所述张量采用滤波技术进行平滑处理的到结构张量，所述结构张量进行矩阵奇异值分解得到相应的特征根，利用所述特征根确定张量奇异值tsv算子；

将所述lsr算子和tsv算子输入到预先建立的自适应双通道pcnn模型中，以所述tsv算子作为pcnn模型的链接强度处理得到融合图像灰度值。

可选地，所述获取来自同一场景并进行图像配准的红外图像和可见光图像，包括：

分别获取同一场景的红外图像和可见光图像；

对红外图像和可见光图像进行特征提取得到特征点，通过进行相似性度量找到匹配的特征点对，通过匹配的特征点对得到图像空间坐标变换参数，由坐标变换参数进行红外图像和可见光图像的图像配准。

可选地，所述利用潜在低秩表示latlrr算法对所述红外图像和所述可见光图像进行分解得到第一显著性特征图和第二显著性特征图，对所述第一显著性特征图和所述第二显著性特征图各自的灰度值进行归一化，分别对应形成第一加权系数矩阵和第二加权系数矩阵，包括：

采用潜在低秩表示latlrr算法分别对红外图像与可见光图像进行分解，获得各自的第一显著性特征图sir(x,y)与第二显著性特征图svi(x,y)，将第一显著性特征图sir(x,y)与第二显著性特征图svi(x,y)的灰度值进行归一化，形成第一加权系数矩阵si(x,y)与第二加权系数矩阵sv(x,y)，第一加权系数矩阵si(x,y)或第二加权系数矩阵sv(x,y)的表达式为：

可选地，所述利用所述第一加权系数矩阵和所述第二加权系数矩阵分别指导基于红外显著性红外显著性与可见光显著性的原图像自适应加权叠加，将叠加后的系数矩阵归一化构成低秩显著性lsr算子，包括：

利用第一加权系数矩阵si(x,y)与第二加权系数矩阵sv(x,y)分别指导基于红外显著性与可见光显著性的源图像自适应加权叠加，将叠加后的系数矩阵归一化，从而构成低秩显著性lsr算子，其具体表达式如下所示：

l1(x,y)＝si(x,y)·ir(x,y)+(1-si(x,y))·vi(x,y))；(4)

l2(x,y)＝sv(x,y)·vi(x,y)+(1-sv(x,y))·ir(x,y))；(5)

其中ir(x,y)与vi(x,y)分别代表红外图像与可见光图像在(x,y)处的灰度值，lsr1/2(x,y)分别表示双通道pcnn模型的两个外界刺激。

可选地，所述获取图像任一点像素的梯度向量，利用利用所述梯度向量确定所述像素点的张量，对所述张量采用滤波技术进行平滑处理的到结构张量，所述结构张量进行矩阵奇异值分解得到相应的特征根，利用所述特征根确定张量奇异值tsv算子，包括：

设图像中某点像素(x,y)的梯度向量为则该点的张量g(x,y)可表示为：

其中i(x,y)为该点的灰度值，为梯度符号，有如下表达式：

滤波技术对矩阵场数据进行平滑，将经过滤波平滑后的张量定义为结构张量，结构张量表达式如下所示：

其中gσ为结构张量，gσ为方差是σ的高斯函数，*为卷积符号；

对结构张量gσ采取矩阵奇异值分解，获得相应的特征根：

其中v是个2×2的正定矩阵，λ1与λ2分别为结构张量的特征值，张量奇异值tsv算子作为pcnn模型的链接强度，链接强度表达式如下：

tsv的大小可以体现图像局部区域基本结构模式，tsv的值较大，则当前区域包含丰富的细节信息；tsv的值较小，则当前区域较为平坦，tsv算子可以作为链接强度的描述算子，tsv算子的值可用来表征图像的特征。

可选地，所述将所述lsr算子和tsv算子输入到预先建立的自适应双通道pcnn模型中，以所述tsv算子作为pcnn模型的链接强度处理得到融合图像灰度值，包括：

将lsr算子与tsv算子输入到自适应双通道pcnn模型中，其中自适应pcnn模型的表达式如下：

接收域：

fxy¹(n)＝sxy¹(n)；(12)

fxy²(n)＝sxy²(n)；(13)

其中s¹xy和s²xy表示两幅图像外界刺激直接，lxy代表链接输入，yxy表示内部处理后神经元的外部输出；

信息融合域：

其中信息融合域域通过判读两幅图像神经元内部项uxy的大小决定最终输出的uxy，β¹xy和β²xy分别代表红外图像和可见光图像相应的链接强度；

脉冲域：

θxy(n)＝θxy(n-1)-δ+vθyxy(n)；(17)

其中θxy是阈值函数，δ是动态阈值的下降幅度，vθ决定神经元的阈值；

像素元点火次数：

n代表迭代次数，txy表示每个像素元(x,y)的点火次数；

迭代公式(10)-(16)直到所有神经元都被点火，计算uxy(n),lxy(n),θxy(n),txy(n),yxy(n)，融合系数的规则如下：

w1(x,y)＝ir(i,j)/ir(i,j)+vi(i,j)；(22)

w2(x,y)＝vi(i,j)/ir(i,j)+vi(i,j)；(23)

其中uⁱxy(n)与u^vxy(n)表示红外与可见光图像的神经元内部活动项，n代表迭代次数，f(x,y)代表最终的融合图像灰度值，w(x,y)代表亮度权重系数。

第二方面，本发明提供一种基于潜在低秩表示和结构张量的图像融合装置，所述装置包括：

图像配准单元，用于获取来自同一场景并进行图像配准的红外图像和可见光图像；

图像分解单元，用于利用潜在低秩表示latlrr算法对所述红外图像和所述可见光图像进行分解得到第一显著性特征图和第二显著性特征图，对所述第一显著性特征图和所述第二显著性特征图各自的灰度值进行归一化，分别对应形成第一加权系数矩阵和第二加权系数矩阵；

lsr算子获取单元，用于利用所述第一加权系数矩阵和所述第二加权系数矩阵分别指导基于红外显著性红外显著性与可见光显著性的原图像自适应加权叠加，将叠加后的系数矩阵归一化构成低秩显著性lsr算子；

tsv算子获取单元，用于获取图像任一点像素的梯度向量，利用利用所述梯度向量确定所述像素点的张量，对所述张量采用滤波技术进行平滑处理的到结构张量，所述结构张量进行矩阵奇异值分解得到相应的特征根，利用所述特征根确定张量奇异值tsv算子；

图像融合单元，用于将所述lsr算子和tsv算子输入到预先建立的自适应双通道pcnn模型中，以所述tsv算子作为pcnn模型的链接强度处理得到融合图像灰度值。

可选地，所述用于图像配准单元具体用于：

分别获取同一场景的红外图像和可见光图像；

对红外图像和可见光图像进行特征提取得到特征点，通过进行相似性度量找到匹配的特征点对，通过匹配的特征点对得到图像空间坐标变换参数，由坐标变换参数进行红外图像和可见光图像的图像配准。

可选地，所述加权叠加单元具体用于：

采用潜在低秩表示latlrr算法分别对红外图像与可见光图像进行分解，获得各自的第一显著性特征图sir(x,y)与第二显著性特征图svi(x,y)，将第一显著性特征图sir(x,y)与第二显著性特征图svi(x,y)的灰度值进行归一化，形成第一加权系数矩阵si(x,y)与第二加权系数矩阵sv(x,y)，第一加权系数矩阵si(x,y)或第二加权系数矩阵sv(x,y)的表达式为：

可选地，所述lsr算子获取单元具体用于：

利用si与sv分别指导基于红外显著性与可见光显著性的源图像自适应加权叠加，将叠加后的系数矩阵归一化，构成低秩显著性lsr算子，lsr算子的表达式如下所示：

l1(x,y)＝si(x,y)·ir(x,y)+(1-si(x,y))·vi(x,y))；(4)

l2(x,y)＝sv(x,y)·vi(x,y)+(1-sv(x,y))·ir(x,y))；(5)

其中ir(x,y)与vi(x,y)分别代表红外图像与可见光图像在(x,y)处的灰度值，lsr1/2(x,y)分别表示双通道pcnn模型的两个外界刺激。

从以上技术方案可以看出，本发明实施例具有以下优点：

本发明提供的基于潜在低秩表示和结构张量的图像融合方法及装置，针对现有双通道pcnn模型在解决红外图像与可见光图像融合问题时存在的不足，利用基于latlrr算法构成的lsr算子作为pcnn模型的外界刺激，解决红外图像与可见光图像之间较大的差异性，并且利用基于结构张量奇异值分解而构成的tsv算子作为链接强度，表征图像的特征变化，一定程度上可以解决红外图像与可见光图像光谱差异较大而导致融合图像对比度较低的问题，同时较完整地保留了丰富的纹理信息和细节信息，并且图像过渡自然。

附图说明

图1是本发明实施例中基于潜在低秩表示和结构张量的图像融合方法的一种实施例的流程图；

图2是本发明实施例中基于潜在低秩表示和结构张量的图像融合方法的一种实施例的示意图；

图3是本发明实施例中基于潜在低秩表示和结构张量的图像融合方法的一种实施例的latlrr算法的分解效果图；

图4是本发明实施例中基于潜在低秩表示和结构张量的图像融合方法的一种实施例的tsv算子的效果示意图；

图5是本发明实施例中基于潜在低秩表示和结构张量的图像融合方法的一种实施例的融合算法的对比效果图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

结合图1和2所示，本发明提供一种基于潜在低秩表示和结构张量的图像融合方法，所述方法包括：

s101、获取来自同一场景并进行图像配准的红外图像和可见光图像；

选取来自同一场景并且经过严格配准的红外图像与可见光图像，对红外图像和可见光图像进行特征提取得到特征点，通过进行相似性度量找到匹配的特征点对，通过匹配的特征点对得到图像空间坐标变换参数，由坐标变换参数进行红外图像和可见光图像的图像配准。

s102、利用潜在低秩表示latlrr算法对所述红外图像和所述可见光图像进行分解得到第一显著性特征图和第二显著性特征图，对所述第一显著性特征图和所述第二显著性特征图各自的灰度值进行归一化，分别对应形成第一加权系数矩阵和第二加权系数矩阵；

具体地，采用潜在低秩表示latlrr算法分别对红外图像与可见光图像进行分解，获得各自的第一显著性特征图sir(x,y)与第二显著性特征图svi(x,y)，将第一显著性特征图sir(x,y)与第二显著性特征图svi(x,y)的灰度值进行归一化，形成第一加权系数矩阵si(x,y)与第二加权系数矩阵sv(x,y)，第一加权系数矩阵si(x,y)或第二加权系数矩阵sv(x,y)的表达式为：

s103、利用所述第一加权系数矩阵和所述第二加权系数矩阵分别指导基于红外显著性红外显著性与可见光显著性的原图像自适应加权叠加，将叠加后的系数矩阵归一化构成低秩显著性lsr算子。

具体地，利用si与sv分别指导基于红外显著性与可见光显著性的源图像自适应加权叠加，将叠加后的系数矩阵归一化，从而构成低秩显著性(lsr)算子，其具体表达式如下所示：

l1(x,y)＝si(x,y)·ir(x,y)+(1-si(x,y))·vi(x,y))；(4)

l2(x,y)＝sv(x,y)·vi(x,y)+(1-sv(x,y))·ir(x,y))；(5)

其中ir(x,y)与vi(x,y)分别代表红外图像与可见光图像在(x,y)处的灰度值，lsr1/2(x,y)分别表示双通道pcnn模型的两个外界刺激。

s104、获取图像任一点像素的梯度向量，利用利用所述梯度向量确定所述像素点的张量，对所述张量采用滤波技术进行平滑处理的到结构张量，所述结构张量进行矩阵奇异值分解得到相应的特征根，利用所述特征根确定张量奇异值tsv算子。

设图像中某点像素(x,y)的梯度向量为则该点的张量g(x,y)可表示为：

其中i(x,y)为该点的灰度值，为梯度符号，有如下表达式：

滤波技术对矩阵场数据进行平滑，将经过滤波平滑后的张量定义为结构张量，结构张量表达式如下所示：

其中gσ为结构张量，gσ为方差是σ的高斯函数，*为卷积符号；

对结构张量gσ采取矩阵奇异值分解，获得相应的特征根：

其中v是个2×2的正定矩阵，λ1与λ2分别为结构张量的特征值，张量奇异值tsv算子作为pcnn模型的链接强度，链接强度表达式如下：

tsv的大小可以体现图像局部区域基本结构模式，tsv的值较大，则当前区域包含丰富的细节信息；tsv的值较小，则当前区域较为平坦，tsv算子可以作为链接强度的描述算子，tsv算子的值可用来表征图像的特征。

s105、将所述lsr算子和tsv算子输入到预先建立的自适应双通道pcnn模型中，以所述tsv算子作为pcnn模型的链接强度处理得到融合图像灰度值。

将lsr算子与tsv算子输入到自适应双通道pcnn模型中，其中自适应pcnn模型的表达式如下：

接收域：

fxy¹(n)＝sxy¹(n)；(12)

fxy²(n)＝sxy²(n)；(13)

其中s¹xy和s²xy表示两幅图像外界刺激直接，lxy代表链接输入，yxy表示内部处理后神经元的外部输出。

信息融合域：

其中信息融合域域通过判读两幅图像神经元内部项uxy的大小决定最终输出的uxy，β¹xy和β²xy分别代表红外图像和可见光图像相应的链接强度；

脉冲域：

θxy(n)＝θxy(n-1)-δ+vθyxy(n)；(17)

其中θxy是阈值函数，δ是动态阈值的下降幅度，vθ决定神经元的阈值；

像素元点火次数：

n代表迭代次数，txy表示每个像素元(x,y)的点火次数；

迭代公式(10)-(16)直到所有神经元都被点火，计算uxy(n),lxy(n),θxy(n),txy(n),yxy(n)，融合系数的规则如下：

w1(x,y)＝ir(i,j)/ir(i,j)+vi(i,j)；(22)

w2(x,y)＝vi(i,j)/ir(i,j)+vi(i,j)；(23)

其中uⁱxy(n)与u^vxy(n)表示红外与可见光图像的神经元内部活动项，n代表迭代次数，f(x,y)代表最终的融合图像灰度值，w(x,y)代表亮度权重系数。

本发明提供的基于潜在低秩表示和结构张量的图像融合方法，针对现有双通道pcnn模型在解决红外图像与可见光图像融合问题时存在的不足，利用基于latlrr算法构成的lsr算子作为pcnn模型的外界刺激，解决红外图像与可见光图像之间较大的差异性，并且利用基于结构张量奇异值分解而构成的tsv算子作为链接强度，表征图像的特征变化，一定程度上可以解决红外图像与可见光图像光谱差异较大而导致融合图像对比度较低的问题，同时较完整地保留了丰富的纹理信息和细节信息，并且图像过渡自然。

结合图2、3和4所示，本发明实施例中基于潜在低秩表示和结构张量的图像融合方法提供的另一种实施例，所述方法包括以下步骤：

步骤1：本发明选取来自同一场景并且经过严格配准红外图像与可见光图像。

步骤2：采用latlrr算法分别对红外图像与可见光图像进行分解，其中λ＝0.4。latlrr的核心思想就是将数据矩阵表示为低秩分量、稀疏分量与稀疏噪声三者的线性叠加。对于一个图像矩阵x∈r^m×n，可以被解释为：

x＝xl+sx+e；(1)

其中l代表低秩矩阵，l∈r^n×n；s代表稀疏矩阵，s∈r^m×m；e代表稀疏噪声，e∈r^m×n；xl代表图像的近似部分，sx代表图像的显著性信息。

为了解决公式(1)的问题，可以采用凸优化函数处理，即范数最小化，其表达式如下所示：

其中λ>0；||||*表示矩阵的核范数，即矩阵的奇异值的和；||||1表示l1范数，即矩阵中所有元素的绝对值之和。

步骤3：采用latlrr算法获得各自的显著性特征图sir(i,j)与svi(i,j)，然后再将两幅图的灰度值进行归一化，形成加权系数矩阵si(i,j)与sv(i,j)，具体地，图3(a)为原始图像，图3(b)为图像的主要特征，图3(c)为图像的显著性特征，图3(d)为图像的稀疏噪声。

步骤4：利用si与sv分别指导基于红外显著性与可见光显著性的源图像自适应加权叠加。将叠加后的系数矩阵归一化，从而构成低秩显著性lsr算子，其具体表达式如下所示：

l1(x,y)＝si(x,y)·ir(x,y)+(1-sⁱ(x,y))·vi(x,y))；(4)

l²(x,y)＝s^v(x,y)·vi(x,y)+(1-sv(x,y))·ir(x,y))；(5)

步骤5：设图像中某点像素(x,y)的梯度向量为则该点的张量g(x,y)可表示为：

其中i(x,y)为该点的灰度值，为梯度符号，有如下表达式：

由于普通张量只能描述像素点的一维结构和方向，而无法描述像素点周围的多维信息。为了使其包含局部结构信息，可采用滤波技术对矩阵场数据进行平滑。将经过滤波平滑后的张量定义为结构张量，其表达式如下所示：

其中gσ为结构张量，gσ为方差是σ的高斯函数，*为卷积符号。

步骤6：对结构张量gσ采取矩阵奇异值分解，获得相应的特征根：

其中v是个2×2的正定矩阵，λ1与λ2分别为结构张量的特征值，它们反映了特征向量方向上能量变化的大小。在平坦区域，灰度值变化较小或者几乎没有变化，两个特征值λ1≈λ2≈0；在边缘纹理一致区域，跨越边缘的方向灰度变化较大，其特征值λ1>λ2≈0；在细节丰富区域，不同方向的灰度值均有变化，特征值λ1>λ2>0。因此特征值λ1与λ2可以很好地表征图像局部区域的内容[21]，为此本文提出一种张量奇异值tsv算子作为pcnn模型的链接强度，其表达式如下：

具体地，图4(a)为源图像，图4(b)是基于tsv算子的链接强度效果图，tsv的大小可以体现图像局部区域基本结构模式。如果tsv的值较大，则当前区域包含丰富的细节信息；如果tsv的值较小，则当前区域较为平坦。因此tsv算子可以作为链接强度的描述算子，其值可用来表征图像的特征。

步骤7:将lsr算子与tsv算子输入到自适应双通道pcnn模型中，其中自适应pcnn模型的表达式如下：

接收域：

fxy¹(n)＝sxy¹(n)；(12)

fxy²(n)＝sxy²(n)；(13)

其中s¹xy和s²xy表示两幅图像外界刺激直接，lxy代表链接输入，yxy表示内部处理后神经元的外部输出。

信息融合域：

其中信息融合域域通过判读两幅图像神经元内部项uxy的大小，来决定最终输出的uxy。β¹xy和β²xy代表两幅图像相应的链接强度，它反映了人眼视觉系统对图像中不同特征区域反应的强烈程度，是整个模型中最重要的参数。

脉冲域：

θxy(n)＝θxy(n-1)-δ+vθyxy(n)；(17)

其中θxy是阈值函数；δ是动态阈值的下降幅度，可以认为是0.01，以确保动态阈值的衰减速率是轻微的；vθ决定了神经元的阈值，因此应该设置一个相对较大的值，例如10。

像素元点火次数：

n代表迭代次数，txy表示每个像素元(x,y)的点火次数，它准确地表达了像素元的点火次数信息,很好地解决迭代次数n的自适应问题。

步骤8：迭代公式(10)-(16)直到所有神经元都被点火，计算uxy(n),lxy(n),θxy(n),txy(n),yxy(n)，融合系数的规则如下：

w1(x,y)＝ir(i,j)/ir(i,j)+vi(i,j)；(22)

w2(x,y)＝vi(i,j)/ir(i,j)+vi(i,j)；(23)

其中uⁱxy(n)与u^vxy(n)表示红外与可见光图像的神经元内部活动项，n代表迭代次数，f(i,j)代表最终的融合图像灰度值，w(x,y)代表亮度权重系数。

图像融合结果的性能可以通过主观和客观的方式进行评价，在大多数情况下，融合结果之间的差异不大，则难以用主观方式正确地评价融合结果。因此，在客观质量评价的基础上对融合效果进行评价也是非常必要的，本文选取了以下5个客观质量指标作为评判标准：1.平均梯度(avg)2.信息熵(ie)3.边缘信息保留量(q^ab/f)4.空间频率(sf)5.标准差(sd)。详细地说，avg用来体现图像中的微小细节反差和纹理变化特征；ie可以直接用来衡量图像信息的丰富程度；sf用来反映图像在空间域的总体活跃程度；sd用来反应像素灰度值的分布状况；q^ab/f评价从源图像传递到融合图像的边缘信息量。对于这5个指标，数值越大代表性能越好。

结合图5所示，本仿真采用基于nsst的融合算法、基于pcnn的融合算法、基于gff的融合算法、基于gtf的融合算法、基于ife的融合算法等作为对比，具体地，图5(a)为红外源图像，图5(b)为可见光源图像，图5(c)是基于nsst的融合效果图，图5(d)是基于pcnn的融合效果图，图5(e)是基于gff的融合效果图，图5(f)是基于ctf的融合效果图，图5(g)是基于ife的融合效果图，图5(h)是基于gtf的融合效果图。

表1表示不同算法的评价指标对比。

从图5(c)-(h)可以看出，图5(h)的对比度是最高的，其纹理特征和显著特征还原地最为到位，同时其观感也最为符合人眼视觉系统。而其它对比算法的观感都较为灰暗，因此均不如本发明算法。同时从表一也可以发现，本发明融合图像的评价参数值均高于其它对比算法，这一定程度与主观观感相似，说明本文算法能保证在人眼视觉基础的可见光场景下，极大的融合了红外目标与背景信息，同时在融合过程中没有遗失边缘细节信息，因此观感最佳。由于采用了全新的外界刺激与链接强度算子，因此融合图像在主体观感上兼容了源图像的光谱特性，凸显了各自的显著性信息，更加符合人眼的视觉观感。

对应地，本发明提供一种基于潜在低秩表示和结构张量的图像融合装置，所述装置包括：

图像配准单元，用于获取来自同一场景并进行图像配准的红外图像和可见光图像；

图像分解单元，用于利用潜在低秩表示latlrr算法对所述红外图像和所述可见光图像进行分解得到第一显著性特征图和第二显著性特征图，对所述第一显著性特征图和所述第二显著性特征图各自的灰度值进行归一化，分别对应形成第一加权系数矩阵和第二加权系数矩阵；

lsr算子获取单元，用于利用所述第一加权系数矩阵和所述第二加权系数矩阵分别指导基于红外显著性红外显著性与可见光显著性的原图像自适应加权叠加，将叠加后的系数矩阵归一化构成低秩显著性lsr算子；

tsv算子获取单元，用于获取图像任一点像素的梯度向量，利用利用所述梯度向量确定所述像素点的张量，对所述张量采用滤波技术进行平滑处理的到结构张量，所述结构张量进行矩阵奇异值分解得到相应的特征根，利用所述特征根确定张量奇异值tsv算子；

图像融合单元，用于将所述lsr算子和tsv算子输入到预先建立的自适应双通道pcnn模型中，以所述tsv算子作为pcnn模型的链接强度处理得到融合图像灰度值。

可选地，所述用于图像配准单元具体用于：

分别获取同一场景的红外图像和可见光图像；

对红外图像和可见光图像进行特征提取得到特征点，通过进行相似性度量找到匹配的特征点对，通过匹配的特征点对得到图像空间坐标变换参数，由坐标变换参数进行红外图像和可见光图像的图像配准。

可选地，所述加权叠加单元具体用于：

采用潜在低秩表示latlrr算法分别对红外图像与可见光图像进行分解，获得各自的第一显著性特征图sir(x,y)与第二显著性特征图svi(i,j)，将第一显著性特征图sir(i,j)与第二显著性特征图svi(i,j)的灰度值进行归一化，形成第一加权系数矩阵si(i,j)与第二加权系数矩阵sv(i,j)，第一加权系数矩阵si(i,j)或第二加权系数矩阵sv(i,j)的表达式为：

可选地，所述lsr算子获取单元具体用于：

利用si与sv分别指导基于红外显著性与可见光显著性的源图像自适应加权叠加，将叠加后的系数矩阵归一化，构成低秩显著性lsr算子，lsr算子的表达式如下所示：

l1(x,y)＝si(x,y)·ir(x,y)+(1-si(x,y))·vi(x,y))；(4)

l2(x,y)＝sv(x,y)·vi(x,y)+(1-sv(x,y))·ir(x,y))；(5)

其中ir(x,y)与vi(x,y)分别代表红外图像与可见光图像在(x,y)处的灰度值，lsr1/2(x,y)分别表示双通道pcnn模型的两个外界刺激。

本发明提供的基于潜在低秩表示和结构张量的图像融合装置，针对现有双通道pcnn模型在解决红外图像与可见光图像融合问题时存在的不足，利用基于latlrr算法构成的lsr算子作为pcnn模型的外界刺激，解决红外图像与可见光图像之间较大的差异性，并且利用基于结构张量奇异值分解而构成的tsv算子作为链接强度，表征图像的特征变化，一定程度上可以解决红外图像与可见光图像光谱差异较大而导致融合图像对比度较低的问题，同时较完整地保留了丰富的纹理信息和细节信息，并且图像过渡自然。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(rom，readonlymemory)、随机存取存储器(ram，randomaccessmemory)、磁盘或光盘等。

以上对本发明所提供的一种基于潜在低秩表示和结构张量的图像融合方法及装置进行了详细介绍，对于本领域的一般技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。