基于潜在低秩表示与NSST的图像融合方法及装置与流程
本发明涉及图像融合领域，特别涉及一种基于潜在低秩表示与nsst的图像融合方法及装置
背景技术：
红外和可见光图像融合技术的开发很大程度上是为了满足现代军用侦查技术的发展，其中可见光图像是反射图像，高频成分多，在一定照度下能反映场景的细节，但照度不佳时的可见光图像(即微光图像)的对比度较低；红外图像是辐射图像，灰度由目标与背景的温差决定，不能反映真实的场景。单独使用可见光或红外图像均存在不足之处，对于这两种具有互补性的图像，图像融合技术能够有效地综合和发掘它们的特征信息，增强场景理解，突出目标，有利于在隐藏、伪装和迷惑的情况下更快、更精确地探测目标。
目前针对红外与可见光融合，学者们提出了许多方法，特别是针对像素级的ir和vi图像融合。其中一些多尺度分析工具，例如contourlet变换，非下采样contourlet变换(nsct)，非下采样剪切波变换(nsst)等，已经成功用于图像融合领域。研究表明，nsst是目前分解速度最快、分解效果最为精细的mga工具，它不仅在空间和频域都具有良好的局部特性，而且采用局部化小尺寸剪切滤波器，能够避免块效应和弱化吉布斯振铃现象，同时提高时域卷积计算效率，因此受到很多研究者的青睐。文献《adaptivefusionmethodofvisiblelightandinfraredimagesbasedonnon-subsampledshearlettransformandfastnon-negativematrixfactorization[j]，infraredphysics&technology，2014，67：161–172》提出了一种采用nsst和快速非负矩阵分解(fnmf)相结合的融合方法，该算法利用非负矩阵指导低频系数的融合，但融合的图片亮度偏暗，而且丢失了许多可见光的纹理细节；文献《afusionalgorithmforinfraredandvisibleimagesbasedonsaliencyanalysisandnon-subsampledshearlettransform[j]，infraredphysics&technology，2015，73：286–297》提出一种基于显著性探测和nsst相结合的方式，该方法利用显著性检测将红外目标信息融入可将光图像中，但是背景信息的融合效果有待改进；文献《visibleandinfraredimagefusionusingnsstanddeepboltzmannmachine[j]，optik，2018，157：334–342》提出一种基于深度玻尔兹曼机与nsst相结合的方法，其想法比较新颖，但是深度学习在图像融合领域的应用尚未成熟，因此还有待改进；在文献《afusionalgorithmforinfraredandvisibleimagesbasedonrdu-pcnnandica-basesinnsstdomain[j]，infraredphysics&technology，2016，79：183–190》将pcnn与nsst相结合处理ir与vi图像融合，虽然pcnn具有仿生机制，但是融合图像引入了伪像，并且具有朦胧的图像边缘；文献《techniqueforgray-scalevisuallightandinfraredimagefusionbasedonnon-subsampledshearlettransform，infraredphysics&technology，2014，63：110–118》提出一种nsst域内基于区域平均能量(rae)和局部方向对比度(ldc)的融合框架，其时效性较好，但融合后的图像丢失了一些重要的红外显著性信息。
技术实现要素：
有鉴于此，本发明实施例提供了一种基于潜在低秩表示与nsst的图像融合方法及装置，可以更好表达图像的特征，取得较好的融合效果。
第一方面，本发明提供一种基于潜在低秩表示与nsst的图像融合方法，所述方法包括：
获取来自同一场景且经过图像配准的红外图像和可见光图像；
利用非采样剪切变换nsst分别对所述红外图像和所述可见光图像进行多尺度分解形成低频子带系数和高频子带系数；
利用潜在低秩表示latlrr对所述红外图像和所述可见光图像进行分解，分别对应得到表征所述红外图像显著特征的第一显著图以及表征所述可见光图像显著特征的第二显著图，利用所述第一显著图和第二显著图对所述低频子带系数进行自适应加权融合得到低频融合系数；
获取高频子带系数的平均梯度avg，利用所述平均梯度作为高频子带系数的融合系数；
利用nsst逆变换低频子带系数和高频子带系数得到融合图像。
进一步地，所述获取来自同一场景且经过图像配准的红外图像和可见光图像，包括：
分别获取同一场景的红外图像和可见光图像；
对红外图像和可见光图像进行特征提取得到特征点，通过进行相似性度量找到匹配的特征点对，通过匹配的特征点对得到图像空间坐标变换参数，由坐标变换参数进行红外图像和可见光图像的图像配准。
进一步地，所述利用非采样剪切变换nsst分别对所述红外图像和所述可见光图像进行多尺度分解形成低频子带系数和高频子带系数，包括：
利用非采样剪切变换nsst分别对所述红外图像和所述可见光图像进行多尺度分解分别形成低频子带系数
进一步地，所述利用潜在低秩表示latlrr对所述红外图像和所述可见光图像进行分解，分别对应得到表征所述红外图像显著特征的第一显著图以及表征所述可见光图像显著特征的第二显著图，利用所述第一显著图和第二显著图对所述低频子带系数进行自适应加权融合，包括：
利用latlrr对所述红外图像和所述可见光图像进行分解，分别对应得到表征所述红外图像显著特征的第一显著图sir(i,j)以及表征所述可见光图像显著特征的第二显著图svi(i,j)；
对所述第一显著图和所述第二显著图进行灰度值归一化分别对应形成第一加权系数矩阵s1(i,j)和第二加权系数矩阵s2(i,j)；
利用第一加权系数矩阵s1(i,j)和第二加权系数矩阵s2(i,j)分别指导基于红外显著性与可见光显著性的自适应加权融合得到低频融合系数，所述低频融合系数cl,k(i,j)表达式为：
其中cl,k(i,j)代表低频融合系数。
进一步地，所述获取高频子带系数的平均梯度avg，利用所述平均梯度作为高频子带系数的融合系数，包括：
计算高频子带系数的平均梯度avg，avg的表达式为：
▽dh(i,j)＝dl,k(i,j)-dl,k(i+1,j)；
▽dv(i,j)＝dl,k(i,j)-dl,k(i,j+1)；
其中avg代表像素元(i,j)处的平均梯度，dl,k(i,j)表示高频子带系数，▽dh(i,j),▽dv(i,j),▽dmd(i,j),▽dvd(i,j)分别表示水平、垂直与对角线方向上的梯度变化，m×n采取3×3窗口；
通过比较高频子带系数之间的avg，决定最终的融合系数dl,k(i,j)，其中dl,k(i,j)的融合规则为：
第二方面，一种基于潜在低秩表示与nsst的图像融合装置，所述装置包括：
图像配准单元，用于获取来自同一场景且经过图像配准的红外图像和可见光图像；
多尺度分解单元，用于利用非采样剪切变换nsst分别对所述红外图像和所述可见光图像进行多尺度分解形成低频子带系数和高频子带系数；
显著信息获取单元，用于利用潜在低秩表示latlrr对所述红外图像和所述可见光图像进行分解，分别对应得到表征所述红外图像显著特征的第一显著图以及表征所述可见光图像显著特征的第二显著图，利用所述第一显著图和第二显著图对所述低频子带系数进行自适应加权融合得到低频融合系数；
平均梯度处理单元，用于获取高频子带系数的平均梯度avg，利用所述平均梯度作为高频子带系数的融合系数；
融合单元，用于利用nsst逆变换低频子带系数和高频子带系数得到融合图像。
进一步地，所述图像配准单元具体用于：
分别获取同一场景的红外图像和可见光图像；
对红外图像和可见光图像进行特征提取得到特征点，通过进行相似性度量找到匹配的特征点对，通过匹配的特征点对得到图像空间坐标变换参数，由坐标变换参数进行红外图像和可见光图像的图像配准。
进一步地，所述多尺度分解单元具体用于：
利用非采样剪切变换nsst分别对所述红外图像和所述可见光图像进行多尺度分解分别形成低频子带系数
进一步地，所述显著信息获取单元具体用于：
利用latlrr对所述红外图像和所述可见光图像进行分解，分别对应得到表征所述红外图像显著特征的第一显著图sir(i,j)以及表征所述可见光图像显著特征的第二显著图svi(i,j)；
对所述第一显著图和所述第二显著图进行灰度值归一化分别对应形成第一加权系数矩阵s1(i,j)和第二加权系数矩阵s2(i,j)；
利用第一加权系数矩阵s1(i,j)和第二加权系数矩阵s2(i,j)分别指导基于红外显著性与可见光显著性的自适应加权融合得到低频融合系数，所述低频融合系数cl,k(i,j)表达式为：
其中cl,k(i,j)代表低频融合系数。
进一步地，所述平均梯度处理单元具体用于：
计算高频子带系数的平均梯度avg，avg的表达式为：
▽dh(i,j)＝dl,k(i,j)-dl,k(i+1,j)；
▽dv(i,j)＝dl,k(i,j)-dl,k(i,j+1)；
其中avg代表像素元(i,j)处的平均梯度，dl,k(i,j)表示高频子带系数，▽dh(i,j),▽dv(i,j),▽dmd(i,j),▽dvd(i,j)分别表示水平、垂直与对角线方向上的梯度变化，m×n采取3×3窗口；
通过比较高频子带系数之间的avg，决定最终的融合系数dl,k(i,j)，其中dl,k(i,j)的融合规则为：
从以上技术方案可以看出，本发明实施例具有以下优点：
本发明提供基于潜在低秩表示与nsst的图像融合方法及装置，通过含有小尺寸剪切波滤波器的nsst将源图像进行多尺度、多方向分解。由于nsst在分解阶段去除了采样操作，使其具备了平移不变性；同时在方向局部化阶段，局部化小尺寸剪切滤波器能够避免频谱混叠现象，使图像分解与重建效果更加好。针对低频分量，采用基于latlrr显著特征提取的自适应加权融合，latlrr能够从数据中鲁棒地提取图像的显著性特征，同时对噪声更加鲁棒，因此可以对图像中显著性目标及区域较为精准地识别；针对高频分量，由于平均梯度代表图像灰度值的变化，能够反映图像边缘、纹理的细节，因此采用平均梯度算子进行处理。一定程度上可以解决红外图像和可见光图像光谱差异较大而导致融合图像对比度较低的问题，同时较完整地保留了丰富的纹理信息和细节信息，并且图像过渡自然。
附图说明
图1(a)为本发明实施例中提供的基于潜在低秩表示与nsst的图像融合方法的流程图；
图1(b)为本发明实施例中提供的基于潜在低秩表示与nsst的图像融合方法的流程示意图；
图2为本发明实施例中提供的基于潜在低秩表示与nsst的图像融合方法的nsst分解示意图；
图3为本发明实施例中提供的基于潜在低秩表示与nsst的图像融合方法的latlrr分解红外图像的机理示意图；
图4为本发明实施例中提供的基于潜在低秩表示与nsst的图像融合方法的latlrr分解可见光图像的机理示意图；
图5为本发明实施例中提供的基于潜在低秩表示与nsst的图像融合方法的平均梯度计算的效果图；
图6为本发明实施例中提供的基于潜在低秩表示与nsst的图像融合方法的融合实验效果对比图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
结合图1a和图1b所示，本发明提供一种基于潜在低秩表示与nsst的图像融合方法，所述方法包括：
s101、获取来自同一场景且经过图像配准的红外图像和可见光图像。
具体地，分别获取同一场景的红外图像和可见光图像，对红外图像和可见光图像进行特征提取得到特征点，通过进行相似性度量找到匹配的特征点对，通过匹配的特征点对得到图像空间坐标变换参数，由坐标变换参数进行红外图像和可见光图像的图像配准。
s102、利用非采样剪切变换nsst分别对所述红外图像和所述可见光图像进行多尺度分解形成低频子带系数和高频子带系数。
利用非采样剪切变换nsst分别对所述红外图像和所述可见光图像进行多尺度分解分别形成低频子带系数
s103、利用潜在低秩表示latlrr对所述红外图像和所述可见光图像进行分解，分别对应得到表征所述红外图像显著特征的第一显著图以及表征所述可见光图像显著特征的第二显著图，利用所述第一显著图和第二显著图对所述低频子带系数进行自适应加权融合得到低频融合系数。
利用latlrr对所述红外图像和所述可见光图像进行分解，分别对应得到表征所述红外图像显著特征的第一显著图sir(i,j)以及表征所述可见光图像显著特征的第二显著图svi(i,j)，对所述第一显著图和所述第二显著图进行灰度值归一化分别对应形成第一加权系数矩阵s1(i,j)和第二加权系数矩阵s2(i,j)，利用第一加权系数矩阵s1(i,j)和第二加权系数矩阵s2(i,j)分别指导基于红外显著性与可见光显著性的自适应加权融合得到低频融合系数，所述低频融合系数cl,k(i,j)表达式为：
其中cl,k(i,j)代表低频融合系数。
s104、获取高频子带系数的平均梯度avg，利用所述平均梯度作为高频子带系数的融合系数。
计算高频子带系数的平均梯度avg，avg的表达式为：
▽dh(i,j)＝dl,k(i,j)-dl,k(i+1,j)；
▽dv(i,j)＝dl,k(i,j)-dl,k(i,j+1)；
其中avg代表像素元ij处的平均梯度，dl,k(i,j)表示高频子带系数，▽dh(i,j),▽dv(i,j),▽dmd(i,j),▽dvd(i,j)分别表示水平、垂直与对角线方向上的梯度变化，m×n采取3×3窗口；
通过比较高频子带系数之间的avg，决定最终的融合系数dl,k(i,j)，其中dl,k(i,j)的融合规则为：
s105、利用nsst逆变换低频子带系数和高频子带系数得到融合图像。
潜在低秩表示(latlrr)作为低秩表示(lrr)的升级版本，是一种是探索数据的多个子空间结构的有效方法。作为一种无监督的特征提取算法，latlrr能够从数据中鲁棒地提取图像的显著性特征，同时对噪声更加鲁棒。当latlrr对数据进行分解时，一组数据可以表现为主要特征，显著特征与稀疏噪声的叠加，其中显著特征表现了图像显著目标及背景信息的空间分布。由于图像低频分量的融合规则决定了最终的融合效果，而传统的加权平均规则会导致异源融合图像出现对比度偏低，重构图像不自然的缺点。latlrr可以对图像中显著性目标及区域较为精准地识别，从而形成相应的显著图。显著图包含了图像灰度值在空间分布的权重信息，因此利用它作为权重函数，可以将低频融合从加权平均变为加权自适应，有效地融合了图像中的显著信息，提高了融合效果。
本发明提供基于潜在低秩表示与nsst的图像融合方法，通过含有小尺寸剪切波滤波器的nsst将源图像进行多尺度、多方向分解。由于nsst在分解阶段去除了采样操作，使其具备了平移不变性；同时在方向局部化阶段，局部化小尺寸剪切滤波器能够避免频谱混叠现象，使图像分解与重建效果更加好。针对低频分量，采用基于latlrr显著特征提取的自适应加权融合，latlrr能够从数据中鲁棒地提取图像的显著性特征，同时对噪声更加鲁棒，因此可以对图像中显著性目标及区域较为精准地识别；针对高频分量，由于平均梯度代表图像灰度值的变化，能够反映图像边缘、纹理的细节，因此采用平均梯度算子进行处理。一定程度上可以解决红外图像和可见光图像光谱差异较大而导致融合图像对比度较低的问题，同时较完整地保留了丰富的纹理信息和细节信息，并且图像过渡自然。
结合图2、图3及图4所示，本发明实施例中还提供了基于潜在低秩表示与nsst的图像融合方法的另一种实施例，包括：
步骤1：本发明选取来自同一场景并且经过严格配准的红外与可见光图像。
步骤2：利用nsst对图像进行多尺度分解
结合图2(a)至图2(d)所示，图2(a)为本发明实施例中提供的基于潜在低秩表示与nsst的图像融合方法的原始图像linda示意图；
图2(b)为本发明实施例中提供的基于潜在低秩表示与nsst的图像融合方法的分解后低通子带图像示意图，图2(c)为本发明实施例中提供的基于潜在低秩表示与nsst的图像融合方法的第一层4个方向的子带图像示意图，图2(d)为本发明实施例中提供的基于潜在低秩表示与nsst的图像融合方法的第二层4个方向的子带图像示意图，可以分别使用‘maxflat’和[2，2，3，3]作为nsst的方向滤波器和金字塔滤波器。经过分解后分别形成低频子带系数
步骤3：
结合图3(a)至图3(b)、图4(a)至图(d)所示，图3(a)为本发明实施例中提供的基于潜在低秩表示与nsst的图像融合方法的红外源图像示意图，图3(b)为本发明实施例中提供的基于潜在低秩表示与nsst的图像融合方法的分解后的主要特征部分示意图，图3(c)为本发明实施例中提供的基于潜在低秩表示与nsst的图像融合方法的分解后的显著特征部分示意图，图3(d)为本发明实施例中提供的基于潜在低秩表示与nsst的图像融合方法的分解后的稀疏部分示意图，图4(a)为本发明实施例中提供的基于潜在低秩表示与nsst的图像融合方法的可见光源图像示意图；图4(b)为本发明实施例中提供的基于潜在低秩表示与nsst的图像融合方法的分解后的主要特征部分示意图；图4(c)为本发明实施例中提供的基于潜在低秩表示与nsst的图像融合方法的分解后的显著特征部分示意图；图4(d)为本发明实施例中提供的基于潜在低秩表示与nsst的图像融合方法的分解后的稀疏部分示意图；采用latlrr算法分别对红外图像与可见光图像进行分解，其中λ＝0.8，获得各自的显著性特征图sir(i,j)与svi(i,j)，然后再将两幅图的灰度值进行归一化，形成加权系数矩阵s1(i,j)与s2(i,j)。latlrr的核心思想就是将数据矩阵表示为低秩分量、稀疏分量与稀疏噪声三者的线性叠加。对于一个图像矩阵x∈rm×n可以被解释为：
x＝xl+sx+e(1)
其中l代表低秩矩阵，l∈rn×n；s代表稀疏矩阵，s∈rm×m；e代表稀疏噪声，e∈rm×n；xl代表图像的近似部分，sx代表图像的显著性信息。
为了解决公式(1)的问题，可以采用凸优化函数处理，即范数最小化，其表达式如下所示：
其中λ＞0；||||*表示矩阵的核范数，即矩阵的奇异值的和；||||1表示l1范数，即矩阵中所有元素的绝对值之和。
步骤4：
利用s1与s2分别指导基于红外显著性与可见光显著性的自适应加权融合，具体表达式如下所示：
其中cl,k(i,j)代表最终的低频融合系数，这种融合方式不但能将ir图像的显著信息融入到含有纹理细节的vi图像中，解决了图像对比度偏低的问题，同时又将两幅源图像的显著性信息很好地结合，因此极大地提高了融合效果。
步骤5：
如图5所示，其中图5(a)为本发明实施例中提供的基于潜在低秩表示与nsst的图像融合方法的红外图像示意图，图5(b)为本发明实施例中提供的基于潜在低秩表示与nsst的图像融合方法的红外图像的平均梯度效果图，图5(c)为本发明实施例中提供的基于潜在低秩表示与nsst的图像融合方法的可见光图像，图5(d)为可见光图像的平均梯度效果图示意图，高频子带图像总是反映图像的边缘特征和纹理细节，而平均梯度(avg)可以反映图像边缘细节，代表图像灰度值的变化，所以高频子图像的最终融合系数可以用avg进行指导。
源图像的显着图可以呈现显着的场景信息，显着图的值非常大，则可能是源图像中更显着的信息，高通子图像系数的融合以avg和latlrr的结合为指导，具体的整合步骤如下：
第一步：计算高频子带系数的avg，表达式如下：
▽dh(i,j)＝dl,k(i,j)-dl,k(i+1,j)(5)
▽dv(i,j)＝dl,k(i,j)-dl,k(i,j+1)(6)
其中avg代表了像素元ij处的平均梯度，cl,k(i,j)表示高频子带系数，▽dh(i,j),▽dv(i,j),▽dmd(i,j),▽dvd(i,j)分别表示水平、垂直与对角线方向上的梯度变化，m×n采取3×3窗口。
第二步：通过比较高频子带系数之间的avg，决定最终的融合系数dl,k(i,j)，其融合规则定义如下：
avg算子既可以反映图像边缘的细节，也可以表示图像灰度值的变化，加权系数矩阵s1和s2包含显着场景信息。通过它们的有效结合，高频细节的信息可以完全整合在一起。
步骤6：利用nsst逆变换重构低频子带系数cl,k(i,j)与高频子带系数dl,k(i,j)，形成融合图像。
一般地，图像融合结果的性能可以通过主观和客观的方式进行评价。在大多数情况下，融合结果之间的差异不大，则难以用主观方式正确地评价融合结果。因此，在客观质量评价的基础上对融合效果进行评价也是非常必要的，本方案选取5个客观质量指标作为评判标准：1.平均梯度(avg)，2.信息熵(ie)，3.边缘信息保留量(qab/f)，4.标准差(sd)。详细地说，avg用来体现图像中的微小细节反差和纹理变化特征，ie可以直接用来衡量图像信息的丰富程度，sd用来反应像素灰度值的分布状况，qab/f评价从源图像传递到融合图像的边缘信息量，对于这5个指标，数值越大代表性能越好。
如图6所示，为了直观展示本发明的基于潜在低秩表示与nsst的图像融合方法，对多种融合算法进行仿真，本仿真采用基于nsst-sf-pcnn的融合算法、基于gff的融合算法、基于vsm的融合算法、基于ife的融合算法、基于gtf的融合算法等作为对比,其中图6(a)为本发明实施例中提供的基于潜在低秩表示与nsst的图像融合方法的红外图像示意图；图6(b)为本发明实施例中提供的基于潜在低秩表示与nsst的图像融合方法的可见光图像示意图；图6(c)是基于nsst-sf-pcnn的融合效果图；图6(d)是基于cff的融合效果图；图6(e)是基于vsm的融合效果图；图6(f)是基于ife的融合效果图；图6(g)是基于gtf的融合效果图；图6(h)是本发明实施例中提供的基于潜在低秩表示与nsst的图像融合方法的融合效果图,仿真结果对比如下。
表1表示不同算法的评价指标对比。
在第一组实验中，图6(c)-(d)与(g)的观感比较接近红外图像，因此没有很好地还原可见光图像的信息，图6(f)的亮度有些过高，因此导致图像的对比度偏低，而且树丛处的纹理细节也没有很好地还原，图6(e)相对以上述算法，观感相对较好，但是与本文算法相比，图像不如本文清晰，而且在某些高频细节处的还原不如图6(f)，因此基于本文算法的融合图像是观感最佳的。从在评价参数中我们可以发现，与主观观感相似，本发明的评价参数值均保持领先，说明本文算法在图像灰度值分布、边缘细节、清晰度等方面优于其他算法，并且拥有较好的观感，并且融合后的图像对比度较好，整体灰度值过渡自然，拥有较佳的观感。
对应地，本发明实施例中还提供一种基于潜在低秩表示与nsst的图像融合装置，所述装置包括：
图像配准单元，用于获取来自同一场景且经过图像配准的红外图像和可见光图像；
多尺度分解单元，用于利用局部非采样剪切变换nsst分别对所述红外图像和所述可见光图像进行多尺度分解形成低频子带系数和高频子带系数；
显著信息获取单元，用于利用潜在低秩表示latlrr对所述红外图像和所述可见光图像进行分解，分别对应得到表征所述红外图像显著特征的第一显著图以及表征所述可见光图像显著特征的第二显著图，利用所述第一显著图和第二显著图对所述低频子带系数进行自适应加权融合得到低频融合系数；
平均梯度处理单元，用于获取高频子带系数的平均梯度avg，利用所述平均梯度作为高频子带系数的融合系数；
融合单元，用于利用nsst逆变换低频子带系数和高频子带系数得到融合图像。
进一步地，所述图像配准单元具体用于：
分别获取同一场景的红外图像和可见光图像；
对红外图像和可见光图像进行特征提取得到特征点，通过进行相似性度量找到匹配的特征点对，通过匹配的特征点对得到图像空间坐标变换参数，由坐标变换参数进行红外图像和可见光图像的图像配准。
进一步地，所述多尺度分解单元具体用于：
利用非采样剪切变换nsst分别对所述红外图像和所述可见光图像进行多尺度分解分别形成低频子带系数
利用latlrr对所述红外图像和所述可见光图像进行分解，分别对应得到表征所述红外图像显著特征的第一显著图sir(i,j)以及表征所述可见光图像显著特征的第二显著图svi(i,j)；
对所述第一显著图和所述第二显著图进行灰度值归一化分别对应形成第一加权系数矩阵s1(i,j)和第二加权系数矩阵s2(i,j)；
利用第一加权系数矩阵s1(i,j)和第二加权系数矩阵s2(i,j)分别指导基于红外显著性与可见光显著性的自适应加权融合得到低频融合系数，所述低频融合系数cl,k(i,j)表达式为：
其中cl,k(i,j)代表低频融合系数。
进一步地，所述平均梯度处理单元具体用于：
计算高频子带系数的平均梯度avg，avg的表达式为：
▽dh(i,j)＝dl,k(i,j)-dl,k(i+1,j)；
▽dv(i,j)＝dl,k(i,j)-dl,k(i,j+1)；
其中avg代表像素元ij处的平均梯度，dl,k(i,j)表示高频子带系数，▽dh(i,j),▽dv(i,j),▽dmd(i,j),▽dvd(i,j)分别表示水平、垂直与对角线方向上的梯度变化，m×n采取3×3窗口；
通过比较高频子带系数之间的avg，决定最终的融合系数dl,k(i,j)，其中dl,k(i,j)的融合规则为：
本发明提供基于潜在低秩表示与nsst的图像融合装置，通过含有小尺寸剪切波滤波器的nsst将源图像进行多尺度、多方向分解。由于nsst在分解阶段去除了采样操作，使其具备了平移不变性；同时在方向局部化阶段，局部化小尺寸剪切滤波器能够避免频谱混叠现象，使图像分解与重建效果更加好。针对低频分量，采用基于latlrr显著特征提取的自适应加权融合，latlrr能够从数据中鲁棒地提取图像的显著性特征，同时对噪声更加鲁棒，因此可以对图像中显著性目标及区域较为精准地识别；针对高频分量，由于平均梯度代表图像灰度值的变化，能够反映图像边缘、纹理的细节，因此采用平均梯度算子进行处理。一定程度上可以解决红外图像和可见光图像光谱差异较大而导致融合图像对比度较低的问题，同时较完整地保留了丰富的纹理信息和细节信息，并且图像过渡自然。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(rom，readonlymemory)、随机存取存储器(ram，randomaccessmemory)、磁盘或光盘等。
以上对本发明所提供的一种基于潜在低秩表示与nsst的图像融合方法及装置进行了详细介绍，对于本领域的一般技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
- 还没有人留言评论。精彩留言会获得点赞！