一种基于NSCT和结构张量的红外与可见光图像融合方法与流程

本发明属于图像处理技术领域，涉及红外与可见光图像的融合处理，具体为一种基于nsct和结构张量的红外与可见光图像融合方法。

背景技术：

红外传感器采集到的红外图像反映了场景中目标和场景的温度分布，红外图像具有全天候工作和强抗干扰能力的优点；但是由于景物热平衡、大气衰减等原因，会造成红外图像分辨率低、整体效果偏暗、细节信息不清以及对温差的敏感等缺点，且由于红外传感器自身存在的缺点，会导致红外图像中可能包含大量噪声。可见光图像传感器利用光线的反射来采集图像数据，可见光图像通常具有高空间分辨率和较多的细节以及较高的明暗对比，并且它还具有光谱信息丰富、信息量大、动态范围宽、可视性好等优点；但是，由于可见图图像的成像依赖于光线的反射，因此它的抗干扰能力差，在光线微弱、雾霾天气、目标伪装等情况下，可见光图像的效果会明显变差，很难获得有关目标和场景的信息，并且无法分析、识别目标和场景。将红外图像与可见光图像这两种通过不同图像传感器获得到图像进行融合，从而在一幅图像中既可以获得红外图像中的显著信息，又可以获得可见光图像中的纹理、边缘等细节信息，有利于图像后期的跟踪、识别、检测等应用。

现有的图像融合方法都存在一些优缺点；其中，基于非下采样轮廓波变换的融合方法可以很好地提取红外图像中显著性信息，却无法很好地提取可见光图像中的纹理细节，导致融合图像对比度偏低；基于梯度域的融合方法可以有效地提取可见光图像中的纹理细节，却不能很好地提取出红外图像中的显著性信息，同时不好的权重度量方法会导致梯度抵消，造成有效信息的丢失。红外图像与可见光图像融合的最终目的是将红外图像中的显著信息引入到融合图像中，同时在融合图像保留更多的可见光图像中的纹理细节；然而单独基于nsct的融合方法或基于结构张量的融合方法并不能很好地达到这个目的。

技术实现要素：

本发明的目的在于：针对基于非下采样轮廓波变换的融合方法和基于梯度域的融合方法各自存在的不足，提供一种基于nsct和结构张量的红外与可见光图像融合方法；通过优化模型，同时利用非下采样轮廓波变换和梯度两种特征提取方法，有效地提取和传递源图像中的几何特征，进而在融合图像中保留更多纹理、边缘等细节信息。

为实现上述目的，本发明采用的技术方案如下：

一种基于nsct和结构张量的红外与可见光图像融合方法，包括以下步骤：

步骤1：将输入红外图像和可见光图像进行基于非下采样轮廓波变换的融合，得到预融合的非下采样轮廓波变换分解系数cf；

步骤2：将输入红外图像和可见光图采用基于梯度相似性滤波的结构张量的融合方法进行融合，得到预融合的梯度场hf；

步骤3：计算梯度算子▽、nsct分解算子ψ；

步骤4：建立优化模型：

其中，β为预设常量，if表示待解融合图像；

步骤5：利用共轭梯度法求解优化模型，得到融合图像if。

进一步的，所述步骤1的具体过程为：

1-1.对红外图像进行鲁棒性主成分分析，得到红外图像的稀疏矩阵，然后将其归一化到[0,1]之间，作为权重矩阵记为ω(x,y)；

1-2.对红外图像和可见光图像分别进行非下采样轮廓波变换，其中，拉普拉斯尺度滤波器为“pyrexc”，方向滤波器为“cd”，分解层数为{2,2,3,3}；得到红外图像的低频分解系数和高频分解系数可见光图像的低频分解系数和高频分解系数其中表示k图像源的第l层r方向上的高频分量；

1-3.对低频部分，利用权重矩阵ω(x,y)作为权重进行融合；通过这个权重可以得到预融合的低频子带系数

1-4.对高频部分，首先计算高频子带系数的局部显著性，选取局部显著性较大的高频子带系数作为融合图像的高频子带系数

其中，k∈{ir,tv}表示局部显著性：

其中，θ表示大小为3×3的窗口。

进一步的，所述步骤2的具体过程为：

2-1.将红外图像与可见光图像转换到梯度域，得到它们的梯度场，然后进行平均结构张量融合，得到初步融合梯度场；

2-2.计算源图像的8方向生长步长矩阵l，其中，点x处的8方向生长步长定义为：

lx(i)＝minλ

i＝1,2,3,...,8

其中，为单位长度的向量，t为预设阈值，▽i(·)表示对源图像进行梯度运算；

2-3.计算梯度相似性：

其中，η为预设常量；lfused为通过初步融合梯度场得到的生长步长矩阵，lk为通过源图像得到的生长步长矩阵；

2-4.计算梯度归属矩阵为：

其中，▽ifused(·)表示对初步融合图像进行梯度运算；

2-5.计算所使用的滤波器参数：

其中，q为滤波邻域，x是滤波的目标位置，▽im(x)为x归属图像源的梯度场；u为滤波邻域q中的任意位置，w(u)为滤波权重；

w(u)的公式如下：

wdis(u)＝a·||u-x||2

wamp(u)＝b·|||▽ifused(x)||2-||▽im(x)(u)||2

θ＝＜▽ifused(x)×▽im(x)(u)＞,θ∈[0,π]

wdir(u)＝c·step(cos(θ))·cos(θ)

其中，σ、a、b、c均为预设常量，step为阶跃函数；

2-6.根据上述滤波器参数，设定滤波器尺寸，得到滤波器；并采用滤波器对初步融合梯度场进行滤波，得到预融合梯度场hf。

综上所述，本发明层有益效果在于：

本发明提供一种基于nsct和结构张量的红外与可见光图像融合方法，通过优化模型的设计，同时利用非下采样轮廓波变换和梯度两种特征提取方法，有效地提取和传递源图像中的几何特征，进而在融合图像中保留更多纹理、边缘等细节信息。

附图说明

图1为本发明基于nsct和结构张量的红外与可见光图像融合方法的流程图。

图2为本发明实施例中图像非下采样轮廓波变换分解系数计算流程图。

图3为本发明实施例中图像梯度场计算流程图。

图4为本发明实施例中红外图像，图像宽度360像素，图像高度270像素。

图5为本发明实施例中可见光图像，图像宽度360像素，图像高度270像素。

图6为本发明实施例中融合方法得到的融合图像示例。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步详细的说明。

本实施例中提供一种基于非下采样轮廓波变换(nsct)和结构张量的红外与可见光图像融合方法，其流程如图1所示，包括以下步骤：

步骤1：对输入红外图像和可见光图像按照预先设定好的融合规则进行基于非下采样轮廓波变换的融合，得到预融合的非下采样轮廓波变换分解系数cf，包括低频子带系数和高频子带系数

步骤2：对输入红外图像和可见光图通过基于梯度相似性滤波的结构张量的融合方法进行融合，得到预融合的梯度场hf；

步骤3：计算梯度算子▽、nsct分解算子ψ；具体来说，ψ算子的个数由分解层数决定，在此有24个，其大小为97200×97200；▽大小为97200×97200；

步骤4：通过优化模型，约束最终融合图像的非下采样轮廓波变换分解系数和梯度场，使其同时接近预融合非下采样轮廓波变换分解系数和预融合梯度场；优化模型为：

其中，hf和cf分别代表通过步骤(1)得到的nsct分解系数和通过步骤(2)得到的融合梯度场，注意此处hf和cf的大小为97200×1，▽为梯度算子，ψ为nsct分解算子；β为预设常量、用于控制梯度融合和nsct系数融合之间的平衡，本实施例中，β的取值为3；if表示待解融合图像；

步骤5：利用共轭梯度法求解优化模型，将得到的列向量转化成为矩阵，得到最终的融合图像if，如图6所示，图像大小为270×360。

其中，步骤1和2可并行执行。

如图2所示，步骤1的具体实施过程如下：

1-1.对红外图像进行鲁棒性主成分分析，得到红外图像的稀疏矩阵，然后将其归一化到[0,1]之间，作为权重矩阵记为ω(x,y)；红外图像如图4所示；

1-2.对红外图像和可见光图像分别进行非下采样轮廓波变换，其中，拉普拉斯尺度滤波器为“pyrexc”，方向滤波器为“cd”，分解层数为{2,2,3,3}；得到红外图像的低频分解系数和高频分解系数可见光图像的低频分解系数和高频分解系数其中表示k图像源(红外图像(ir)或者可见光图像(tv)，k∈{ir,tv})的第l层r方向上的高频分量；红外图像和可见光图像分别如图4和图5所示；

1-3.对低频部分，利用权重矩阵ω(x,y)作为权重进行融合；通过这个权重可以得到预融合的低频子带系数

1-4.对高频部分，首先计算高频子带系数的局部显著性，选取局部显著性较大的高频子带系数作为融合图像的高频子带系数

其中，局部显著性计算方法为：

其中，θ表示大小为3×3的窗口，表示k图像源(红外图像(ir)或者可见光图像(tv)，k∈{ir,tv})的第l层r方向上的高频分量；

如图3所示，步骤2的具体实施过程如下：

2-1.将红外图像与可见光图像转换到梯度域，得到它们的梯度场，然后进行平均结构张量融合，得到初步融合梯度场；红外图像和可见光图像分别如图4和图5所示；

2-2.计算源图像的8方向生长步长矩阵l，其中，点x处的8方向生长步长定义为：

lx(i)＝minλ

i＝1,2,3,...,8

其中，为单位长度的向量，t为预设阈值，▽i(·)表示对源图像进行梯度运算；

2-3.通过定义的梯度相似性方法度量梯度相似性，相似性度量方法为：

其中，η为预设常量、用于调整相似性曲线的下降速度；lfused为通过初步融合梯度场得到的生长步长矩阵，lk为通过源图像得到的生长步长矩阵；

2-4.求解梯度归属矩阵为：

其中，▽ifused(·)表示对初步融合图像进行梯度运算；

2-5.计算所使用的滤波器参数，其定义为：

其中，q为滤波邻域，x是滤波的目标位置，▽im(x)为x归属图像源的梯度场；u为滤波邻域q中的任意位置，w(u)为滤波权重；

w(u)的公式如下：

wdis(u)＝a·||u-x||2

wamp(u)＝b·|||▽ifused(x)||2-||▽im(x)(u)||2|

θ＝＜▽ifused(x)×▽im(x)(u)＞,θ∈[0,π]

wdir(u)＝c·step(cos(θ))·cos(θ)

其中，σ、a、b、c均为预设常量，step为阶跃函数；

2-6.滤波器尺寸的大小利用四叉树分解进行确定，对边缘区和平滑区采取不同自适应策略；得到滤波器；

2-7.采用上述滤波器对初步融合梯度场进行滤波，得到预融合梯度场hf；

以上所述，仅为本发明的具体实施方式，本说明书中所公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换；所公开的所有特征、或所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以任何方式组合。