红外和可见光图像融合方法及装置

1.本文件涉及图像融合技术领域，尤其涉及一种红外和可见光图像融合方法及装置。


背景技术：

2.近年来，无人机凭借其高灵活度、低成本以及易操作等优势在多个领域发挥着越来越重要的作用，在军事上，其常用于执行战场侦察及态势监控等任务。然而，随着战场实际需要的多样化及复杂化，单一成像传感器受限于自身的物理成像原理，只能感知部分目标或战场信息，很难完成多种目标背景下的探测和识别任务。因此，通过融合多种传感器图像数据以实现不同传感器数据之间的互补，可以得到更加直观、可靠和全面的目标或场景，进而为后续特征提取、目标识别和检测等任务提供强有力的数据支持，便于做出更加合理的决策。
3.图像融合大多是在像素级进行研究，其中，依据图像表示和融合过程的不同，图像融合大致可以分为四类：基于空间域的方法，基于变换域的方法，基于神经网络的方法和基于字典学习的方法。当前许多图像融合方法大都假设源图像无噪声，对噪声扰动情况的研究较少。然而，由于成像设备、拍摄环境等诸多因素的影响，在实际任务中获取的图像不可避免的存在噪声，直接进行图像融合时源图像中的噪声和细节信息可能被同等处理，导致融合效果不佳。针对噪声图像的融合，通常采用先融合后去噪或先去噪后融合的分步方法，即将去噪算法和融合算法相结合，实现融合去噪。然而，从效率和聚变性能的角度来看，分步推进的方式可能不是最好的选择。
4.为解决这一问题，出现了一些同步融合去噪方法。其中基于稀疏表示(sparserepresentation，sr)的方法可同时解决图像融合和去噪两个问题。现有技术中心提出了一种有效的基于sr的图像去噪算法，该方法建立了噪声标准差与稀疏重建误差之间的联系，能够以参数自适应的方式有效地实现图像去噪。随后，一些学者提出了基于sr的联合图像去噪融合算法，实现了融合与去噪的同步。为了进一步提高融合性能，解决融合耗时长的问题，提出了一种自适应sr方法用于图像融合和去噪，该方法根据训练样本的梯度特征对多个特征字典进行预训练，再根据图像梯度特征自适应选择合适的字典，可以有效地实现图像的融合和去噪。现有技术中还通过引入核局部回归权值进行特征聚类，设计了一种基于字典学习的多模态图像融合方法，该方法能有效地抑制噪声产生，且融合降噪性能良好。为降低直接用sr处理的噪声源图像去噪时可能会对图像的边缘信息造成的损伤，此外，还提出了一种基于稀疏低秩字典学习的医学图像融合方法。在该方法中，源图像被看作是粗尺度和细尺度分量的叠加，有效的解决了上述问题。然而，以上研究不能同时兼顾无噪声和有噪声的图像融合，是目前亟需解决的问题。


技术实现要素：

5.本发明的目的在于提供一种红外和可见光图像融合方法及装置，旨在解决现有技
术中的上述问题。
6.本发明提供一种红外和可见光图像融合方法，包括：
7.利用滚动引导滤波器将源图像进行基础层和细节层分解，其中，细节层中包括大部分细节和外部噪声，基础层包括：残差细节和能量；
8.基于构造的结构-纹理分解模型将所述基础层再次分解，将所述基础层分解为基础结构层和基础纹理层；
9.使用各层所对应的不同融合规则，对所述细节层、所述基础结构层和所述基础纹理层进行预融合；
10.通过重构三层预融合层获取融合图像。
11.本发明提供一种红外和可见光图像融合装置，包括：
12.第一分解模块，用于利用滚动引导滤波器将源图像进行基础层和细节层分解，其中，细节层中包括大部分细节和外部噪声，基础层包括：残差细节和能量；
13.第二分解模块，用于基于构造的结构-纹理分解模型将所述基础层再次分解，将所述基础层分解为基础结构层和基础纹理层；
14.预融合模块，用于使用各层所对应的不同融合规则，对所述细节层、所述基础结构层和所述基础纹理层进行预融合；
15.融合模块，用于通过重构三层预融合层获取融合图像。
16.采用本发明实施例，不仅能有效地处理含噪图像的融合问题，而且对于无噪图像也具有较好的融合性能。
附图说明
17.为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
18.图1是本发明实施例的红外和可见光图像融合方法的流程图；
19.图2是本发明实施例的图像结构-纹理分解的示意图；
20.图3是本发明实施例的融合去噪方法结构图；
21.图4是本发明实施例的在第二和第四行输入图像中加入σ＝30的高斯白噪声的三尺度分解图像的示意图；
22.图5是本发明实施例的细节层融合过程的示意图；
23.图6是本发明实施例的五对源图像的示意图；
24.图7是本发明实施例的不同c值在细节层融合和去噪的结果(噪声水平20)的示意图；
25.图8是本发明实施例的无噪声红外可见光灰度图像融合结果的示意图；
26.图9是本发明实施例的无噪声红外可见光彩色图像融合结果的示意图；
27.图10是本发明实施例的含噪声红外可见光灰度图像融合结果的示意图；
28.图11是本发明实施例的含噪声红外可见光彩色图像融合结果的示意图；
29.图12是本发明实施例的红外和可见光图像融合装置的示意图。
具体实施方式
30.为提高噪声源图像的处理效果，本发明实施例提出一种基于三尺度分解和稀疏表示的红外和可见光图像融合方法及装置。利用滚动引导滤波器将源图像进行基础层和细节层分解，根据图像特征自适应确定最大稀疏重构误差参数,从而同时实现对细节分量的融合和去噪；构造结构-纹理分解模型，将基础层再次分解，以充分利用基础分量中的细节和能量，并使用不同的融合规则对结构层和纹理层融合，最终通过重构细节、基础结构和基础纹理层来得到融合图像。实验结果表明，本发明实施例不仅能有效地处理含噪图像的融合问题，而且对于无噪图像也具有较好的融合性能。
31.为了使本技术领域的人员更好地理解本说明书一个或多个实施例中的技术方案，下面将结合本说明书一个或多个实施例中的附图，对本说明书一个或多个实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书的一部分实施例，而不是全部的实施例。基于本说明书一个或多个实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本文件的保护范围。
32.方法实施例
33.根据本发明实施例，提供了一种红外和可见光图像融合方法，图1是本发明实施例的红外和可见光图像融合方法的流程图，如图1所示，根据本发明实施例的红外和可见光图像融合方法具体包括：
34.步骤101，利用滚动引导滤波器将源图像进行基础层和细节层分解，其中，细节层中包括大部分细节和外部噪声，基础层包括：残差细节和能量；
35.步骤102，基于构造的结构-纹理分解模型将所述基础层再次分解，将所述基础层分解为基础结构层和基础纹理层；
36.步骤103，使用各层所对应的不同融合规则，对所述细节层、所述基础结构层和所述基础纹理层进行预融合；
37.步骤104，通过重构三层预融合层获取融合图像。
38.在步骤101中，利用滚动引导滤波器将源图像进行基础层和细节层分解具体包括：
39.根据公式1和公式2对源图像进行基础和细节分解，通过求解得到图像in的细节层
[0040][0041][0042]
其中in是第n个源图像，n∈{1，2，...，n}，表示in的基础层。
[0043]
在步骤102中，基于构造的结构-纹理分解模型将所述基础层再次分解，将所述基础层分解为基础结构层和基础纹理层具体包括：
[0044]
根据公式3和公式4，基于结构-纹理分解模型对进行分解，得到基础结构层和基础纹理层
[0045]
[0046][0047]
其中，和λ分别为标度参数和平滑参数。
[0048]
在步骤103中，使用各层所对应的不同融合规则，对所述细节层、所述基础结构层和所述基础纹理层进行预融合具体包括：
[0049]
基于sr方法，通过建立稀疏重构误差与噪声标准差之间的联系，实现融合去噪，进行细节层的预融合；
[0050]
采用基于视觉显著图vsm的加权平均技术对基础结构层进行预融合；
[0051]
采用主成分分析方法对基础纹理层进行预融合。
[0052]
其中，基于sr方法，通过建立稀疏重构误差与噪声标准差之间的联系，实现融合去噪，进行细节层的预融合具体包括：
[0053]
通过滚动引导滤波器生成训练数据的细节层，从细节图像中收集8
×
8大小的块，构建最终的训练集，采用ksvd算法得到字典d；
[0054]
对每个源图像取8
×
8大小的块，并对其进行归一化，通过求解以下目标函数，采用正交匹配追踪算法omp生成细节层sr系数：
[0055][0056][0057]
其中，为源图像in的第k个小块，为对应的稀疏向量。为最大稀疏重构误差，σ为高斯标准差，c＞0是在σ＞0时控制的参数；
[0058]
采用“绝对值-最大”方案生成融合稀疏系数：
[0059][0060]
融合细节矢量由下线性表示得到：
[0061][0062]
将每个重塑为8
×
8的小块，然后根据初始位置进行排列，得到预融合的细节层；
[0063]
其中，采用基于视觉显著图vsm的加权平均技术对基础结构层进行预融合具体包括：
[0064]
构造vsm，设置i
p
代表图像i中的一个像素p的强度值，像素p的显著值v(p)被定义为
[0065][0066]
其中，n表示i中的像素总数，j代表像素强度，mi代表强度等于j的像素数，l 表示灰度级数，如果两个像素有相同的强度值，其显著值是相等的；
[0067]
然后将v(p)归一化到[0，1]；
[0068]
设v1和v2分别表示不同源图像的vsms，和表示不同源图像的基础结构层图像，通过加权平均得到最终的基础结构层的预融合图像f
b，s
：
[0069][0070]
其中，权重wb被定义为：
[0071][0072]
其中，采用主成分分析方法对基础纹理层进行预融合具体包括：
[0073]
将可见光和红外图像的基础纹理图像和作为矩阵γ的列向量，再将每一行作为一个参考，每一列作为一个变量，求出γ的协方差矩阵c；
[0074]
计算c的特征值λ1，λ2以及相对应的特征向量和
[0075]
从两个特征值中找出最大的特征值，即λ
max
＝max(λ1，λ2)，将相对应于λ
max
的特征向量作为最大特征向量φ
max
，计算出对应于φ
max
的主成分p1和p2，并将其值归一化：
[0076][0077][0078]
将主成分p1和p2作为权重，融合为最终的基础纹理层的预融合图像f
b，t
：
[0079][0080]
在步骤104中，通过重构三层预融合层获取融合图像具体包括：
[0081]
根据公式15后去最终的融合图像f为：
[0082]
f＝fd+f
b，s
+f
b，t
ꢀꢀ
公式15。
[0083]
以下结合附图，对本发明实施例的上述技术方案进行详细说明。
[0084]
本发明实施例提出一种基于三尺度分解和稀疏表示的红外和可见光图像融合方法，利用sr能够充分利用基于空间域的方法在融合性能和计算效率方面的优点，处理图像融合中的噪声问题，并构建了一种三尺度分解模型，通过滚动引导滤波将图像分解为基础分量和细节分量，再通过结构-纹理分解对基础层进行处理，有效提取基础分量中的详细纹理信息，以提高融合图像表达细节信息的能力。
[0085]
下面首先对上述涉及到的关键理论进行详细说明。
[0086]
1、滚动引导滤波(rolling guidance filter，rgf)：
[0087]
rgf它具有尺度感知和边缘保持的特性。因此，其不仅对噪声的去除能力较好，而且能够维持源图像的结构和边缘特性。rgf包括两个主要步骤：小结构去除和边缘恢复。
[0088]
第一步是利用高斯滤波器去除小结构。从输入图像i中过滤的图像g可表示为：
[0089]
g＝gaussian(i，σs)
ꢀꢀ
(1)
[0090]
其中gaussian(i，σs)表示以标准差σs作为尺度参数的高斯滤波。该过滤器可以去除规模小于规模空间理论中的σs的结构。
[0091]
第二步是使用引导滤波器进行迭代边缘恢复，因为它具有较高的计算效率和良好
的边缘保持特性。该步骤是一个恢复的图像j
t
迭代更新的过程，且初始图像j1是高斯平滑图像g。第t次迭代可以表示为
[0092][0093]
式中为引导滤波，其中i，σs即eq.(1)中的参数，j
t
为引导图像，σr控制距离权值。在我们的方法中，我们设σr＝0.05。rgf是结合eq.(1) 和eq.(2)来完成的，可以简单表示为
[0094]
u＝rgf(i，σs，σr，t)
ꢀꢀ
(3)
[0095]
其中t为迭代次数，u为滤波输出。
[0096]
2、结构-纹理分解
[0097]
在结构-纹理分解中，图像i可以分解为i＝s+t，即看作是结构成分s和纹理成分t的叠加。在结构-纹理分解模型中，结构成分主要由一些非重复的边缘和平滑的能量区域组成，而纹理成分则是重复的振荡信息和噪声。为此，定义了结构纹理的局部特征，并提出了区间梯度算子。将离散信号i中的像素p的区间梯度滤波器(interval gradient filter，igf)定义为其可以表示为
[0098][0099]
式中ω是中心像素p附近的区域，和分别是左、右剪切一维高斯函数，其中
[0100][0101][0102]
式中为剪切指数加权函数，为标度参数。
[0103][0104]
定义kr和k
l
是标准化系数，表示为
[0105][0106][0107]
与传统的正向微分不同，区间梯度测量的是像素左右两边的加权平均差值。为了获得结构信息，结构区域中不应该存在纹理信息，结构区域的局部窗口ω(p)只能包含增加或减少的信息，不能包含重复的纹理。
[0108]
将输入信号i的梯度细化为如下的区间梯度
[0109][0110]
其中为标度梯度，ω
p
为标度权值，表示为：
[0111][0112]
其中ε为小常数，通常设置为10-4
。
[0113]
为了消除信号中残留的振荡信号，得到输入信号的结构分量，在引导滤波的基础上，由回归梯度得到临时滤波结果
[0114][0115]
其中n
p
表示i中的像素数，i0为i中的最小值(最左)。通过求解式(13)可得到一维信号引导滤波的最优系数a
p
和b
p
。
[0116][0117][0118]
其中ωn表示高斯权值，为式(5)中定义的标度参数，λ表示平滑参数，系数a
p
和b
p
定义为：
[0119][0120][0121]
得到系数a
p
和b
p
后，可通过得到信号i的结构分量。
[0122]
对于二维图像信号，利用一维信号在x和y方向上交替的区间梯度滤波，以迭代的方式收敛得到最终图像的结构层。由图2中图像放大的区域可以看出，几乎所有的振动和重复信息都被保留到了纹理层，而亮度和弱边缘信息则被保留到了结构层。
[0123]
3、三尺度分解和稀疏表示模型：
[0124]
为解决在去噪的同时有效保留细节的问题，构建一种新的图像融合模型，如图3所示。与传统的双尺度分解方案不同，为了更好地去噪和利用基础层的有用信息，首先利用rgf将源图像分解为基础和细节分量，此时大部分细节和外部噪声都能被有效地保留到细节层中，基础层则包含残差细节和能量；然后对基础层进行结构-纹理分解，最终源图像被分解为细节、基础结构和基础纹理三个分量。根据每一层的特点，采用三种已建立的融合规则生成各层的预融合。其中，对于细节层的融合，通过建立稀疏重构误差与噪声标准差之间的联系，有效实现融合去噪；对于基础结构层，采用基于视觉显著图(visual saliency map，vsm)的加权平均技术进行预融合；对于基础纹理层，采用主成分分析方法进行预融合。最后，通过重构三层预融合层得到融合结果。
[0125]
分解模型：
[0126]
为了有针对性地去除附着在图像细节层上的噪声，首先对源图像进行基础和细节分解：
[0127][0128]
其中in是第n个源像，n∈{1，2，...，n}，表示in的基础层，通过求解得到图像in的细节层
[0129][0130]
对于基础层融合通常采用绝对值-最大或平均的方法，但这些方法产生的融合结果可能会由于对比度降低和边缘退化而变差。但对图像进行多次分解仍不能将图像基础、细节信息很好地分离，且多次分解必然会增加重构过程的复杂性，导致结果不佳。为解决此问题，引入结构-纹理分解模型对进行分解，得到其结构层
[0131][0132]
其中，和λ分别为标度参数和平滑参数。的纹理层可以通过以下方式生成：
[0133][0134]
经过上述操作，得到图像的细节层、基础结构层和基础纹理层。
[0135]
图4中的每一组图像包含一个无噪声图像和相应的噪声图像，这两组图像验证了提出的三尺度分解方法的有效性，特别是对于有噪声的输入图像。由图4可知：
[0136]
(1)通过rgf进行分解，大部分噪声和细节保留到细节层。同时，可以看到基础层仍然包含一定的细节信息。
[0137]
(2)经过结构-纹理分解处理后，结构层几乎不包含局部振荡信息，局部区域通常只包含强度信息或少数明显的边缘结构。
[0138]
(3)无噪声和噪声图像产生的结构和纹理层非常相似，即噪声信息几乎完全存在于细节层中。
[0139]
融合规则：
[0140]
根据三个部分的特点，本发明实时提供了三种不同的融合规则。
[0141]
1、细节层融合：
[0142]
基于sr的方法可以很好地实现细节层的融合去噪。包括两个步骤：字典学习和稀疏系数生成。在第一阶段，通过式(14)的滚动引导滤波器生成训练数据的细节层，从细节图像中收集8
×
8大小的块，构建最终的训练集，采用 ksvd算法可以得到过完备字典d。在第二阶段，对每个源图像取8
×
8大小的块，并对其进行归一化，通过求解以下目标函数，采用正交匹配追踪算法 (orthogonal matching pursuit，omp)生成细节层sr系数：
[0143][0144]
式中为源图像in的第k个小块，为对应的稀疏向量。为最大稀疏重构误
差，定义为
[0145][0146]
其中σ为高斯标准差，c＞0是在σ＞0时控制的参数。然后采用“绝对值
‑ꢀ
最大”方案生成融合稀疏系数：
[0147][0148]
融合细节矢量可由以下线性表示得到：
[0149][0150]
将每个重塑为8
×
8的小块，然后根据初始位置进行排列，得到融合细节层，图4为细节层稀疏表示融合过程。
[0151]
2、基础结构层融合：
[0152]
由于基础结构层来自源图像的基础分量，因此该层包含的细节较少，如图 5第四列的图像所示。因此，采用基于(visual saliency map)vsm的加权平均技术融合基础结构层f
b，s
。
[0153]
本发明实施例采用方法构造vsm，让i
p
代表图像i中的一个像素p的强度值。像素p的显著值v(p)被定义为
[0154][0155]
式中n表示i中的像素总数，j代表像素强度，mj代表强度等于j的像素数，l 表示灰度级数(本发明实施例优选为256)。如果两个像素有相同的强度值，其显著值是相等的。然后将v(p)归一化到[0，1]。
[0156]
设v1和v2分别表示不同源图像的vsms，和表示不同源图像的基础结构层图像，通过加权平均得到最终的基础结构层融合图像
[0157][0158]
式中权重wb被定义为
[0159][0160]
3、基础纹理层融合
[0161]
与基础结构层相比，基础纹理层包含了视觉上重要的信息或图像特征，如边缘、直线和轮廓等活动信息，能够反映出原始基础图像的主要细节。因此，采用主成分分析方法来有效检测这些特征。
[0162]
将可见光和红外图像的基础纹理图像和作为矩阵γ的列向量。再将每一行作为一个参考，每一列作为一个变量，求出γ的协方差矩阵c。
[0163]
计算c的特征值λ1，λ2以及相对应的特征向量和
[0164]
从两个特征值中找出最大的特征值，即λ
max
＝max(λ1，λ2)。将相对应于λ
max
的特征向量作为最大特征向量φ
max
。计算出对应于φ
max
的主成分p1和p2，并将其值归一化：
[0165][0166][0167]
这些主成分p1和p2作为权重，融合为最终的基础纹理图像f
b，t
[0168][0169]
得到这三个预融合分量后，最终的融合图像f为：
[0170]
f＝fd+f
b，s
+f
b，t
ꢀꢀ
(31)
[0171]
下面进行实验分析和结果的详细说明。
[0172]
1、实验设置
[0173]
实验中使用的五对源图像，图像源可从公共网站http：//imagefusion.org/获得。如图6所示。并且选择了五个近期的方法，包括adf、fpde、gtf、ifevip、 tif，将其在同样的实验环境下进行对比验证，采用熵en、边缘信息保留度 q
ab/f
、chen-blum提出的指标q
cb
、互信息mi、wang等人提出的指标qw、yang 等提出的指标qy6个指标对融合结果进行定量评价。
[0174]
2、参数设置
[0175]
此处主要对式(22)中的自由参数c进行分析。由于模型中的去噪过程仅针对细节分量，为直观分析不同c下的融合去噪性能，仅对细节融合结果进行分析，如图7所示。以图7中(a1，a2)、(b1，b2)两对图像为例，分别加入σ＝20的高斯噪声，生成不同c的融合图像。
[0176]
对于(a1)和(a2)图像融合，可以看出：
①
当c＜0.0035，融合细节层的噪声图像相对明显[图7(a3-a7)]，特别是当c是远远低于0.0035，去噪效果有限；
②
当 c＝0.0035时，大部分噪声已经消除；
③
当c＞0.0035时，噪声很难发现，但此时，融合的细节层遇到了过平滑效应。因此，c＝0.0035是一个明显的分界值，从细节保护角度来看，c＝0.0035可达到该图像对融合的最佳视觉效果。因此，对于灰度图像的融合，c的最佳值为0.0035。
[0177]
对于(b1)和(b2)图像融合，可以看出：
①
当c＜0.002时，融合细节层中很容易看到一些噪声[图7(b3-b4)]；
②
当c＝0.002时，噪声得到大大降低和抑制，同时细部保存较好[图7(b5)]；
③
当c＞0.002时，去噪性能较好，但图7(b6-b10) 中的细节或多或少被破坏，一些细微的边缘被平滑。随着c的增加，更多的细节被遗漏了[对比图7(b6-b10)]。因此，综合考虑融合和去噪的性能，对于彩色图像融合，c的最佳值为0.002。
[0178]
此外，式(22)中的参数p设为0.001，式(19)区间梯度滤波参数设为式(17)中rgf的参数t设为4，σs设置为3。
[0179]
3、无噪声图像融合与评价
[0180]
图8为三对无噪声红外与可见光灰度图像融合示例，图9为两对红外可见光彩色图像融合示例，其中图8(a1，b1，c1)和图9(a1，b1)为红外图像，图8(a2，b2，c2) 和图9(a2，b2)
为可见光图像；图8(a3-a8，b3-b8，c3-c8)和图9(a3-a8，b3-b8)为不同方法得到的融合结果。
[0181]
从图8可以看出，adf、fpde和gtf方法得到的融合图像与所提出的方法得到的结果图相比对比度更低；ifevip方法保持了良好的对比度，但视觉效果过于增强，导致图8(a6)误差明显；tif方法存在内部特征模糊的现象。因此，在融合结果中，本发明实施例可以有效地分离出不同图像的分量信息，结合各自的融合规则可将源图像的有用信息传递到融合图像中，在对比度和细节保持方面获得了最佳的视觉性能。
[0182]
图9展示了两组红外/可见光彩色图像融合，可以看出，adf、fpde、gtf 方法的亮度明显低于ifevip和tif方法，但tif方法存在噪声效应，ifevip 方法引入了伪影。fpde和gtf方法虽然结构得到了较好的保存，但细节相对弱化和丢失。总体上看，图9(a8)和(b8)中的亮度、结构和细节与其他方法相比表现出了更好的性能，这意味着所提方法可以产生更优的视觉效果。除主观视觉分析外，对上述融合结果进行定量评价，结果如表1所示。根据表中数据可以看出，本发明实施例的客观评价显著高于其他方法，特别是对于指标en、q
cb
和qy总是表现得更优。在所有的量化评估中，只有个别地方不是最佳的，但这并不影响本文方法的优势。
[0183]
综上，对于无噪声图像融合，本文方法在主观和客观上都具有良好的表现。
[0184]
表1无噪声图像融合结果定量指标
[0185]
[0186][0187]
图10为一对含噪声红外与可见光灰度图像融合示例，图11为一对含噪声红外可见光彩色图像融合示例，其中(a1-a2,b1-b2,c1-c2)分别为加入10级、20 级和30级高斯噪声的扰动源图像，(a3-a8,b3-b8,c3-c8)为不同方法得到的融合结果。
[0188]
从图10、图11含噪声图像融合结果可以看出：
[0189]
①
当高斯噪声水平为10时，adf、fpde和ifevip方法的去噪能力有限，其融合结果不能很好地保留有用信息；gtf和tif方法能在一定程度上有效去噪，但不能保护源图像的亮度，这两种方法可以在噪声环境下进行融合，但会引入一些不相关的信息，从而导致不真实的视觉效果。与其他方法相比，本文方法在细节保持方面具有最好的融合能力，同时融合结果中噪声显著降低，具有良好的去噪性能。
[0190]
②
当噪声水平达到20时，adf、fpde、ifevip和tif方法产生的融合结果的结构会受到严重的破坏，大量明显的误差信息会被引入融合结果中。gtf 方法在一定程度上抑制了噪声，但出现了对比度降低和过度平滑现象。相比之下，本文提出的方法不仅能将源图像的细节、亮度和结构保留到融合图像中，而且能有效地消除噪声，具有良好的去噪性能。
[0191]
③
当噪声等级为30时，adf、fpde、gtf、ifevip和tif方法中的细节和小结构被破坏，并且均存在噪声。通过对比，本文方法不仅保留了对比度和结构，而且有效、适当地去噪，从而获得了更好的融合性能。
[0192]
基于以上主观分析，本文方法可以有效地实现图像融合和去噪的同步进行，并且相比于一些最新的方法产生更好的视觉效果。
[0193]
不同方法产生的噪声融合结果的客观评价如表2、3、4所示。与五种先进的图像融合方法相比，该方法能得到更好的定量评价，与无噪声图像融合客观评价结果基本一致，这验证了所提方法的有效性和优越性。
[0194]
综上，对于含噪声图像融合，本文方法在主观和客观上都具有良好的表现。
[0195]
表2 σ＝10时图像融合结果定量指标
[0196][0197]
表3 σ＝20时图像融合结果定量指标
[0198][0199]
表4 σ＝30时图像融合结果定量指标
[0200][0201]
综上所述，本发明实时提出一种基于三尺度分解和稀疏表示的红外和可见光图像融合去噪方法，充分利用rgf滤波器和sr方法的优点。采用稀疏表示对细节层图像进行融合，自适应得到融合的细节层图像，通过结构-纹理分解有效利用基础分量中的潜在细节。该方法易于实现，可以兼顾无噪声图像融合和含噪声图像融合。需要说明的是，本发明实施例只讨论两个源图像的情况，在实际应用中可以将所提出的方法推广到两个以上源图像的
融合问题中。
[0202]
装置实施例
[0203]
根据本发明实施例，提供了一种红外和可见光图像融合装置，图12是本发明实施例的红外和可见光图像融合装置的示意图，如图12所示，根据本发明实施例的红外和可见光图像融合装置具体包括：
[0204]
第一分解模块120，用于利用滚动引导滤波器将源图像进行基础层和细节层分解，其中，细节层中包括大部分细节和外部噪声，基础层包括：残差细节和能量；
[0205]
第二分解模块122，用于基于构造的结构-纹理分解模型将所述基础层再次分解，将所述基础层分解为基础结构层和基础纹理层；
[0206]
预融合模块124，用于使用各层所对应的不同融合规则，对所述细节层、所述基础结构层和所述基础纹理层进行预融合；
[0207]
融合模块126，用于通过重构三层预融合层获取融合图像。
[0208]
所述第一分解模块120具体用于：
[0209]
根据公式1和公式2对源图像进行基础和细节分解，通过求解得到图像in的细节层
[0210][0211][0212]
其中in是第n个源图像，n∈{1，2，...，n}，表示in的基础层；
[0213]
所述第二分解模块122具体用于：
[0214]
根据公式3和公式4，基于结构-纹理分解模型对进行分解，得到基础结构层和基础纹理层
[0215][0216][0217]
其中，和λ分别为标度参数和平滑参数；
[0218]
所述预融合模块124具体用于：
[0219]
基于sr方法，通过建立稀疏重构误差与噪声标准差之间的联系，实现融合去噪，进行细节层的预融合；
[0220]
采用基于视觉显著图vsm的加权平均技术对基础结构层进行预融合；
[0221]
采用主成分分析方法对基础纹理层进行预融合。
[0222]
所述预融合模块124具体用于：
[0223]
通过滚动引导滤波器生成训练数据的细节层，从细节图像中收集8
×
8大小的块，构建最终的训练集，采用ksvd算法得到字典d；
[0224]
对每个源图像取8
×
8大小的块，并对其进行归一化，通过求解以下目标函数，采用正交匹配追踪算法omp生成细节层sr系数：
[0225][0226][0227]
其中，为源图像in的第k个小块，为对应的稀疏向量。为最大稀疏重构误差，σ为高斯标准差，c＞0是在σ＞0时控制的参数；
[0228]
采用“绝对值-最大”方案生成融合稀疏系数：
[0229][0230]
融合细节矢量由下线性表示得到：
[0231][0232]
将每个重塑为8
×
8的小块，然后根据初始位置进行排列，得到预融合的细节层；
[0233]
构造vsm，设置ip代表图像i中的一个像素p的强度值，像素p的显著值v(p) 被定义为
[0234][0235]
其中，n表示i中的像素总数，j代表像素强度，mj代表强度等于j的像素数， l表示灰度级数，如果两个像素有相同的强度值，其显著值是相等的；
[0236]
然后将v(p)归一化到[0，1]；
[0237]
设v1和v2分别表示不同源图像的vsms，和表示不同源图像的基础结构层图像，通过加权平均得到最终的基础结构层的预融合图像f
b，s
：
[0238][0239]
其中，权重wb被定义为：
[0240][0241]
将可见光和红外图像的基础纹理图像和作为矩阵γ的列向量，再将每一行作为一个参考，每一列作为一个变量，求出γ的协方差矩阵c；
[0242]
计算c的特征值λ1，λ2以及相对应的特征向量和
[0243]
从两个特征值中找出最大的特征值，即λ
max
＝max(λ1，λ2)，将相对应于λ
max
的特征向量作为最大特征向量φ
max
，计算出对应于φ
max
的主成分p1和p2，并将其值归一化：
[0244]
[0245][0246]
将主成分p1和p2作为权重，融合为最终的基础纹理层的预融合图像f
b，t
：
[0247][0248]
融合模块具126体用于：
[0249]
根据公式15后去最终的融合图像f为：
[0250]
f＝fd+f
b，s
+f
b，t
ꢀꢀ
公式15。
[0251]
本发明实施例是与上述方法实施例对应的系统实施例，各个模块的具体操作可以参照方法实施例的描述进行理解，在此不再赘述。
[0252]
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。