一种基于特征嵌入的红外与可见光图像融合方法

1.本发明涉及红外图像与可见光融合，具体涉及一种基于特征嵌入的红外与可见光图像融合方法。


背景技术：

2.红外图像与可见光图像融合具有重要的意义。物体在恶劣光照或者伪装遮挡环境下无法只通过可见光图像来获取有用的信息。红外图像来源于红外传感器，红外传感器能够捕捉物体在辐射出的不同频率的电磁波，也被称为热辐射。与此同时，由于物体发出的热量几乎不受纹理的影响，红外图像也会丢失纹理细节信息。红外与可见光图像融合将不同传感器的互补信息生成为同一张图像，同时保留了红外图像的热辐射信息和可见光图像的纹理信息，被广泛应用于目标检测、目标跟踪、夜色视觉、生物识别等领域。
3.在红外与可见光图像融合任务中，特征的提取与使用方式极其关键，融合图像的质量直接受到特征处理方法的影响。现有的红外与可见光图像融合方法层出不穷。2018年，中国学者提出一种基于深度学习框架的融合方法。该方法先将源图像多尺度分解，再利用vgg网络提取图像不同层次的特征，分别与源图像分解得到的不同尺度进行加权融合。2019年，有研究人员提出一种利用残差网络提取源图像高层次特征并进行图像融合的方法。这些方法都能取得较为理想的结果，但是由于现有方法大多只使用源图像的单层次特征，或者是将不同层次的特征信息分开使用，这会导致在融合任务过程中源图像特征信息的利用不足。


技术实现要素：

4.针对现有技术中的上述不足，本发明提供了一种基于特征嵌入的红外与可见光图像融合方法。
5.为了达到上述发明目的，本发明采用的技术方案为：一种基于特征嵌入的红外与可见光图像融合方法，包括以下步骤：s1、构建自校准卷积网络模型提取红外与可见光图像的源图像特征，得到源图像特征信息；s2、利用zca白化对步骤s1得到的源图像特征信息进行预处理，得到源图像特征活动图；s3、将步骤s2得到的源图像特征活动图中高层次特征活动图嵌入到低层次特征活动图，得到权值图；s4、利用步骤s3得到的权值图与源图像构建融合图像。
6.该方案的有益效果为：引入自校准卷积提取图像的特征，将高层次特征嵌入低层次特征中，实现特征信息的互补，将源图像特征活动图中高层次特征活动图嵌入到低层次特征活动图，得到权值图，再与源图像融合；既保留了可见光图像的纹理信息，又保留了红外图像的热辐射信息，
增强了在图像特征的保留、边缘信息保持以及重构图像噪声抑制。
7.进一步地，所述步骤s1具体包括以下分步骤：s11、在残差网络中嵌入自校准卷积，构建自校准卷积网络模型；s12、利用imagenet训练集对步骤s11构建的自校准卷积网络模型进行预训练，得到训练后的自校准卷积网络模型；s13、利用步骤s12得到的训练后的自校准卷积网络模型对源图像进行特征提取，得到源图像特征图信息。
8.该进一步方案有益效果为：自校准卷积可以有效利用卷积滤波器的所有部分，通过校准操作融合两个不同空间尺度的信息，增加不同逻辑层的视野，使网络模型能够输出更具区别性的特征信息。
9.进一步地，所述步骤s2具体包括以下分步骤：s21、利用步骤s13得到的源图像特征图信息计算协方差矩阵，表示为：其中，为源图像特征图信息的转置矩阵，i为自校准卷积网络中卷积的层数，j为通道数，k为源图像；s22、对步骤s21得到的协方差矩阵进行奇异值分解，得到正交矩阵p，表示为：其中， p为大小的正交矩阵，为大小的对角矩阵，q为大小的正交矩阵，为正交矩阵q的转置矩阵；s23、利用步骤s22得到的正交矩阵p计算新的随机向量，表示为：其中，e为单位矩阵，为正交矩阵p的转置矩阵，为随机数；s24、利用步骤s23得到的新的随机向量对源图像特征信息进行处理，得到处理后的源图像特征信息，表示为：s25、根据步骤s24处理后的源图像特征信息，利用l1范数法计算初始源图像特征活动图；
s26、根据步骤s25中初始源图像特征活动图，利用基于块的平均运算符计算源图像特征活动图。
10.该进一步方案有益效果为：将源图像的原始特征投影到了相同的空间中，并且用zca白化对特征进行预处理，使得特征信息更易于分类与重构。
11.进一步地，所述步骤s25中初始源图像特征活动图表示为：其中，为l1范数，为矩阵中具体的像素点坐标。
12.该进一步方案有益效果为：使用l1范数将源图像特征信息降维，把多维的源图像特征信息转换成一张初始源图像特征活动图。
13.进一步地，所述步骤s26中源图像特征活动图表示为：其中，ω为决定块大小的参数。
14.该进一步方案有益效果为：提高源图像特征活动图的稀疏性，便于重构更具对比度和空间差异性更佳的图像。
15.进一步地，所述步骤s3具体包括以下分步骤：s31、利用双三次插值法将步骤s26得到的源图像特征活动图中高层次特征活动图尺寸放大至与低层次特征活动图尺寸相同；s32、将步骤s31中尺寸放大后高层次特征活动图与低层次特征活动图中元素逐项相乘，得到特征嵌入后的初始权值图；s33、利用步骤s32得到的初始权值图计算权值图。
16.该进一步方案有益效果为：使用双三次插值法对高层次特征活动图进行上采样，放大高层次特征活动图的尺寸大小。相较于“最近相邻”插值法和双线性插值法，双三次插值法能创造出更平滑的图像边缘。
17.进一步地，所述步骤s32中特征嵌入后的初始权值图表示为：
其中，bicubic（）为双三次插值函数。
18.该进一步方案有益效果为：将高层次特征嵌入低层次特征，实现特征信息的互补。
19.进一步地，所述步骤s33中权值图表示为：其中，k为源图像，i为红外图像，v为可见光图像。
20.该进一步方案有益效果为：经过多次处理计算，本发明得到的权值图相较于平均权值图和显著性权值图更佳合理，对于高质量的图像重构也更佳有效。
21.进一步地，所述步骤s4具体为：利用步骤s33得到的最终的权值图与源图像k构建融合图像，表示为：。
22.该进一步方案有益效果为：该融合图像既保留了可见光图像的纹理信息，又保留了红外图像的热辐射信息。
附图说明
23.图1为本发明提供的一种基于特征嵌入的红外与可见光图像融合方法的整体流程示意图；图2为本发明提供的一种基于特征嵌入的红外与可见光图像融合方法的整体结构示意图；图3为本发明中自校准卷积模块构建结构示意图；图4为本发明中步骤s1的分步骤流程示意图；图5为本发明中步骤s1基于自校准卷积网络提取源图像特征可视化示意图；图6为本发明中步骤s2的分步骤流程示意图；图7为本发明中步骤s3中将高层次特征活动图嵌入到低层次特征活动图示意图；图8为本发明中步骤s3的分步骤流程示意图；图9为本发明与另外9种现有方法关于“街道”的融合图像细节对比图。
具体实施方式
24.下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，
只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
25.如图1、图2所示，本发明提供一种基于特征嵌入的红外与可见光图像融合方法，包括以下步骤s1至步骤s4：s1、构建自校准卷积网络模型提取红外与可见光图像的源图像特征，得到源图像特征信息；如图3所示，在本实施例中，输入尺寸为c
×
h
×
w的映射图像x，经分裂分别得到尺寸均为c/2
×
h
×
w的映射图像x1和映射图像x2；将映射图像x1输入卷积层conv1后经滤波器f1输出得到尺寸为c/2
×
h
×
w的映射图像y1，映射图像x2分别输入到卷积层conv2和下采样滤波器中，其中，卷积层conv2与滤波器f2串联，下采样滤波器依次与卷积层conv3以及上采样滤波器连接，其中在平均池化过程中，上采样和下采样操作后的感受野大小为r
×
r，步长为r；滤波器f3的输出经上采样后与x2累加，并利用sigmoid激活函数计算出权重，并计算得到该权重与滤波器f2的输出相乘结果，并将该结果输入串联的卷积层conv4与滤波器f4，得到尺寸为c/2
×
h
×
w的映射图像y2。映射图像y1和映射图像y2再通过全连接得到自校准卷积的映射图像y；以残差网络resnet为样体，用自校准卷积模块替换掉原始resnet50中的每一个3
×
3大小的卷积块，并保持所有相关超参数不变；自校准卷积的采样速率被设置为4。
26.如图4所示，步骤s1具体包括以下分步骤：s11、在残差网络中嵌入自校准卷积，构建自校准卷积网络模型；s12、利用imagenet训练集对步骤s11构建的自校准卷积网络模型进行预训练，得到训练后的自校准卷积网络模型；s13、利用步骤s12得到的训练后的自校准卷积网络模型对源图像进行特征提取，得到源图像特征图信息。
27.如图5所示，本实施例中，首先通过残差网络构建自校准卷积网络模型，并利用imagenet训练集进行训练，然后构建验证集进行验证，直至网络模型保存最优权重后损失误差的平均值不再下降，输出预训练完成的自校准卷积网络；然后将源图像k输入自校准卷积网络模型，并利用pytorch深度学习框架分别提取自校准网络模型中第一层卷积块和第四层卷积块映射的特征图，源图像，i代表红外图像，v代表可见光图像，其中低层次特征信息图的输出通道为64个，高层次特征信息图的输出通道为1024个，每个输出通道都包含一张独立的特征信息图，同一层次的所有特征信息图组则成了该层次的特征信息，其中，i是自校准卷积网络中卷积的层数，j是通道数；本发明将第一层卷积的输出作为低层次特征，第四层卷积的输出作为高层次特征，即i=1表示为低层次特征，i=4表示为高层次特征。
28.s2、利用zca白化对步骤s1得到的源图像特征信息进行预处理，得到源图像特征活动图；如图6所示，步骤s2具体包括以下分步骤：s21、利用步骤s13得到的源图像特征图信息计算协方差矩阵，表示为：
其中，为源图像特征图信息的转置矩阵，i为自校准卷积网络中卷积的层数，j为通道数，k为源图像；s22、对步骤s21得到的协方差矩阵进行奇异值分解，得到正交矩阵p，表示为：其中， p为大小的正交矩阵，d为大小的对角矩阵，q为大小的正交矩阵，为正交矩阵q的转置矩阵；s23、利用步骤s22得到的正交矩阵p计算新的随机向量，表示为：其中，e为单位矩阵，为正交矩阵p的转置矩阵，为随机数，是一个数值很小的随机数，目的是避免出现错误的矩阵求逆结果；s24、利用步骤s23得到的新的随机向量对源图像特征信息进行处理，得到处理后的源图像特征信息，表示为：s25、根据步骤s24处理后的源图像特征信息，利用l1范数法计算得到初始源图像特征活动图，表示为：其中，为l1范数，为矩阵中具体的像素点坐标；s26、根据步骤s25中初始源图像特征活动图，利用基于块的平均运算符计算得到源图像特征活动图，表示为：
其中，ω为决定块大小的参数，并取值为1，目的是分别计算每一个像素值，使得输出更具鲁棒性。
29.s3、将步骤s2得到的源图像特征活动图中高层次特征活动图嵌入到低层次特征活动图，得到权值图；如图7所示，本实施例中，首先使用双三次插值对高层次特征活动图进行上采样，并将高层次特征活动图的尺寸被放大到与低层次特征活动图尺寸相同，并将采样后的高层次特征活动图与低层次特征活动图中逐元素相乘，得到特征嵌入后的权值图。
30.如图8所示，步骤s3具体包括以下分步骤：s31、利用双三次插值法将步骤s26得到的源图像特征活动图中高层次特征活动图尺寸放大至与低层次特征活动图尺寸相同；s32、将步骤s31中尺寸放大后高层次特征活动图与低层次特征活动图中元素逐项相乘，得到特征嵌入后的初始权值图，表示为：其中，bicubic（）为双三次插值函数；；s33、利用步骤s32得到的初始权值图计算权值图，表示为：其中，k为源图像，i为红外图像，v为可见光图像。
31.s4、利用步骤s3得到的权值图与源图像构建融合图像。
32.步骤s4具体为：利用步骤s33得到的最终的权值图与源图像k构建融合图像，表示为：。
33.本发明中通过tno数据集上进行仿真实验，与现有的9种典型方法进行的指标评测，评测结果如图9、表1所示，
表1
ꢀꢀ
9对融合图像的像素特征互信息、差异相关和、结构相似度测量、边缘保持指数和基于噪声评估的融合性能的平均值对比表可知在像素特征互信息、差异相关和结构相似度、边缘保持指数、基于噪声评估的融合性能五种常用的图像融合质量评价指标上均占有优势，本发明有助于提高红外与可见光图像融合在目标检测、目标跟踪、生物识别在像素特征互信息、差异相关、结构相似度、边缘保持指数以及基于噪声评估的融合性能五种常用图像融合质量评估上的有效性。
34.本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
35.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
36.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
37.本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
38.本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围。