图像融合方法、装置及设备、存储介质与流程

1.本技术涉及图像处理技术领域，尤其是涉及一种图像融合方法、装置及图像处理设备、计算机可读存储介质。


背景技术：

2.图像主要分为可见光图像和红外图像，可见光图像的成像机理与人眼视觉系统一致，可以提供具有高空间分辨率和清晰度的纹理细节，符合人眼观察习惯；红外图像可以根据红外辐射差异将目标与背景区分开来，红外图像在可见光强度差的情况下效果很好，但红外图像损失了绝大部分纹理细节。
3.为了能够兼顾可见光图像和红外图像的各自优点，在应用场景中将可见光图像和红外图像进行融合，以获得对拍摄场景全面准确的图像描述，达到对于信息的充分利用，同时也可以提高系统分析决策的准确性和可靠性。
4.将可见光图像和红外图像进行融合的图像融合方法主要分为传统方法和深度学习方法；其中，传统方法按照融合过程中信息处理的复杂程度，主要分为三类：像素级融合、特征级融合、决策级融合。(1)像素级融合，是直接对图像相应像素执行融合操作。其对图像误配准非常敏感，即算法要求图像在融合之前必须经过严格精确的图像配准，才能保证融合算法的顺利进行。通过像素级融合技术能够从源图像中保留更多的特有信息，使得融合结果更加可靠，获得的融合图像通常包含更多的细节信息，如边缘、纹理等，但是计算量大；(2)特征级融合，其思想是从输入的源图像中提取出特征信息，并对这些特征信息执行融合操作。特征级图像融合所需的计算资源较少，但是通常丢失了源图像的很多重要细节信息；(3)决策级融合，其原理是首先对每幅源图像做出一种决策，然后将所有决策进行综合，给出最终决策，决策级图像融合的计算量更小，但是其得到的融合图像更加模糊。深度学习方法需要大量的标注的样本图像进行模型训练，通过训练确定模型参数，一方面需要依赖大量样本图像来完成训练，另一方面对芯片处理能力要求高，融合处理效率低。


技术实现要素：

5.为解决现有存在的技术问题，本技术提供一种可减少图像中无效信息、减小计算量和复杂度、且可提升处理效率的图像融合方法、装置、图像处理设备及计算机可读存储介质。
6.为达到上述目的，本技术实施例的技术方案是这样实现的：
7.第一方面，本技术实施例提供一种图像融合方法，应用于图像处理设备，包括：
8.获取针对目标视场同步采集的可见光图像和红外图像；
9.分别对所述可见光图像和所述红外图像进行通道分离，并对各自分离出的亮度通道分量分别进行高斯滤波，得到对应的可见光亮度通道滤波图像和红外亮度通道滤波图像；
10.基于所述可见光亮度通道滤波图像和所述红外亮度通道滤波图像，确定可见光显
著图和红外显著图；
11.根据所述可见光显著图和所述红外显著图计算融合权重；
12.根据所述可见光亮度通道滤波图像、所述红外亮度通道滤波图像和所述融合权重，得到融合图像。
13.第二方面，本技术实施例提供一种图像融合装置，包括：
14.获取模块，获取针对目标视场同步采集的可见光图像和红外图像；
15.滤波模块，用于分别对所述可见光图像和所述红外图像进行通道分离，并对各自分离出的亮度通道分量分别进行高斯滤波，得到对应的可见光亮度通道滤波图像和红外亮度通道滤波图像；
16.显著图模块，用于基于所述可见光亮度通道滤波图像和所述红外亮度通道滤波图像，确定可见光显著图和红外显著图；
17.权重模块，用于根据所述可见光显著图和所述红外显著图计算融合权重；
18.融合模块，用于根据所述可见光亮度通道滤波图像、所述红外亮度通道滤波图像和所述融合权重，得到融合图像。
19.第三方面，本技术实施例提供一种图像处理设备，包括处理器、与所述处理器连接的存储器及存储在所述存储器上并可被所述处理器执行的计算机程序，所述计算机程序被所述处理器执行时实现本技术应用于终端设备侧的任一实施例所述的图像融合方法。
20.第四方面，本技术实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被所述处理器执行时实现如本技术任一实施例所述的图像融合方法。
21.上述实施例中，通过分别对红外图像和可见光图像进行通道分离，对各自分离出的亮度通道分量进行高斯滤波，利用亮度通道分量通过高斯滤波后得到的可见光亮度通道滤波图像和红外亮度通道滤波图像，分别确定红外图像和可见光图像对应的显著图和融合权重，如此，通过只取亮度通道分量的数据获得显著性图像和融合权重，既能有效避免图像质量下降，能够很好的抑制图像中过亮部位导致图像细节损失的问题；且可简化算法、减少计算量，提高图像融合处理效率。
22.上述实施例中，图像融合装置、图像处理设备及计算机可读存储介质与对应的图像融合方法实施例属于同一构思，从而分别与对应的图像融合方法实施例具有相同的技术效果，在此不再赘述。
附图说明
23.图1为一实施例中图像融合方法的应用场景示意图；
24.图2为一实施例中图像融合方法的流程图；
25.图3为采用本技术实施例基于对y通道分量作为基础通过图像融合方法获得的融合图像的示意图；
26.图4为已知的基于原图进行融合得到的融合图像的示意图；
27.图5为基于本技术实施例的图像融合算法流程构建的图像融合前向推理模型的示意图；
28.图6为一可选的具体示例中图像融合方法的流程图；
29.图7为图6所示实施例中采用的红外图像的示意图；
30.图8为图6所示实施例中采用的可见光图像的示意图；
31.图9为采用本技术所述的图像融合方法对红外图像和可见光图像进行融合后得到的融合图像的示意图；
32.图10为一实施例中图像融合装置的示意图；
33.图11为一实施例中图像处理设备的结构示意图。
具体实施方式
34.以下结合说明书附图及具体实施例对本技术技术方案做进一步的详细阐述。
35.为了使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术作进一步地详细描述，所描述的实施例不应视为对本技术的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本技术保护的范围。
36.在以下的描述中，涉及到“一些实施例”的表述，其描述了所有可能实施例的子集，需要说明的是,“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
37.在以下的描述中，所涉及的术语“第一、第二、第三”仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一、第二、第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本技术实施例能够以除了在这里图示或描述的以外的顺序实施。
38.请参阅图1，为本技术实施例提供的图像处理方法的一可选应用场景的示意图，其中，图像处理设备11包括处理器12、与所述处理器12连接的存储器13、可见光拍摄模块14和红外拍摄模块15。所述图像处理设备11通过所述可见光拍摄模块14和所述红外拍摄模块14同步实时采集可见光图像和红外图像发送给处理器12，所述存储器13内存储有实施本技术实施例所提供的图像融合方法的计算机程序，处理器12通过执行所述计算机程序，对可见光图像和红外图像进行通道分离，对分离出的亮度通道分量进行高斯滤波，基于滤波后得到的可见光亮度通道滤波图像和红外亮度通道滤波图像，确定可见光显著图和红外显著图和计算融合权重，根据可见光亮度通道滤波图像、红外亮度通道滤波图像和融合权重，得到融合图像。其中，所述图像处理设备11可以是集成有可见光拍摄模块14和红外拍摄模块15、且具备存储和处理功能的各类智能终端，如安防监控设备、车载设备等；所述图像处理设备11也可以是与可见光拍摄模块14和红外拍摄模块15连接的计算机设备；所述图像处理设备11也可以是具有白光光路和红光光路的双光融合瞄准类设备。
39.请参阅图2，为本技术一实施例提供的图像融合方法，可以应用于图1所示的图像处理设备。其中，图像处理方法包括如下步骤：
40.s101，获取针对目标视场同步采集的可见光图像和红外图像。
41.可见光图像和红外图像是针对目标视场同步采集得到的，如此，可见光图像和红外图像中包含同一目标视场内的物体的成像。可选的，图像处理设备包括可见光拍摄模块和红外拍摄模块，所述获取针对目标视场同步采集的可见光图像和红外图像包括：图像处理设备通过可见光拍摄模块和红外拍摄模块同时采集可见光图像和红外图像，并将采集到的可见光图像和红外图像发送给处理器。在另一些可选的实施例中，图像处理设备不包括
图像拍摄模块，所述获取针对目标视场同步采集的可见光图像和红外图像包括：图像处理设备获取具备可见光图像和红外图像拍摄功能的其它智能设备发送的针对目标视场同步采集的可见光图像和红外图像，这里，其它智能设备可以包括红外探测器、手机终端、云端等。
42.s103，分别对所述可见光图像和所述红外图像进行通道分离，并对各自分离出的亮度通道分量分别进行高斯滤波，得到对应的可见光亮度通道滤波图像和红外亮度通道滤波图像。
43.对于一幅数字图像，人眼观察到的是一幅图片，但是从计算机来看，一副数字图像是一堆亮度各异的点，如，一副尺寸为m
×
n的数字图像可以用一个m
×
n的矩阵来表示，矩阵中元素的值分别表示这个位置上对应像素点的亮度，像素值越大表示该像素点越亮。通常，灰度图可用二维矩阵表示，彩色图像可用三维矩阵(m
×n×
3)表示，也即多通道图像。
44.通过通道可以改变图像的色相和颜色，例如，如仅保存红色通道，则图像本身就仅保留红色的元素和信息。针对每个单一通道，可分别显示为一副灰度图像(需要说明的是，该灰度图像非黑白图像)，单一通道的灰度图像中的明暗对应所述单一通道色的明暗，相应表示所述单一通道色/光在图像上的分布情况。
45.高斯滤波是一种线性平滑滤波，对整幅图像进行加权平均的过程，高斯滤波的实现原理是，针对每一个像素点的值，都由其本身和邻域内的其他像素值经过加权平均后得到。分别将红外图像和可见光图像进行通道分离，对各自分离出的亮度通道分量分别进行高斯滤波，得到对应的可见光亮度通道滤波图像和红外亮度通道滤波图像可以是指，对红外图像和可见光图像分别进行通道分离，将红外图像中分离出的亮度通道分量进行高斯滤波，得到红外亮度通道滤波图像，将可见光图像中分离出的亮度通道分量进行高斯滤波，得到可见光亮度通道滤波图像，为方便区分和描述，红外亮度通道滤波图像用gy
inf
表示，可见光亮度通道滤波图像gy
vis
表示。对亮度通道分量进行高斯滤波可以包括：用预设大小的卷积核扫描亮度通道分量图像中的每一个像素，用所述卷积核确定的邻域内像素的加权平均灰度值去替代卷积核中心像素点的值。其中，分别对红外图像和可见光图像各自分离出的亮度通道分量进行高斯滤波，仅取亮度通道分量数据作为后续计算显著图和融合权重的基础，可以减少融合所需的运算量，且可以保留可见光图像和红外图像的有效信息。
46.s105，基于所述可见光亮度通道滤波图像和所述红外亮度通道滤波图像，确定可见光显著图和红外显著图。
47.利用通过对亮度通道分量进行高斯滤波得到的亮度通道滤波图像获得对应的显著图，可以对显著图的计算进行简化。
48.s107，根据所述可见光显著图和所述红外显著图计算融合权重。
49.其中对可见光图像和红外图像同时进行相同操作，基于相同的简化计算方式得到可见光图像和红外图像分别对应的显著图，如此，简化计算方式对可见光图像和红外图像的影响是相同的，通过简化计算方式得到的可见光显著图和红外显著图计算得到的融合权重与未经简化计算得到的融合权重类似，基本不会有偏差，简化后的算法运行效率也能得到大幅度提升。
50.s109，根据所述可见光亮度通道滤波图像、所述红外亮度通道滤波图像和所述融合权重，得到融合图像。
51.图像融合(image fusion)是指将多源信道所采集到的关于同一目标的图像数据经过图像处理技术，最大限度的提取各自信道中的有利信息，最后综合成高质量的图像，以提高图像信息的利用率、改善计算机解译精度和可靠性、提升原始图像的空间分辨率和光谱分辨率，利于监测。
52.可见光亮度通道滤波图像包含可见光图像的亮度通道分量的有效信息，红外亮度通道滤波图像包含红外图像的亮度通道分量的有效信息，根据所述可见光亮度通道滤波图像、红外亮度通道滤波图像和融合权重进行融合，利用可见光图像和红外图像的显著性特征，实现了可见光图像和红外图像的快速像素级融合。
53.上述实施例中，通过分别对红外图像和可见光图像进行通道分离，对各自分离出的亮度通道分量进行高斯滤波，利用亮度通道分量通过高斯滤波后得到的可见光亮度通道滤波图像和红外亮度通道滤波图像，分别确定红外图像和可见光图像对应的显著图和融合权重，如此，通过只取亮度通道分量的数据获得显著性图像和融合权重，既能有效避免图像质量下降，能够很好的抑制图像中过亮部位导致图像细节损失的问题；且可简化算法、减少计算量，提高图像融合处理效率。
54.在一些实施例中，所述基于所述可见光亮度通道滤波图像和所述红外亮度通道滤波图像，确定可见光显著图和红外显著图，包括：
55.计算所述可见光亮度通道滤波图像的图像均值和所述红外亮度通道滤波图像的图像均值；
56.根据所述可见光亮度通道滤波图像和所述红外亮度通道滤波图像及其分别对应的所述图像均值，通过l2范式确定可见光显著图和红外显著图。
57.对于图像融合，基于图像显著性的图像融合效果最好。目前主要采用ft显著性检测算法(frequency-tuned salient region detection)，该算法以lab(lab color space)颜色空间为基础，lab颜色模式是以一个亮度分量l(lightness)，以及两个颜色分量a、b来表示颜色的。其中，l的取值范围为0～100，a分量代表由绿色到红色的光谱变化，而b分量代表由蓝色到黄色的光谱变化，且a、b分量的取值范围均为-120～120。融合算法如下公式一所示：
58.s(p)＝||i
u-i
ωhc
(p)||
ꢀꢀꢀ
(公式一)
59.其中，iu为图像的平均特征，使用lab颜色特征，i
ωhc
(p)为像素p在高斯平滑后的lab颜色特征，||
·
||为l2范式，即计算前一项和后一项在lab颜色空间的欧氏距离。这其中需要将图像转换为lab格式图像，涉及大量的矩阵运算而拖慢计算效率。
60.为了最大限度简化算法和减少效果损失，将红外图像和可见光图像进行通道分离，对分离出的亮度通道分量进行高斯滤波，获得对亮度分量进行高斯滤波后得到的可见光亮度通道滤波图像gy
vis
和红外亮度通道滤波图像gy
inf
，计算可见光亮度通道滤波图像gy
vis
的图像均值m
vis
、计算红外亮度通道滤波图像gy
inf
的图像均值m
inf
，根据可见光亮度通道滤波图像gy
vis
及其图像均值m
vis
利用l2范式获得可见光图像的可见光显著图s
vis
，根据红外亮度通道滤波图像gy
inf
及其图像均值m
inf
利用l2范式获得红外图像的红外显著图s
inf
。
61.上述实施例中，通过根据对红外图像和可见光图像的亮度分量进行高斯滤波后得到的可见光亮度通道滤波图像和红外亮度通道滤波图像来分别计算其对应的显著图，可以大大减少计算量，提高运算效率。
62.在一些实施例中，所述根据所述可见光亮度通道滤波图像和所述红外亮度通道滤波图像及其分别对应的所述图像均值，通过l2范式确定可见光显著图和红外显著图，包括：
63.根据所述可见光图像和所述红外图像的图像位数，确定目标除数；
64.根据所述可见光亮度通道滤波图像及其对应的所述图像均值的l2范式距离与所述目标除数的比值，确定可见光显著图；
65.根据所述红外通道滤波图像及其对应的所述图像均值的l2范式距离与所述目标除数的比值，确定红外显著图。
66.可见光图像和红外图像的显著图主要是用于计算融合权重，且根据可见光图像和红外图像确定其各自对应的显著图和融合权重均是进行相同操作，从而可通过简化算法对二者的相同影响来提升算法运行效率，且相对于未经简化的算法计算得到的融合权重而言，可以有效避免偏差。根据待计算图像的图像位数确定目标除数n，采用如下公式二计算其对应的显著图：
67.s＝||gy-m||/n
ꢀꢀꢀ
(公式二)
68.其中，gy是指待计算图像的亮度通道分量进行高斯滤波后得到的亮度通道滤波图像，m是指亮度通道滤波图像的图像均值，n是指根据待计算图像的图像位数选定的固定除数。这里，待计算图像分别是指可见光图像和红外图像。
69.上述实施例中，根据待计算的图像的值域选定固定除数以简化显著图的计算，可以进一步减少计算量，大幅度提高运算效率，且通过简化计算得到的显著图偏暗，可很好地抑制由于进行融合的两张图像中其中一张图像局部过亮的问题而导致另一张图像的细节损失。
70.在另一些实施例中，所述根据所述可见光亮度通道滤波图像和所述红外亮度通道滤波图像及其分别对应的所述图像均值，通过l2范式确定可见光显著图和红外显著图，包括：
71.根据所述可见光亮度通道滤波图像和所述红外亮度通道滤波图像及其分别对应的所述图像均值的l2范式距离，确定l2范式最大距离和l2范式最小距离；
72.根据与所述可见光图像对应的所述l2范式距离、所述l2范式最小距离与所述l2范式最大距离，确定可见光显著图，根据所述红外图像对应的所述l2范式距离、所述l2范式最大距离与所述l2范式最小距离，确定红外显著图。
73.根据待计算图像的亮度通道滤波图像及其对应的图像均值，采用如下公式三计算图像中各像素点的l2范式距离，确定l2范式最大距离和l2范式最小距离，并采用如下公式四确定待计算的图像的显著图。
74.t＝||gy-m||
ꢀꢀꢀ
(公式三)
75.s＝(t-min(t))/(max(t)-min(t))
ꢀꢀꢀ
(公式四)
76.其中，gy是指待计算图像的亮度分量进行高斯滤波后得到的亮度通道滤波图像，m是指亮度通道滤波图像的均值，t是指待计算图像的亮度通道滤波图像中各像素点的l2范式距离，min(t)是指计算得到的l2范式距离中的l2范式最小距离，max(t)是指计算得到的l2范式距离中的l2范式最大距离。这里，待计算图像分别是指可见光图像和红外图像。
77.上述实施例中，通过根据对红外图像和可见光图像的亮度分量进行高斯滤波后得到的可见光亮度通道滤波图像和红外亮度通道滤波图像来计算范式距离，结合范式距离中
的最大值、最小值计算图像对应的显著图，相对于根据图像原图转换到lab颜色空间后基于ft检测算法计算显著图的方式而言，可以大大减少计算量，提高运算效率。
78.在一些实施例中，所述根据所述可见光显著图和所述红外显著图计算融合权重，包括：
79.根据所述可见光显著图和所述红外显著图的差值与设定的损失常数，计算所述可见光图像对应的第一融合权重；
80.根据所述红外显著图和所述可见光显著图的差值与所述损失常数，计算所述红外图像对应的第二融合权重。
81.利用对红外图像和可见光图像分离出的y通道分量进行高斯滤波后得到的亮度通道滤波图像，分别计算其各自对应的显著图后，利用人眼对图像显著性的敏感程度，通过红外图像的红外显著图和可见光图像的可见光显著图，分别计算其各自对应的融合权重，为了便于区分和描述，本技术将可见光图像对应的融合权重称为第一融合权重w
vis
，将红外图像对应的融合权重称为第二融合权重w
inf
，在一个可选的示例中，设定的损失常数为0.5，第一融合权重w
vis
和第二融合权重w
inf
采用如下公式五计算得到：
[0082][0083]
上述实施例中，利用可见光显著图和红外显著图之间的差值计算可见光图像和红外图像的融合权重，从而可消除基于简化算法获得可见光显著图和红外显著图后计算融合权重的影响，确保融合权重的准确性，且有效提升可见光图像和红外图像的融合权重的计算效率。
[0084]
在一些实施例中，所述根据所述可见光亮度通道滤波图像、所述红外亮度通道滤波图像和所述融合权重，得到融合图像，包括：
[0085]
根据所述可见光亮度通道滤波图像与所述第一融合权重的乘积、所述红外亮度通道滤波图像与所述第二融合权重的乘积、所述可见光图像的损失细节及所述红外图像的损失细节，得到融合图像。
[0086]
根据可见光图像和红外图像分离出的亮度通道分量，分别进行高斯滤波后得到的可见光亮度通道滤波图像和红外亮度通道滤波图像分别与其对应的融合权重相乘，再加上损失的细节，就能够得到融合后且细节增强的融合图像。在一个可选的示例中，融合图像可采用如下公式六计算得到：
[0087]ifused
＝gy
inf
*w
inf
+gy
vis
*w
vis
+y
inf
+y
vis-gy
inf-gy
vis
ꢀꢀꢀ
(公式六)
[0088]
其中，所述根据所述可见光亮度通道滤波图像、所述红外亮度通道滤波图像和所述融合权重，得到融合图像，还包括：
[0089]
根据所述可见光图像和所述可见光亮度通道滤波图像的差值，得到所述可见光图像的损失细节；
[0090]
根据所述红外图像和所述红外亮度通道滤波图像的差值，得到所述红外图像的损失细节。
[0091]
图像的损失细节通过图像原图的亮度通道分量与其对应的亮度通道滤波图像的差值计算得到，在公式六中，可见光图像的损失细节为可见光图像的亮度通道分量y
vis
与可见光亮度通道滤波图像gy
vis
的差值，红外图像的损失细节为红外图像的亮度通道分量y
inf
与红外亮度通道滤波图像gy
inf
的差值。将公式五中第一融合权重w
vis
和第二融合权重w
inf
的计算方式代入公式六中，可得到如下公式七和公式八：
[0092][0093]ifused
＝gy
inf
*w
inf
+gy
vis
*w
vis
+y
inf
+y
vis
ꢀꢀꢀ
(公式八)
[0094]
如此，根据所述可见光亮度通道滤波图像与所述第一融合权重的乘积、所述红外亮度通道滤波图像与所述第二融合权重的乘积、所述可见光图像的损失细节及所述红外图像的损失细节，得到融合图像可以是，融合图像根据所述可见光亮度通道滤波图像与所述第一融合权重的乘积、所述红外亮度通道滤波图像与所述第二融合权重的乘积、所述可见光亮度通道滤波图像及所述红外亮度通道滤波图像之和计算得到。
[0095]
上述实施例中，利用待融合图像的亮度通道分量计算显著图，再利用显著图计算融合权重，直接通过对分离出的亮度通道分量进行高斯滤波后得到的亮度通道滤波图像与计算得到的融合权重计算融合图像，从而可以简化图像融合算法，提高图像融合处理效率。
[0096]
可选的，所述分别对所述可见光图像和所述红外图像进行通道分离，并对各自分离出的亮度通道分量分别进行高斯滤波，得到对应的可见光亮度通道滤波图像和红外亮度通道滤波图像，包括：
[0097]
分别对yuv格式的所述可见光图像和所述yuv格式的红外图像进行通道分离，并对各自分离出的y通道分量分别进行高斯滤波，得到对应的可见光y通道滤波图像和红外y通道滤波图像。
[0098]
移动设备等图像拍摄模块的图像数据流通常为yuv格式，其中y通道为亮度通道，本技术实施例中，利用yuv格式图像数据流中y通道分量的明暗变化与lab格式图像中l通道分量的相似性，直接对yuv格式的可见光图像和红外图像分别进行通道分离，对分离出的y通道分量进行高斯滤波，得到对应的可见光y通道滤波图像和红外y通道滤波图像。如此，仅提取yuv格式图像数据的y通道分量的数据作为计算显著图的基础，可以简化计算量，加快计算速率。
[0099]
请参阅图3和图4，为采用本技术实施例中基于对y通道分量作为基础通过图像融合方法获得的融合图像与已知的基于原图作为基础得到的融合图像的对比图。根据对比可知，二者融合效果基本相似，而采用本技术实施例中基于对y通道分量作为基础通过图像融合方法获得的融合图像，在车顶阳光反射的地方相对更加能够凸出红外细节，由此实现抑制了图像过亮区域对融合图像的影响。
[0100]
可选的，所述分别对所述可见光图像和所述红外图像进行通道分离，并对各自分离出的亮度通道分量分别进行高斯滤波，得到对应的可见光亮度通道滤波图像和红外亮度通道滤波图像之前，包括：
[0101]
基于对所述可见光图像和所述红外图像进行融合处理算法的流程，根据所述融合处理算法及其计算参数构建对所述可见光图像和所述红外图像并行处理的图像融合前向推理模型，将所述可见光图像和所述红外图像输入所述图像融合前向推理模型；
[0102]
其中，所述融合处理算法的流程包括：分别对所述可见光图像和所述红外图像进行处理，得到可见光亮度通道滤波图像和红外亮度通道滤波图像、确定可见光显著图和红外显著图、计算融合权重以及根据所述可见光亮度通道滤波图像、所述红外亮度通道滤波
图像和所述融合权重获得融合图像。
[0103]
本实施例中，融合处理算法是指对所述可见光图像和所述红外图像进行处理，以实现本技术实施例所提供的图像融合方法的算法。本技术实施例所提供的图像融合方法中，对可见光图像和红外图像分别采用相同的简化算法，分别对所述可见光图像和所述红外图像进行通道分离、对分离出的亮度通道分量进行高斯滤波得到对应的亮度通道滤波图像，计算各自对应的显著图后根据所述显著图计算融合权重、根据各自对应的亮度通道滤波图像和融合权重计算损失细节和融合图像，根据所述简化算法中实现各个步骤的算式和计算参数构建对可见光图像和红外图像并行处理的图像融合前向推理模型，图像融合前向推理模型依据所述融合处理算法的各步骤及其计算参数分别建立对应的各层，可类似于神经网络结构的深度学习模型，将待融合处理的红外图像和可见光图像作为图像融合前向推理模型的两路输入，输出基于所述简化算法对所述红外图像和可见光图像融合处理后的融合图像结果，从而实现端到端的处理，与已知的通过大量训练来确定模型的深度学习方法相比较，图像融合前向推理模型建立在算式和计算参数已知的融合处理算法的基础上，不需要大量的学习，也不需要大量的数据集，可以快速地实现一个能够立即使用的网络模型，进而进行部署工作，且可最大限度支持不同芯片的能力，来达到最佳的效果，能够实现实时的大分辨率图像的快速融合。
[0104]
在一个可选的具体示例中，请参阅图5，基于对所述可见光图像和所述红外图像进行融合处理算法的流程，根据所述融合处理算法及其计算参数构建对所述可见光图像和所述红外图像并行处理的图像融合前向推理模型，通过图像融合前向推理模型实施本技术实施例的图像融合方法，实现对可见光图像和红外图像的快速融合。对所述可见光图像和所述红外图像进行融合处理算法的流程主要包括如下：(1)对分离出的亮度通道分量进行高斯滤波的处理采用卷积操作实现，卷积核采用预设的固定大小；(2)由于图像融合是红外图像和可见光图像都要计算显著图(如前述实施例中公式二、或如前述实施例中公式三与公式四)，然后进行融合，所以构建图像融合前向推理模型中设计两条数据通路，0、1分别是两张输入的红外图像和可见光图像，首先经过高斯滤波(conv)后计算均值(reduce mean)，然后与均值作差(sub)后，将图像矩阵中的每个元素都平方(mul)，平方后再进行除法操作(div)，除以常数n；(3)上述两步已经计算出显著图，接下来计算融合权重，首先将两个显著图分别做差(sub)，然后乘以0.5，再减去0.5(如前述实施例中公式七)；(4)最后，将结果分别与两个输入相加(add)得到的33节点(如前述实施例中公式八)的输出结果即为最终的结果图像，其中，节点也称为神经元或感知器，是具有一个或多个权重输入连接的计算单元，每一节点可以是直接或间接连接输入的转移函数，并直接或间接连接输出，图像融合前向推理模型中，基于步骤(1)、(2)、(3)分别对红外图像和可见光图像进行处理的节点数量分别为16个节点，第33节点为将对红外图像基于步骤(1)、(2)、(3)的处理结果和对可见光图像基于步骤(1)、(2)、(3)的处理结果进行相加的输出节点。
[0105]
上述实施例中，图像融合前向推理模型是采用类似于传统算法处理流程构建的深度学习模型的技术思路下，基于本技术实施例所提供的图像融合算法流程构建的图像融合前向推理模型，通过综合传统算法处理流程和深度学习模型的各自优点，从而本方案能够适用于部署在各类硬件架构的处理芯片上，如cpu(central processing unit)、gpu(graphic processing unit)和npu(neural-network process units)等；图像融合前向推
理模型输出的图像为以待融合图像分离出的y通道分量作为基础实现数据融合的结果，利用图像融合前向推理模型输出的结果与可见光图像的颜色值通道分量进行拼接，得到最终的融合了两种图像信息的融合图像，最终的融合图像的图像效果既能很好地符合人眼观察，又能把红外图像中的目标进行突出，总体效果良好。
[0106]
为了能够对本技术实施例提供的图像融合方法具有更加整体的理解，请结合参阅图6至图9，以一可选的示例为例，对所述图像融合方法进行说明。
[0107]
s11，读取红外图像和可见光图像；如图7和图8所示，红外图像ir和可见光图像vis；
[0108]
s12，分别对红外图像的y分量和可见光图像的y分量进行高斯滤波，得到高斯滤波图像gy
inf
和gy
vis
；
[0109]
s13，计算高斯滤波图像对应的均值m
inf
和m
vis
；
[0110]
s14，通过高斯滤波图像gy
inf
和gy
vis
及其对应的均值m
inf
和m
vis
，计算显著图s
inf
和s
vis
；其中，计算显著图s
inf
和s
vis
可采用公式二、或采用公式三和公式四得到。
[0111]
s15，利用显著图s
inf
和s
vis
计算红外图像和可见光图像对应的融合权重w
inf
和w
vis
；
[0112]
s16，通过高斯滤波图像gy
inf
和gy
vis
及其对应的融合权重w
inf
和w
vis
、及损失细节，得到融合后细节增强的初始融合图像；其中，初始融合图像的计算可如公式八所示。
[0113]
s17，将初始融合图像与可见光图像的u、v通道分量进行合并，得到融合图像，如图9所示。
[0114]
上述实施例所提供的图像融合方法，利用图像显著性特征，巧妙地利用图像y通道和简化的算法，实现了红外和可见光图像的快速像素级融合；利用简化算法，利用图像融合算法模拟构建神经网络结构的深度学习模型的方式构建图像融合前向推理模型，可大大加快图像融合的处理速度；将本技术提供的图像融合方法部署于并行架构的芯片时，利用芯片强大的图像矩阵处理能力，可进一步加速大尺寸图像的图像融合的处理速度，经验证，融合处理速度可提升六倍甚至以上。
[0115]
请参阅图10，本技术另一方面，提供一种图像融合装置，包括：获取模块131，获取针对目标视场同步采集的可见光图像和红外图像；滤波模块132，用于分别对所述可见光图像和所述红外图像进行通道分离，并对各自分离出的亮度通道分量分别进行高斯滤波，得到对应的可见光亮度通道滤波图像和红外亮度通道滤波图像；显著图模块133，用于基于所述可见光亮度通道滤波图像和所述红外亮度通道滤波图像，确定可见光显著图和红外显著图；权重模块134，用于根据所述可见光显著图和所述红外显著图计算融合权重；融合模块135，用于根据所述可见光亮度通道滤波图像、所述红外亮度通道滤波图像和所述融合权重，得到融合图像。
[0116]
可选的，所述显著图模块133，具体用于计算所述可见光亮度通道滤波图像的图像均值和所述红外亮度通道滤波图像的图像均值；根据所述可见光亮度通道滤波图像和所述红外亮度通道滤波图像及其分别对应的所述图像均值，通过l2范式确定可见光显著图和红外显著图。
[0117]
可选的，所述显著图模块133，还用于根据所述可见光图像和所述红外图像的图像位数，确定目标除数；根据所述可见光亮度通道滤波图像及其对应的所述图像均值的l2范式距离与所述目标除数的比值，确定可见光显著图；根据所述红外通道滤波图像及其对应
的所述图像均值的l2范式距离与所述目标除数的比值，确定红外显著图。
[0118]
可选的，所述显著图模块133，还用于根据所述可见光亮度通道滤波图像和所述红外亮度通道滤波图像及其分别对应的所述图像均值的l2范式距离，确定l2范式最大距离和l2范式最小距离；根据与所述可见光图像对应的所述l2范式距离、所述l2范式最大距离与所述l2范式最小距离，确定可见光显著图，根据所述红外图像对应的所述l2范式距离、所述l2范式最大距离与所述l2范式最小距离，确定红外显著图。
[0119]
可选的，所述权重模块134，具体用于根据所述可见光显著图和所述红外显著图的差值与设定的损失常数，计算所述可见光图像对应的第一融合权重；根据所述红外显著图和所述可见光显著图的差值与所述损失常数，计算所述红外图像对应的第二融合权重。
[0120]
可选的，所述权重模块134，还用于根据所述可见光亮度通道滤波图像与所述第一融合权重的乘积、所述红外亮度通道滤波图像与所述第二融合权重的乘积、所述可见光图像的损失细节及所述红外图像的损失细节，得到融合图像。
[0121]
可选的，所述权重模块134，还用于根据所述可见光图像和所述可见光亮度通道滤波图像的差值，得到所述可见光图像的损失细节；根据所述红外图像和所述红外亮度通道滤波图像的差值，得到所述红外图像的损失细节。
[0122]
可选的，所述滤波模块132，具体用于分别对yuv格式的所述可见光图像和yuv格式的所述红外图像进行通道分离，并对各自分离出的y通道分量分别进行高斯滤波，得到对应的可见光y通道滤波图像和红外y通道滤波图像。
[0123]
可选的，所述图像融合装置还包括模型构建模块，用于基于对所述可见光图像和所述红外图像进行融合处理算法的流程，根据所述融合处理算法及其计算参数构建对所述可见光图像和所述红外图像并行处理的图像融合前向推理模型，将所述可见光图像和所述红外图像输入所述图像融合前向推理模型；其中，所述融合处理算法的流程包括：分别对所述可见光图像和所述红外图像进行处理，得到可见光亮度通道滤波图像和红外亮度通道滤波图像、确定可见光显著图和红外显著图、计算融合权重以及根据所述可见光亮度通道滤波图像、所述红外亮度通道滤波图像和所述融合权重获得融合图像。
[0124]
需要说明的是：上述实施例提供的图像融合装置在实现可见光图像和红外图像融合处理过程中，仅以上述各程序模块的划分进行举例说明，在实际应用中，可以根据需要而将上述处理分配由不同的程序模块完成，即可将装置的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分方法步骤。另外，上述实施例提供的图像融合装置与图像融合方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
[0125]
本技术另一方面提供一种图像处理设备，请参阅图11，为本技术实施例提供的图像处理设备的一个可选的硬件结构示意图，所述图像处理设备包括处理器111、与所述处理器111连接的存储器112，存储器112内用于存储各种类别的数据以支持图像处理设备的操作，且存储有用于实现本技术任一实施例提供的图像处理方法的计算机程序，所述计算机程序被所述处理器执行时，实现本技术任一实施例提供的图像处理方法的步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。
[0126]
可选的，所述图像处理设备还包括与所述处理器111连接的红外拍摄模块和可见光拍摄模块，所述红外拍摄模块和可见光拍摄模块用于同步针对同一目标视场拍摄红外图像和可见光图像作为待融合的图像发送给所述处理器111。
[0127]
本技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(read-onlymemory，简称rom)、随机存取存储器(randomaccessmemory，简称ram)、磁碟或者光盘等。
[0128]
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
[0129]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或网络设备等)执行本发明各个实施例所述的方法。
[0130]
以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围之内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以所述权利要求的保护范围为准。