一种图像融合方法、装置以及计算机存储介质与流程

本申请涉及图像处理技术领域，特别是涉及一种图像融合方法、装置以及计算机存储介质。

背景技术：

在相关技术中，会利用融合相机对交通场景中的物体进行拍照，对于不同的交通场景，可见光与红外光的融合方式是需要有差异的。但是常规的做法是比对红外光与可见光两路通道的数据或者通过分析红外光通道的红外光成分来识别拍照场景，进而确定可见光与红外光的融合方式。

然而，上述相关技术中，对于拍照场景中的局部区域，例如运动区域和静止区域，车辆区域和行人区域等不同的区域内容，按照确定的融合方式进行融合，容易造成局部区域融合效果不佳的问题。

技术实现要素：

本申请提供一种图像融合方法、装置以及计算机存储介质。

为解决上述技术问题，本申请采用的一个技术方案是：提供一种图像融合方法，所述图像融合方法包括：

基于相机画面的分析结果获取所述相机画面中运动物体的速度信息；

基于所述相机画面彩色通道的彩色像素与黑白通道的黑白像素的亮度差计算基准融合比例；

利用所述运动物体的速度信息调整所述运动物体所在框区域的融合比例，得到局部融合比例；

按照所述局部融合比例进行对应框区域的图像融合，以及按照所述基准融合比例进行其余区域的图像融合。

其中，所述利用所述运动物体的速度信息调整所述运动物体所在框区域的融合比例，得到局部融合比例的步骤，包括：

基于所述运动物体的速度信息判断所述运动物体的运动目标类型；

基于所述运动物体的运动目标类型确定所述黑白通道的融合比例系数；

利用所述黑白通道的融合比例系数调整所述运动物体所在框区域的融合比例，得到所述局部融合比例。

其中，所述运动目标类型包括机动车、行人以及非车非人；

所述基于所述运动物体的运动目标类型确定所述黑白通道的融合比例系数的步骤，包括：

当所述运动目标类型为机动车时，将所述黑白通道的融合比例系数设置为0；

当所述运动目标类型为行人时，将所述黑白通道的融合比例系数设置为1；

当所述运动目标类型为非车非人时，利用所述运动物体的速度信息设置所述黑白通道的融合比例系数。

其中，所述利用所述运动物体的速度信息设置所述黑白通道的融合比例系数的计算公式如下：

ratio＝1-speed/4，ratio＞＝0

其中，ratio为所述黑白通道的融合比例系数，speed为所述运动物体的速度。

其中，所述按照所述局部融合比例进行对应框区域的图像融合的步骤，包括：

利用所述基准融合比例计算所述彩色像素的亮度值；

利用所述局部融合比例计算所述黑白像素的亮度值；

将所述彩色像素的亮度值与所述黑白像素的亮度值进行叠加，得到图像融合后像素的亮度值。

其中，所述基于所述运动物体的速度信息判断所述运动物体的运动目标类型的步骤，包括：

通过智能算法分析相邻帧相机画面中运动物体的像素位移值；

基于所述运动物体的像素位移值获取所述运动物体的速度；

当所述运动物体的速度大于等于第一速度阈值时，判定所述运动目标类型为机动车；

当所述运动物体的速度小于所述第一速度阈值，且大于等于第二速度阈值时，判定所述运动目标类型为非车非人；

当所述运动物体的速度小于所述第二速度阈值时，判定所述运动目标类型为行人。

其中，所述图像包括可见光图像和红外光图像。

为解决上述技术问题，本申请采用的另一个技术方案是：提供一种图像融合装置，所述图像融合装置包括获取模块、计算模块、调整模块以及融合模块；其中，

所述获取模块，用于基于相机画面的分析结果获取所述相机画面中运动物体的速度信息；

所述计算模块，用于基于所述相机画面彩色通道的彩色像素与黑白通道的黑白像素的亮度差计算基准融合比例；

所述调整模块，用于利用所述运动物体的速度信息调整所述运动物体所在框区域的融合比例，得到局部融合比例；

所述融合模块，用于按照所述局部融合比例进行对应框区域的图像融合，以及按照所述基准融合比例进行其余区域的图像融合。

为解决上述技术问题，本申请采用的另一个技术方案是：提供另一种图像融合装置，所述图像融合装置包括处理器和存储器；所述存储器中存储有计算机程序，所述处理器用于执行所述计算机程序以实现如上述图像融合方法的步骤。

为解决上述技术问题，本申请采用的另一个技术方案是：提供一种计算机存储介质，其中，计算机存储介质存储有计算机程序，计算机程序被执行时实现上述图像融合方法的步骤。

区别于现有技术，本申请的有益效果在于：图像融合装置基于相机画面的分析结果获取相机画面中运动物体的速度信息；基于相机画面彩色通道的彩色像素与黑白通道的黑白像素的亮度差计算基准融合比例；利用运动物体的速度信息调整运动物体所在框区域的融合比例，得到局部融合比例；按照局部融合比例进行对应框区域的图像融合，以及按照所述基准融合比例进行其余区域的图像融合。通过上述方法，本申请能够自适应动态调整，对拍摄场景中的局部区域区分差异化需求进行融合。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请提供的图像融合方法一实施例的流程示意图；

图2是本申请提供的基于像素亮度差的基准融合比例图；

图3是图1所示图像融合方法步骤s103的具体流程示意图；

图4是本申请提供的图像融合装置一实施例的结构示意图；

图5是本申请提供的图像融合装置另一实施例的结构示意图；

图6是本申请提供的计算机存储介质一实施例的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

现有市面上的通用方案主要是根据彩色通道与黑白通道的亮度差异来决定融合比例，无法满足结构化场景中，运动行人与运动车辆对于融合效果差异化需求。例如，运动车辆黑白通道相对过曝，y(luma，luminance，明亮度)信息充足，这时候不需要用太多的红外路信息；运动行人黑白通道也会稍微过曝，但是y信息不足，这时候反而需要红外路信息。为实现区分差异化需求进行图像融合，本申请提供了一种图像融合方法。

具体请参阅图1，图1是本申请提供的图像融合方法一实施例的流程示意图。本申请的图像融合方法应用于一种图像融合装置，其中，本申请的图像融合装置可以为服务器，也可以为终端设备，还可以为由服务器和终端设备相互配合的系统。相应地，图像融合装置包括的各个部分，例如各个单元、子单元、模块、子模块可以全部设置于服务器中，也可以全部设置于终端设备中，还可以分别设置于服务器和终端设备中。

进一步地，上述服务器可以是硬件，也可以是软件。当服务器为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成多个软件或软件模块，例如用来提供分布式服务器的软件或软件模块，也可以实现成单个软件或软件模块，在此不做具体限定。

如图1所示，本实施例的图像融合方法具体包括以下步骤：

s101：基于相机画面的分析结果获取相机画面中运动物体的速度信息。

其中，本申请实施例的相机指的是融合相机，而融合相机采用的是双传感器组采集的画面合成的相机方案。一路传感器采集可见光信息，获取可见光相机画面；另一路传感器采集红外光信息，获取红外光相机画面。

具体地，可见光相机画面的可见光路，即感受可见光，依赖可见光进行成像的相机数据通路；红外光相机画面的红外光路，即感受红外光，依赖红外光进行成像的相机数据通路。

其中，图像融合装置通过智能算法分析相机画面，利用智能算法输出的相机画面中运动物体的速度信息对运动物体所在区域的融合比例进行调整。另外，智能算法还可以输出相机画面中运动物体的框信息，即围绕运动物体的标记框，运动物体所在区域可以视为标记框里面的所有区域。

由于可见光相机画面和红外光相机画面是基于相同的拍摄场景的成像，只是成像光源不同，实质上场景内容相同。图像融合装置可以通过智能算法分析可见光机画面或红外光机画面的画面图像，得到拍摄图像时的拍摄场景信息。其中，智能算法即根据融合相机的画面进行分析，将其中的静态物体和动态物体进行分析，得到运动物体的属性，如运动人的性别，身高，表情等属性。

在本申请实施例中，图像融合装置通过智能算法主要获取的是拍摄场景中运动物体的运动属性，例如运动速度等。

s102：基于相机画面彩色通道的彩色像素与黑白通道的黑白像素的亮度差计算基准融合比例。

其中，图像融合装置通过主流的融合算法计算相机画面中彩色像素和黑白像素的基准融合比例。

具体地，图像融合装置通过融合相机的基本参数获取如图2所述的基于像素亮度差的基准融合比例图，其中，基准融合比例图的横坐标为彩色像素与黑白像素的亮度差，纵坐标为彩色像素与黑白像素的融合比例。需要说明的是，本申请实施例的基准融合比例的取值范围为[0,1]，而基准融合比例图的纵坐标取值范围为[0,120]，图像融合装置可以将基准融合比例图中的融合比例换算为本申请实施例的基准融合比例。

例如，图像融合装置可以先计算运动物体所在区域中彩色像素和黑白像素的亮度差，然后基于彩色像素和黑白像素的亮度差在图2的基准融合比例图中查找对应的融合比例，最后将基准融合比例图中的融合比例换算为对应的基准融合比例。

当前主流的融合算法，主要是根据彩色像素和黑白像素的亮度差决定融合比例，然后按照该融合比例将可见光相机画面和红外光相机画面整体进行融合。这种融合方式没有考虑组成相机画面的元素的差异化融合需求，导致融合效果无法达到最佳。

因此，本申请实施例通过相机画面元素的差异化，调整相机画面中组成元素的融合比例，实现差异化融合。请继续参阅s103：

s103：利用运动物体的速度信息调整运动物体所在框区域的融合比例，得到局部融合比例。

其中，图像融合装置主要通过智能算法输出的运动物体的运动属性调整运动物体所在框区域的融合比例。另外，图像融合装置还可以根据人工标注或者预设神经网络对运动物体的类别标注，调整运动物体所在框区域的融合比例。例如，以运动速度为调整融合比例的参考因素为例，图像融合装置可以通过图3所示的方法调整运动物体所在框区域的融合比例，其中，图3是图1所示图像融合方法步骤s103的具体流程示意图。

如图3所示，步骤s103具体还可以包括以下步骤：

s201：基于运动物体的速度信息判断运动物体的运动目标类型。

其中，以可见光相机画面为例，具体地，图像融合装置通过智能算法分析连续多帧的可见光相机画面中相同目标的像素位移值，用相邻相机画面的像素位移值表示可见光相机画面中运动物体的移动速度。

其中，本申请实施例的运动目标类型包括机动车、行人以及非车非人。

图像融合装置默认设置初始场景为车场景，在后续的处理过程中采用自学习场景来调整不同的智能场景策略。具体地，当图像融合装置检测到可见光相机画面中运动物体数量大于1个，且与相邻可见光相机画面相同运动物体的像素位移值小于等于1时，图像融合装置将当前场景设置为人拍摄场景，其中的运动物体的运动目标类型为行人。当图像融合装置检测到可见光相机画面中运动物体数量大于5个，且与相邻可见光相机画面相同运动物体的像素位移值大于等于3时，图像融合装置将当前场景设置为车拍摄场景，其中的运动物体的运动目标类型为机动车。其余情况，图像融合装置可以将当前场景设置为非车非人拍摄场景，其中的运动物体的运动目标类型为非车非人。

另外，图像融合装置也可以直接通过运动物体速度来判定运动物体的运动目标类型。例如，当运动物体的速度大于等于第一速度阈值时，判定运动目标类型为机动车；当运动物体的速度小于第一速度阈值，且大于等于第二速度阈值时，判定运动目标类型为非车非人；当运动物体的速度小于第二速度阈值时，判定运动目标类型为行人。

需要说明的是，运动物体速度的判定属于经验值判定，工作人员可以根据工作需要设置不同的像素位移值阈值。

s202：基于运动物体的运动目标类型确定黑白通道的融合比例系数。

其中，图像融合装置可以基于步骤s201中判定运动物体的运动目标类型确定黑白通道的融合比例系数。

具体地，当运动目标类型为机动车时，将黑白通道的融合比例系数设置为0；当运动目标类型为行人时，将黑白通道的融合比例系数设置为1；当运动目标类型为非车非人时，利用运动物体的速度信息设置黑白通道的融合比例系数。

当运动目标类型为非车非人时，利用运动物体的速度信息设置黑白通道的融合比例系数的计算公式如下：

ratio＝1-speed/4，ratio＞＝0

其中，ratio为黑白通道的融合比例系数，speed为运动物体的速度。

s203：利用黑白通道的融合比例系数调整运动物体所在框区域的融合比例，得到局部融合比例。

其中，图像融合装置根据运动物体的速度信息，进行运动物体所在框区域黑白通道融合比例的调整。具体地，图像融合装置基于基准融合比例图中展示的像素差计算的基准融合比例基础上，叠加黑白通道的融合比例系数，从而得到局部融合比例。

s104：按照局部融合比例进行对应框区域的图像融合，以及按照基准融合比例进行其余区域的图像融合。

其中，对于普通区域，图像融合装置直接按照基准融合比例进行图像融合即可。对于运动物体所在框区域，图像融合装置利用基准融合比例计算彩色像素的亮度值，利用局部融合比例计算黑白像素的亮度值，最后将彩色像素的亮度值与黑白像素的亮度值进行叠加，得到最终图像融合后像素的亮度值。

以上局部融合比例对应的图像融合方式通过公式体现如下：最终运动物体所在框区域的像素y值为：

py＝pycolor*fusratio+pymono*(1-fusratio)*ratio

其中，py为运动物体所在框区域的像素y值，pycolor为运动物体所在框区域的彩色像素y值，pymono为运动物体所在框区域的黑白像素y值，fusratio为根据图2查表得到的基准融合比例，ratio为以上步骤确认的黑白通道的融合比例系数。

通过以上方式，图像融合装置会动态根据运动区域中运动物体的运动速度，进行动态黑白通道融合比例调整。当运动区域存在行车时，黑白通道会存在车牌反光导致字体无法分辨的问题，强行压低整个相机画面所有黑白通道整体的亮度，会导致行人道整体亮度也会下降，这会导致黑白通道提供结构化场景应当需要的行人道不光的需求。所以，在本申请实施例的整体结构化方案中，采取行车位置使用彩色通道高比例y通道进行融合，其他位置如静态区域，包括行人运动区域，采取黑白通道高比例y通道进行融合。这样能够保证最佳的结构化行人与行车同时兼顾的效果，而且因为是动态自适应融合比例调整，在行车消失或者出现的情况，都能够保证最佳的图像效果。

其中，图像融合装置将可见光相机画面的可见光路成像数据与红外光相机画面的红外光路成像数据采用上述图像融合方法配合同位融合算法进行融合，最终输出一幅合并的数据画面，即最终显示的相机画面。相机画面结合了可见光路成像和红外光路成像的优势，能够对整体图像的图像质量进行优化，保证了整体场景的图像效果。

具体地，同位融合算法通过运算，对可见光图像和红外光图像相同位置的像素点进行融合。融合算法将可见光路的yuv数据分成y分量与uv分量，将可见光路的y分量与红外光路的y分量(红外光路只有y分量)进行算法融合。y分量的融合方法为：以单个像素为例，如p位置像素为中低频像素区域时，可见光通道p位置像素y分量为vis_lm，红外光通道p位置像素y分量为nir_lm，那么融合后的p位置像素y分量为fusion_lm＝max(vis_lm,nir_lm)，p位置的能量变化系数记为c＝fusion_lm/vis_lm；uv分量来源于可见光路，最终的融合图像像素uv＝c*可见光路图像像素uv分量。如p位置像素为高频像素区域，可见光通道p位置像素y分量为vis_h，红外光通道p位置像素y分量为nir_h，那么融合后的p位置像素y分量为fusion_h＝vis_h*alpha+nir_h*(1-alpha)。其中，alpha权重由可见光路与红外光路整体亮度比决定，即可见光路整体亮度与红外光路整体亮度比例作为alpha值p位置的能量变化系数记为c＝fusion_lm/vis_lm，uv分量来源于可见光路，最终的融合图像像素uv＝c*可见光路图像像素uv分量。至此融合图像的yuv数据都已经确定，最终的融合效果即为符合预期的智能场景融合效果。

在本实施例中，图像融合装置基于相机画面的分析结果获取相机画面中运动物体的速度信息；基于相机画面彩色通道的彩色像素与黑白通道的黑白像素的亮度差计算基准融合比例；利用运动物体的速度信息调整运动物体所在框区域的融合比例，得到局部融合比例；按照局部融合比例进行对应框区域的图像融合，以及按照所述基准融合比例进行其余区域的图像融合。通过上述方法，本申请能够自适应动态调整，对拍摄场景中的局部区域区分差异化需求进行融合。

本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

为了实现上述实施例的图像融合方法，本申请还提供了一种图像融合装置，具体请参阅图4，图4是本申请提供的图像融合装置一实施例的结构示意图。

如图4所示，本实施例的图像融合装置400包括获取模块41、计算模块42、调整模块43以及融合模块44；其中，

所述获取模块41，用于基于相机画面的分析结果获取所述相机画面中运动物体的速度信息；

所述计算模块42，用于基于所述相机画面彩色通道的彩色像素与黑白通道的黑白像素的亮度差计算基准融合比例；

所述调整模块43，用于利用所述运动物体的速度信息调整所述运动物体所在框区域的融合比例，得到局部融合比例；

所述融合模块44，用于按照所述局部融合比例进行对应框区域的图像融合，以及按照所述基准融合比例进行其余区域的图像融合。

为了实现上述实施例的图像融合方法，本申请还提供了另一种图像融合装置，具体请参阅图5，图5是本申请提供的图像融合装置另一实施例的结构示意图。

如图5所示，本实施例的图像融合装置500包括处理器51、存储器52、输入输出设备53以及总线54。

该处理器51、存储器52、输入输出设备53分别与总线54相连，该存储器52中存储有计算机程序，处理器51用于执行计算机程序以实现上述实施例的图像融合方法。

在本实施例中，处理器51还可以称为cpu(centralprocessingunit，中央处理单元)。处理器51可能是一种集成电路芯片，具有信号的处理能力。处理器51还可以是通用处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。处理器51还可以是gpu(graphicsprocessingunit，图形处理器)，又称显示核心、视觉处理器、显示芯片，是一种专门在个人电脑、工作站、游戏机和一些移动设备(如平板电脑、智能手机等)上图像运算工作的微处理器。gpu的用途是将计算机系统所需要的显示信息进行转换驱动，并向显示器提供行扫描信号，控制显示器的正确显示，是连接显示器和个人电脑主板的重要元件，也是“人机对话”的重要设备之一。显卡作为电脑主机里的一个重要组成部分，承担输出显示图形的任务，对于从事专业图形设计的人来说显卡非常重要。通用处理器可以是微处理器或者该处理器51也可以是任何常规的处理器等。

本申请还提供一种计算机存储介质，如图6所示，计算机存储介质600用于存储计算机程序61，计算机程序61在被处理器执行时，用以实现如本申请图像融合方法实施例中所述的方法。

本申请图像融合方法实施例中所涉及到的方法，在实现时以软件功能单元的形式存在并作为独立的产品销售或使用时，可以存储在设备中，例如一个计算机可读取存储介质。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。