图像融合方法、装置及计算机可读存储介质与流程

本申请涉及图像处理技术领域，特别是涉及一种图像融合方法、装置及计算机可读存储介质。

背景技术：

红外图像和可见光作为实用性很强的两种图像类型广泛应用在各行各业。根据黑体辐射理论，任何温度超过绝对零度的物体都会向外辐射电磁波。自然界中大部分物体辐射的电磁波主要成分是红外线，其波长高于可见光，人体肉眼无法直接观察。红外探测器是一种可以接收并“感知”红外线的特殊仪器。基于红外探测器开发的红外热像仪可以把物体辐射的红外信息以图像的形式展现出来，也就是所谓的红外图像。因为红外图像反映物体主动向外辐射的能量信息，无论白天还是夜晚、晴天还是雨雾天都可以正常工作，外界环境对其影响较小。可见光图像例如可为通过手机、相机等拍摄得到照片或视频，可见光是电磁波谱中人眼可以感知的部分。可见光图像一般包含物体丰富的细节和纹理信息，人和机器比较容易理解和分析。

可以理解的是，自然界中大多数物体无法主动“发光”，对于这些物体，可见光图像捕捉到的是它们反射的光线，所以图像质量受光照的影响非常大，过亮和过暗的环境都会严重影响图像质量和细节，比如强烈阳光或者夜晚无照明条件下拍摄的照片或视频一般效果都不太好。而由于物体辐射的能量和物体本身几乎没有区别导致红外图像一般无法获取物体表面的纹理细节等信息。此外，由于红外波长和制造工艺的限制，红外探测器的像元尺寸比可见光大，其图像分辨率或者称为图像像素数也不如可见光图像高，这进一步增加了红外图像捕捉物体细节的难度，缺乏图像纹理细节信息会给图像的进一步质量和细节分析带来困难。可见，红外图像和可见光图像各有优劣，且提供了关于物体或场景互补的信息。同时使用一个红外相机和可见光相机观察场景或物体可以在更广泛地环境条件下更加全面地了解其特征。在实际应用中，如果分别显示红外和可见光图像，会造成显示资源的浪费如需要两台显示器或降低图像的显示质量如需要把一台显示器分成两个部分，这就促使红外图像与可见光图像融合成一张图像的图像融合技术诞生。

相关技术在进行红外图像和可见光图像的融合过程，通常先分别对红外和可见光图像再采样，然后基于提取得到的可见光图像的轮廓和边缘信息进行红外和可见光的图像融合。但是，仅仅利用可见光图像中的轮廓/边缘信息这些高频信息并无法包含图像的所有有效信息，融合得到的图像由于仅包含图像细节而忽视其他低频信息导致融合图像质量不佳，无法满足用户需求。

鉴于此，如何在充分提取可见光和红外图像的所有有效信息前提下实现两者的图像融合，是所属领域技术人员需要解决的技术问题。

技术实现要素：

本申请提供了一种图像融合方法、装置及计算机可读存储介质，在充分提取可见光图像和红外图像的所有有效信息前提下实现了两者的图像融合。

为解决上述技术问题，本发明实施例提供以下技术方案：

本发明实施例一方面提供了一种图像融合方法，包括：

获取拍摄同一目标、且图像尺寸和分辨率均相同的可见光图像和红外图像；

基于红外相机和可见光相机的相对几何位置关系确定所述红外图像和所述可见光图像的坐标映射关系，并基于所述坐标映射关系将所述红外图像和所述可见光图像的像素坐标对齐至同一坐标系下；

分别将所述红外图像对应的伪彩图像和所述可见光图像由原始色彩空间转换至目标类型色彩空间，提取所述伪彩图像的色彩分量信息和所述可见光图像的亮度分量信息；

基于所述色彩分量信息和所述亮度分量信息在所述目标类型色彩空间下计算得到融合彩色图像。

可选的，所述原始色彩空间不为ycbcr色彩空间，所述分别将所述红外图像对应的伪彩图像和所述可见光图像由原始色彩空间转换至目标类型色彩空间，提取所述伪彩图像的色彩分量信息和所述可见光图像的亮度分量信息包括：

基于所述红外图像的像素强度大小对所述红外图像进行伪彩映射，得到对应的伪彩图像；

将所述原始色彩空间下的所述伪彩图像转换为ycbcr色彩空间下的图像，并提取色度分量cb和cr，以作为所述色彩分量信息；

将所述原始色彩空间下的所述可见光彩色图像转换为ycbcr色彩空间下的图像，并提取亮度分量y，以作为所述亮度分量信息。

可选的，所述原始色彩空间不为hsl/hsv色彩空间，所述分别将所述红外图像对应的伪彩图像和所述可见光图像由原始色彩空间转换至目标类型色彩空间，提取所述伪彩图像的色彩分量信息和所述可见光图像的亮度分量信息包括：

基于所述红外图像的像素强度大小对所述红外图像进行伪彩映射，得到对应的伪彩图像；

将原始色彩空间下的所述伪彩图像转换为hsl/hsv色彩空间下的图像，并提取色调分量h和饱和度分量s，以作为所述色彩分量信息；

将原始色彩空间下的所述可见光彩色图像转换为hsl/hsv色彩空间下的图像，并提取亮度分量l/v，以作为所述亮度分量信息。

可选的，所述基于所述色彩分量信息和所述亮度分量信息在所述目标类型色彩空间下计算得到融合彩色图像包括：

调用预先设置的第一单调函数对所述色彩分量信息进行单调变换处理，得到单调色彩特征；

调用预先设置的第二单调函数对所述亮度分量信息进行单调变换处理，得到单调亮度特征；

基于所述单调色彩特征和所述单调亮度特征在所述目标类型色彩空间下计算得到融合彩色图像。

可选的，所述基于所述色彩分量信息和所述亮度分量信息在所述目标类型色彩空间下计算得到融合彩色图像之后还包括：

将所述融合彩色图像再变换至所需类型的色彩空间中，得到目标融合彩色图像；

将所述目标融合彩色图像进行存储，并输出至显示设备。

可选的，所述获取拍摄同一目标、且图像尺寸和分辨率均相同的可见光图像和红外图像包括：

获取于同一时刻拍摄同一目标的可见光图像和红外图像；

若所述可见光图像和所述红外图像的图像尺寸不一致，则进行图像裁剪以使所述可见光图像和所述红外图像的图像尺寸相同；

若所述可见光图像和所述红外图像的分辨率不同，则对所述红外图像进行再采样，以使所述可见光图像和所述红外图像的分辨率相同。

本发明实施例另一方面提供了一种图像融合装置，包括：

图像获取模块，用于获取拍摄同一目标、且图像尺寸和分辨率均相同的可见光图像和红外图像；

像素坐标对齐模块，用于基于红外相机和可见光相机的相对几何位置关系确定所述红外图像的坐标映射关系，并基于所述坐标映射关系将所述红外图像和所述可见光图像的像素坐标对齐至同一坐标系下；

特征提取模块，用于分别将所述红外图像对应的伪彩图像和所述可见光图像由原始色彩空间转换至目标类型色彩空间，提取所述伪彩图像的色彩分量信息和所述可见光图像的亮度分量信息；

图像融合模块，用于基于所述色彩分量信息和所述亮度分量信息在所述目标类型色彩空间下计算得到融合彩色图像。

可选的，所述特征提取模块包括：

红外图像处理子模块，用于基于所述红外图像的像素强度大小对所述红外图像进行伪彩映射，得到对应的伪彩图像；

色彩分量信息提取子模块，用于将所述原始色彩空间下的所述伪彩图像转换为ycbcr色彩空间下的图像，并提取色度分量cb和cr，以作为所述色彩分量信息；或者用于将所述原始色彩空间下的所述伪彩图像转换为hsl/hsv色彩空间下的图像，并提取色调分量h和饱和度分量s，以作为所述色彩分量信息；

亮度分量信息提取子模块，用于将所述原始色彩空间下的所述可见光彩色图像转换为ycbcr色彩空间下的图像，并提取亮度分量y，以作为所述亮度分量信息；或者用于将所述原始色彩空间下的所述可见光彩色图像转换为hsl/hsv色彩空间下的图像，并提取亮度分量l/v，以作为所述亮度分量信息。

本发明实施例还提供了一种图像融合装置，包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如前任一项所述图像融合方法的步骤。

本发明实施例最后还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有图像融合程序，所述图像融合程序被处理器执行时实现如前任一项所述图像融合方法的步骤。

本申请提供的技术方案的优点在于，基于由红外图像映射而来的伪彩图像进行融合，而不是直接在原始红外图像上进行融合，红外伪彩图像的色彩分量包含了红外原始图像中的绝大部分信息例如温度信息，有利于得到包含原始图像特征更多的融合图像；而可见光图像的亮度分量已经包含了除了色彩以外关于物体外观全部的信息，既有整体方面的特征，也有轮廓纹理特征。这样在色彩空间上对红外图像和可见光图像进行分解，而不是其他分解或提取信息的方式，可充分利用红外和可见光图像互补特性，即在不同环境条件下主要是光照条件展示所拍摄物体或场景的各种特征如温度特征和外观细节特征，融合可见光图像的亮度分量和红外图像的色彩分量可以更全面地保留它们的有效信息，不会丢失原始图像的整体信息和色彩上的信息，更加充分发挥地红外和可见光图像互补的特性，在充分提取可见光图像和红外图像的所有有效信息前提下实现了两者的图像融合。

此外，本发明实施例还针对图像融合方法提供了相应的实现装置及计算机可读存储介质，进一步使得所述方法更具有实用性，所述装置及计算机可读存储介质具有相应的优点。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。

附图说明

为了更清楚的说明本发明实施例或相关技术的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种图像融合方法的流程示意图；

图2为本发明实施例提供的另一种图像融合方法的流程示意图；

图3为本发明实施例提供的图像融合装置的一种具体实施方式结构图；

图4为本发明实施例提供的图像融合装置的另一种具体实施方式结构图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等是用于区别不同的对象，而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可包括没有列出的步骤或单元。

在介绍了本发明实施例的技术方案后，下面详细的说明本申请的各种非限制性实施方式。

首先参见图1，图1为本发明实施例提供的一种图像融合方法的流程示意图，本发明实施例可包括以下内容：

s101：获取拍摄同一目标、且图像尺寸和分辨率均相同的可见光图像和红外图像。

在本申请中，可采用同时设置有红外相机和可见光相机的光学设备于同一时刻对同一目标进行拍摄得到可见光图像和红外图像，也可分别采用单独的红外相机和可见光相机于同一时刻或不同时刻拍摄同一目标得到可见光图像和红外图像，当然，对于不同时刻拍摄的可见光图像和红外图像，需要对同一场景中的目标进行拍摄。为了便于后续图像融合，在从图像采集设备即红外相机和可见光相机获取图像之后，需要对图像进行处理，以得到图像尺寸相同且图像分辨率相同的可见光图像和红外图像。可采用任何一种图像处理方法如图像裁剪或图像拉伸使二者图像尺寸相同，采用任何一种图像处理方法如像素点填充或再采样使得二者分辨率相同，这均不影响本申请的实现。

s102：基于红外相机和可见光相机的相对几何位置关系确定红外图像和可见光图像的坐标映射关系，并基于坐标映射关系将红外图像和可见光图像的像素坐标对齐至同一坐标系下。

由于红外相机和可见光相机的焦距、视场、分辨率均不一致，在进行红外图像和可见光图像融合过程中，需要将不同相机获取的图像的逐个像素点进行像素匹配对准，使得同一个像素对应的是同一个物体，这样才能保证融合结果不出现失真和假影。由于红外图像与可见光图像成像原理的差异，红外相机的像素点在红外相机坐标系中，可见光图像的像素点在可见光相机坐标系中，红外图像和可见光图像对应同一目标点的像素于不同空间坐标系下显示不同像素坐标，从而可建立二者之间的坐标映射关系，坐标映射关系例如可以通过如下形式给出：红外图像的第i1行第j1列的像素对应可见光图像第i2行第j2列的像素。当然，坐标映射关系也可通过映射表的形式来给出，本申请对此不做任何限定。

在本步骤中，可将可见光图像和红外图像的像素坐标均对其在可见光相机坐标系下或红外相机坐标系下或其他任何一种空间坐标系下，这均不影响本申请的实现。可采用任何一种图像配准方法将不同空间坐标系下的像素点进行配准，如可采用异源图像配准方法进行图像配准，从而将红外图像和可见光图像的像素坐标对齐至同一坐标系下。

s103：分别将红外图像对应的伪彩图像和可见光图像由原始色彩空间转换至目标类型色彩空间，提取伪彩图像的色彩分量信息和可见光图像的亮度分量信息。

一般来说，可见光图像是彩色的，其与真实世界中物体的颜色一致，可把这种彩色图像称为“真彩”图像。红外图像本身无法描述物体的色彩信息，因为其反映的是物体辐射能量的强弱。但是可以定义一种颜色查找表，即建立一种红外图像强度与色彩之间的映射关系，例如较弱的红外图像强度值对应蓝色紫色这种冷色调，表示该处温度较低；较强的红外图像强度值对应黄色红色这种暖色调，表示该处温度较高。这样就可以获得红外图像的“伪彩”图像，以便于普通用户理解红外图像中的信息。例如可基于红外图像的像素强度大小将红外图像进行伪彩映射，获得其对应的伪彩图像。举例来说，可将较低的像素值对应为蓝色等冷色调，表示该处的温度较低；把较高的像素值对应为红色等暖色调，表示该处的温度较高。这样通过色彩的不同可以直观地表现同一场景下不同物体温度的不同。

可以理解的是，在计算机中有很多存储和表示数字图像颜色的方法，不同的方法构成了不同的色彩空间。rgb色彩空间为最常见的一种色彩空间，其通过对红(r)、绿(g)、蓝(b)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的。某种颜色的r/g/b分量的大小代表这个颜色中红/绿/蓝色所占的比重大小。例如紫色中的红蓝色占比较高，那么它的r和b分量就比g分量大。对于hls/hsv色彩空间，h分量表示色调，用0°～360°的角度来表示；s分量表示色彩的饱和度，即颜色接近纯彩色的程度。饱和度越高，颜色越深越艳；l/v表示亮度，亮度越低，颜色越接近黑色，反之越接近白色(hsl空间)或彩色(hsv空间)。ycbcr色彩空间采用y、cb和cr三个分量来描述某一个像素的颜色，其中y是亮度分量，cb和cr分别表示蓝色(blue)和红色(red)的色度分量。y越大表示图像越亮(越白)，反之越暗(越黑)；cb越大表示图像越蓝；cr越大则表示图像越红。本申请中原始色彩空间例如可为上述任何一种色彩空间，目标类型色彩空间也可为任何一种色彩空间，对于目标类型色彩空间与原始色彩空间为相同类型的色彩空间，为了提高图像融合速率，无需进行色彩空间类型转换，直接提取所需信息即可。

s104：基于色彩分量信息和亮度分量信息在目标类型色彩空间下计算得到融合彩色图像。

本步骤中的目标类型色彩空间与s103的目标类型色彩空间为同一类型的色彩空间，在s103提取得到红外伪彩图像的色彩分量信息，可见光图像的亮度分量信息之后，在该类型色彩空间下将色彩分量信息和亮度分量信息进行计算融合，得到融合图像，这样融合图像就包含了红外图像的绝大部分信息和可见光图像除色彩之外的所有信息，大幅增加融合图像的有效信息。

在本发明实施例提供的技术方案中，基于由红外图像映射而来的伪彩图像进行融合，而不是直接在原始红外图像上进行融合，红外伪彩图像的色彩分量包含了红外原始图像中的绝大部分信息例如温度信息，有利于得到包含原始图像特征更多的融合图像；而可见光图像的亮度分量已经包含了除了色彩以外关于物体外观全部的信息，既有整体方面的特征，也有轮廓纹理特征。这样在色彩空间上对红外图像和可见光图像进行分解，而不是其他分解或提取信息的方式，可充分利用红外和可见光图像互补特性，即在不同环境条件下主要是光照条件展示所拍摄物体或场景的各种特征如温度特征和外观细节特征，融合可见光图像的亮度分量和红外图像的色彩分量可以更全面地保留它们的有效信息，不会丢失原始图像的整体信息和色彩上的信息，更加充分发挥地红外和可见光图像互补的特性，在充分提取可见光图像和红外图像的所有有效信息前提下实现了两者的图像融合。

在上述实施例中，对于如何执行步骤s101并不做限定，本申请还给出一种图像处理方式，如图2所示，可包括下述内容：

获取于同一时刻拍摄同一目标的可见光图像和红外图像。

若可见光图像和红外图像的图像尺寸不一致，则进行图像裁剪以使可见光图像和红外图像的图像尺寸相同。

若可见光图像和红外图像的分辨率不同，则对红外图像进行再采样，以使可见光图像和红外图像的分辨率相同。

通过图像裁剪和再采样操作使得可见光图像和红外图像的尺寸和分辨率保持一致，去除影响图像融合效果的干扰因素，有利于提高图像融合效果。

在上述实施例中，对于如何执行步骤s103并不做限定，本实施例中给出图像分解的实施方式，对于原始色彩空间不为ycbcr色彩空间的场景，s103可包括如下步骤：

基于红外图像的像素强度大小对红外图像进行伪彩映射，得到对应的伪彩图像。

将原始色彩空间下的伪彩图像转换为ycbcr色彩空间下的图像，并提取色度分量cb和cr，以作为色彩分量信息。

将原始色彩空间下的可见光彩色图像转换为ycbcr色彩空间下的图像，并提取亮度分量y，以作为亮度分量信息。

本申请还提供了另一种图像分解的实施方式，与上述方式并列，因此，可作为另一种可选的实施方式，对于原始色彩空间不为hsl/hsv色彩空间的应用场景，s103可包括：

基于红外图像的像素强度大小对红外图像进行伪彩映射，得到对应的伪彩图像。

将原始色彩空间下的伪彩图像转换为hsl/hsv色彩空间下的图像，并提取色调分量h和饱和度分量s，以作为色彩分量信息。

将原始色彩空间下的可见光彩色图像转换为hsl/hsv色彩空间下的图像，并提取亮度分量l/v，以作为亮度分量信息。

本发明实施例将可见光图像和红外图像在hsl/hsv色彩空间或ycbcr色彩空间进行分解，精准提取图像目标的色彩特征和亮度特征，有利于提高融合图像的融合效果。

在上述实施例中，对于如何执行步骤s104并不做限定，本实施例中给出图像融合的实施方式，可包括如下步骤：

调用预先设置的第一单调函数对色彩分量信息进行单调变换处理，得到单调色彩特征。

调用预先设置的第二单调函数对亮度分量信息进行单调变换处理，得到单调亮度特征。

基于单调色彩特征和单调亮度特征在目标类型色彩空间下计算得到融合彩色图像。

第一单调函数和第二单调函数可为同一类型的单调函数，也可为不同类型的单调函数，这均不影响本申请的实现。色彩分量信息可为上述实施例ycbcr色彩空间中的色度分量或hsl/hsv色彩空间中的色调分量和饱和度分量，对上一步提取到的色调分量和饱和度分量或色度分量进行单调变换，例如可将色调分量和饱和度分量或色度分量作为输入传给一个事先设计好的单调函数f1，然后将输出结果作为最终融合图像的色调分量和饱和度分量或色度分量。将上一步提取到的亮度分量进行单调变换，例如可把亮度分量作为输入传给另一个事先设计好的单调函数f2，然后将输出结果作为最终融合图像的亮度分量。基于两个单调变换函数f1和f2得到的结果，在相应的色彩空间如ycbcr下计算得到融合的彩色图像，充分增加了融合图像中包含的原始图像的特征。

作为另外一种可选的实施方式，在基于色彩分量信息和亮度分量信息在目标类型色彩空间下计算得到融合彩色图像之后还可包括：

将融合彩色图像再变换至所需类型的色彩空间中，得到目标融合彩色图像；将目标融合彩色图像进行存储，并输出至显示设备。

其中，本发明实施例所需类型的色彩空间可为与目标类型色彩空间或原始色彩空间相同或不同的任何一种色彩空间，本申请对此不作任何限定。目标融合图像为s104的融合图像转化至所需类型的色彩空间下的图像，将得到的目标融合图像存储在设备的相应位置等待下一步处理，或者直接输出给显示设备。

为了验证本申请技术方案的有效性，本申请还提供了一个示意性例子，拍摄左边杯子装了热水，右边的杯子没有装水场景的红外图像和可见光图像，红外图像可以很清晰看到左边杯子内的颜色，这是因为装了热水的杯子温度较高；但是右边杯子温度和室温接近，所以比较难在红外图像中分辨出。另一方面，可见光图像可清晰地展现两个杯子的轮廓和外表细节，但是无法从中看出哪个杯子里有热水。采用本申请技术方案得到的融合图像综合了红外和可见光图像的全部有效信息，其中杯内的色彩信息可反应红外图像的温度信息，而亮度对应于可见光图像的信息，即可见光图像中较亮的部分在融合图像中也会比较亮。这样从融合图像中，既可以看出两个杯子的轮廓和外表细节，也可以看出哪个杯子装了热水。

需要说明的是，本申请中各步骤之间没有严格的先后执行顺序，只要符合逻辑上的顺序，则这些步骤可以同时执行，也可按照某种预设顺序执行，图1和图2只是一种示意方式，并不代表只能是这样的执行顺序。

本发明实施例还针对图像融合方法提供了相应的装置，进一步使得所述方法更具有实用性。其中，装置可从功能模块的角度和硬件的角度分别说明。下面对本发明实施例提供的图像融合装置进行介绍，下文描述的图像融合装置与上文描述的图像融合方法可相互对应参照。

基于功能模块的角度，参见图3，图3为本发明实施例提供的图像融合装置在一种具体实施方式下的结构图，该装置可包括：

图像获取模块301，用于获取拍摄同一目标、且图像尺寸和分辨率均相同的可见光图像和红外图像。

像素坐标对齐模块302，用于基于红外相机和可见光相机的相对几何位置关系确定红外图像的坐标映射关系，并基于坐标映射关系将红外图像和可见光图像的像素坐标对齐至同一坐标系下。

特征提取模块303，用于分别将红外图像对应的伪彩图像和可见光图像由原始色彩空间转换至目标类型色彩空间，提取伪彩图像的色彩分量信息和可见光图像的亮度分量信息。

图像融合模块304，用于基于色彩分量信息和亮度分量信息在目标类型色彩空间下计算得到融合彩色图像。

可选的，在本实施例的一些实施方式中，所述特征提取模块303例如可包括：

红外图像处理子模块，用于基于红外图像的像素强度大小对红外图像进行伪彩映射，得到对应的伪彩图像；

色彩分量信息提取子模块，用于将原始色彩空间下的伪彩图像转换为ycbcr色彩空间下的图像，并提取色度分量cb和cr，以作为色彩分量信息；或者用于将原始色彩空间下的伪彩图像转换为hsl/hsv色彩空间下的图像，并提取色调分量h和饱和度分量s，以作为色彩分量信息；

亮度分量信息提取子模块，用于将原始色彩空间下的可见光彩色图像转换为ycbcr色彩空间下的图像，并提取亮度分量y，以作为亮度分量信息；或者用于将将原始色彩空间下的可见光彩色图像转换为hsl/hsv色彩空间下的图像，并提取亮度分量l/v，以作为亮度分量信息。

可选的，在本实施例的另一些实施方式中，所述图像融合模块304还可以包括：

单调变换处理子模块，用于调用预先设置的第一单调函数对色彩分量信息进行单调变换处理，得到单调色彩特征；调用预先设置的第二单调函数对亮度分量信息进行单调变换处理，得到单调亮度特征；

融合计算子模块，用于基于单调色彩特征和单调亮度特征在目标类型色彩空间下计算得到融合彩色图像。

在本实施例的其他一些实施方式中，所述图像融合后处理模块，该模块可以包括：

空间转化子模块，用于将融合彩色图像再变换至所需类型的色彩空间中，得到目标融合彩色图像；

存储子模块，用于将目标融合彩色图像进行存储；

显示子模块，用于将目标融合彩色图像输出至显示设备。

作为一种可选的实施方式，所述图像获取模块301例如还可包括：

图像获取子模块，用于获取于同一时刻拍摄同一目标的可见光图像和红外图像；

尺寸处理子模块，用于若可见光图像和红外图像的图像尺寸不一致，则进行图像裁剪以使可见光图像和红外图像的图像尺寸相同；

在采样子模块，用于若可见光图像和红外图像的分辨率不同，则对红外图像进行再采样，以使可见光图像和红外图像的分辨率相同。

本发明实施例所述图像融合装置的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。

由上可知，本发明实施例在充分提取可见光图像和红外图像的所有有效信息前提下实现了两者的图像融合。

上文中提到的图像融合装置是从功能模块的角度描述，进一步的，本申请还提供一种图像融合装置，是从硬件角度描述。图4为本申请实施例提供的另一种图像融合装置的结构图。如图4所示，该装置包括存储器40，用于存储计算机程序；

处理器41，用于执行计算机程序时实现如上述任一实施例提到的图像融合方法的步骤。

其中，处理器41可以包括一个或多个处理核心，比如4核心处理器、4核心处理器等。处理器41可以采用dsp(digitalsignalprocessing，数字信号处理)、fpga(field－programmablegatearray，现场可编程门阵列)、pla(programmablelogicarray，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器41也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称cpu(centralprocessingunit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器41可以在集成有gpu(graphicsprocessingunit，图像处理器)，gpu用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器41还可以包括ai(artificialintelligence，人工智能)处理器，该ai处理器用于处理有关机器学习的计算操作。

存储器40可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器40还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。本实施例中，存储器40至少用于存储以下计算机程序401，其中，该计算机程序被处理器41加载并执行之后，能够实现前述任一实施例公开的图像融合方法的相关步骤。另外，存储器40所存储的资源还可以包括操作系统402和数据403等，存储方式可以是短暂存储或者永久存储。其中，操作系统402可以包括windows、unix、linux等。数据403可以包括但不限于测试结果对应的数据等。

在一些实施例中，图像融合装置还可包括有显示屏42、输入输出接口43、通信接口44、电源45以及通信总线46。

本领域技术人员可以理解，图4中示出的结构并不构成对图像融合装置的限定，可以包括比图示更多或更少的组件，例如传感器47。

本发明实施例所述图像融合装置的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。

由上可知，本发明实施例在充分提取可见光图像和红外图像的所有有效信息前提下实现了两者的图像融合。

可以理解的是，如果上述实施例中的图像融合方法以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-onlymemory，rom)、随机存取存储器(randomaccessmemory，ram)、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、磁碟或者光盘等各种可以存储程序代码的介质。

基于此，本发明实施例还提供了一种计算机可读存储介质，存储有图像融合程序，所述图像融合程序被处理器执行时如上任意一实施例所述图像融合方法的步骤。

本发明实施例所述计算机可读存储介质的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。

由上可知，本发明实施例在充分提取可见光图像和红外图像的所有有效信息前提下实现了两者的图像融合。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

以上对本申请所提供的一种图像融合方法、装置及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。