一种图像融合方法及装置与流程

本申请涉及图像融合技术领域，特别是涉及一种图像融合方法及装置。

背景技术：

现有技术中，彩色图像(RGB)和红外图像(IR)技术，均只能单独成像，且彩色图像技术所生成的RGB图像和红外图像技术所生成的IR图像均存在一定的缺陷。

例如，RGB图像通常存在成像较暗、图像细节不清楚的问题；IR图像虽然不存在成像较暗、图像细节不清楚的问题，但其通常存在成像与人眼的视觉不匹配，显示不自然的问题。

技术实现要素：

有鉴于此，本申请提供一种图像融合方法及装置，通过对RGB图像和IR图像的融合，解决现有单一格式的RGB图像/IR图像存在缺陷的问题。

为了实现上述目的，本发明实施例提供的技术方案如下：

一种图像融合方法，包括：

获取同一场景下采集的RGB图像和IR图像；

获取所述RGB图像的图像增强权重集；

利用所述图像增强权重集对所述RGB图像和IR图像进行融合，生成目标图像。

优选的，所述获取同一场景下采集的RGB图像和IR图像的过程包括：

获取同一场景下采集的原始RGB图像和原始IR图像；

利用预设图像匹配算法，消除所述原始RGB图像和所述原始IR图像之间的视差，生成RGB图像和IR图像。

优选的，所述获取所述RGB图像的图像增强权重集之前，该方法还包括：

对所述RGB图像进行平滑降噪，生成平滑降噪后的RGB图像。

优选的，所述利用所述图像增强权重集对所述RGB图像和IR图像进行融合，生成目标图像之前，该方法还包括：

对所述IR图像进行平滑降噪，生成平滑降噪后的IR图像。

优选的，所述获取所述RGB图像的图像增强权重集的过程包括：

对所述RGB图像进行加权掩膜计算，生成所述RGB图像的加权掩膜，将所述加权掩膜中的各个元素组成的集合称为图像增强权重集。

优选的，所述利用所述图像增强权重集对所述RGB图像和IR图像进行融合，生成目标图像的过程包括：

对所述RGB图像进行小波变换，生成RGB图像第一尺度层次、RGB图像第二尺度层次、RGB图像第三尺度层次和RGB图像第四尺度层次；

对所述IR图像进行小波变换，生成IR图像第一尺度层次、IR图像第二尺度层次、IR图像第三尺度层次和IR图像第四尺度层次；

利用所述图像增强权重集对所述RGB图像第一尺度层次和IR图像第一尺度层次进行融合，生成目标第一尺度层次；

利用所述图像增强权重集对所述RGB图像第二尺度层次和IR图像第二尺度层次进行融合，生成目标第二尺度层次；

利用所述图像增强权重集对所述RGB图像第三尺度层次和IR图像第三尺度层次进行融合，生成目标第三尺度层次；

利用所述图像增强权重集对所述RGB图像第四尺度层次和IR图像第四尺度层次进行融合，生成目标第四尺度层次；

将所述目标第一尺度层次、目标第二尺度层次、目标第三尺度层次和目标第四尺度层次进行小波反变换，生成目标图像。

一种图像融合装置，包括：

图像获取单元，用于获取同一场景下采集的RGB图像和IR图像；

图像增强权重集获取单元，用于获取所述RGB图像的图像增强权重集；

图像融合单元，用于利用所述图像增强权重集对所述RGB图像和IR图像进行融合，生成目标图像。

优选的，所述图像获取单元包括：

图像获取子单元，用于获取同一场景下采集的原始RGB图像和原始IR图像；

图像视差消除单元，用于利用预设图像匹配算法，消除所述原始RGB图像和所述原始IR图像之间的视差，生成RGB图像和IR图像。

优选的，还包括第一平滑降噪单元，

所述第一平滑降噪单元，用于在获取所述RGB图像的图像增强权重集之前，对所述RGB图像进行平滑降噪，生成平滑降噪后的RGB图像。

优选的，还包括第二平滑降噪单元，

所述第二平滑降噪单元，用于在利用所述图像增强权重集对所述RGB图像和IR图像进行融合，生成目标图像之前，对所述IR图像进行平滑降噪，生成平滑降噪后的IR图像。

优选的，所述图像增强权重集获取单元对所述RGB图像进行加权掩膜计算，生成所述RGB图像的加权掩膜，将所述加权掩膜中的各个元素组成的集合称为图像增强权重集。

优选的，所述融合单元包括：

第一小波变换单元，用于对所述RGB图像进行小波变换，生成RGB图像第一尺度层次、RGB图像第二尺度层次、RGB图像第三尺度层次和RGB图像第四尺度层次；

第二小波变换单元，用于对所述IR图像进行小波变换，生成IR图像第一尺度层次、IR图像第二尺度层次、IR图像第三尺度层次和IR图像第四尺度层次；

第一图像融合单元，用于利用所述图像增强权重集对所述RGB图像第一尺度层次和IR图像第一尺度层次进行融合，生成目标第一尺度层次；

第二图像融合单元，用于利用所述图像增强权重集对所述RGB图像第二尺度层次和IR图像第二尺度层次进行融合，生成目标第二尺度层次；

第三图像融合单元，用于利用所述图像增强权重集对所述RGB图像第三尺度层次和IR图像第三尺度层次进行融合，生成目标第三尺度层次；

第四图像融合单元，用于利用所述图像增强权重集对所述RGB图像第四尺度层次和IR图像第四尺度层次进行融合，生成目标第四尺度层次；

小波反变换单元，用于将所述目标第一尺度层次、目标第二尺度层次、 目标第三尺度层次和目标第四尺度层次进行小波反变换，生成目标图像。

本申请提供一种图像融合方法及装置，通过获取同一场景下采集的RGB图像和IR图像；获取RGB图像的图像增强权重集；并利用图像增强权重集对RGB图像和IR图像进行融合，生成目标图像的方式，使得在利用RGB图像和IR图像生成目标图像的过程中，实现通过单一格式的IR图像的自身特性(如，成像明亮、图像细节清楚)弥补单一格式的RGB图像的缺陷(如，成像较暗、细节不清楚)的目的，进而保证了RGB图像和IR图像融合生成的目标图像可有效避免现有技术单一格式的RGB图像/IR图像存在缺陷的问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例一提供的一种图像融合方法流程图；

图2为本申请实施例一提供的一种获取同一场景下采集的RGB图像和IR图像的方法流程图；

图3为本申请实施例一提供的一种立体视觉装置的结构示意图；

图4为本申请实施例一提供的一种利用图像增强权重集对RGB图像和IR图像进行融合，生成目标图像的方法流程图；

图5为本申请实施例二提供的一种图像融合装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一：

图1为本申请实施例一提供的一种图像融合方法流程图。

如图1所示，该方法包括：

S101、获取同一场景下采集的RGB图像和IR图像；

在本申请实施例中，优选的，当需要将RGB图像和IR图像进行融合时，首先需获取同一场景下采集的RGB图像和IR图像。

S102、获取RGB图像的图像增强权重集；

在本申请实施例中，优选的，RGB图像的图像增强权重集中包括若干个元素，并且元素的个数与RGB图像中像素点的个数相同，并且RGB图像中的像素点与图像增强权重集中的元素一一对应，也即，针对RGB图像中的每个像素点，在图像增强权重集中包括唯一的一个元素与其对应。

具体的，该图像增强权重集中的每个元素的值可表示：RGB图像在与该元素对应的像素点的自身缺陷(如：成像较暗、细节不清楚等)，也即图像增强权重集中的每个元素的值可表示：RGB图像在与该元素对应的像素点需要从IR图像中与该元素对应的像素点获取的信息的权重值。

S103、利用图像增强权重集对RGB图像和IR图像进行融合，生成目标图像。

在本申请实施例中，优选的，当获取到RGB图像的图像增强权重集后，需要利用图像增强权重集对RGB图像和IR图像进行融合，以生成目标图像。

本申请提供一种图像融合方法，通过获取同一场景下采集的RGB图像和IR图像；获取RGB图像的图像增强权重集；并利用图像增强权重集对RGB图像和IR图像进行融合，生成目标图像的方式，使得在利用RGB图像和IR图像生成目标图像的过程中，实现通过单一格式的IR图像的自身特性(如，成像明亮、图像细节清楚)弥补单一格式的RGB图像的缺陷(如，成像较暗、细节不清楚)的目的，进而保证了RGB图像和IR图像融合生成的目标图像可有效避免现有技术单一格式的RGB图像/IR图像存在缺陷的问题。

图2为本申请实施例一提供的一种获取同一场景下采集的RGB图像和IR图像的方法流程图。

如图2所示，该方法包括：

S201、获取同一场景下采集的原始RGB图像和原始IR图像；

在本申请实施例中，优选的，上述步骤S101中获取到的RGB图像和IR图像，因为是在同一场景下采集的，因此，即使采集RGB图像的RGB镜头和采集IR图像的IR镜头存在一定的位置偏差，如当采用如图3所示的立体视觉装置进行图像采集时，RGB镜头31和IR镜头32的位置偏差很小，此时，采集到的RGB图像和IR图像之间的视差可以忽略不计，因此，如上述图1提供的一种图像融合方法可知，可直接利用获取到的同一场景下采集到的RGB图像和IR图像进行图像的融合过程。

然而，当获取到的同一场景下采集的RGB图像和IR图像之间的视差很大，或者，本申请实施例提供的一种图像融合方法需要更加精确的融合结果时，此时，将获取到的同一场景下采集的RGB图像IR图像分别称为原始RGB图像和原始IR图像，其中，将RGB图像称为原始RGB图像，将IR图像称为原始IR图像，并执行步骤S202。

S202、利用预设图像匹配算法，消除原始RGB图像和原始IR图像之间的视差，生成RGB图像和IR图像。

在本申请实施例中，优选的，预设图像匹配算法为双目立体视觉匹配算法，或者，半全局块匹配算法。针对原始RGB图像中的每个第一像素点，获取原始IR图像中与该像素点对应的第二像素点，并将第二像素点移动到该原始IR图像中的目标位置，该目标位置与第一像素点在原始RGB图像中的位置相同。

以上仅仅是本申请实施例的优选方式，发明人可根据自己的需求任意设置预设图像匹配算法的具体实现方式，在此不做限定。

进一步的，在本申请实施例提供的一种图像融合方法中，还包括：

在获取RGB图像的图像增强权重集之前，对RGB图像进行平滑降噪，生成平滑降噪后的RGB图像。

在本申请实施例中，优选的，在获取RGB图像的图像增强权重集之前，还可以对RGB图像进行平滑降噪，生成平滑降噪后的RGB图像，进而利用平滑降噪后，生成的RGB图像执行步骤S102-S103，以使得本申请实施例提供的一种图像融合方法的融合结果更加精确。

进一步的，在本申请实施例提供的一种图像融合方法中，还包括：

在利用图像增强权重集对RGB图像和IR图像进行融合，生成目标图像之前，对IR图像进行平滑降噪，生成平滑降噪后的IR图像。

在本申请实施例中，优选的，在利用图像增强权重集对RGB图像和IR图像进行融合，生成目标图像之前，还可以对IR图像进行平滑降噪，生成平滑降噪后的IR图像，进而利用平滑降噪后，生成的IR图像执行步骤S103，以使得本申请实施例提供的一种图像融合方法的融合结果更加精确。

在本申请实施例中，优选的，获取RGB图像的图像增强权重集的过程包括：对RGB图像进行加权掩膜计算，生成RGB图像的加权掩膜，将加权掩膜中的各个元素组成的集合称为图像增强权重集。

在本申请实施例中，优选的，对RGB图像进行加权掩膜计算，生成RGB图像的加权掩膜的公式为：

W＝Ws·Wv

其中，Ws＝1-e^-ps|s-1|,ps∈[0,1],s∈[0,1]，Wv＝1-e^-pv|v-1|,pv∈[0,1],v∈[0,1]；Ws为RGB图像的饱和度权重；Wv为RGB图像的亮度权重；s为RGB图像的像素点处的饱和度值；v为RGB图像的像素点处的亮度值；ps为RGB图像的像素点处的饱和度值在RGB图像中出现的概率；pv为RGB图像的像素点处的亮度值在RGB图像中出现的概率。

在本申请实施例中，优选的，ps和pv可以通过计算RGB图像的饱和度直方图和亮度直方图得到。

在本申请实施例中，优选的，当生成RGB图像的加权掩膜后，可将该加权掩膜中的各个元素组成的集合称为图像增强权重集。

以上通过计算RGB图像的加权掩膜，来得到RGB图像的图像增强权重集的方式仅仅是本申请实施例的优选方式，发明人可根据自己的需求任意设置获取RGB图像的图像增强权重集的方式，在此不做限定。

图4为本申请实施例提供的一种利用图像增强权重集对RGB图像和IR图像进行融合，生成目标图像的方法流程图。

如图4所示，该方法包括：

S401、对RGB图像进行小波变换，生成RGB图像第一尺度层次、RGB图像第二尺度层次、RGB图像第三尺度层次和RGB图像第四尺度层次；

S402、对IR图像进行小波变换，生成IR图像第一尺度层次、IR图像第二尺度层次、IR图像第三尺度层次和IR图像第四尺度层次；

S403、利用图像增强权重集对RGB图像第一尺度层次和IR图像第一尺度层次进行融合，生成目标第一尺度层次；

在本申请实施例中，优选的，利用图像增强权重集对RGB图像第一尺度层次和IR图像第一尺度层次进行融合，生成目标第一尺度层次的过程包括：

针对RGB图像第一尺度层次中的每个第一元素执行以下过程：获取图像增强权重集中与其对应的第二元素，以及IR图像第一尺度层次中与其对应的第三元素；将1减去第二元素的结果作为第四元素；将第一元素乘以第四元素的结果与第二元素乘以第三元素的结果相加，得到的目的结果。

在本申请实施例中，优选的，该目的结果对应的第一元素在RGB图像第一尺度层次中的位置，与该目的结果在目标第一尺度层次中的位置相同。

进而，针对RGB图像第一尺度层次中的每个第一元素得到一个目的结果，由各个目的结果即可组成目标第一尺度层次。

S404、利用图像增强权重集对RGB图像第二尺度层次和IR图像第二尺度层次进行融合，生成目标第二尺度层次；

在本申请实施例中，优选的，步骤S404的执行思想与上述步骤S403的执行思想相同，有关该步骤S404的详细过程请参见上述步骤S403的描述，在此不再赘述。

S405、利用图像增强权重集对RGB图像第三尺度层次和IR图像第三尺度层次进行融合，生成目标第三尺度层次；

在本申请实施例中，优选的，步骤S405的执行思想与上述步骤S403的执行思想相同，有关该步骤S405的详细过程请参见上述步骤S403的描述，在此不再赘述。

S406、利用图像增强权重集对RGB图像第四尺度层次和IR图像第四尺度层次进行融合，生成目标第四尺度层次；

在本申请实施例中，优选的，步骤S406的执行思想与上述步骤S403的执行思想相同，有关该步骤S406的详细过程请参见上述步骤S403的描述，在此不再赘述。

S407、将目标第一尺度层次、目标第二尺度层次、目标第三尺度层次和目标第四尺度层次进行小波反变换，生成目标图像。

通过上述对本申请实施例提供的一种图像融合方法的进一步介绍，使得本申请实施例提供的一种图像融合方法更加清晰、完整，便于本领域技术人员理解。

实施例二：

图5为本申请实施例二提供的一种图像融合装置的结构示意图。

如图5所示，该装置包括：

图像获取单元51，用于获取同一场景下采集的RGB图像和IR图像；

图像增强权重集获取单元52，用于获取RGB图像的图像增强权重集；

图像融合单元53，用于利用图像增强权重集对RGB图像和IR图像进行融合，生成目标图像。

在本申请实施例中，优选的，图像获取单元包括：

图像获取子单元，用于获取同一场景下采集的原始RGB图像和原始IR图像；以及图像视差消除单元，用于利用预设图像匹配算法，消除原始RGB图像和原始IR图像之间的视差，生成RGB图像和IR图像。

进一步的，在本申请实施例提供的一种图像融合方法中，还包括：第一平滑降噪单元，该第一平滑降噪单元用于在获取RGB图像的图像增强权重集之前，对RGB图像进行平滑降噪，生成平滑降噪后的RGB图像。

进一步的，在本申请实施例提供的一种图像融合方法中，还包括：第二平滑降噪单元，该第二平滑降噪单元，用于在利用图像增强权重集对RGB图像和IR图像进行融合，生成目标图像之前，对IR图像进行平滑降噪，生成平滑降噪后的IR图像。

在本申请实施例中，优选的，图像增强权重集获取单元对RGB图像进行加权掩膜计算，生成RGB图像的加权掩膜，将加权掩膜中的各个元素组成的集合称为图像增强权重集。

在本申请实施例中，优选的，融合单元包括：

第一小波变换单元，用于对RGB图像进行小波变换，生成RGB图像第一尺度层次、RGB图像第二尺度层次、RGB图像第三尺度层次和RGB图像第四尺度层次；

第二小波变换单元，用于对IR图像进行小波变换，生成IR图像第一尺度层次、IR图像第二尺度层次、IR图像第三尺度层次和IR图像第四尺度层次；

第一图像融合单元，用于利用图像增强权重集对RGB图像第一尺度层次和IR图像第一尺度层次进行融合，生成目标第一尺度层次；

第二图像融合单元，用于利用图像增强权重集对RGB图像第二尺度层次和IR图像第二尺度层次进行融合，生成目标第二尺度层次；

第三图像融合单元，用于利用图像增强权重集对RGB图像第三尺度层次和IR图像第三尺度层次进行融合，生成目标第三尺度层次；

第四图像融合单元，用于利用图像增强权重集对RGB图像第四尺度层次和IR图像第四尺度层次进行融合，生成目标第四尺度层次；

小波反变换单元，用于将目标第一尺度层次、目标第二尺度层次、目标第三尺度层次和目标第四尺度层次进行小波反变换，生成目标图像。

本申请提供一种图像融合装置，通过获取同一场景下采集的RGB图像和IR图像；获取RGB图像的图像增强权重集；并利用图像增强权重集对RGB图像和IR图像进行融合，生成目标图像的方式，使得在利用RGB图像和IR图像生成目标图像的过程中，实现通过单一格式的IR图像的自身特性(如，成像明亮、图像细节清楚)弥补单一格式的RGB图像的缺陷(如，成像较暗、细节不清楚)的目的，进而保证了RGB图像和IR图像融合生成的目标图像可有效避免现有技术单一格式的RGB图像/IR图像存在缺陷的问题。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。 对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

以上仅是本申请的优选实施方式，使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。