一种图像融合方法及装置与流程

本发明涉及图像处理技术领域，特别涉及一种图像融合方法及装置。

背景技术：

随着科学技术的飞速发展，计算机视觉技术的广泛应用，视频采集设备广泛的应用于航拍摄影、环境监测、安防监控等方面。但是受到地理地形、气象条件等因素影响，照度不佳的情况下采集到的可见光图像可能存在模糊的问题，而红外图像因为物体的材料和色彩会影响红外光的反射，也不能清楚的反应出真实的场景，而图像融合技术能有效的综合可见光图像和红外图像的优点，清晰的展现图像。

然而，现有技术中，只是对可见光图像和红外图像进行简单的融合，对于图像的细节无法清晰的显示，在红外图像中亮度异常变高时反应的图像不真实，影响了用户的体验。

技术实现要素：

本发明提供一种图像融合方法及装置，用以解决现有技术中的对于图像的细节无法清晰的显示，在红外图像中亮度异常变高时反应的图像不真实的问题。

为达到上述目的，本发明实施例公开了一种图像融合方法，所述方法包括：

采用相同的划分方法，将获取的可见光图像和红外图像划分为多个层次；

获取可见光图像和红外图像的低频分量，和对应每个层次的高频分量，其中所述低频分量中包含至少一个参数，所述高频分量中包含至少一个参数；

针对所述可见光图像和红外图像的低频分量中的对应参数，判断所述对应参数的值的差是否大于设定阈值，如果是，将所述可见光图像的低频分量中该参数的值作为融合后的低频分量中对应参数的值；如果否，根据所述可见光图像和红外图像的低频分量中的该对应参数的值，及预设的低频融合算法，确定融合后的低频分量中对应参数的值；

根据可见光图像和红外图像对应每个层次的高频分量及预先设定的高频融合算法，确定每个层次融合后的高频分量；

将确定的所述融合后的低频分量和每层次融合后的高频分量进行重构，得到融合后的图像。

进一步地，所述获取可见光图像和红外图像对应每个层次的高频分量后，所述确定每个层次融合后的高频分量之前，所述方法还包括：

针对可见光图像对应每个层次的高频分量进行映射处理与中值滤波；和/或，

针对红外图像对应每个层次的高频分量进行放大处理。

进一步地，所述针对可见光图像对应每个层次的高频分量进行映射处理包括：

针对可见光图像对应每个层次的高频分量中的每个参数的值，判断该参数的值的绝对值是否小于第一参数阈值；

如果是，将该参数的值更新为零；

如果否，判断该参数的值的绝对值是否小于第二参数阈值，如果是，根据预先设定的参数调整系数对该参数的值进行更新，其中第二参数阈值大于第一参数阈值。

进一步地，所述采用相同的划分方法，将获取的可见光图像和红外图像划分为多个层次之前，所述方法还包括：

将所述可见光图像和红外图像进行图像配准。

进一步地，所述采用相同的划分方法，将获取的可见光图像和红外图像划分为多个层次之前，所述方法还包括：

将所述可见光图像进行透雾处理和/或导向滤波。

进一步地，所述将所述可见光图像进行透雾处理包括：

获取所述可见光图像的暗通道分量；

根据所述暗通道分量中每个参数的值，确定所述暗通道分量中参数的最大值的目标参数，识别所述目标参数对应的可见光图像的目标像素点；

将所述可见光图像的目标像素点的红R值、绿G值、蓝B值中的最小值作为目标光照强度的数值；

将所述目标光照强度的数值作为所述可见光图像每个像素点对应的光照强度的数值，判断所述可见光图像中每个像素点对应的光照强度的数值与该像素点对应的暗通道分量中对应参数的值的差是否小于第一设定阈值；

如果是，根据该像素点对应的光照强度的数值与像素点对应的暗通道分量中对应参数的值的差、所述第一设定阈值及初始透射率，确定该像素点对应的第一透射率。

进一步地，所述根据该像素点对应的光照强度的数值与像素点对应的暗通道分量中对应参数的值的差、所述第一设定阈值及初始透射率，确定该像素点对应的第一透射率包括：

确定该像素点对应的光照强度的数值与像素点对应的暗通道分量中对应参数的值的差与第一设定阈值的比值；

将所述比值及初始透射率的乘积确定为像素点对应的第一透射率。

进一步地，确定该像素点对应的第一透射率后，所述方法还包括：

统计所述可见光图像中对应的第一透射率小于第二设定阈值的像素点的数量，判断所述数量与可见光图像中像素点的总数量的比值是否大于第三设定阈值；

如果是，将所述第一透射率小于第四设定阈值的像素点的第一透射率更改为1。

进一步地，所述根据所述可见光图像和红外图像的低频分量中的该对应参数的值，及预设的低频融合算法，确定融合后的低频分量中对应参数的值包括：

根据F_L＝L_W·V_L+(1-L_W)·N_L，确定融合后的低频分量中对应参数的值，其中F_L为融合后的低频分量中对应参数的值，V_L为可见光图像低频分量中该对应参数的值，N_L为红外图像低频分量中该对应参数的值，L_W为融合时可见光图像对应的权重，La为预先设定的可见光图像的融合比例，K为预先设定的阈值。

进一步地，所述根据可见光图像和红外图像对应每个层次的高频分量及预先设定的高频融合算法，确定每个层次融合后的高频分量包括：

根据确定每个层次融合后的高频分量，其中针对每个层次的可见光图像对应的高频分量和红外对应对应的低频分量，M、N为该层次可见光图像对应的高频分量和红外图像对应的高频分量对应矩阵的行数和列数，R为预先设定的窗口阈值，D1(i，j)为该层次可见光图像对应的高频分量对应矩阵(i，j)点对应参数的可见光区域能量，D2(i，j)为该层次红外图像对应的高频分量对应矩阵(i，j)点对应参数的红外区域能量，DD为该层次可见光图像对应的高频分量对应矩阵(i，j)点和红外图像对应的高频分量对应矩阵(i，j)点的区域能量相关性，F_H为该层次融合后的高频分量中对应参数的值。

本发明实施例公开了一种图像融合装置，所述装置包括：

划分模块，用于采用相同的划分方法，将获取的可见光图像和红外图像划分为多个层次；

获取模块，用于获取可见光图像和红外图像的低频分量，和对应每个层次的高频分量；

低频融合模块，用于针对所述可见光图像和红外图像的低频分量中的对应参数，判断所述对应参数的值的差是否大于设定阈值，如果是，将所述可见光图像的低频分量中该参数的值作为融合后的低频分量中对应参数的值；如果否，根据所述可见光图像和红外图像的低频分量中的该对应参数的值，及预设的低频融合算法，确定融合后的低频分量中对应参数的值；

高频融合模块，用于根据可见光图像和红外图像对应每个层次的高频分量及预先设定的高频融合算法，确定每个层次融合后的高频分量；

重构模块，用于将确定的所述融合后的低频分量和每层次融合后的高频分量进行重构，得到融合后的图像。

进一步地，所述装置还包括：

第一处理模块，用于针对可见光图像对应每个层次的高频分量进行映射处理与中值滤波；和/或，针对红外图像对应每个层次的高频分量进行放大处理。

进一步地，所述第一处理模块，具体用于针对可见光图像对应每个层次的高频分量中的每个参数的值，判断该参数的值的绝对值是否小于第一参数阈值；如果是，将该参数的值更新为零；如果否，判断该参数的值的绝对值是否小于第二参数阈值，如果是，根据预先设定的参数调整系数对该参数的值进行更新，其中第二参数阈值大于第一参数阈值。

进一步地，所述装置还包括：

配准模块，用于将所述可见光图像和红外图像进行图像配准。

进一步地，所述装置还包括：

第二处理模块，用于将所述可见光图像进行透雾处理和/或导向滤波。

进一步地，所述第二处理模块，具体用于获取所述可见光图像的暗通道分量；根据所述暗通道分量中每个参数的值，确定所述暗通道分量中参数的最大值的目标参数，识别所述目标参数对应的可见光图像的目标像素点；将所述可见光图像的目标像素点的红R值、绿G值、蓝B值中的最小值作为目标光照强度的数值；将所述目标光照强度的数值作为所述可见光图像每个像素点对应的光照强度的数值，判断所述可见光图像中每个像素点对应的光照强度的数值与该像素点对应的暗通道分量中对应参数的值的差是否小于第一设定阈值；如果是，根据该像素点对应的光照强度的数值与像素点对应的暗通道分量中对应参数的值的差、所述第一设定阈值及初始透射率，确定该像素点对应的第一透射率。

进一步地，所述第二处理模块，具体用于确定该像素点对应的光照强度的数值与像素点对应的暗通道分量中对应参数的值的差与第一设定阈值的比值；将所述比值及初始透射率的乘积确定为像素点对应的第一透射率。

进一步地，所述第二处理模块，还用于统计所述可见光图像中对应的第一透射率小于第二设定阈值的像素点的数量，判断所述数量与可见光图像中像素点的总数量的比值是否大于第三设定阈值；如果是，将所述第一透射率小于第四设定阈值的像素点的第一透射率更改为1。

进一步地，所述低频融合模块，具体用于根据F_L＝L_W·V_L+(1-L_W)·N_L，确定融合后的低频分量中对应参数的值，其中F_L为融合后的低频分量中对应参数的值，V_L为可见光图像低频分量中该对应参数的值，N_L为红外图像低频分量中该对应参数的值，L_W为融合时可见光图像对应的权重，La为预先设定的可见光图像的融合比例，K为预先设定的阈值。

进一步地，所述高频融合模块，具体用于根据确定每个层次融合后的高频分量，其中针对每个层次的可见光图像对应的高频分量和红外对应对应的低频分量，M、N为该层次可见光图像对应的高频分量和红外图像对应的高频分量对应矩阵的行数和列数，R为预先设定的窗口阈值，D1(i，j)为该层次可见光图像对应的高频分量对应矩阵(i，j)点对应参数的可见光区域能量，D2(i，j)为该层次红外图像对应的高频分量对应矩阵(i，j)点对应参数的红外区域能量，DD为该层次可见光图像对应的高频分量对应矩阵(i，j)点和红外图像对应的高频分量对应矩阵(i，j)点的区域能量相关性，F_H为该层次融合后的高频分量中对应参数的值。

本发明实施例公开了一种图像融合方法，该方法包括：采用相同的划分方法，将获取的可见光图像和红外图像划分为多个层次；获取可见光图像和红外图像的低频分量，和对应每个层次的高频分量，其中所述低频分量中包含至少一个参数，所述高频分量中包含至少一个参数；针对所述可见光图像和红外图像的低频分量中的对应参数，判断所述对应参数的值的差是否大于设定阈值，如果是，将所述可见光图像的低频分量中该参数的值作为融合后的低频分量中对应参数的值；如果否，根据所述可见光图像和红外图像的低频分量中的该对应参数的值，及预设的低频融合算法，确定融合后的低频分量中对应参数的值；根据可见光图像和红外图像对应每个层次的高频分量及预先设定的高频融合算法，确定每个层次融合后的高频分量；将确定的所述融合后的低频分量和每层次融合后的高频分量进行重构，得到融合后的图像。由于在本发明实施例中，在根据预设的低频融合算法，确定融合后的低频分量中对应参数的值之前，针对所述可见光图像和红外图像的低频分量中的对应参数，判断所述对应参数的值的差是否大于设定阈值，如果所述差值大于设定阈值，将所述可见光图像的低频分量中该参数的值作为融合后的低频分量中对应参数的值，消除了因物体的材料或颜色造成红外图像中亮度异常变高反应融合后的图像不真实的问题，并根据预先设定的高频融合算法，确定每个层次融合后的高频分量，将确定的所述融合后的低频分量和融合后的每层次的高频分量进行重构，得到融合后的图像。针对可见光图像和红外图像进行了深层次的融合，实现了对图像细节的清晰显示，并解决了在红外图像中亮度异常变高时反应的图像不真实的问题，提高了用户的体验。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例1提供的一种图像融合过程示意图；

图2为本发明实施例1提供的一种图像重构过程示意图；

图3为本发明实施例3提供的一种可见光图像对应的高频分量的映射关系示意图；

图4为本发明实施例5提供的一种图像融合过程示意图；

图5为本发明实施例8提供的一种图像融合过程示意图；

图6为本发明实施例9提供的一种图像融合装置结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1：

图1为本发明实施例提供的一种图像融合过程示意图，该过程包括：

S101：采用相同的划分方法，将获取的可见光图像和红外图像划分为多个层次，获取可见光图像和红外图像的低频分量，和对应每个层次的高频分量，其中所述低频分量中包含至少一个参数，所述高频分量中包含至少一个参数。

本发明实施例提供的图像融合方法应用于电子设备，该电子设备可以为图像采集设备，如摄像机、照相机等，也可以是手机、个人电脑(PC)、平板电脑等设备。

针对图像的划分方法包括：区域分割方法、直方图法和金字塔变换法等。以金子塔变换法为例，金字塔变换法主要步骤包括：低通滤波、下采样、上采样、带通滤波，每完成一次金子塔变换，便可将图像划分为一个层次，例如：针对可见光图像和红外图像采用的划分方法为三层次的金字塔变换，即对可见光图像和红外图像进行三次金字塔变换，可见光图像和红外图像完成一次金子塔变换后分别得到对应的第一层的高频分量和第一层的低频分量，将第一层次的低频分量，又作为第二次金子塔变换的输入图像，依次类推，每层次对应的低频分量作为下层次金子塔变换的输入图像，经过三次金字塔变换后，得到对应可见光图像和红外图像的三个层次的高频分量和一个低频分量，其中所述低频分量中包含至少一个参数，所述高频分量中包含至少一个参数。

具体的，在对可见光图像和红外图像进行划分时，还可以采用其他的划分方法，只要采用相同的划分方法将可见光图像和红外图像划分为多个层次即可。

S102：针对所述可见光图像和红外图像的低频分量中的对应参数，判断所述对应参数的值的差是否大于设定阈值，如果是，进行S103，如果否，进行S104。

S103：将所述可见光图像的低频分量中该参数的值作为融合后的低频分量中对应参数的值。

S104：根据所述可见光图像和红外图像的低频分量中的该对应参数的值，及预设的低频融合算法，确定融合后的低频分量中对应参数的值。

在图像采集的过程中，由于物体的材料或者颜色将会影响红外光的反射量，例如：车牌、红色物体能较好的反射红外光，这样红外光的亮度异常变大，在红外图像中会呈现亮度过高的现象，而此时接收的可见光的亮度是正常的。在本发明实施例中，如果红外图像中存在亮度异常变大，可以根据可见光图像的亮度取代异常的红外图像中的亮度，从而提高融合后的图像的清晰度。

具体的，将可见光图像的低频分量中每个参数与红外图像的低频分量中的对应参数进行比较，针对每个对应的参数，判断所述可见光图像的低频分量中该参数与红外图像的低频分量中的对应参数的值的差是否大于设定阈值，如果所述差值大于设定阈值，将所述可见光图像的低频分量中该参数的值作为融合后的低频分量中对应参数的值，如果所述差值不大于设定阈值，根据所述可见光图像和红外图像的低频分量中的该对应参数的值，及预设的低频融合算法，确定融合后的低频分量中对应参数的值。

该设定阈值可以为大于零的数值，例如可以是90、100、110等，该设定阈值可以根据可见光图像和红外图像采集的场景的红外强弱来调节。所述预设的低频融合算法可以为针对可见光图像和红外图像分别设定权重值，根据权重值及该对应参数的值，确定融合后的低频分量中对应参数的值，所述可见光图像和红外图像对应的权重值可以分别为0.5、0.5，当然对应的权重值也可以为0.6、0.4等。例如：所述可见光图像和红外图像的低频分量中的对应参数的值分别为216和206，所述预设的低频融合算法为所述可见光图像和红外图像对应的权重值分别为0.5、0.5，得到融合后的低频分量中对应参数的值为211。

S105：根据可见光图像和红外图像对应每个层次的高频分量及预先设定的高频融合算法，确定每个层次融合后的高频分量。

具体的，预先设定的高频融合算法可以为针对可见光图像和红外图像分别设定权重值，根据权重值及所述可见光图像和红外图像的高频分量中对应参数的值，确定融合后的高频分量中对应参数的值，例如所述可见光图像和红外图像对应的权重值可以分别为0.7和0.5，或者对应的权重值也可以为0.8和0.5等。例如：所述可见光图像和红外图像的二层次的高频分量中的对应参数的值分别为150和160，所述预先设定的高频融合算法为所述可见光图像和红外图像对应的权重值别为0.7和0.5，得到二层次融合后的高频分量中对应参数的值为185。

S106：将确定的所述融合后的低频分量和融合后的每层次的高频分量进行重构，得到融合后的图像。

在本发明实施例中，将确定的所述融合后的低频分量和每层次融合后的高频分量进行重构的过程与对可见光和红外图像的划分过程相反。如果上述划分方法为针对可见光图像和红外图像进行三层次的金子塔变换，确定融合后的图像则是针对所述融合后的低频分量和每层次融合后的高频分量进行金字塔重构。如图2所示为本发明实施例提供的一种图像重构过程示意图，将所述融合后的低频分量与三层次融合后的高频分量进行一次金字塔重构，得到一次重构后的低频分量，将一次重构后的低频分量与二层次融合后的高频分量进行一次金字塔重构，得到二次重构后的低频分量，将二次重构后的低频分量与一层次融合后的高频分量进行一次金字塔重构，得到融合后的图像。

根据低频分量和每层次的高频分量进行重构为现有技术，在本发明实施例中对该过程不再进行赘述。

由于在本发明实施例中，在根据预设的低频融合算法，确定融合后的低频分量中对应参数的值之前，针对所述可见光图像和红外图像的低频分量中的对应参数，判断所述对应参数的值的差是否大于设定阈值，如果所述差值大于设定阈值，将所述可见光图像的低频分量中该参数的值作为融合后的低频分量中对应参数的值，消除了因物体的材料或颜色造成红外图像中亮度异常变高反应融合后的图像不真实的问题，并根据预先设定的高频融合算法，确定每个层次融合后的高频分量，将确定的所述融合后的低频分量和融合后的每层次的高频分量进行重构，得到融合后的图像。针对可见光图像和红外图像进行了深层次的融合，实现了对图像细节的清晰显示，并解决了在红外图像中亮度异常变高时反应的图像不真实的问题，提高了用户的体验。

实施例2：

为了消除可见光图像中的噪音，并使红外信息在融合后的图像中更加突出，从而提高融合后的图像的清晰度，在上述各实施例的基础上，在本发明实施例中，所述获取可见光图像和红外图像对应每个层次的高频分量后，所述确定融合后的每个层次的高频分量之前，所述方法还包括：

针对可见光图像对应每个层次的高频分量进行映射处理与中值滤波；和/或，

针对红外图像对应每个层次的高频分量进行放大处理。

具体的，可以根据可见光图像对应每个层次的高频分量中的每个参数的值的大小，设定映射规则，例如：如果参数的值在大于0小于5的范围内，则将该参数的值改变为3，如果参数的值在大于5小于10的范围内，则将该参数的值改变为6等。

针对完成映射处理后的可见光图像每个层次的高频分量，对每个层次的高频分量进行中值滤波，进一步的去除可见光图像中的噪声。中值滤波的基本原理是把高频分量中一个参数的值，用该参数邻域中各参数的值的中值代替，让该参数的值接近真实值，从而消除孤立的噪音。在实际应用中可以使用3*3窗口对每个层次的高频分量进行中值滤波，也可以使用4*4或其他大小的窗口对每个层次的高频分量进行中值滤波。在本发明实施例中，对高频分量进行中值滤波是现有技术不再进行赘述。

为了使红外信息在融合后的图像中更为突出，在本发明实施例中，还可以对红外图像对应每个层次的高频分量进行放大处理。具体的，对红外图像不同层次的高频分量乘以不同放大系数，该放大系数为不小于1的数值，例如可以是2，也可以是3等。较佳的，因为每层次高频分量对最后融合后的图像的影响逐层次加大，在放大系数设定上可以令放大系数逐层次减小，例如：红外图像对应着3个层次的高频分量，可以针对一层次的高频分量设定放大系数b1＝2.0，针对二层次的高频分量设定放大系数b1＝1.5，针对三层次的高频分量设定放大系数b1＝1.0，根据每个层次对应的放大系数，对红外图像对应每个层次的高频分量进行放大处理。

实施例3：

在图像采集过程中，在低照度的情况下，可见光图像会出现大量噪声，而对可见光图像进行划分后，所述噪声主要表现在可见光高频分量中，为了提高融合后的图像的清晰度，在本发明实施例中，所述针对可见光图像对应每个层次的高频分量进行映射处理包括：

针对可见光图像对应每个层次的高频分量中的每个参数的值，判断该参数的值的绝对值是否小于第一参数阈值；

如果是，将该参数的值更新为零；

如果否，判断该参数的值的绝对值是否小于第二参数阈值，如果是，根据预先设定的参数调整系数对该参数的值进行更新，其中第二参数阈值大于第一参数阈值。

可见光图像对应的每层次的高频分量中每个参数的值的绝对值大小反映了可见光图像中的边缘等纹理信息，当引入噪声时，可见光高频分量中同时存在边缘和噪声。由于需要保留可见光图像中的边缘，而去除噪声，需要设定阈值，当所述高频分量中某参数的值小于这个阈值时，将该参数的值置为0。为了防止边缘被去除，该设定阈值为一个很小的值。

图3为本发明实施例提供的一种可见光图像对应的高频分量的映射关系示意图，具体的，针对可见光图像对应每个层次的高频分量中的每个参数的值，判断该参数的值的绝对值是否小于第一参数阈值x1，如果是，将该参数的值更新为零，如果否，判断该参数的值的绝对值是否小于第二参数阈值x2，如果是，根据预先设定的参数调整系数对该参数的值进行更新，其中第二参数阈值大于第一参数阈值。其中所述第一参数值x1和第二参数阈值x2为大于零的数值，其第一参数阈值小于第二参数阈值，例如第一参数阈值和第二参数阈值可以分别为0.02和0.8，也可以分别为0.1和1，具体的可以根据可见光图像采集环境的噪音水平来确定。所述参数调整系数为大于零的数值，具体的该参数调整系数可以根据所述第一参数值x1和第二参数阈值x2确定，例如可以为x2/(x2-x1)。

实施例4：

在上述各实施例的基础上，在本发明实施例中，为了方便后续针对图像的划分及融合步骤的进行，并提高融合后的清晰度，在上述各实施例的基础上，在本发明实施例中，所述采用相同的划分方法，将获取的可见光图像和红外图像划分为多个层次之前，所述方法还包括：

将所述可见光图像和红外图像进行图像配准。

具体的，针对可见光图像和红外图像，可以分别提取所述可见光图像和红外图像的尺度不变特征(SURF)，根据可见光图像对应的SURF与所述红外图像的SURF，进行图像的配准。具体将所述可见光图像和红外图像进行图像配准是现有技术，在本发明实施例中对该过程不再进行赘述。

实施例5：

为了提高融合后的图像的清晰度，在上述各实施例的基础上，在本发明实施例中，所述采用相同的划分方法，将获取的可见光图像和红外图像划分为多个层次之前，所述方法还包括：

将所述可见光图像进行透雾处理和/或导向滤波。

具体的，对可见光图像进行透雾处理和/或导向滤波，消除可见光图像中的噪音，提高可见光图像的清晰度，具体将所述可见光图像进行透雾处理和导向滤波是现有技术，在本发明实施例中对该过程不再进行赘述。

为了更好的提高可见光图像的清晰度，所述将所述可见光图像进行透雾处理包括：

获取所述可见光图像的暗通道分量；

根据所述暗通道分量中每个参数的值，确定所述暗通道分量中参数的最大值的目标参数，识别所述目标参数对应的可见光图像的目标像素点；

将所述可见光图像的目标像素点的红R值、绿G值、蓝B值中的最小值作为目标光照强度的数值；

将所述目标光照强度的数值作为所述可见光图像每个像素点对应的光照强度的数值，判断所述可见光图像中每个像素点对应的光照强度的数值与该像素点对应的暗通道分量中对应参数的值的差是否小于第一设定阈值；

如果是，根据该像素点对应的光照强度的数值与像素点对应的暗通道分量中对应参数的值的差、所述第一设定阈值及初始透射率，确定该像素点对应的第一透射率。

在可见光图像采集过程中，如果存在与天空、水域接近的白色的明亮区域时，会导致可见光图像对应区域的亮度过大，造成融合后的图像该对应的区域亮度异常，不能对所述对应的区域的图像细节清晰的显示，影响用户的体验，在本发明实施例中为了消除所述明亮区域对所述可见光图像的影响，对所述可见光图像进行透雾处理。

具体的，针对可见光图像，获取所述可见光图像的暗通道分量，比较所述暗通道分量中每个参数的值，确定暗通道分量中参数的最大值对应的参数为目标参数，根据目标参数在所述暗通道分量中的位置，识别所述目标参数对应的可见光图像的目标像素点，根据所述目标像素点对应的红(red，R)值、绿(green，G)值、蓝(blue，B)值，将该像素点对应的R值、G值、B值最小的数值确定为目标光照强度的数值。

判断所述目标光照强度的数值与所述可见光图像每个像素点对应的暗通道分量中对应参数的值是否小于第一设定阈值，第一设定阈值可以为70、80、90等，具体的第一设定阈值可以根据图像采集环境的光照强度和红外强度来确定。如果可见光图像某个像素点暗通道分量中对应参数的值大于所述第一设定阈值，则说明该像素点对应着明亮区域，根据该像素点对应的光照强度的数值，即目标光照强度的数值，与该像素点对应的暗通道分量中对应的参数的值的差、所述第一设定阈值及初始透射率，确定该像素点对应的第一透射率。例如：所述差的值为100、所述第一设定阈值为80,、所述初始透射率为1，可以确定该像素点对应的第一透射率为100/(2*80)*1＝0.625。

为了消除所述明亮区域对可见光图像的影响，所述根据该像素点对应的光照强度的数值与像素点对应的暗通道分量中对应参数的值的差、所述第一设定阈值及初始透射率，确定该像素点对应的第一透射率包括：

确定该像素点对应的光照强度的数值与像素点对应的暗通道分量中对应参数的值的差与第一设定阈值的比值；

将所述比值及初始透射率的乘积确定为像素点对应的第一透射率。

具体的，关于每个像素点的初始透射率，可以根据公式

进行确定，其中DARK_C为该像素点对应的暗通道分量中对应参数的值，AC为目标大气强度的数值，t为初始透射率，Thr为预先设定的透雾强度调节阈值，数值越大透雾强度越大。得到每个像素点的初始透射率后，根据该像素点对应的光照强度的数值与像素点对应的暗通道分量中对应参数的值的差与第一设定阈值的比值，将所述比值与该点对应的初始透射率的乘积确定为该像素点对应的第一透射率。

图4为本发明实施例提供的一种图像融合过程示意图，该过程包括：

S401：将获取的可见光图像和红外图像进行图像配准。

S402：将所述可见光图像进行透雾处理和/或导向滤波。

S403：采用相同的划分方法，将所述可见光图像和红外图像划分为多个层次，获取可见光图像和红外图像的低频分量，和对应每个层次的高频分量。

S404：针对所述可见光图像和红外图像的低频分量中的对应参数，判断所述对应参数的值的差是否大于设定阈值，如果是，进行S405，如果否，进行S406。

S405：将所述可见光图像的低频分量中该参数的值作为融合后的低频分量中对应参数的值。

S406：根据所述可见光图像和红外图像的低频分量中的该对应参数的值，及预设的低频融合算法，确定融合后的低频分量中对应参数的值。

S407：根据可见光图像和红外图像对应每个层次的高频分量及预先设定的高频融合算法，确定每个层次融合后的高频分量。

S408：将确定的所述融合后的低频分量和融合后的每层次的高频分量进行重构，得到融合后的图像。

实施例6：

在对根据可见光图像的每个像素点及该像素点对应的差值对该像素点的透射率进行更改后，在所述明亮区域可能会产生色斑，影响融合后的图像的清晰度，为了提高融合后的图像的清晰度，在上述各实施例的基础上，在本发明实施例中，确定该像素点对应的第一透射率后，所述方法还包括：

统计所述可见光图像中对应的第一透射率小于第二设定阈值的像素点的数量，判断所述数量与可见光图像中像素点的总数量的比值是否大于第三设定阈值；

如果是，将所述第一透射率小于第四设定阈值的像素点的第一透射率更改为1。

具体的，统计所述可见光图像中对应的第一透射率小于第二设定阈值的像素点的数量，判断所述数量与可见光图像中像素点的总数量的比值是否大于第三设定阈值，如果大于第三设定阈值则需要对所述第一透射率进行优化，消除色斑，将所述第一透射率小于第四设定阈值的像素点的第一透射率更改为1，其中，所述第二设定阈值为预先设定的检测阈值，可以为0.4、0.5、0.6等，所述第三设定阈值为根据图像获取的环境设置的，例如：白天为0.1，晚上为0.2，所述第四阈值可以根据所述所述数量与可见光图像中像素点的总数量的比值来确定，例如可以为所述比值的3倍、4倍等。

实施例7：

为了实现可见光图像和红外图像的低频分量中对应参数的融合，在上述各实施例的基础上，对可见光图像和红外图像的低频分量中对应参数的融合方式包括：

方式一、

所述根据所述可见光图像和红外图像的低频分量中的该对应参数的值，及预设的低频融合算法，确定融合后的低频分量中对应参数的值包括：

根据F_L＝L_W·V_L+(1-L_W)·N_L，确定融合后的低频分量中对应参数的值，其中F_L为融合后的低频分量中对应参数的值，V_L为可见光图像低频分量中该对应参数的值，N_L为红外图像低频分量中该对应参数的值，L_W为融合时可见光图像对应的权重，La为预先设定的可见光图像的融合比例，K为预先设定的阈值。

具体的，例如：预先设定的可见光图像的融合比例La为0.8，预先设定的阈值为K为90，可见光图像和红外图像的低频分量中的该对应参数的值分别为210、180，将可见光图像和红外图像的低频分量中的该对应参数的值分别为210、180，代入公式得到L_W为0.7，将L_W为0.7代入公式得到F_L中对应参数的值为201。

方式二、

所述根据所述可见光图像和红外图像的低频分量中的该对应参数的值，及预设的低频融合算法，确定融合后的低频分量中对应参数的值包括：

根据F_L＝la·V_L+(1-la)·N_L,la∈[0,1]，确定融合后的低频分量中对应参数的值，其中F_L为融合后的低频分量中对应参数的值，V_L为可见光图像低频分量中该对应参数的值，N_L为红外图像低频分量中该对应参数的值，La为预先设定的可见光图像的融合比例，其中La的取值范围在[0，1]之间。

具体的，例如：预先设定的可见光融合比例La为0.8，可见光图像和红外图像的低频分量中的该对应参数的值分别为210、180，将可见光图像和红外图像的低频分量中的该对应参数的值分别为210、180，代入公式F_L＝la·V_L+(1-la)·N_L,la∈[0,1]得到F_L中对应参数的值为204。

实施例8：

为了实现可见光图像和红外图像对应每个层次的高频分量的融合，在上述各实施例的基础上，对可见光图像和红外图像对应每个层次的高频分量的融合方式包括：

方式一、所述根据可见光图像和红外图像对应每个层次的高频分量及预先设定的高频融合算法，确定每个层次融合后的高频分量包括：

根据确定每个层次融合后的高频分量，其中针对每个层次的可见光图像对应的高频分量和红外对应对应的低频分量，M、N为该层次可见光图像对应的高频分量和红外图像对应的高频分量对应矩阵的的行数和列数，R为预先设定的窗口阈值，D1(i，j)为该层次可见光图像对应的高频分量对应矩阵(i，j)点对应参数的可见光区域能量，D2(i，j)为该层次红外图像对应的高频分量对应矩阵(i，j)点对应参数的红外区域能量，DD为该层次可见光图像对应的高频分量对应矩阵(i，j)点和红外图像对应的高频分量对应矩阵(i，j)点的区域能量相关性，F_H为该层次融合后的高频分量中对应参数的值。

具体的，针对每层次的可见光图像对应的高频分量中每个参数和红外图像对应的高频分量中对应参数，确定对应的可见光区域能量D1，红外区域能量D2，区域能量相关性DD，

将所述D1、D2、DD代入公式确定该层次该参数对应融合后的高频分量中对应参数的值。

方式二、

所述根据可见光图像和红外图像对应每个层次的高频分量及预先设定的高频融合算法，确定每个层次融合后的高频分量包括：

根据确定每个层次融合后的高频分量，其中F_H为该层次融合后的高频分量对应矩阵(i，j)点的参数的值，V_H为该层次可见光图像高频分量对应矩阵(i，j)点的参数的值，N_H为该层次红外图像高频分量对应矩阵(i，j)点的参数的值。

具体的，确定每层次融合后的高频分量F_H中每个参数的值时，比较对应该层次的可见光图像高频分量中对应参数的值与对应该层次的红外图像高频分量中对应参数的值的大小，选取所述对应参数的值较大的值作为该层次融合后的高频分量F_H中对应参数的值。

图5为本发明实施例提供的一种图像融合过程示意图，具体的，针对获取的可见光图像和红外图像进行图像配准，针对可见光图像进行透雾处理和导向滤波，增加可见光图像的清晰度，将可见光图像和红外图像采用同样的划分方法进行划分，获取可见光图像和红外图像的低频分量，和对应每个层次的高频分量，对可见光图像和红外图像的低频分量，和对应每个层次的高频分量进行处理，将处理后的可见光图像和红外图像的低频分量进行融合得到融合后的低频分量，将处理后的可见光图像和红外图像的对应每个层次的高频分量进行融合，确定每层次融合后的高频分量，将所述融合后的低频分量和每层次融合后的高频分量进行重构，得到融合后的图像。

实施例9：

图6为本发明实施例提供的一种图像融合装置结构示意图，所述装置包括：

划分模块61，用于采用相同的划分方法，将获取的可见光图像和红外图像划分为多个层次；

获取模块62，用于获取可见光图像和红外图像的低频分量，和对应每个层次的高频分量；

低频融合模块63，用于针对所述可见光图像和红外图像的低频分量中的对应参数，判断所述对应参数的值的差是否大于设定阈值，如果是，将所述可见光图像的低频分量中该参数的值作为融合后的低频分量中对应参数的值；如果否，根据所述可见光图像和红外图像的低频分量中的该对应参数的值，及预设的低频融合算法，确定融合后的低频分量中对应参数的值；

高频融合模块64，用于根据可见光图像和红外图像对应每个层次的高频分量及预先设定的高频融合算法，确定每个层次融合后的高频分量；

重构模块65，用于将确定的所述融合后的低频分量和每层次融合后的高频分量进行重构，得到融合后的图像。

所述装置还包括：

第一处理模块66，用于针对可见光图像对应每个层次的高频分量进行映射处理与中值滤波；和/或，针对红外图像对应每个层次的高频分量进行放大处理。

所述第一处理模块66，具体用于针对可见光图像对应每个层次的高频分量中的每个参数的值，判断该参数的值的绝对值是否小于第一参数阈值；如果是，将该参数的值更新为零；如果否，判断该参数的值的绝对值是否小于第二参数阈值，如果是，根据预先设定的参数调整系数对该参数的值进行更新，其中第二参数阈值大于第一参数阈值。

所述装置还包括：

配准模块67，用于将所述可见光图像和红外图像进行图像配准。

所述装置还包括：

第二处理模块68，用于将所述可见光图像进行透雾处理和/或导向滤波。

所述第二处理模块68，具体用于获取所述可见光图像的暗通道分量；根据所述暗通道分量中每个参数的值，确定所述暗通道分量中参数的最大值的目标参数，识别所述目标参数对应的可见光图像的目标像素点；将所述可见光图像的目标像素点的红R值、绿G值、蓝B值中的最小值作为目标光照强度的数值；将所述目标光照强度的数值作为所述可见光图像每个像素点对应的光照强度的数值，判断所述可见光图像中每个像素点对应的光照强度的数值与该像素点对应的暗通道分量中对应参数的值的差是否小于第一设定阈值；如果是，根据该像素点对应的光照强度的数值与像素点对应的暗通道分量中对应参数的值的差、所述第一设定阈值及初始透射率，确定该像素点对应的第一透射率。

所述第二处理模块68，具体用于确定该像素点对应的光照强度的数值与像素点对应的暗通道分量中对应参数的值的差与第一设定阈值的比值；将所述比值及初始透射率的乘积确定为像素点对应的第一透射率。

所述第二处理模块68，还用于统计所述可见光图像中对应的第一透射率小于第二设定阈值的像素点的数量，判断所述数量与可见光图像中像素点的总数量的比值是否大于第三设定阈值；如果是，将所述第一透射率小于第四设定阈值的像素点的第一透射率更改为1。

所述低频融合模块63，具体用于根据F_L＝L_W·V_L+(1-L_W)·N_L，确定融合后的低频分量中对应参数的值，其中F_L为融合后的低频分量中对应参数的值，V_L为可见光图像低频分量中该对应参数的值，N_L为红外图像低频分量中该对应参数的值，L_W为融合时可见光图像对应的权重，La为预先设定的可见光图像的融合比例，K为预先设定的阈值。

所述高频融合模块64，具体用于根据确定每个层次融合后的高频分量，其中针对每个层次的可见光图像对应的高频分量和红外对应对应的低频分量，M、N为该层次可见光图像对应的高频分量和红外图像对应的高频分量对应矩阵的行数和列数，R为预先设定的窗口阈值，D1(i，j)为该层次可见光图像对应的高频分量对应矩阵(i，j)点对应参数的可见光区域能量，D2(i，j)为该层次红外图像对应的高频分量对应矩阵(i，j)点对应参数的红外区域能量，DD为该层次可见光图像对应的高频分量对应矩阵(i，j)点和红外图像对应的高频分量对应矩阵(i，j)点的区域能量相关性，F_H为该层次融合后的高频分量中对应参数的值。

本发明实施例公开了一种图像融合方法及装置，应用于电子设备，该方法包括：采用相同的划分方法，将获取的可见光图像和红外图像划分为多个层次；获取可见光图像和红外图像的低频分量，和对应每个层次的高频分量，其中所述低频分量中包含至少一个参数，所述高频分量中包含至少一个参数；针对所述可见光图像和红外图像的低频分量中的对应参数，判断所述对应参数的值的差是否大于设定阈值，如果是，将所述可见光图像的低频分量中该参数的值作为融合后的低频分量中对应参数的值；如果否，根据所述可见光图像和红外图像的低频分量中的该对应参数的值，及预设的低频融合算法，确定融合后的低频分量中对应参数的值；根据可见光图像和红外图像对应每个层次的高频分量及预先设定的高频融合算法，确定融合后的每个层次的高频分量；将确定的所述融合后的低频分量和融合后的每层次的高频分量进行重构，得到融合后的图像。由于在本发明实施例中，在根据预设的低频融合算法，确定融合后的低频分量中对应参数的值之前，针对所述可见光图像和红外图像的低频分量中的对应参数，判断所述对应参数的值的差是否大于设定阈值，如果所述差值大于设定阈值，将所述可见光图像的低频分量中该参数的值作为融合后的低频分量中对应参数的值，消除了因物体的材料或颜色造成红外图像中亮度异常变高反应融合后的图像不真实的问题，并根据预先设定的高频融合算法，确定每个层次融合后的高频分量，将确定的所述融合后的低频分量和融合后的每层次的高频分量进行重构，得到融合后的图像。针对可见光图像和红外图像进行了深层次的融合，实现了对图像细节的清晰显示，并解决了在红外图像中亮度异常变高时反应的图像不真实的问题，提高了用户的体验。

对于系统/装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者一个操作与另一个实体或者另一个操作区分开来，而不一定要求或者暗示这些实体或者操作之间存在任何这种实际的关系或者顺序。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。