一种红外与可见光图像融合方法与流程

本发明属于图像处理技术领域，具体涉及一种红外与可见光图像融合方法。

背景技术：

红外与可见光图像融合是将红外成像传感器与可见光成像传感器所拍摄到的同一场景的图像进行综合，充分利用红外与可见光两种成像技术的优势和互补性实现对同一场景更准确的描述。红外与可见光成像传感器是两类最常用的成像传感器。红外成像传感器是通过被拍摄目标的热辐射差异来成像的，能够识别出被遮挡的物体，例如隐藏在衣服里的金属物品，具有“透视”作用。红外成像传感器可以在光线条件很差、浓雾天气以及夜间条件下进行拍摄。但红外传感器所生成的图像是灰度图像，并且分辨率不高，无法呈现被拍摄目标的纹理等细节信息。相比之下，可见光成像传感器所获得的图像具有高分辨率，并且具有颜色信息，图像细节信息丰富等优点。但容易受到外界光照、天气因素的影响，对于光线条件很差、浓雾天气以及夜间条件下所拍摄的图像质量很差。

由上述两种类型的成像传感器所获取的红外图像和可见光图像具有信息互补的特性。通过红外图像与可见光图像融合来进一步提高图像的质量、稳定性和可靠性，减少图像的信噪比影响，形成一幅更为全面、准确、可靠的融合图像。红外与可见光图像融合的主要目的是减少由单一成像传感器所获取的图像信息的不确定性，它通过对多幅图像间信息的互补来为后续的决策提供更可靠的信息来源。红外与可见光图像融合技术被广泛地应用于智慧城市、医学影像、军事安全和遥感等诸多领域，取得了很好的应用结果。

一般而言，图像融合可分为三大类：像素级融合、特征级融合和决策性融合。目前常见的红外与可见光图像融合方法大多属于像素级融合，例如均值融合方法、加权平均方法、基于塔形分解的融合算法、pca方法以及基于小波变换的融合算法等。

均值融合方法的原理最简单，将红外图像和可见光图像对应像素取平均值来作为融合图像的像素。该方法的计算复杂度最低，但效果也是最差的，存在细节信息丢失的问题。此外，当可见光图像是多通道彩色图像时，均值融合方法并不适用。加权平均方法一定程度上弥补了均值融合方法的缺点，但权重的取值与输入图像像素值的动态范围有关，调整起来有一定的复杂度。pca方法融合出来的图像存在颜色失真的问题。目前，融合效果较好的大多是基于变换的方法，例如基于塔形分解的融合算法或者基于小波变换的方法。传统离散小波变换应用于红外与可见光图像融合后，虽然得到了较为清晰的边缘轮廓，但存在着对比度低、细节缺失等问题。

技术实现要素：

本发明提出了一种红外与可见光图像融合方法，目的在于解决以上图像融合过程中出现的对比度低以及细节缺失等问题，提高融合图像质量。

该融合方法具体步骤如下：

步骤s1，将待融合的红外图像和可见光图像进行预处理；

步骤s2，将预处理后的图像进行子块划分，得到一系列子图像；

步骤s3，计算每一对子图像的聚焦测度；

步骤s4，利用感知哈希算法计算每一对子图像的“指纹”；

步骤s5，计算每一对子图像的“指纹”的匹配程度，即计算子图像hash指纹相似度；

步骤s6，根据子图像指纹相似度的不同，采取不同的融合策略：当子图像相似度匹配程度较高时(相似度大于0.7)，直接选取聚焦测度较大的子图像作为融合结果的一部分，当子图像相似度匹配程度较低时(相似度小于或等于0.7)，采用聚焦测度得到待融合图像的边缘清晰部分进行融合。

优选地，所述步骤s3中子图像聚焦测度采用方向统计方法来计算，具体而言是根据当前像素点的邻域像素来计算该像素点在水平、垂直、左对角线(45度角方向)和右对角线(135度角)方向上五个像素的标准差σ和平均值μ，为了抵消不同子图像区域像素值的差异，使用标准差除以平均值作为相应方向上的聚焦测度，四个方向上的聚焦测度平均值作为该像素点的聚焦测度，邻域选取采用以下模板t：

优选地，所述步骤s4中子图像的“指纹”的计算过程如下：将子图像每个像素的灰度值与该子图像灰度的平均值进行比较，大于平均值，记为1，小于或等于平均值，记为0，将比较结果组合在一起便得到了该子图像的一个“指纹”。

优选地，所述步骤s5中hash指纹相似度的计算采用汉明距离来实现。

优选地，所述步骤s6中相似度匹配与融合具体实现过程是：根据每一对子图像计算所得到的相似度，将子图像的匹配程度分为相似与不相似两组。通过实验，本发明将hash指纹相似度大于0.7时认定为图像相似，小于或等于0.7时认定为不相似。相似度高的子图像位于待融合图像的非聚焦边缘处，只需要选取清晰部分的子图像，即平均聚焦测度大的子图像进行融合。相似度低的子图像，处于聚焦边缘处，图像扭曲程度较大，需逐点进行对比并进行融合。

本发明与现有技术相比所具有的有益效果是：

第一，本发明采用感知哈希算法计算子图像相似度，充分考虑了图像不同区域的聚焦程度，有助于准确匹配融合图像的低聚焦区域与高聚焦区域，可以更好地提取源图像的有效信息。

第二，本发明通过相似度匹配，以及子图像聚焦测度，对不同聚焦区域采取相应的融合策略，最大程度保留了源图像的细节信息。在实现图像融合的同时，尽可能地降低了其他融合方法所存在的对比度低、细节缺失等问题，融合后的图像更大程度地接近源图像的清晰部分。

附图说明

图1为本发明中红外与可见光图像融合方法的实施步骤框图。

具体实施方式

为了便于理解和实施本发明，现结合说明书附图和实施例对本发明的技术方案作进一步详细描述。所描述的实施例仅是本发明的一部分实施例，并非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提出了一种红外与可见光图像融合方法，其实施步骤框图如图1所示。

结合图1，本发明的一种红外与可见光图像融合方法包括如下步骤：

步骤s1，将待融合的红外图像和可见光图像进行预处理。具体包括两个方面：如果可见光图像是彩色图像，需要把该彩色图像从rgb颜色空间转换为hsi颜色空间，提取i分量，并将i分量与红外图像的分辨率均调整为512×512，在后续步骤中(例如针对可见光图像的子图像划分以及聚焦测度的计算)均是在i分量进行；如果可见光图像是灰度图像，直接将红外图像和可见光图像的分辨率均调整为512×512。

步骤s2，将预处理后的红外图像和可见光图像(i分量)进行子块划分，得到一系列子图像(图像大小为16×16像素)，将红外图像所构成的集合记为seta，将可见光图像所构成的集合记为setb。

步骤s3，采用方向统计方法来分别计算两组子图像集合seta和setb中每一幅子图像的聚焦测度，具体计算过程如下：

对于两组子图像集合中的任意一幅子图像，采用图像遍历的方式来计算每一个像素点的聚焦测度。该计算过程是根据当前像素点的邻域像素来计算该像素点在水平、垂直、左对角线(45度角方向)和右对角线(135度角)方向上五个像素灰度值的标准差σ和平均值μ，为了抵消不同子图像区域像素值的差异，使用标准差除以平均值作为相应方向上的聚焦测度，四个方向上的聚焦测度平均值作为该像素点的聚焦测度，邻域选取采用以下模板t：

使用模板t可以得到当前像素点的聚焦测度，当模板t遍历完整幅子图像后便得到子图像所有像素点的聚焦测度，将每一个像素点的聚焦测度取平均值作为整幅子图像的平均聚焦测度。

步骤s4，利用感知哈希算法分别计算两组子图像集合seta和setb中每一对子图像的“指纹”，具体计算步骤如下：

(1)对于两组子图像集合，分别计算每一对子图像灰度的平均值；

(2)通过将子图像每个像素的灰度值与该子图像灰度的平均值进行比较得到hash值，具体而言，像素的灰度值大于平均值，记为1，小于或等于平均值，记为0，将比较结果组合在一起，就构成了一个256位的整数，生成的hash值从左到右，从上到下进行保存，所得到的这个大小为16*16的二值矩阵就是该图像的hash值“指纹”；

步骤s5，计算每一对子图像的“指纹”的匹配程度，即采用汉明距离来计算子图像hash指纹相似度。具体而言，对每一对子图像“指纹”进行逐位对比，看其数值是否相等(即进行异或运算)，统计比对结果中相等的个数，用该数值除以256就是这一对子图像的“指纹”的相似度(相似度的取值范围是：0～1，该值越大表示两幅子图像相似度越高)。

步骤s6，根据子图像指纹相似度的不同，采取不同的融合策略：当子图像相似度匹配程度较高时(相似度大于0.7)，直接选取聚焦测度较大的子图像作为融合结果的一部分，当子图像相似度匹配程度较低时(相似度小于或等于0.7)，采用聚焦测度得到待融合图像的边缘清晰部分进行融合。

相似度匹配与融合具体实现过程是：根据每一对子图像计算所得到的相似度，将子图像的匹配程度分为相似与不相似两组。通过实验，本发明将hash指纹相似度大于0.7时认定为图像相似，小于或等于0.7时认定为不相似。相似度高的子图像(相似度大于0.7)位于待融合图像的非聚焦边缘处，只需要选取清晰部分的子图像，即平均聚焦测度大的子图像作为融合后的子图像。相似度低的子图像(相似度小于或等于0.7)，处于聚焦边缘处，图像扭曲程度较大，需逐点进行对比并进行融合，具体步骤如下：

(1)seta中和setb中相似度低的一对子图像分别标记为子图像a和子图像b；

(2)分别比较子图像a和子图像b中每一个对应像素点的聚焦测度，若以子图像b为参考，选取子图像a中聚焦测度大的像素来替换子图像b对应像素点，当遍历完所有的子图像像素点后，子图像b中相对模糊的像素点就被替换掉，此时将子图像b作为融合图像中相应的子图像；

(3)若以子图像a为参考，将子图像b中聚焦测度大的像素点来替换子图像a对应像素点，当遍历完所有的子图像像素点后，子图像a中相对模糊的像素点就被替换掉，此时将子图像a作为融合图像中相应的子图像；

(4)反复执行上述步骤，对seta和setb中所有的相似度低的子图像进行处理。需要注意，若可见光图像是多通道彩色图像，上述融合过程是将红外图像与彩色图像的i分量进行融合，接下来还需要将融合后的i分量与原始h和s分量一起转换到rgb颜色空间，才是最终的融合图像。如果可见光图像只是单通道的灰度图像，则无需进行颜色空间转换。

需要注意的是，在上述步骤中，确定哪个子图像以及哪些像素点作为融合图像的一部分时，只是确定相应的子图像以及像素点的坐标位置(像素点所在的行号和列号)，根据这些坐标位置将步骤s1中预处理后的红外图像和可见光图像进行整合形成最终的融合图像。

应当说明的是，上述实施例均可根据需要自由组合。以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。