一种基于多方向性拉普拉斯金字塔的可见光图像与红外图像融合方法与流程

本发明涉及图像处理技术领域，尤其涉及一种基于多方向性拉普拉斯金字塔的可见光图像与红外图像融合方法，用于医学、航天等传感器平台获取的可见光图像和红外图像的融合。

背景技术：

图像融合技术是对同一场景在不同光谱与空间细节下的两幅或者多幅图像信息进行综合。红外图像具有突出目标信息的优点，但是，不能够清晰地描述目标场景的背景信息，可见光图像符合人眼的视觉特性，能够有效地呈现出目标场景的背景信息，但是容易受到光照、天气等外部环境的影响。因此，综合利用可见光图像与红外图像间的互补信息融合成为新图像，提供更丰富的信息，在目标识别、多源信息挖掘、医学成像以及地图匹配等研究领域中有着重要的应用。

自从1983年burt等人提出了拉普拉斯金字塔算法以来，该方法被广泛应用于图像融合领域。但是，源图像经过拉普拉斯金字塔分解后仅仅具有多尺度信息，而不具备多方向特征信息的特点，会造成融合图像对比度不明显，边界轮廓模糊的现象。然而，传统的多尺度融合规则主要包括：1)取最大值的方法：根据活性水平集测度较大的系数选择对应变化剧烈的像素点，采用的边缘强度最大算法的融合规则；2)加权平均融合的方法：根据源图像之间活性水平集测度的匹配度关系经行加权融合。但是，不管是基于像素级和基于区域级的系数融合规则都未改善拉普拉斯金字塔算法带有的块效应。

本发明的主要目的改善拉普拉斯金字塔算法带有的块效应，为了实现此目标，提出一种基于多方向性拉普拉斯金字塔的可见光图像与红外图像融合方法。

技术实现要素：

为了克服现有技术的不足，本发明提出一种基于多方向性拉普拉斯金字塔的可见光图像与红外图像融合方法，针对传统的拉普拉斯金字塔融合方法不能够有效的反映出融合图像的边缘信息和对比度较差的问题。对拉普拉斯金字塔融合算法进行改进，提出了一种具有多方向联合平均的拉普拉斯金字塔算法。通过实验结果验证，融合效果有改进，能够有效地反映出融合图像的边缘信息，具有丰富的背景细节特征。

本发明解决其技术问题所采用的技术方案包括以下步骤：

步骤1：使用拉普拉斯金字塔把输入图像进行多尺度分解得到二者的高低频子带系数；

步骤2：对于高频系数，采用提取多方向的特征图进行联合平均融合的规则，从而得到融合图像的高频子带系数；

步骤3：低频系数，采用区域平均梯度自适应加权的融合规则，从而得到融合图像的低频子带系数；

步骤4：通过拉普拉斯金字塔逆变换的重建过程得到融合图像。

进一步地，所述步骤1中使用拉普拉斯金字塔把输入图像进行多尺度分解得到二者的高低频子带系数；如下式所示：

其中gl-1表示源图像的第l层高斯金字塔图像，是通过高斯金字塔l层进行上采样并高斯卷积得到的图像，ll表示拉普拉斯金字塔的第l层图像。

进一步地，所述步骤2中对于高频系数，采用提取多方向的特征图进行联合平均融合的规则；具体步骤为：

步骤2-1：源图像经过拉普拉斯金字塔变换后的高频子带信息卷积水平方向仿射矩阵，垂直方向仿射矩阵，增强对角线矩阵来获得高频分量中取带有水平、垂直和对角线方向信息的图像，如下式所示：

其中：为水平方向信息，为垂直方向信息，及为主副对角线方向上信息，为水平方向仿射矩阵，为垂直方向仿射矩阵以及为增强主副对角线矩阵。

步骤2-2：得到红外和可见光图像高频子带分量多方向信息后，每一层高频子带分量将有四个方向上的信息。以l层为例，对红外和可见光图像l层分解得到的四个方向上的信息分别对应进行联合平均，得到融合图像l层的高频子带的边界信息图像，将边界信息图像与红外和可见光图像l层图像进行平均，得到最终的融合图像l层的高频子带图像，如下式所示：

其中：红外和可见光图像水平方向联合平均图像；红外和可见光图像垂直方向联合平均图像；及红外和可见光图像主副对角线方向联合平均图像；l′l红外图像的高频信息图像；ll可见光图像高频信息图像，1≤l＜n。

进一步地，所述步骤3中对于低频系数，采用区域平均梯度自适应加权的融合规则；如下式所示：

其中：为可见光、红外图像低频系数图像的区域平均梯度，区域窗口大小为m×n；p(i，j)，q(i，j)为自适应加权系数，为融合后的低频系数。

进一步地，所述步骤4中通过拉普拉斯金字塔逆变换的重建过程得到融合图像。

本发明提出一种基于多方向性拉普拉斯金字塔的可见光图像与红外图像融合方法，针对传统的拉普拉斯金字塔融合方法不能够有效的反映出融合图像的边缘信息和对比度较差的问题。本发明对拉普拉斯金字塔融合算法进行改进，提出了一种具有多方向联合平均的拉普拉斯金字塔算法。通过实验结果验证，融合效果有改进，能够有效地反映出融合图像的边缘信息，具有丰富的背景细节特征。

附图说明

图1是本发明的融合算法技术路线示意图；

具体实施方式

下面结合附图和实施例对本发明进一步说明，本发明包括但不仅限于下述实施例。

针对传统的拉普拉斯金字塔融合方法不能够有效的反映出融合图像的边缘信息和对比度较差的问题。本发明对拉普拉斯金字塔融合算法进行改进，提出了一种具有多方向联合平均的拉普拉斯金字塔算法，融合效果有改进，能够有效地反映出融合图像的边缘信息，具有丰富的背景细节特征。本发明主要包括以下步骤：

a：使用拉普拉斯金字塔把输入图像进行多尺度分解得到二者的高低频子带系数；

b：对于高频系数，采用提取多方向的特征图进行联合平均融合的规则，从而得到融合图像的高频子带系数；

c：低频系数，采用区域平均梯度自适应加权的融合规则，从而得到融合图像的低频子带系数；

d：通过拉普拉斯金字塔逆变换的重建过程得到融合图像。

步骤a中输入图像分别为对同一个场景获取的可见光和红外图像，可见光图像中能够有效地呈现出目标场景的背景信息，红外图像具有突出目标信息的优点，并且图像大小相同，将输入图像进行拉普拉斯金字塔分解，将图像分解为高频子带信息和低频子带信息，图像的拉普拉斯金字塔构成如公式(1)所示：

其中gl-1表示源图像的第l层高斯金字塔图像，是通过高斯金字塔l层进行上采样并高斯卷积得到的图像，ll表示拉普拉斯金字塔的第l层图像。

步骤b对于高频系数，提取多方向的特征图进行联合平均融合的规则技术，在一定程度上对融合后的图像的高频系数进行了边缘信息增强，具有丰富的背景细节特征。实现多方向的特征图进行联合平均融合进一步包括：

b1：源图像经过拉普拉斯金字塔变换后的高频子带信息卷积水平方向仿射矩阵，垂直方向仿射矩阵，增强对角线矩阵来获得高频分量中取带有水平、垂直和对角线方向信息的图像，如公式(2)所示：

其中：为水平方向信息，为垂直方向信息，及为主副对角线方向上信息，为水平方向仿射矩阵，为垂直方向仿射矩阵以及为增强主副对角线矩阵。

b2：得到红外和可见光图像高频子带分量多方向信息后，每一层高频子带分量将有四个方向上的信息。以l层为例，对红外和可见光图像l层分解得到的四个方向上的信息分别对应进行联合平均，得到融合图像l层的高频子带的边界信息图像，将边界信息图像与红外和可见光图像l层图像进行平均，得到最终的融合图像l层的高频子带图像，如公式(3)所示：

其中：红外和可见光图像水平方向联合平均图像；红外和可见光图像垂直方向联合平均图像；及红外和可见光图像主副对角线方向联合平均图像；l′l红外图像的高频信息图像；ll可见光图像高频信息图像，1≤l＜n。

步骤c：中对于低频系数，采用区域平均梯度自适应加权的融合规则；获得区域平均梯度特征如公式(4)所示，对得到的区域平均梯度自适应加权，实现方法如公式(5)所示：

其中：区域窗口大小为m×n，本次实施采取3×3的区域窗口。

其中：为可见光、红外图像低频系数图像的区域平均梯度，区域窗口大小为m×n；p(i，j)，q(i，j)为自适应加权系数，为融合后的低频系数。

步骤d：通过拉普拉斯金字塔逆变换的重建过程得到融合图像，拉普拉斯金字塔的重构是将融合后的拉普拉斯金字塔的每一层的图像进行内插放大，经过若干次放大后变为大小与原始输入图像相同的图像，然后进行像素级的加法运算，得以重构。

本发明所讲述的方法与其他方法相比，含有更加丰富的细节，更高的清晰度并且具有令人满意的运行速度。本专利的实验采用两组经典图像作为源图像，结果测量是利用传统的图像质量评价标准：信息熵(informationentropy，h)、峰值信噪比(peaksignaltonoiseratio，psnr)、标准差(standarddeviation，std)、平均梯度(averagegradient，ag)、结构相似性(structuralsimilarity，ssim)。与基于拉普拉斯变换的区域互信息量、匹配度以及区域能量的图像融合算法(简称为：lp_a)、基于拉普拉斯变换像素的融合算法即高频采用取最大值方法，低频采用取平均值方法(简称为：lp_b)、基于离散小波变换(简称为：dwt)、nsct变换及低通金字塔变换(rp)进行比较。实验结果如表1、表2所示，本发明提出的算法在各项指标上都有良好的表现，表明融合图像清晰度及与源图像相似性较高，该算法能够有效地突出红外图像的目标信息和保留可见光图像的边缘细节。

表1第一组源图像：

表2第二组源图像：