一种基于目标预提取的无人机红外与可见光图像融合方法与流程

本发明属于图像处理、计算机视觉领域，涉及一种无人机航拍视频中的红外与可见光图像融合的基于目标预提取的无人机红外与可见光图像融合方法。

技术背景

近年来，无人机作为一支新兴作战力量，在信息化作战条件下发挥了不可替代的作用，大力发展无人机装备技术，对于提升部队作战能力具有重大的战略意义。伴随传感器普遍使用以及传感器成像技术的日益增强，在无人机上搭载成像传感器，使得无人机在军事、民用领域有着突破性的进展应用。由于光照、气候等环境的条件限制，单源传感器拍摄的图像会受到一定的影响导致目标的误判，现在已经无法满足实际应用需求，多源传感器获取的图像融合技术能够获取更全面、更可靠的图像数据。无人机航拍图像下的多源图像融合技术能够把红外与可见光图像的信息充分结合起来，使得融合图像结果更精确、更丰富、更理想，能够为无人机目标检测、目标跟踪、遥感探测、地质勘探和毁伤评估等技术提供强大支持。高效准确的融合算法，可以有效地丰富图像信息，增加图像的清晰度、对比度和目标可识别性，快速提高作战信息提取能力和系统侦察能力。

目前在以视觉处理为基础的异源图像融合算法的主要步骤有：图像预处理、图像配准、信息处理、图像融合以及识别决策。依据融合在处理过程中所处的阶段，按信息抽象的程度，从目标识别层上，异源图像融合一般可分为三个层次：像素级图像融合、特征级图像融合和决策级图像融合。像素级的融合是指对同一像素级灰度的同个场景的异源图像进行融合处理，融合之前必须对待融合图像实施预处理和图像配准，以此提高融合的可靠性和精度；特征级融合是指先对原始图像进行局部特征提取，然后通过对局部特征进行融合处理获得复合特征，特征通常为图像的纹理、边缘、相似区域等。决策级图像融合需要先对各个源图像进行预处理、特征提取、识别或判决。在每个传感器完成目标提取与分类之后，最优决策通过综合各个传感器的决策可信度来确定。特征级的融合并没有融合图像信息的全部，融合时往往是忽略了图像全局信息，融合不充分；决策级图像融合是建立决策函数需要的样本进行长时间推理运算，需要耗费大量时间和占用大量内存，而像素级融合技术在以上三个融合层次中应用较为广泛，虽然所需处理的信息量大，对传感器性能要求较高，但融合准确性上优于特征级和决策级的融合。

红外图像与可见光图像是无人机机载传感器上拍摄的两类常见异源图像，所成图像的视角和视场不尽相同，其图像信息具有无序性和分布多样性的特点，包含有大量冗余信息，真正的侦察目标区域却只占少数，而且目标所占像素数不多，占整个图像比例较小，将整幅图像参与到融合处理中势必会加大算法计算量，造成融合系统运行效率低和侦察目标区域融合后的特征或对比度不明显等现象，不适用于实际侦察任务中的准确性要求。

综上所述，在无人机视频图像处理系统中，红外图像与可见光图像的融合技术目前面临以下问题：

1)无人机航拍侦察中，红外图像传感器和可见光图像传感器所成图像的视角或视场不尽相同，直接进行融合没有意义；

2)无人机航拍视频图像包含有大量冗余信息，真正的侦察目标区域却只占少数，而且目标所占像素数不多，占整个图像比例较小，将整幅图像参与到融合处理中势必会加大算法计算量；

3)将整幅图像参与到融合处理中，融合算法没有目标性和针对性，融合的图像中的无人机重点侦察目标区域没有太高的区分度和可识别性；

4)不同层次的融合方法对图像数据的侧重不同，融合的策略也不相同，融合结果可能得不到理想的效果。

因此，若是在红外图像与可见光图像的融合之前，采用有效的预提取算法对侦察目标区域进行预提取，将预提取的可能包含侦察目标的区域代替整幅图像作为融合算法的输入，可以大大提高算法准确性，减小算法运行时间。

技术实现要素：

本发明的技术解决问题：基于无人机视频图像特点和国内现有技术在无人机红外与可见光图像融合方面的缺陷，统筹算法性能和适应性，提出了一种基于目标预提取的无人机红外与可见光图像融合技术，解决了无人机视频处理系统中图像融合的诸多问题。主要包括：

1)无人机航拍侦察中，红外图像传感器和可见光图像传感器所成图像的视角或视场不相同的问题。

2)无人机红外图像与可见光图像参与图像融合时，进一步减少融合算法计算量的问题。

3)对无人机红外图像与可见光图像进行目标预提取，对预提取的可能包含侦察目标的区域进行针对性地融合问题。

4)检测过程的准确性问题。

本发明的技术解决方案：一种基于目标预提取的无人机红外与可见光图像融合方法，该方法具体包括以下步骤：

s1.对红外图像和可见光图像进行配准；

s2.对配准后的无人机红外图像和可见光图像进行目标的预提取；

s3.采用区域分块融合算法对配准后的红外图像和可见光图像的预提取区域的进行图像融合。

进一步，所述s1的图像梯度互信息的配准方法采用的方法为图像梯度互信息的配准算法进行处理，得到红外配准图像和可见光配准图像。

进一步，所述s2的目标预提取步骤为：

s2.1分别对红外配准图像和可见光配准图像进行傅里叶变换的得到频谱图；

s2.2对红外配准图像频谱图幅频响应进行均值平滑，将平滑后的幅频响应与原始幅频响应作差，得到红外图像频谱残留；

s2.3对可见光配准图像频谱图幅频响应进行均值平滑，将平滑后的幅频响应与原始幅频响应作差，得到可见光图像频谱残留；

s2.4对频谱残留作逆傅里叶变换得到显著图，提取红外配准图像和可见光配准图像中包含侦察目标的区域作为预提取区域。

进一步，所述步骤2的具体方法为：

首先：设输入的红外或可见光图像为i，令fft和fft^-1分别为图像的快速傅里叶变换和快速逆傅里叶变换，

其次，将原图变换为固定尺寸，有

a(f)＝amp{fft(i)}，

p(f)＝pha{fft(i)}，

其中，a(f)为i幅频响应，p(f)为i相频响应。然后利用3*3的均值滤波器h3(f)与i做卷积，以模拟平均的幅频响应，

频谱残留r(f)可由下式计算，

r(f)＝log(a(f))-h3(f)*log(a(f))，

最后对r(f)进行逆傅里叶变换求得空间域的显著图，再利用标准差为8的高斯低通滤波器g8(x,y)对显著图进行平滑得到最后的显著图s，

s＝g8(x,y)*fft^-1[exp(r(f)+p(f))]，

显著图s为单通道灰度图，灰度图中的显著区域具有灰度不均、零散分布的特点，再对灰度图进行阈值分割；设s(x,y)为显著图s中某像素点的灰度值，e(s)是显著图s的平均灰度值，o为阈值分割后的显著图，则

threshod＝e(s)*3，

对显著图o进行形态学和连通域分析后，求取连通域的最小外接矩形，即完成对显著图o中目标区域的预提取。

进一步，所述s3的具体步骤为：

s3.1将提取得到的红外配准图像目标区域与对应可见光配准图像区域均匀分割成n块；同样，将提取得到的可见光图像目标区域与对应红外配准图像区域均匀分割成n块。n的取值与目标区域尺寸有关，最低不小于25；

s3.2分别计算红外配准图像预提取区域的显著值及其对应的可见光图像区域的显著值作为融合权重，同样，分别计算可见光配准图像预提取区域的显著值及其对应的红外图像区域的显著值作为融合权重；

s3.3对分割子区域进行线性加权得到融合预提取的侦察目标区域的融合图像。

进一步，所述步骤3.2的具体方法为：设红外配准图像某个侦察目标区域的的某个子块显著值为featureir,可见光配准图像对应的区域为featurergb，则红外配准图像的该子块的融合权重weightir和可见光图像对应区域的融合权重weightrgb如下式所示，

weightir＝featureir/(featureir+featurergb)(13)，

weightrgb＝featurergb/(featureir+featurergb)。

进一步，所述步骤3.3的具体方法为：

设s(x,y)ir为红外配准图像一个侦察目标区域，s(x,y)rgb为可见光图像对应区域，s(x,y)fus为红融合后图像，融合方式采用线性加权的方式进行，如下式所示，

s(x,y)fusion＝weightir*s(x,y)ir+weightrgb*s(x,y)rgb。

本发明与现有技术相比具有如下优点：

1)本发明引入基于梯度互信息的异源图像配准方法，有效地解决了红外图像和可见光图像因视角或视场不相同无法进行融合的问题。

2)本发明引入预提取算法对红外图像和可见光图像进行侦察目标预提取，避免了对整幅图像的融合运算，降低了算法计算量。

3)本发明引入分块区域融合算法，在不对图像进行分解变换的前提下，将提取到的目标区域进行均匀分割，以预提取区域的显著性为基础分别计算各分割子区域的融合权重的方式更具科学性，融合结果更具真实性。

4)本发明对无人机红外图像与可见光图像进行目标预提取，对预提取的可能包含侦察目标的区域进行针对性地融合，有效提高了可能包含侦察目标的区域的对比度和可识别性。

附图说明

图1为本发明实施例1基于目标预提取的无人机红外与可见光图像融合技术总体流程图；

图2为本发明实施例1基于图像梯度互信息的图像配准算法流程图；

图3为本发明实施例1基于频谱残留的无人机红外与可见光图像侦察目标区域预提取算法流程图；

图4为本发明实施例1基于分块区域的无人机红外与可见光图像融合算法流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细描述。应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。

相反，本发明涵盖任何由权利要求定义的在本发明的精髓和范围上做的替代、修改、等效方法以及方案。进一步，为了使公众对本发明有更好的了解，在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。

如图1所示，本发明一种基于目标预提取的无人机红外与可见光图像融合方法，该方法具体包括以下步骤：

s1.对红外图像和可见光图像进行配准；

s2.对配准后的无人机红外图像和可见光图像进行目标的预提取；

s3.采用区域分块融合算法对配准后的红外图像和可见光图像的预提取区域的进行图像融合。

所述s1的图像梯度互信息的配准方法采用的方法为图像梯度互信息的配准算法进行处理，得到红外配准图像和可见光配准图像。

所述s2的目标预提取步骤为：

s2.1分别对红外配准图像和可见光配准图像进行傅里叶变换的得到频谱图；

s2.1分别对红外配准图像和可见光配准图像进行傅里叶变换的得到频谱图；

s2.2对红外配准图像频谱图幅频响应进行均值平滑，将平滑后的幅频响应与原始幅频响应作差，得到红外图像频谱残留；

s2.3对可见光配准图像频谱图幅频响应进行均值平滑，将平滑后的幅频响应与原始幅频响应作差，得到可见光图像频谱残留；

s2.4对频谱残留作逆傅里叶变换得到显著图，提取红外配准图像和可见光配准图像中包含侦察目标的区域作为预提取区域。

上述步骤2具体方法为：

首先，设输入的红外图像或可见光图像为i，令fft和fft^-1分别为图像的快速傅里叶变换和快速逆傅里叶变换，

其次，将原图变换为固定尺寸，有

a(f)＝amp{fft(i)}，

p(f)＝pha{fft(i)}，

其中，a(f)为i幅频响应，p(f)为i相频响应。

然后采用均值滤波器h(x,y)与输入图像做卷积，以产生幅频响应的平均值

h(x,y)为均值滤波器，与输入的单幅图像做卷积，可以模拟多幅图像作和后取平均值的效果，实际在图像取平均过程中，采用尺寸为3*3的卷积核h3(x,y)代替。

频谱残留r(f)可由下式计算，

r(f)＝log(a(f))-h3(f)*log(a(f))，

最后对r(f)进行逆傅里叶变换求得空间域的显著图，再利用高斯低通滤波器g(x,y)对显著图进行平滑得到最后的显著图s，

s＝g(x,y)*fft^-1[exp(r(f)+p(f))]，

g(x,y)为高斯低通滤波器，实际在图像平滑过程中，采用尺寸为3*3、标准差δ为8的卷积核代替；

显著图s为单通道灰度图，灰度图中的显著区域具有灰度不均、零散分布的特点，再对灰度图进行阈值分割；设s(x,y)为显著图s中某像素点的灰度值，e(s)是显著图s的平均灰度值，o为阈值分割后的显著图，则

threshod＝e(s)*3，

其中，threshold为分割阈值，对显著图o进行形态学和连通域分析后，求取连通域的最小外接矩形，即完成对显著图o中目标区域的预提取。

所述s3的具体步骤为：

s3.1将提取得到的红外配准图像目标区域与对应可见光配准图像区域均匀分割成n块；同样，将提取得到的可见光图像目标区域与对应红外配准图像区域均匀分割成n块。n的取值与目标区域尺寸有关，最低不小于25；

s3.2分别计算红外配准图像预提取区域的显著值及其对应的可见光图像区域的显著值作为融合权重，同样，分别计算可见光配准图像预提取区域的显著值及其对应的红外图像区域的显著值作为融合权重；

s3.3对分割子区域进行线性加权得到融合预提取的侦察目标区域的融合图像。

所述步骤3.2的具体方法为：设红外配准图像某个侦察目标区域的的某个子块显著值为featureir,可见光配准图像对应的区域为featurergb，则红外配准图像的该子块的融合权重weightir和可见光图像对应区域的融合权重weightrgb，如下式所示，

weightir＝featureir/(featureir+featurergb)，

weightrgb＝featurergb/(featureir+featurergb)。

所述步骤3.3的具体方法为：

设s(x,y)ir为红外配准图像一个侦察目标区域，s(x,y)rgb为可见光图像对应区域，s(x,y)fus为红外融合后图像，融合方式采用线性加权的方式进行，如下式所示，

s(x,y)fusion＝weightir*s(x,y)ir+weightrgb*s(x,y)rgb，

其中，weightir为红外配准图像的该子块的融合权重，weightrgb为可见光图像对应区域的融合权重，s(x,y)fus为红外融合后图像；

一种实现上述的基于目标预提取的无人机红外与可见光图像融合方法的计算机程序。

一种实现上述的基于目标预提取的无人机红外与可见光图像融合方法的信息处理终端。

一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行上述的基于目标预提取的无人机红外与可见光图像融合方法。

实施例：

本发明采用一种基于目标预提取的无人机红外与可见光图像融合技术来完成无人机红外与可见光图像的图像融合。首先，采用基于图像梯度互信息的配准算法对红外图像和可见光图像进行配准；然后，采用基于频谱残留的侦察目标预提取算法对配准后的无人机红外图像和可见光图像进行侦察目标的预提取；最后，采用区域分块融合算法对配准后的红外图像和可见光图像的预提取区域的进行图像融合。算法总体流程如图1所示。

算法可归纳为以下步骤：

1)对获取的红外图像与可见光图像进行图像配准，得到红外配准图像和可见光配准图像；

2)分别对红外配准图像和可见光配准图像进行傅里叶变换的得到频谱图；

3)对红外配准图像频谱图幅频响应进行均值平滑，将平滑后的幅频响应与原始幅频响应作差，得到红外图像频谱残留。对可见光配准图像频谱图幅频响应进行均值平滑，将平滑后的幅频响应与原始幅频响应作差，得到可见光图像频谱残留；

4)对频谱残留作逆傅里叶变换得到显著图，提取红外配准图像和可见光配准图像可能包含侦察目标的区域作为预提取区域；

5)分别计算红外配准图像预提取区域的显著值及其对应的可见光图像区域的显著值作为融合权重，同样，分别计算可见光配准图像预提取区域的显著值及其对应的红外图像区域的显著值作为融合权重；

6)将提取得到的红外配准图像目标区域与对应可见光配准图像区域均匀分割成n块；同样，将提取得到的可见光图像目标区域与对应红外配准图像区域均匀分割成n块；

7)对分割子区域进行线性加权得到只融合预提取的侦察目标区域的融合图像。

下面结合流程图对算法实施过程中涉及的关键技术进行详细说明。

梯度互信息模型

互信息概念是数学信息论中的理论知识，一般用来衡量两个随机变量或矢量间的相关性大小。对于两幅图像而言，互信息描述的是一幅图像中包含另一幅图像信息的多少，图像的信息用信息熵来表示。以边缘熵为例，对于给定的两幅图像a和b，h(a)和h(b)表示图像a和图像b的边缘熵，h(a,b)表示图像之间的联合熵。两幅图像的互信息i(a,b)表示为

i(a,b)＝h(a)+h(b)-h(a,b)，

有上式可知，图像的边缘熵、联合熵以及互信息密切相关，其互信息值为两幅图像的边缘熵的和减去两幅图像的联合熵。在多传感器图像配准中，图像来自不同的传感器，两幅图像像素对的分布比同一传感器的两幅图像像素对的分布要分散，配准过程中联合熵不稳定，互信息会产生多个极大值甚至在误配准位置达到最大值，梯度互信息综合利用图像梯度信息和异源图像互信息各自的优点，结合了图像灰度信息和空间梯度信息，可以有效降低局部极值出现的概率，消除互信息函数多局部极值的问题，提高图像配准的精确度和鲁棒性。图像点的梯度信息由梯度向量和梯度幅值组成，对于参考图像中的点a和待校准图像的点b，a、b处的梯度向量，它们之间的夹角表示为如下公式.

其中δa是参考图像点a的梯度向量，δb是待校准图像点b的梯度向量，|δa|、|δb|分别是相应梯度幅值。梯度向量由图像各点在x，y方向上的偏导数组成，通过两个方向的掩模单独对平滑后的图像做卷积完成。这里采用以高斯核σ＝0.5，在x,y方向的高斯二维掩模与图像做卷积来计算某点在x,y方向上的偏导数。梯度向量表示图像在某点灰度变化率最大的方向，所以对于同一场景的两幅图像，理论上图像中配准区域位于边缘的图像点的梯度是相同或相反的。为了更好的评价图像匹配程度，定义评价函数为

w(a)＝(cos(2a)+1)/2，

根据评价函数可知，对应像素点的梯度方向的夹角趋近于0°或180°，评价函数接近于1，进一步得到参考图像和待校准图像间的梯度信息函数为，

当两幅图像在空间位置上达到对齐时，它们之间的梯度信息达到极大值，进

一步结合归一化互信息，确立最终的梯度互信息函数为

gmi(a,b)＝g(a,b)*nmi(a,b)，

将梯度互信息看做配准的相似性评价函数，当梯度互信息达到最大值时，可认为两幅图像达到最佳配准。

基于图像梯度互信息的图像配准过程如图2所示。

1)选择可见光图像作为参考图像，红外图像作为待校准图像，确定图像的空间变换模型，此处以仿射变换为变换模型；

2)设置初始搜索点(初始变换参数)，点的维数是初始变换参数的个数，利用初始参数求取空间变换模型将红外图像进行空间几何变换；

3)对变换后的图像进行b样条非刚性插值，并计算可见光图像和插值后红外图像的梯度互信息大小，看是否获得最大梯度互信息值，如果没有则就进入下一步骤进行参数优化；

4)选用均匀粒子群搜索优化算法，利用设置的初始搜索点，再设置一个初始搜索方向，进行搜索优化，求取使得互信息达到最大时的最佳配准参数；

5)使用求取的最佳配准参数将红外图像进行最后的仿射变换；

6)对变换后的红外图像再进行最后一次b样条非刚性插值输出配准后的图像。

频谱残留模型

自然图像具有统计特性变换不变性，大多数自然图像在幅度谱上遵循1/f的原则，即某频率的幅频响应与该频率的倒数近似成正比，如下式所示：

e{a(f)}∞1/f，

其中e{a(f)}表示傅里叶频谱的平均幅频响应，f表示某频率。对于公式(6)，大量实验表明取对数后的幅频响应与频率f近似成线性关系，但曲线并不是平滑的，对数幅频响应随频率的增加会有小幅度的异常尖峰出现，这些变化的异常尖峰代表图像的显著信息，平滑部分代表图像的冗余信息。显著信息反映了图像中视觉较为显著的部分，多为边缘和纹理信息较为丰富的区域，而这些区域极有可能是包含目标的区域；冗余信息多为图像的背景，视觉效果不显著，像素分布也较为均匀。由此得出，抑制图像冗余的背景信息，保留显著的目标信息，可以对可能包含目标的区域进行有效地提取。

当用多张图像取平均后，其对数幅频响应与频率关系曲线变得平滑，这些异常尖峰被消除。由此得出，将单幅图像的幅频响应与多张图像取平均后的幅频响应做差可以有效地抑制冗余信息，保留显著信息。做差后的差值叫做频谱残留，它代表图像中的显著信息，将频谱残留进行逆傅里叶变换得到的区域即为图像中可能包含目标的区域。

本发明假设输入图像为i，令fft和fft^-1分别为图像的快速傅里叶变换和快速逆傅里叶变换。为了便于计算，首先将原图变换为64*64的固定尺寸，有

a(f)＝amp{fft(i)}，

p(f)＝pha{fft(i)}(8)

其中，a(f)为i幅频响应，p(f)为i相频响应。然后采用均值滤波器h(x,y)与输入图像做卷积，以产生幅频响应的平均值。

h(x,y)为均值滤波器，与输入的单幅图像做卷积，可以模拟多幅图像作和后取平均值的效果，实际在图像取平均过程中，采用尺寸为3*3的卷积核h3(x,y)代替。

最后频谱残留r(f)可由下式计算，

r(f)＝log(a(f))-h3(f)*log(a(f))，

最后对r(f)进行逆傅里叶变换求得空间域的显著图，再利用高斯低通滤波器g(x,y)对显著图进行平滑得到最后的显著图s，

s＝g(x,y)*fft^-1[exp(r(f)+p(f))]，

g(x,y)为高斯低通滤波器，实际在图像平滑过程中，采用尺寸为3*3、标准差δ为8的卷积核代替；

频谱残留显著图s为单通道灰度图，灰度图中的显著区域具有灰度不均、零散分布的特点，需要对灰度图进行阈值分割。设s(x,y)为显著图s中某像素点的灰度值，e(s)是频域显著图s的平均灰度值，o为阈值分割后的显著图，则

threshod＝e(s)*3，

对显著图o进行形态学和连通域分析后，求取连通域的最小外接矩形，即完成对显著图o中目标区域的预提取，算法总体流程如图3所示。

区域分块融合模型

区域分块融合是将预提取的侦察目标区域均匀分布成若干个子块，通过计算红外配准图像侦察目标区域与可见光配准图像对应区域的各子块融合权重，进而对红外图像侦察目标区域与可见光图像对应区域进行融合。同样，也可计算可见光配准图像侦察目标区域与红外配准图像对应区域的各子块融合权重来完成对可见光配准图像侦察目标区域与红外配准图像对应区域的融合。

在分别对红外配准图像和可见光配准图像进行基于频谱残留模型的侦察目标预提取后，得到红外配准图像的显著图和可见光配准图像的显著图，显著图为图像显著值的直观体现。设红外配准图像个侦察目标区域的的某个子块显著值为featureir,可见光配准图像对应的区域为featurergb，则红外配准图像的该子块的融合权重weightir和可见光图像对应区域的融合权重weightrgb如下式所示，

weightir＝featureir/(featureir+featurergb)，

weightrgb＝featurergb/(featureir+featurergb)，

设s(x,y)ir为红外配准图像一个侦察目标区域，s(x,y)rgb为可见光图像对应区域，s(x,y)fus为红融合后图像，融合方式采用线性加权的方式进行，如下式所示，

s(x,y)fusion＝weightir*s(x,y)ir+weightrgb*s(x,y)rgb，

算法总体流程如图4所示。

本发明与现有技术相比具有如下优点：

1)本发明引入基于梯度互信息的异源图像配准方法，有效地解决了红外图像和可见光图像因视角或视场不相同无法进行融合的问题。

2)本发明引入预提取算法对红外图像和可见光图像进行侦察目标预提取，避免了对整幅图像的融合运算，降低了算法计算量。

3)本发明引入分块区域融合算法，在不对图像进行分解变换的前提下，将提取到的目标区域进行均匀分割，以预提取区域的显著性为基础分别计算各分割子区域的融合权重的方式更具科学性，融合结果更具真实性。

4)本发明对无人机红外图像与可见光图像进行目标预提取，对预提取的可能包含侦察目标的区域进行针对性地融合，有效提高了可能包含侦察目标的区域的对比度和可识别性。