一种基于小波变换的ISAR与红外图像像素级融合方法与流程

一种基于小波变换的isar与红外图像像素级融合方法
技术领域
1.本发明涉及一种isar与红外图像融合方法，属于图像融合技术领域。


背景技术：

2.多传感器图像融合是综合来自不同传感器的多源图像信息，通过对多幅图像信息的提取与综合，从而获得对同一场景或目标的更为准确、全面、可靠的图像描述。针对海上舰艇平台空中目标检测与识别，逆合成孔径雷达(isar)成像和红外成像是两种比较典型的传感器图像源。isar成像是静止的雷达利用运动目标产生的相对运动形成的合成孔径来成像，雷达多固定于地面或装载于舰船上，目标多为非合作目标，是获取空天目标高分辨率图像的有效手段，但是isar难以观测获取目标的完备结构；红外图像则对热目标较为敏感，但是获得的图像存在分辨率较低的问题。
3.像素级图像融合直接在采集到的原始图像上进行，在各种传感器原始数据未经特征提取与分类之前就进行数据的综合与分析，是最低层次上的融合。它获取的信息量最多，检测性能最好，应用范围也最广。像素级多传感器图像融合通过互补信息的有机集成，可以减少或抑制单一信息对被感知对象或环境的解释中可能存在的多义性、不完整性、不确定性和误差，最大限度地利用各种信息源提供的信息，从而大大提高在特征提取、分类、目标识别等方面的有效性。isar图像能够反映出目标本身与所处观测环境特征的区别，但无法根据isar图像局部结构特点对完备的目标结构进行全面呈现，而红外图像通过感受目标与背景向外辐射能量的差异来成像，可以获得目标较完整的结构信息。因此，将红外和isar图像进行像素级融合，能够相互取长补短发挥各自的优势，提高图像的质量，从而改善人们的视觉效果，增加图像中的信息量及可靠性，显现出目标更加全面的特性，为决策者提供更可靠、更准确的分析结果，对于提高目标检测和识别的精度具有重要的意义。
4.像素级图像融合比较有代表性的是90年代初，贾永红，王野乔，舒宁等人提出的基于his，pca等融合算法；2000年莆恬、倪国强等研究的在多重对比分析模式下的融合算法模型；近年来，运用卷积神经网络来进行图像融合的方法逐渐兴起。目前，大多数的研究人员在针对红外和可见光图像进行融合算法研究，对isar图像相关融合研究开展的比较少，对isar图像和红外图像融合研究主要集中在决策级融合和识别，对两类图像的像素级融合方法开展的研究很少，而且由于这两类图像特性差异较大，传统的异类图像融合方法无法直接应用。针对空天目标识别，亟需进行isar雷达成像与红外成像的图像融合方法研究，以进一步提高目标检测精度和识别精度。


技术实现要素：

5.为了克服现有技术的不足，本发明提供一种基于小波变换的isar与红外图像像素级融合方法，能够实现两类图像的高效、实时融合，得到的融合图像具有较高的清晰度，对空天目标有较好的表示能力，能够扩大目标的搜索视场，实现在远距离时具备提高目标检测和识别精度的能力，在近距离时能够提升目标关键部位(命中点)的定位精度。
6.本发明解决其技术问题所采用的技术方案包括以下步骤：
7.1)计算图像的信息熵，将信息熵大于设定阈值h1的isar图像作为初选isar图像，将信息熵大于设定阈值h2的红外图像时作为初选红外图像；计算初选isar图像与红外图像之间的相似度s，当s大于设定值时，获得的图像满足融合条件，进入步骤2)，若相似度不满足条件，则继续等待新的isar图像；
8.2)对isar图像进行图像预处理，补全飞机目标的轮廓；对红外图像进行二值化；对红外图像和isar图像在每个像素点上进行判断，大于设定阈值则补全，否则不予补全；
9.3)将isar图像旋转，使其与红外图像的主方向相同；分别取isar图像与红外图像的最大连通区域，此区域内像素为1的部分认为是目标区域，其他部分认为是背景区域；分别计算isar与红外图像的质心坐标；在isar与红外图像的最大连通区域内，分别求从质心出发至所有像素为1的点中最长的线段，将长度记为l
isar
和l
ir
，则缩放比例p＝l
isar
/l
ir
；将原isar图像旋转并缩放p倍，得到的图像ls主方向和目标尺度均与红外图像lr相同；
10.4)对isar图像ls用sym4小波基进行二维两层分解，得到七幅子图像a
isar
,b
isar1
,b
isar2
,b
isar3
,c
isar1
,c
isar2
,c
isar3
；对红外图像lr用sym4小波基进行二维两层分解，得到七幅子图像a
ir
,b
ir1
,b
ir2
,b
ir3
,c
ir1
,c
ir2
,c
ir3
；对每一组子图像分别加权融合，融合后的子图像i＝w*i
isar
+(1-w)i
ir
，其中，i
isar
，i
ir
分别表示isar和红外图像的子图像，w表示权重系数；对融合后的子图像进行重构，即可得到小波变换的融合结果。
11.所述的步骤1)中设定阈值h1和设定阈值h2的取值均为0.2。
12.所述的步骤2)将isar图像灰度化，采用闭运算的方法对其进行处理，选择不同类型和大小的结构元素，对闭运算得到的各幅二值图取均值。
13.所述的步骤2)分别选择80*80和100*100的方形、半径为50的圆形、边长为80的菱形进行处理。
14.所述的步骤2)设定阈值为0.5。
15.本发明的有益效果是：搭建了一套isar与红外图像的像素级融合框架，并针对这两类图像特性差异大的问题，设计了一种有效的预处理和配准方法，为有效融合提供了基础，最终基于小波变换，对两类图像进行像素级变换融合，使得融合后的图像信息取得了较好增益，为目标的后续检测与识别提供了有效信息。本发明可直接用于搭载isar传感器和红外传感器的作战平台对空天目标的高精度检测与识别，也可扩展到其他领域。
附图说明
16.图1是本发明的方法流程图。
具体实施方式
17.下面结合附图和实施例对本发明进一步说明，本发明包括但不仅限于下述实施例。
18.本发明采用的技术方案包括以下步骤：
19.1.对实时输入的isar图像与红外图像进行初选：计算各图像的信息量，若信息量满足各自的阈值，则通过初选进行下一步处理；若不满足，则继续采集图像，直到采集到满足条件的图像。
20.2.计算经过初选后的isar图像与红外图像之间的相似度。
21.3.若相似度满足一定门限，进行两幅图像的预处理；若不满足，则继续采集图像。
22.4.对预处理后的图像进行配准，使两张图像中的目标方向、大小保持一致。
23.5.基于小波变换，提取isar图像的目标信息与红外图像进行叠加进行图像的像素级融合，最终输出融合后的图像。
24.本发明按照以下步骤1)到步骤4)循环运行，如图1所示，直至实时图像输入结束。
25.步骤1)计算图像的信息熵，当isar图像的信息熵大于h1(参考值为0.2)时，红外图像的信息熵大于h2(参考值为0.2)时，分别获得初选图像，然后计算初选isar图像与红外图像之间的相似度s，当s大于一定值时，此时获得的图像满足融合条件，若相似度不满足条件，则继续等待新的isar图像。
26.步骤2)获得满足融合条件的isar图像和红外图像后，对isar图像进行图像预处理，以补全飞机目标的轮廓；对红外图像进行二值化。具体步骤如下：
27.步骤2.1)将isar图像灰度化，采用闭运算的方法对其进行处理，先膨胀再腐蚀，闭运算通常用来填充目标内细小孔洞，连接断开的邻接目标，平滑其边缘，使目标的外形尽量完整。
28.选择不同类型和大小的结构元素，分别为80*80和100*100的方形、半径为50的圆形、边长为80的菱形进行处理。对闭运算得到的四幅二值图取均值。
29.步骤2.2)对红外图像和步骤2.1处理后的isar图像，在每个像素点上进行判断，设定阈值为0.5，大于阈值则补全，否则不予补全，最终像素值如下：
[0030][0031]
步骤3)图像配准，具体步骤如下：
[0032]
将isar图像旋转使其与红外图像的主方向相同，取isar图像与红外图像的最大连通区域，此区域内像素为1的部分认为是目标区域，除此之外认为是背景区域。计算isar与红外图像的质心坐标。在isar与红外图像的最大连通区域内，求从上述计算出的图像质心出发至所有像素为1的点中最长的线段，分别将其长度记为l
isar
和l
ir
，则计算缩放比例如下：
[0033]
p＝l
isar
/l
ir
[0034]
将原isar图像旋转并缩放p倍，得到主方向和目标尺度均相同的两幅图像ls和lr。
[0035]
步骤4)基于小波变换进行像素级图像融合，并输出融合后图像，具体步骤如下：
[0036]
对isar图像ls用sym4小波基进行二维两层分解，得到七幅子图像a
isar
,b
isar1
,b
isar2
,b
isar3
,c
isar1
,c
isar2
,c
isar3
；再对红外图像lr用sym4小波基进行二维两层分解，同样得到七幅子图像a
ir
,b
ir1
,b
ir2
,b
ir3
,c
ir1
,c
ir2
,c
ir3
。对每一组子图像分别加权融合。
[0037]
i＝w*i
isar
+(1-w)i
ir
[0038]
其中，i表示融合后的子图像，i
isar
，i
ir
分别表示isar和红外图像的子图像，w表示权重系数，取值范围为0到1。
[0039]
对融合后的子图像进行重构，即可得到小波变换的融合结果，并对融合结果输出。