一种基于显著目标的红外与可见光图像融合方法
【技术领域】
[0001] 本发明涉及一种多源图像融合技术领域，特别是一种基于显著目标的红外与可见 光图像多层次融合方法。
【背景技术】
[0002] 图像融合（Image Fusion)是指将多分辨率或多介质图像数据通过空间配准和图 像信息互补产生新的图像的综合分析技术。与单一传感器图像相比，融合图像能最大限度 的利用各源图像的信息，提高分辨率和清晰度，增加图像目标感知的灵敏度、感知距离和精 度、抗干扰能力等，从而减少目标感知的不完全性和不确定性，提高对目标四部的准确率和 场景解释能力。图像融合通用的流程如图所示。首先，对多幅源图像进行一些预处理操作， 如滤除噪声等；其次，对图像进行时空配准，即将它们映射到同一个时空坐标系中，以确保 它们时空位置的一致性；再次，对配准后的图像采用相应的方法进行处理；最后，根据一定 的融合规则进行融合处理得到融合图像。
[0003] 光电和红外探测传感器是预警机和无人机等战术侦察平台最为常见的两种载荷。 可见光成像在波段〇. 4~I. 0 μ m，其特点是分辨率高，隐蔽性好，可获得丰富的对比度、颜 色和形状信息，但受环境照度影响，不能夜间工作，无伪装识别能力。红外成像在波段8~ 14 μ m(长红外波段）和3~5 μ m(中红外波段），其特点是具有一定穿透烟、雾、雪等的能 力，隐蔽性好，成像分辨率较高，探测距离一般在几千米到十几千米之间，但受气候影响，作 用距离较远时图像不够稳定。当目标本身各部位温度变化较大或者背景热辐射特性较弱 时，红外图像包含的目标或背景的细节信息较少，而可见光图像则可包含丰富的细节信息； 然而，在光线较暗或有烟、云、雾坏境中，可见光图像质量较差，红外图像中的目标却依然清 晰可辨。将可见光图像与红外图像进行融合处理，可以克服环境噪声对目标探测的影响，全 面掌握目标的形状和细节特征，而且不受环境光照影响，能够全天候使用，对提高侦察平台 探测和图像情报分析研判系统性能具有重要意义。
[0004] 美国防部在不同时期制定的关键战术计划中，有相当一部分的任务涉及到多源图 像融合方面。在海湾战争中发挥良好作战性能的"LANTIAN"吊舱就是一种可将前视红外、 激光测距、可见光摄像机等多种传感器信息叠加显示的图像融合系统。美国TI公司于1995 年从美国夜视和电子传感器管理局（NVESD)获得了将红外与三代微光图像融合设计集成 到先进直升机（AHP)传感器系统的合同，信号处理功能由TMS320C30DSP完成。2003年，美 国国防部提出"军事转型中的横向融合（Transformational about Horizontal Fusion)" 白皮书，注重横向融合尤其是数据融合，目的是加强系统的横向互通能力特别是数据融合 能力。2006年，美国防部办公厅（OSD)发布了要在未来几年内进行验证的年度技术项目列 表，以推动这些领域的快速发展。
[0005] 国内在多源图像融合的工作集中于算法研究，包括利用DT-CWT变换、小波多尺度 采样、区域分割等方法研究多源图像融合。已有的系统技术大多局限于对同一场景的不同 时相或其不同颜色通道的图像像素的简单叠加或取舍运算。
【发明内容】
[0006] 发明目的：本发明所要解决的技术问题是针对现有红外图像与可见光图像融合方 法中存在的不足，提供一种基于显著目标的红外与可见光图像融合方法。
[0007] 为了解决上述技术问题，本发明公开了一种基于显著目标的红外与可见光图像融 合方法，包括以下步骤：
[0008] 步骤1，对给定同一场景包含若干（一个以上）目标的红外图像和可见光图像，分 别建立红外和可见光图像的多尺度空间表示；
[0009] 步骤2,在图像非线性尺度空间表示基础上，利用视觉注意计算模型计算红外和可 见光图像的视觉注意显著图。
[0010] 步骤3,在红外和可见光图像视觉注意显著图基础上，利用返回抑制机制分别选择 出红外和可见光图像中的显著目标区域，并计算整个场景中的所有显著目标区域。
[0011] 步骤4,对红外图像和可见光图像进行配准操作，对显著目标区域采用像素级融合 算法进行融合处理，对非显著目标区域，采用特征级融合算法进行融合处理。
[0012] 步骤5,综合显著目标区域融合结果和非显著区域融合结果，生成全场景的红外图 像和可见光图像融合图像。
[0013] 本发明步骤1包括利用非线性尺度空间的方法建立红外和可见光图像的多尺度 空间表示；红外图像和可见光图像的多尺度空间表示分别为 ：
[0014] L: I (X1, y) Xtf I (X y1;t )，其中，其中L为尺度空间变换，X1表示红外图像 I中的横坐标，yi表示红外图像I中的纵坐标，t i表示红外图像多尺度空间的尺度因子。 1^(&，72)父心一￥(12,7 2邝2)，其中，其中1^为尺度空间变换，&表示可见光图像￥中的横 坐标，7 2表示可见光图像V中的纵坐标，t2表示可见光图像多尺度空间的尺度因子。
[0015] 对于红外图像：I (X1, y1;t D = I (X1, y1;0)*g(x y1;t D，红外图像尺度函数
【主权项】
1. 一种基于显著目标的红外与可见光图像融合方法，其特征在于，包括以下步骤： 步骤1，对给定同一场景包含若干目标的红外图像和可见光图像，分别建立红外图像和 可见光图像的多尺度空间表示； 步骤2,在图像非线性尺度空间表示基础上，建立红外图像和可见光图像的视觉注意计 算模型，计算红外图像和可见光图像的视觉注意显著图； 步骤3,在红外图像和可见光图像视觉注意显著图基础上，利用返回抑制机制分别选择 出红外图像和可见光图像中的显著目标区域，并计算整个场景中的所有显著目标区域； 步骤4,对红外图像和可见光图像进行配准操作，对显著目标区域采用像素级融合算法 进行融合处理，对非显著目标区域，采用特征级融合算法进行融合处理； 步骤5,综合显著目标区域融合结果和非显著区域融合结果，生成全场景的红外图像和 可见光图像融合图像。
2. 根据权利要求1所述的一种基于显著目标的红外与可见光图像融合方法，其特征在 于，步骤1中，红外图像和可见光图像的多尺度空间表示分别为： L:I(Xpy) I(xy1;t)，其中，其中L为尺度空间变换，Xi表示红外图像I中的 横坐标，yi表示红外图像I中的纵坐标，ti表示红外图像多尺度空间的尺度因子；