一种基于红外多波段图像自适应融合的目标识别方法与流程

1.本发明属于目标识别技术领域，尤其涉及一种基于红外多波段图像自适应融合的目标识别方法。


背景技术：

2.目标的红外图像反映了其在对应波段的红外特性，不同波段的图像包含了不同的目标特征信息，这些信息往往具有互补性，将不同来源的信息进行融合，利用不同模态图像的信息互补性使融合图像对场景的描述更加全面，为识别提供更加丰富的数据支撑，相较于单波段图像，使识别精度进一步提高。按照融合层次的不同，图像融合可分为像素级、特征级和决策级。典型的像素级融合依赖手工设计的方法将多幅图像组合为一幅图像，对场景和干扰的适应性较差；特征级融合则是将不同来源图像的特征进行融合，鲁棒性较好，但算法的运算量将大大增加，尤其是对于卷积神经网络结构的算法；决策级融合则是将基于不同来源图像得到的结果进行融合，需要设计额外的应对措施来面对不同的决策。除此以外，这种高水平的融合无法很好地建立不同类型图像之间的内部特征关系，并成倍增加资源数量和运行时间。


技术实现要素：

3.有鉴于此，本发明提出了一种基于红外多波段图像自适应融合的目标识别方法，由于目标在不同波段的图像中具有不同的特征信息，而这些信息往往具有互补性和合作性。因此本发明在识别时，将多波段信息进行融合，利用不同模态图像的信息互补性使融合图像对场景的描述更加全面，得到比仅使用单波段信息更加准确可靠的识别结果。特别适用于存在严重遮挡场景下的目标识别。
4.本发明公开的基于红外多波段图像自适应融合的目标识别方法，包括以下步骤：
5.获取相同场景的红外短波、中波、长波图像，保持所述红外短波、中波、长波图像之间的严格配准，并融合为一张多通道图像；
6.使用改进的faster rcnn网络进行目标识别训练，所述改进的faster rcnn网络在faster rcnn网络的骨架网络与区域建议网络之间增加特征融合模块，提高对于小尺度目标的检测精度；
7.将融合后的多通道图像图像输入所述改进的faster rcnn网络进行目标识别，输出目标识别结果。
8.进一步的，使用se-workbench仿真软件得到相同场景的红外短波、中波、长波图像。
9.进一步的，所述特征融合模块使用晚融合技术，使用concat方法将多个特征进行连接。
10.本发明的有益效果如下：
11.本发明针对远距离被动红外成像存在光照较差、观测视角不理想、目标尺寸较小、
清晰度较低、严重遮挡等现实问题，提出了基于红外多波段图像自适应融合的目标识别方法，该方法与特征级和决策级融合相比，更容易实现，计算复杂度也低。相较于像素级融合，采用了无监督学习方式来融合不同来源的图像，而不是利用离散小波变换等手工设计的像素级融合，因此对于不同场景的鲁棒性更强。
附图说明
12.图1本发明基于红外多波段图像自适应融合的目标识别示意图；
13.图2识别网络框架；
14.图3严重遮挡情况下长波识别结果；
15.图4严重遮挡情况下短波识别结果；
16.图5严重遮挡情况下中波识别结果；
17.图6严重遮挡情况下本发明的多波段融合识别结果。
具体实施方式
18.下面结合附图对本发明作进一步的说明，但不以任何方式对本发明加以限制，基于本发明教导所作的任何变换或替换，均属于本发明的保护范围。
19.参考图1，本发明的实现示意图。本发明的步骤如下：
20.s1：将单通道的多波段图像组合为多通道图像，划分为训练集和测试集进行实验，输入识别网络后，无监督地融合多波段信息
21.红外多波段图像融合：利用se-workbench仿真软件得到相同场景的红外短波、中波、长波图像，保持了不同来源图像之间的严格配准。将单通道的多波段图像组合为多通道图像。se-workbench提供所有红外感光(ir)，加强光(nvg),电磁(em),听觉(ac)传感器的仿真服务并能沉浸在一种复杂的人造环境中。se-workbench主要包括三维地形建模模块、物理模型建模模块、纹理结构分类模块、大气模型建模模块、热量模型建模模块、红外快速图像生成模块、红外射线追踪模块、图形用户界面配置工具模块和红外传感器模块等。本发明使用红外快速图像生成模块得到相同场景的红外短波、中波、长波图像。
22.s2：识别方法为在faster rcnn网络的基础上，加入特征融合模块，提高对于小尺度目标的检测精度。
23.本发明中的特征融合模块，融合不同尺度的特征以提高性能。低层特征分辨率更高，包含更多位置、细节信息，但是由于经过的卷积更少，其语义性更低，噪声更多。高层特征具有更强的语义信息，但是分辨率很低，对细节的感知能力较差。
24.本发明使用早融合(early fusion)技术，先融合多层的特征(长波、中波和短波)，然后在融合后的特征上训练预测器(只在完全融合之后，才统一进行检测)。采用concat操作，特征融合方法如下：
25.concat：系列特征融合，直接将两个特征进行连接。两个输入特征x和y的维数若为p和q，输出特征z的维数为p+q；
26.s3：识别结果
27.图3、图4和图5分别为严重遮挡情况下单独用长波、中波和短波识别结果，都出现了识别框重复；图6为本发明利用多波段图像时，识别效果稳健。从实验结果可以看出，不同
波段的图像信息具有互补性，能够提升目标识别性能。
28.本发明的有益效果如下：
29.本发明针对远距离被动红外成像存在光照较差、观测视角不理想、目标尺寸较小、清晰度较低、严重遮挡等现实问题，提出了基于红外多波段图像自适应融合的目标识别方法，该方法与特征级和决策级融合相比，更容易实现，计算复杂度也低。相较于像素级融合，采用了无监督学习方式来融合不同来源的图像，而不是利用离散小波变换等手工设计的像素级融合，因此对于不同场景的鲁棒性更强。
30.本文所使用的词语“优选的”意指用作实例、示例或例证。本文描述为“优选的”任意方面或设计不必被解释为比其他方面或设计更有利。相反，词语“优选的”的使用旨在以具体方式提出概念。如本技术中所使用的术语“或”旨在意指包含的“或”而非排除的“或”。即，除非另外指定或从上下文中清楚，“x使用a或b”意指自然包括排列的任意一个。即，如果x使用a；x使用b；或x使用a和b二者，则“x使用a或b”在前述任一示例中得到满足。
31.而且，尽管已经相对于一个或实现方式示出并描述了本公开，但是本领域技术人员基于对本说明书和附图的阅读和理解将会想到等价变型和修改。本公开包括所有这样的修改和变型，并且仅由所附权利要求的范围限制。特别地关于由上述组件(例如元件等)执行的各种功能，用于描述这样的组件的术语旨在对应于执行所述组件的指定功能(例如其在功能上是等价的)的任意组件(除非另外指示)，即使在结构上与执行本文所示的本公开的示范性实现方式中的功能的公开结构不等同。此外，尽管本公开的特定特征已经相对于若干实现方式中的仅一个被公开，但是这种特征可以与如可以对给定或特定应用而言是期望和有利的其他实现方式的一个或其他特征组合。而且，就术语“包括”、“具有”、“含有”或其变形被用在具体实施方式或权利要求中而言，这样的术语旨在以与术语“包含”相似的方式包括。
32.本发明实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以多个或多个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。上述提到的存储介质可以是只读存储器，磁盘或光盘等。上述的各装置或系统，可以执行相应方法实施例中的存储方法。
33.综上所述，上述实施例为本发明的一种实施方式，但本发明的实施方式并不受所述实施例的限制，其他的任何背离本发明的精神实质与原理下所做的改变、修饰、代替、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。