基于红外图像与可见光图像的目标检测方法、系统及设备

本发明涉及目标检测，具体涉及一种基于红外图像与可见光图像的目标检测方法、系统及设备。

背景技术：

1、为了满足遥感领域中对影像分类、目标检测以及对遥感图像的空间分辨率和光谱分辨率不断提升的要求，在对各个方面的因素进行综合考虑之后，得出对遥感图像进行融合处理是最合适的方式的结论，为此，图像融合技术在遥感领域得以快速发展。目前，多源遥感图像融合已广泛应用于土地覆盖分类、森林监测、地形图更新、变化检测、城市特征提取、洪水监测、冰雪监测等方面，随着各种传感器技术的不断发展，融合各种遥感图像仍是未来的研究热点。

2、图像融合检测是一种基于多源遥感图像融合的目标检测技术，其核心概念是利用计算机预处理、提取、融合多个成像技术对同一场景采集的图像，然后基于融合结果实现目标检测。由于应用了多源遥感图像融合的相关技术，因此图像融合检测可以多级别、多方面、多层次地融合多源遥感图像的信息，有效地利用了其冗余性和互补性的特点，克服了单一图像在分辨率、物理属性、信息量等方面的局限性，还可以抑制噪声、增强图像信息的聚集程度，使图像包含更多的特征信息，以达到提高目标检测精度的目的。红外遥感图像(后文简称红外图像)只反映红外辐射，因为图像中目标与背景的红外辐射强度不同，所以具有独特的辐射特征信息。红外图像对光照变化不敏感，具有抗干扰能力强的优势，但其劣势在于分辨率较低，图像信息单一。可见光遥感图像(后文简称可见光图像)成像清晰，具有颜色丰富、对比度高、边缘锐利、信息量大等优势，但其劣势在于图像中目标遮挡或目标与背景区分度不高，容易导致误检、漏检的问题。基于红外图像和可见光图像融合的目标检测能互相取长补短，不仅能解决目标遮挡或目标与背景区分度不高的难题，还避免了误检、漏检的问题，提高了目标检测的精度和鲁棒性，因此具有很高的实用性和应用价值。

3、目前，对图像的目标检测方法更多的是围绕着单一的源图像所进行的，现有的多源图像的目标检测方法未做到将图像融合及目标检测进行一体化，难以快速、实时地进行目标检测，检测效率低，检测准确度也低。

技术实现思路

1、本发明所要解决的技术问题为：现有的基于红外图像和可见光图像融合的目标检测方法的检测效率低、检测准确度低。为解决该技术问题，本发明提供了一种基于红外图像与可见光图像的目标检测方法、系统及设备。

2、本发明解决上述技术问题的技术方案如下：

3、一种基于红外图像与可见光图像的目标检测方法，包括：

4、s1，获取待检测图像对，所述待检测图像对包括目标红外图像和目标可见光图像，所述目标红外图像和所述目标可见光图像包含有相同内容；

5、s2，通过预先构建好的目标检测模型对所述待检测图像对进行目标检测，得到所述待检测图像对对应的目标检测结果；

6、其中，所述目标检测模型包括特征融合模块和预先训练好的改进yolo网络，所述改进yolo网络包括改进骨干网络和改进头部网络，所述改进骨干网络包括backbone网络和transformer模块，所述改进头部网络包括head网络和多个cbam模块，所述backbone网络连接所述transformer模块后连接所述head网络，所述head网络连接各个所述cbam模块；

7、所述通过预先构建好的目标检测模型对所述待检测图像对进行目标检测，得到所述待检测图像对对应的目标检测结果，包括：

8、通过所述特征融合模块将所述目标红外图像和所述目标可见光图像进行特征融合，得到第一目标特征图；

9、通过所述改进骨干网络对所述第一目标特征图进行特征提取，得到第二目标特征图；

10、通过所述改进头部网络对所述第二目标特征图进行目标检测，得到所述待检测图像对对应的目标检测结果。

11、本发明的有益效果是：通过在改进yolo网络前端加入特征融合模块，使目标检测模型可具备异源图像融合功能，增强了模型输入的丰富性，在将由异源图像组成的待检测图像对输入目标检测模型后，可快速获得检测结果；通过在backbone网络后加入transformer模块，可以更多地获取backbone网络输出的各个特征图(即第二目标特征图)中的目标信息和周围信息；通过在head网络中加入cbam模块，可节约网络的计算能力，同时还能提升网络的特征提取能力，帮助网络抵御混淆信息，提高目标检测模型的检测准确度；对于待检测图像对，通过将待检测图像对输入目标检测模型中进行目标检测，可快速、准确地得到待检测图像对对应的目标检测结果，检测效率高、检测准确度高。

12、在上述技术方案的基础上，本发明还可以做如下改进。

13、进一步，所述特征融合模块包括依次连接的特征提取单元、特征融合单元和特征重构单元；

14、所述backbone网络包括依次连接的第一特征提取模块和第二特征提取模块，所述第一特征提取模块包括多个cbs模块，所述第二特征提取模块包括多个组合模块，各个所述组合模块均包括依次连接的mp模块和elan模块，各个所述组合模块依次连接后与所述transformer模块的输入端连接，所述transformer模块的输出端与所述head网络的输入端连接；

15、所述head网络包括第一特征聚合模块和依次连接的多个第二特征聚合模块，所述第一特征聚合模块和各个所述第二特征聚合模块各自对应有一个所述cbam模块；所述第一特征聚合模块包括依次连接的sppcspc模块和第一repconv模块，所述sppcspc模块的输入端与所述第一特征聚合模块对应的cbam模块连接；各个所述第二特征聚合模块均包括up模块、拼接层、elan-h模块和第二repconv模块；对于每个所述第二特征聚合模块，所述up模块、所述拼接层、所述第二特征聚合模块对应的cbam模块、所述elan-h模块和所述第二repconv模块依次连接；将多个所述第二特征聚合模块中位置在最前的第二特征聚合模块作为首特征聚合模块，所述首特征聚合模块包含的up模块的输入端与所述sppcspc模块的输出端连接；将多个所述第二特征聚合模块中除位置在最后的第二特征聚合模块以外的各个所述第二特征聚合模块分别作为一个在前特征聚合模块，对于每个所述在前特征聚合模块，所述在前特征聚合模块包含的elan-h模块的输出端与位于所述在前特征聚合模块之后且与所述在前特征聚合模块连接的第二特征聚合模块中的up模块连接。

16、采用上述进一步方案的有益效果是：通过在yolo网络前端加入特征融合模块，使目标检测模型可具备异源图像融合功能，增强了模型输入的丰富性，在将由异源图像组成的待检测图像对输入目标检测模型后，可快速获得检测结果；通过在backbone网络后加入transformer模块，可以更多地获取backbone网络输出的各个特征图中的目标信息和周围信息；通过在head网络中加入cbam模块，可节约网络的计算能力，同时还能提升网络的特征提取能力，帮助网络抵御混淆信息。

17、进一步，所述通过预先构建好的目标检测模型对所述待检测图像对进行目标检测，得到所述待检测图像对对应的目标检测结果，包括：

18、通过所述特征提取单元对所述目标红外图像进行特征提取，得到红外特征图，通过所述特征提取单元对所述目标可见光图像进行特征提取，得到可见光特征图；

19、通过所述特征融合单元对所述红外特征图和所述可见光特征图进行特征融合，得到融合特征图；

20、通过所述特征重构单元对所述融合特征图进行重构，得到所述第一目标特征图；

21、通过所述第一特征提取模块对所述第一目标特征图进行特征提取，得到第一提取特征图，所述第一提取特征图为所述第一特征提取模块输出的特征图；

22、对于每个所述组合模块，将位于所述组合模块之前且与所述组合模块连接的第一特征提取模块或组合模块输出的特征图进行特征提取，得到所述组合模块对应的第二提取特征图，所述第二提取特征图为所述组合模块输出的特征图；

23、对于每个所述第二提取特征图，通过所述transformer模块对所述第二提取特征图进行特征提取，得到所述第二提取特征图对应的第二目标特征图；

24、通过所述第一特征聚合模块根据各个所述第二目标特征图进行目标检测，得到所述第一特征聚合模块对应的第一检测结果；

25、通过所述首特征聚合模块将所述第一特征聚合模块中的sppcspc模块输出的特征图进行目标检测，得到所述首特征聚合模块对应的第二检测结果；

26、将多个所述第二特征聚合模块中除所述首特征聚合模块以外的各个所述第二特征聚合模块分别作为一个在后特征聚合模块，对于每个所述在后特征聚合模块，通过所述在后特征聚合模块将位于所述在后特征聚合模块之前且与所述在后特征聚合模块连接的第二特征聚合模块中的elan-h模块输出的特征图进行目标检测，得到所述在后特征聚合模块对应的第三检测结果；

27、根据所述第一检测结果、所述第二检测结果和各个所述第三检测结果，得到所述待检测图像对对应的目标检测结果。

28、采用上述进一步方案的有益效果是：将配对的目标红外图像和目标可见光图像组成的待检测图像对同时输入目标检测模型中，首先通过特征融合模块进行异源图像的融合(即对图像进行特征提取、特征融合和重构)，得到第一目标特征图，随即通过改进yolo网络进行目标检测，可快速获取待检测图像对对应的目标检测结果，检测效率高，且检测准确度高。

29、进一步，所述改进yolo网络是通过以下步骤得到的：

30、获取多组原始图像对，各组所述原始图像对均包括原始红外图像和原始可见光图像，所述原始红外图像和所述原始可见光图像包含有相同内容；

31、对于每组所述原始图像对，对所述原始图像对进行图像预处理，得到所述原始图像对对应的目标图像对，所述目标图像对包括第一红外图像和第一可见光图像；

32、对于每组所述目标图像对，对所述目标图像对进行图像融合，得到所述目标图像对对应的待标注图像；

33、对于每个所述待标注图像，对所述待标注图像进行目标标注，得到所述待标注图像对应的训练数据；

34、根据各个所述训练数据，得到训练数据集；

35、通过所述训练数据集对预先构建好的原始yolo网络进行训练，以确定所述原始yolo网络的训练权重，得到所述改进yolo网络，所述改进yolo网络的结构与所述原始yolo网络的结构相同。

36、采用上述进一步方案的有益效果是：利用获取到的训练数据集对改进后的原始yolo网络进行网络训练，以确定能够较好地进行目标检测的训练权重，根据确定的训练权重，从而得到改进yolo网络，提高了目标检测模型的检测准确度。

37、进一步，对于每组所述原始图像对，所述对所述原始图像对进行图像预处理，得到所述原始图像对对应的目标图像对，包括：

38、通过基于matlab的相机标定方法对所述原始红外图像进行畸变校正，得到所述原始红外图像对应的第一校正图像；

39、通过棋盘格标定法对所述原始可见光图像进行畸变校正，得到所述原始可见光图像对应的第二校正图像；

40、通过模板匹配算法对所述第一校正图像和所述第二校正图像进行配准，得到所述原始红外图像对应的第一配准图像和所述原始可见光图像对应的第二配准图像；

41、对所述第一配准图像进行裁剪，得到所述第一红外图像；

42、对所述第二配准图像进行裁剪，得到所述第一可见光图像。

43、采用上述进一步方案的有益效果是：通过对各组原始图像对进行预处理，为后续进行网络训练提供了数据支撑，为提高目标检测模型的检测准确度奠定了基础。

44、进一步，对于每组所述目标图像对，所述对所述目标图像对进行图像融合，得到所述目标图像对对应的待标注图像，包括：

45、通过预先构建好的特征融合网络对所述第一红外图像和所述第一可见光图像进行特征融合，得到所述待标注图像；

46、其中，所述特征融合网络包括依次连接的特征提取层、特征融合层和特征重构层。

47、采用上述进一步方案的有益效果是：通过预先构建好的特征融合网络对每组目标图像对分别进行图像融合，为后续进行网络训练提供了数据支撑，为提高目标检测模型的检测准确度奠定了基础。

48、进一步，对于每个所述待标注图像，所述对所述待标注图像进行目标标注，得到所述待标注图像对应的训练数据，包括：

49、通过图像标注工具对所述待标注图像进行目标标注，得到所述训练数据。

50、采用上述进一步方案的有益效果是：通过对各个待标注图像进行目标标注，例如，标注待标注图像中的行人、车辆以及自行车，得到训练数据，以调整原始yolo网络的训练权重，从而提高了目标检测模型的检测准确度。

51、为解决上述技术问题，本发明还提供了一种基于红外图像与可见光图像的目标检测系统，包括：

52、待检测图像获取模块，用于获取待检测图像对，所述待检测图像对包括目标红外图像和目标可见光图像，所述目标红外图像和所述目标可见光图像包含有相同内容；

53、目标检测模块，用于通过预先构建好的目标检测模型对所述待检测图像对进行目标检测，得到所述待检测图像对对应的目标检测结果；

54、模型构建模块，用于构建所述目标检测模型，所述目标检测模型包括特征融合模块和预先训练好的改进yolo网络，所述改进yolo网络包括改进骨干网络和改进头部网络，所述改进骨干网络包括backbone网络和transformer模块，所述改进头部网络包括head网络和多个cbam模块，所述backbone网络连接所述transformer模块后连接所述head网络，所述head网络连接各个所述cbam模块；

55、其中，所述目标检测模块包括：

56、图像融合子模块，用于通过所述特征融合模块将所述目标红外图像和所述目标可见光图像进行特征融合，得到第一目标特征图；

57、特征提取子模块，用于通过所述改进骨干网络对所述第一目标特征图进行特征提取，得到第二目标特征图；

58、目标检测子模块，用于通过所述改进头部网络对所述第二目标特征图进行目标检测，得到所述待检测图像对对应的目标检测结果。

59、为解决上述技术问题，本发明还提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如前所述的基于红外图像与可见光图像的目标检测方法。

60、为解决上述技术问题，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如前所述的基于红外图像与可见光图像的目标检测方法。