基于决策级融合的低光照场景多模态行人检测跟踪方法

本发明涉及目标检测跟踪，特别是指一种基于决策级融合的低光照场景多模态行人检测跟踪方法及装置。

背景技术：

1、在计算机视觉领域的众多研究中，行人目标检测与跟踪技术占据着重要位置。行人检测是指自动识别图像或视频中的行人目标，将它们从背景中准确分离出来，通常通过绘制检测框来完成。这一技术在安全监控、自动驾驶等领域发挥着关键作用，帮助我们检测和识别行人，从而提高安全性和便捷性。

2、在近年来的一些研究中，基于卷积神经网络的行人检测算法层出不穷，但基于可见光图像单模态的检测算法在复杂光照环境下往往不能取得令人满意的效果。使用faster-rcnn检测器研究了在不同融合阶段进行图像融合对检测性能的影响，发现特征级融合即在特征提取阶段融合图像取得了最佳性能。考虑了图像的光照条件，基于faster-rcnn提出感知照明网络(iaf r-cnn)。在将图像送入图像融合网络之前，先送入光照感知网络进行检测，根据图像中的光照强度来划分图像融合事可见光和红外图像各自的权重，然后根据分配的权值分别进行检测，再融合其检测结果，实验表明能够显著提高模型检测性能，但由于结构过于复杂，无法达到实时检测的效果。目标跟踪算法一般可根据所采用的基础方法分为两类，即以滤波等传统方法为主的跟踪算法和基于深度学习训练的跟踪算法。然而传统方法在针对解决特定问题或数据集时具有局限性。

3、在现有技术中，缺乏一种基于决策级融合的高效、实时的低光照多模态行人检测跟踪方法。

技术实现思路

1、本发明实施例提供了一种基于决策级融合的低光照场景多模态行人检测跟踪方法及装置。所述技术方案如下：

2、一方面，提供了一种基于决策级融合的低光照场景多模态行人检测跟踪方法，该方法由电子设备实现，该方法包括：

3、基于红外相机进行数据采集，获得红外图像；基于可见光相机进行数据采集，获得可见光图像；

4、基于yolov5目标检测模型以及非极大值抑制算法进行模型构建，获得目标检测模型；

5、使用所述红外图像，对所述目标检测模型进行训练，获得红外检测模型；使用所述可见光图像，对所述目标检测模型进行训练，获得可见光检测模型；

6、基于所述红外检测模型、所述可见光检测模型以及决策级融合算法进行模型构建，获得决策级融合检测模型；

7、获取待检测红外图像以及待检测可见光图像；将所述待检测红外图像以及待检测可见光图像输入所述决策级融合检测模型，获得融合检测结果；

8、将所述融合检测结果输入多目标跟踪算法，获得多目标跟踪结果；根据所述多目标跟踪结果进行可视化处理，获得跟踪视频序列。

9、其中，所述决策级融合算法是加权框融合算法或非极大值抑制算法。

10、其中，所述决策级融合检测模型是一种轻量级检测模型。

11、可选地，所述将所述待检测红外图像以及待检测可见光图像输入所述决策级融合检测模型，获得融合检测结果，包括：

12、将所述待检测红外图像输入所述红外检测模型，获得红外检测结果；

13、将所述待检测可见光图像输入所述可见光检测模型，获得可见光检测结果；

14、将所述红外检测结果以及所述可见光检测结果输入所述决策级融合检测模型，获得融合检测结果。

15、可选地，所述将所述红外检测结果以及所述可见光检测结果输入所述决策级融合检测模型，获得融合检测结果，包括：

16、对所述待检测可见光图像进行光照强度测量，获得可见光光照强度；

17、当所述可见光光照强度大于预设光照强度阈值时，所述红外检测结果以及所述可见光检测结果采用加权框融合算法进行融合，获得融合检测结果；

18、当所述可见光光照强度小于或等于预设光照强度阈值时，所述红外检测结果以及所述可见光检测结果采用非极大值抑制算法进行融合，获得融合检测结果。

19、其中，所述多目标跟踪算法包括基于strongsort跟踪器的跟踪算法、基于ocsort跟踪器的跟踪算法或基于bytetrack跟踪器的跟踪算法。

20、另一方面，提供了一种基于决策级融合的低光照场景多模态行人检测跟踪装置，该装置应用于一种基于决策级融合的低光照场景多模态行人检测跟踪方法，该装置包括：

21、图像采集模块，用于基于红外相机进行数据采集，获得红外图像；基于可见光相机进行数据采集，获得可见光图像；

22、检测模型构建模块，用于基于yolov5目标检测模型以及非极大值抑制算法进行模型构建，获得目标检测模型；

23、检测模型训练模块，用于使用所述红外图像，对所述目标检测模型进行训练，获得红外检测模型；使用所述可见光图像，对所述目标检测模型进行训练，获得可见光检测模型；

24、融合检测模型构建模块，用于基于所述红外检测模型、所述可见光检测模型以及决策级融合算法进行模型构建，获得决策级融合检测模型；

25、融合检测结果获取模块，用于获取待检测红外图像以及待检测可见光图像；将所述待检测红外图像以及待检测可见光图像输入所述决策级融合检测模型，获得融合检测结果；

26、跟踪结果获取模块，用于将所述融合检测结果输入多目标跟踪算法，获得多目标跟踪结果；根据所述多目标跟踪结果进行可视化处理，获得跟踪视频序列。

27、其中，所述决策级融合算法是加权框融合算法或非极大值抑制算法。

28、其中，所述决策级融合检测模型是一种轻量级检测模型。

29、可选地，所述融合检测结果获取模块，进一步用于：

30、将所述待检测红外图像输入所述红外检测模型，获得红外检测结果；

31、将所述待检测可见光图像输入所述可见光检测模型，获得可见光检测结果；

32、将所述红外检测结果以及所述可见光检测结果输入所述决策级融合检测模型，获得融合检测结果。

33、可选地，所述融合检测结果获取模块，进一步用于：

34、对所述待检测可见光图像进行光照强度测量，获得可见光光照强度；

35、当所述可见光光照强度大于预设光照强度阈值时，所述红外检测结果以及所述可见光检测结果采用加权框融合算法进行融合，获得融合检测结果；

36、当所述可见光光照强度小于或等于预设光照强度阈值时，所述红外检测结果以及所述可见光检测结果采用非极大值抑制算法进行融合，获得融合检测结果。

37、其中，所述多目标跟踪算法包括基于strongsort跟踪器的跟踪算法、基于ocsort跟踪器的跟踪算法或基于bytetrack跟踪器的跟踪算法。

38、另一方面，提供了一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现上述一种基于决策级融合的低光照场景多模态行人检测跟踪方法。

39、另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现上述一种基于决策级融合的低光照场景多模态行人检测跟踪方法。

40、本发明实施例提供的技术方案带来的有益效果至少包括：

41、本发明提出一种基于决策级融合的低光照场景多模态行人检测跟踪方法，针对跟踪目标的低光照场景，设计了可见光-红外图像的双通道输入；基于双通道对目标的检测，参考光照强度，通过可根据实际情况切换的决策级融合方法，大大提升了低光照下对目标检测的准确度和稳定性；本发明还设计了多种跟踪方法的集成框架，使本发明在针对多种类跟踪目标都有良好表现；本发明中决策级融合检测模型属于轻量级检测模型，适用于在有算力限制的边缘计算设备上。本发明是一种基于决策级融合的高效、实时的低光照多模态行人检测跟踪方法。