基于视频帧间网络和社团检测的多目标跟踪方法及系统

本发明涉及视觉目标检测和目标跟踪，具体为基于视频帧间网络和社团检测的多目标跟踪方法及系统。

背景技术：

1、多目标跟踪(multiple object tracking,mot)是一项基础的计算机视觉任务，主要应用于自动驾驶，机器人导航，视频分析等，其重要性已经得到了学术界和工业领域的重视。近年来，随着目标检测性能的显著提升，越来越多的研究人员考虑利用tbd(tracking-by-detection)方法对多个目标进行跟踪。tbd方法是通过数据关联将独立的目标连接起来形成轨迹，所以目标跟踪问题被表述为目标之间的关联，也就是说只需要将检测产生的目标通过关联算法连接起来。由于检测结果作为数据关联的输入，对关联结果和最终的跟踪结果有很大的影响，因此tbd方法的关键在于目标检测结果和数据关联的准确性。

2、iou(intersection over union)算法是一种使用tbd的mot算法。该算法指出，当检测的精度很高，视频的帧率也很高时，可以通过计算目标与目标之间的iou，再通过设定阈值来判断目标与背景即可完成目标跟踪任务。但由于未引入任何视频的帧间信息、运动模型和外观模型，导致漏跟和错跟问题难以解决。若出现频繁遮挡、目标形变的情况，会导致id(identification)频繁切换，且极其依赖目标检测算法的性能。

技术实现思路

1、针对现有技术中存在的问题，本发明提供一种基于视频帧间网络和社团检测的多目标跟踪方法及系统，通过引入了目标的帧间信息、运动信息、外观信息、位置信息以及引入目标之间的相互作用力，解决了iou算法中的漏跟和错跟问题。

2、本发明是通过以下技术方案来实现：

3、一种基于视频帧间网络和社团检测的多目标跟踪方法，包括以下步骤：

4、步骤1、获取视频帧中目标的外观信息、运动信息和位置信息，根据获取的信息计算帧间目标的相互作用力，以目标特征信息和目标的相互作用力为依据构建视频帧间网络；

5、步骤2、将构建的视频帧间网络划分为多个局部网络，对各局部网络进行社团检测，并对同一社团内的节点的帧属性信息进行识别，得到目标轨迹段，对所有的目标轨迹段进行合并形成目标轨迹，完成视频多目标跟踪。

6、优选的，步骤1构建视频帧间网络的方法如下：

7、对目标的外观信息、运动信息和位置信息进行融合，得到目标间的特征相似度，根据特征相似度和目标之间的相互作用力，计算目标之间的连边权值，以检测到的目标为节点，根据目标之间的连边权值建立视频帧间网络。

8、优选的，所述目标的外观信息计算方法如下：

9、

10、其中，hi,hj分别表示目标oi，oj在hsv颜色空间下的颜色直方图，n是直方图的bin数；

11、所述目标的外观信息计算方法如下：

12、

13、其中，表示在视频帧t中目标oi的检测框。表示两个目标的检测框相交部分的面积，表示两个检测框占用的面积；

14、所述目标的运动信息计算方法如下：

15、

16、其中，xi,yi,wi,hi分别表示目标oi的检测框的左上角位置的横坐标、纵坐标、以及检测框的宽度和高度。

17、优选的，所述目标之间的相互作用力的计算方法如下：

18、假设每个目标试图保持一定的速度和方向，在第t+δt帧中与在第t帧中具有相同的速度，用当前帧目标与下一帧目标之间的距离计算目标之间的相互作用力：

19、

20、其中，vmax为目标移动的最大速度，oi，oj为两个目标。

21、优选的，所述连边的权值的表达式如下：

22、wi,j＝-log(1-simii,j)

23、其中，simi,j为目标之间的相似性。

24、优选的，步骤2中所述视频帧间网络划分方法如下：

25、将整个视频帧间网络分成f个局部网络，每个局部网络包含若干帧视频，并且相邻两个局部网络中首尾多帧图像重复。

26、优选的，步骤2中社团检测的方法如下：

27、利用leiden社团检测算法检测局部网络中的社团，得到各目标在局部网络中的目标轨迹段，采用约束策略对目标轨迹段中的所有节点进行约束，使所有节点都来自视频中的不同帧，然后对所有的目标轨迹段进行融合形成目标轨迹。

28、优选的，所述目标轨迹段中所有节点的约束策略如下：

29、s2.1、验证每一条目标轨迹段cg中每个社团节点的所属帧，若社团中的所有目标节点均来自不同帧，则满足身份的唯一性，否则，进行s2.2；

30、s2.2、若目标轨迹段cg中的社团包含来自相同帧的目标节点，计算社团中每个目标节点的边界框的中心位置，对来自相同帧的目标节点的中心位置进行聚类，将相同帧的节点分配到不同的社团中得到多个社团；

31、s2.3、验证s2.2得到每个社团中的所有目标节点是否来自不同的视频帧，若还有同一个社团中的目标节点来自同一帧视频，对目标节点的边界框的左上角位置采用聚类算法进行分类，将社团中属于同一帧的节点分配到不同的社团中得到多个社团；

32、s2.4、重复s2.3，直至每个社团中的所有目标节点都来自于不同的视频帧。

33、优选的，所述目标轨迹段的合并方法如下：

34、将相邻两个局部网络中相同的目标轨迹段进行合并，得到目标的完整目标轨迹。

35、一种基于视频帧间网络和社团检测的多目标跟踪方法的系统，包括，

36、视频帧间网络模块，用于获取视频帧中目标的外观信息、运动信息和位置信息，根据获取的目标信息计算帧间目标的相互作用力，以目标特征信息和目标的相互作用力为依据构建视频帧间网络；

37、跟踪模块，用于将构建的视频帧间网络划分为多个局部网络，对各局部网络进行社团检测，并对同一社团内的节点的帧属性信息进行识别，得到目标轨迹段，对所有的目标轨迹段进行合并形成目标轨迹，完成视频多目标跟踪。

38、与现有技术相比，本发明具有以下有益的技术效果：

39、本发明提供一种基于视频帧间网络和社团检测的多目标跟踪方法，提取视频帧中目标的外观信息、运动信息和位置信息，计算帧间目标的相互作用力，以目标特征信息和作用力为依据，构建视频帧间网络；对构建的视频帧间网络进行社团检测形成目标轨迹，完成视频多目标跟踪；该多目标跟踪方法将视频中的目标作为网络节点，分别计算目标的外观信息、运动信息和位置信息，为了能更好的增强数据关联的结果，参考社会力模型，计算了目标节点之间的相互作用力。依据目标节点之间的相似性和目标节点之间的作用力计算网络权重，进而建立视频帧间网络。由于引入了视频目标的帧间信息，有效解决了漏跟和错跟问题，较一些基于检测的多目标跟踪方法有很好的精度。

技术特征：

1.一种基于视频帧间网络和社团检测的多目标跟踪方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于视频帧间网络和社团检测的多目标跟踪方法，其特征在于，步骤1构建视频帧间网络的方法如下：

3.根据权利要求1所述的一种基于视频帧间网络和社团检测的多目标跟踪方法，其特征在于，所述目标的外观信息计算方法如下：

4.根据权利要求1所述的一种基于视频帧间网络和社团检测的多目标跟踪方法，其特征在于，所述目标之间的相互作用力的计算方法如下：

5.根据权利要求1所述的一种基于视频帧间网络和社团检测的多目标跟踪方法，其特征在于，所述连边的权值的表达式如下：

6.根据权利要求1所述的一种基于视频帧间网络和社团检测的多目标跟踪方法，其特征在于，步骤2中所述视频帧间网络划分方法如下：

7.根据权利要求1所述的一种基于视频帧间网络和社团检测的多目标跟踪方法，其特征在于，步骤2中社团检测的方法如下：

8.根据权利要求7所述的一种基于视频帧间网络和社团检测的多目标跟踪方法，其特征在于，所述目标轨迹段中所有节点的约束策略如下：

9.根据权利要求1所述的一种基于视频帧间网络和社团检测的多目标跟踪方法，其特征在于，所述目标轨迹段的合并方法如下：

10.一种用于执行权利要求1-9任一项所述的一种基于视频帧间网络和社团检测的多目标跟踪方法的系统，其特征在于，包括，

技术总结
本发明公开了一种基于视频帧间网络和社团检测的多目标跟踪方法及系统，首先将视频中每一帧检测到的目标作为网络节点，以目标间的相似性计算网络节点的连边权值，构建视频帧间网络，将视频帧间网络分成若干个局部网络，使用社团检测方法对分组的局部网络进行社团结构划分，在对所有的局部网络都进行了社团检测之后，由于每一局部网络的最后两帧和下一组的前两帧是相同的，将重复的轨迹进行合并，形成了整个视频序列的目标跟踪轨迹，该跟踪方法引入了视频目标的帧间信息，有效解决了漏跟和错跟问题。

技术研发人员：戴芳,王凯,郭文艳,王军锋
受保护的技术使用者：西安理工大学
技术研发日：
技术公布日：2024/1/14