一种车云协同的智能3D多目标跟踪方法及系统

本发明涉及车云协同控制，尤其是一种车云协同的智能3d多目标跟踪方法及系统。

背景技术：

1、在车路云协同和自动驾驶任务中，3维(3d)目标跟踪方法被广泛用于捕获复杂场景中车辆和行人的动态信息，同时还能提供场景中物体的准确位置和加速度等运动信息。

2、按照使用的数据不同，现今的跟踪方法可分为三类：基于图像数据的跟踪方法、基于雷达点云数据的3d跟踪方法以及图像和雷达数据融合的多模态跟踪方法。虽然基于图像数据的跟踪方法已经取得了大量显著的成果，但由于图像数据缺乏深度信息，基于图像数据的跟踪方法并不能有效地提取和利用3d数据信息以感知立体信息和复杂场景。相比于2d的图像数据，3d的点云数据能够补充更丰富的立体场景信息。基于多模态数据的跟踪方法充分利用图像数据和点云数据实现了更加精准、更加鲁棒的跟踪效果；但在大多的多模态跟踪方法中，需要对数据进行标定用于不同模态数据融合，而实际工程应用中却不能长期有效地保持标定参数的稳定。因此，基于2d图像数据和多模态数据融合的跟踪方法在实际工程背景中都存在一定的局限性。而基于点云数据的目标跟踪方法则在补充场景立体信息增强跟踪效果的同时，保证了方法在实际工程应用中的稳定性。

3、现今的跟踪方法按照阶段可以大致分为两类：端到端的跟踪方法和检测-跟踪两阶段跟踪方法。端到端的方法中所有模块被集成为一个完整的过程，优化了算法的学习过程，但最终的子模块缺乏一定的理论支持，导致其安全可信度成为一个值得担忧的问题。现今3d目标检测方法效果显著提升，能够为目标跟踪提供足够可依赖的信息，所以两阶段的跟踪方法在实际应用中更具有价值。

技术实现思路

1、有鉴于此，本发明实施例提供一种快速且精准的车云协同的智能3d多目标跟踪方法及系统。

2、本发明实施例的一方面提供了一种车云协同的智能3d多目标跟踪方法，包括：

3、对车辆目标进行检测，获取初始时刻场景下各个车辆的检测状态，进而根据所述检测状态和车辆身份建立初始轨迹信息；其中，所述检测状态包括车辆检测框信息、检测置信度分数；

4、根据所述初始时刻场景下的跟踪结果的目标信息，通过卡尔曼滤波算法预测目标时刻的状态；

5、对车辆对象进行检测，获取目标时刻场景下各个车辆的检测状态，进而计算目标时刻下所有检测对象的检测框信息与初始时刻下目标的预测状态之间的数据关联度；

6、根据所述数据关联度，对所有检测对象和预测对象进行相似度匹配，得到匹配结果；

7、对所述匹配结果进行目标状态管理，直至完成跟踪目标。

8、可选地，所述对车辆对象进行检测，获取目标时刻场景下各个车辆的检测状态，进而计算目标时刻下所有检测对象的检测框信息与初始时刻下目标的预测状态之间的数据关联度，包括：

9、根据车辆对象在前后时刻的检测状态，估计车辆对象的速度；

10、根据前后时刻的估计速度及检测角度信息，确定前后时刻运动差异的度量；

11、根据所述目标时刻场景下的检测信息和预测状态，确定几何差异的度量；

12、根据所述运动差异的度量和所述几何差异的度量，确定前后时刻的目标的相似性度量；

13、其中，所述运动差异包括前后时刻之间速度的角度差异、前后时刻之间速度的数值差异、前后时刻之间车辆朝向的偏移。

14、可选地，所述根据所述数据关联度，对所有检测对象和预测对象进行相似度匹配，得到匹配结果这一步骤具体为：根据所有目标的相似性度量，生成跟踪匹配结果，包括：

15、获取所有检测目标的相似性度量；

16、根据所述相似性度量，利用匈牙利算法对前后时刻的所有检测目标进行匹配，得到跟踪结果。

17、可选地，所述车辆对象的预估的速度的计算公式为：

18、

19、其中，表示车辆对象的预估速度；t表示时刻；(xt,yt)表示表示t时刻下检测目标的空间位置；表示空间位置向量对时间求微分操作。

20、可选地，所述前后时刻运动差异的度量的表达式为：

21、

22、其中，sm表示前后时刻运动差异的度量；表示车辆对象在t时刻的预估速度；表示车辆对象在t-1时刻的预估速度；θt表示车辆的朝向角度。

23、可选地，所述对所述匹配结果进行目标状态管理，包括：

24、获取数据关联阶段的匹配结果；

25、当匹配成功时，将车辆对象的状态配置为tracking，并为检测目标与预测目标赋予相同的身份标识；

26、当匹配失败时，如果检测目标来自在前时刻，则对检测目标的生命周期进行更新；如果目标来自在后时刻，则确认目标刚出现在跟踪视野内，对目标的身份标识、生命周期和状态进行配置；

27、根据所述检测目标的生命周期完成对目标的跟踪任务。

28、可选地，所述根据所述检测目标的生命周期完成对目标的跟踪任务，包括：

29、当检测目标的生命周期小于1时，将检测目标的状态配置为death；

30、当检测目标的生命周期大于或等于1时，将检测目标的状态配置为miss。

31、可选地，所述匹配失败的目标的生命周期的计算公式为：

32、

33、其中，life′表示匹配失败的目标的生命周期；life表示固定的生命周期阈值；α代表尺度因子；β代表偏移因子；ct代表目标被成功检测的置信度分数。

34、本发明实施例的另一方面还提供了一种车云协同的智能3d多目标跟踪系统，包括：

35、第一模块，用于对车辆目标进行检测，获取初始时刻场景下各个车辆的检测状态，进而根据所述检测状态和车辆身份建立初始轨迹信息；其中，所述检测状态包括车辆检测框信息、检测置信度分数；

36、第二模块，用于根据所述初始时刻场景下的跟踪结果的目标信息，通过卡尔曼滤波算法预测目标时刻的状态；

37、第三模块，用于对车辆对象进行检测，获取目标时刻场景下各个车辆的检测状态，进而计算目标时刻下所有检测对象的检测框信息与初始时刻下目标的预测状态之间的数据关联度；

38、第四模块，用于根据所述数据关联度，对所有检测对象和预测对象进行相似度匹配，得到匹配结果；

39、第五模块，用于对所述匹配结果进行目标状态管理，直至完成跟踪目标。

40、本发明实施例的另一方面还提供了一种电子设备，包括处理器以及存储器；

41、所述存储器用于存储程序；

42、所述处理器执行所述程序实现如前面所述的方法。

43、本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行前面的方法。

44、本发明的实施例对车辆目标进行检测，获取初始时刻场景下各个车辆的检测状态，进而根据所述检测状态和车辆身份建立初始轨迹信息；根据所述初始时刻场景下的跟踪结果的目标信息，通过卡尔曼滤波算法预测目标时刻的状态；对车辆对象进行检测，获取目标时刻场景下各个车辆的检测状态，进而计算目标时刻下所有检测对象的检测框信息与初始时刻下目标的预测状态之间的数据关联度；根据所述数据关联度，对所有检测对象和预测对象进行相似度匹配，得到匹配结果；对所述匹配结果进行目标状态管理，直至完成跟踪目标。本发明能够快速完成对多个目标车辆的跟踪确认，基于车云协同的车辆数据，提高了跟踪预测的准确性。