一种基于融合多模态结果的轨迹预测方法、系统及介质与流程

本发明涉及自动驾驶，尤其是涉及一种基于融合多模态结果的轨迹预测方法、系统及介质。

背景技术：

1、多模态目标检测技术是指使用多种模态的传感器，通过特定的融合策略或融合模型，进行目标检测，使得该检测的结果融合了多种模态信息，提高目标检测的效率与检测的精度，从而输出最佳的、最稳定的目标结果。主要分三步进行：第一步是预处理多个传感器对周围环境扫描的原始数据，使用各自传感器对应的目标检测技术对预处理数据进行检测，获取多个目标检测模块得到的各自的检测结果。第二步是在融合模块中对第一步获得的结果进一步进行预处理，获取在限定范围内的同一时刻下的目标检测结果。第三步是利用预设的图神经网络模型对目标检测数据进行融合追踪，确定同一目标物体，从而实现信息的全局融合，增大了感知能力，能够更加准确的对目标进行识别。

2、轨迹预测技术是指自动驾驶车辆对附近交通参与者未来状态的预测技术，类似于人类驾驶员的预判驾驶能力。具体可以表述为在给定的一个场景下，使用交通参与者的历史状态预测估计其未来状态。历史状态可以来自于车端和路端，状态信息一般包括交通参与者的位置、速度、加速度和朝向等信息。场景信息一般包括车辆运动学(或动力学)、地图和交通参与者之间的交互等信息因素。快速发展的深度学习技术也在预测领域大行其道，且已经成为研究的主流方向，并达到了sota水平，相较于基于物理、机器学习的方法，基于深度学习的方法可以预测更长时间的状态。

3、现有技术中，利用深度学习技术的方法存在两点问题，其一，对于实际落地的自动驾驶车辆而言，成本的考量非常重要，这就需要对自动驾驶车辆的大脑-控制器的使用率精打细算，而深度学习技术中神经网络的部署与使用将会占用很大一块算力，会与上游环节的检测乃至其他模块争抢算力。其二，由于神经网络本身的算法特性，这是一种解释性很差的检测算法，尤其是轨迹预测功能，这本身就是一种具有很大主观性的能力，在自动驾驶车辆中使用不可解释的神经网络模型越多，越容易引入难以预料的黑箱问题。

技术实现思路

1、鉴于以上问题，本发明提供了一种基于融合多模态结果的轨迹预测方法、系统及介质，不仅通过多次匹配，分别将各类传感器的优势属性赋给目标物的基准位置，大大优化了检测结果，而且保证了检测的效率，满足成本控制的要求，又保证了检测效果，综合了各类传感器的优点。

2、为了实现上述目的及其他相关目的，本发明提供的技术方案如下：

3、一种基于融合多模态结果的轨迹预测方法，所述方法包括：

4、q1.车辆行驶在道路上，基于车载摄像头实时获取道路的图像数据信息，基于车载激光雷达实时获取目标障碍物的点云数据信息，基于车载毫米波雷达实时获取目标障碍物的位置和速度数据信息；

5、q2.基于所述道路的图像数据信息、所述目标障碍物的点云数据信息和所述目标障碍物的位置和速度数据信息，进行时间戳标定和数据对齐处理，得到处理后的道路的图像数据信息、目标障碍物的点云数据信息和目标障碍物的位置和速度数据信息；

6、q3.基于所述处理后的道路的图像数据信息、目标障碍物的点云数据信息和目标障碍物的位置和速度数据信息，采用多模态结果融合算法进行数据融合，得到融合后的目标障碍物的数据信息；

7、q4.将所述融合后的目标障碍物的数据信息输入到高精地图，采用障碍物与地图车道匹配算法对目标障碍物的状态进行分类，得到目标障碍物的状态分类数据信息；

8、q5.基于所述目标障碍物的状态分类数据信息，采用车辆的多轨迹预测模型算法对车辆的轨迹进行预测，得到车辆的轨迹预测数据信息。

9、进一步的，在步骤q2中，所述进行时间戳标定和数据对齐处理包括：

10、q21.基于所述道路的图像数据信息、所述目标障碍物的点云数据信息和所述目标障碍物的位置和速度数据信息，进行降噪处理，得到降噪处理后的道路的图像数据信息、目标障碍物的点云数据信息和目标障碍物的位置和速度数据信息；

11、q22.基于所述降噪处理后的道路的图像数据信息、目标障碍物的点云数据信息和目标障碍物的位置和速度数据信息，采用时间戳标定算法对数据进行处理，得到时间戳标定后的道路的图像数据信息、目标障碍物的点云数据信息和目标障碍物的位置和速度数据信息；

12、q23.基于所述时间戳标定后的道路的图像数据信息、目标障碍物的点云数据信息和目标障碍物的位置和速度数据信息，按照时间点的不同进行对齐处理，得到处理后的道路的图像数据信息、目标障碍物的点云数据信息和目标障碍物的位置和速度数据信息。

13、进一步的，所述按照时间点的不同进行对齐处理为根据所述时间戳标定后的目标障碍物的点云数据信息为依据，将所述时间戳标定后的道路的图像数据信息和目标障碍物的位置和速度数据信息，按照同一时间点进行对齐。

14、进一步的，在步骤q3中，所述采用多模态结果融合算法进行数据融合包括：

15、q31.基于所述处理后的道路的图像数据信息和目标障碍物的点云数据信息，建立多模态结果的第一融合函数g，

16、

17、其中，a为转置矩阵，m1为处理后的道路的图像数据信息，m2为处理后的目标障碍物的点云数据信息，α和β为权重系数，得到多模态结果的第一融合数据信息；

18、q32.基于所述处理后的目标障碍物的点云数据信息和目标障碍物的位置和速度数据信息，建立多模态结果的第二融合函数h，

19、h＝∫∫(ρ1m2+ρ2m3)dm2dm3+exp(m2·m3)，

20、其中，m2为处理后的目标障碍物的点云数据信息，m3为处理后的目标障碍物的位置和速度数据信息，ρ1为处理后的目标障碍物的点云数据信息的融合因子，ρ2为处理后的目标和障碍物的位置和速度数据信息的融合因子，得到多模态结果的第二融合数据信息；

21、q33.基于所述多模态结果的第二融合数据信息和所述多模态结果的第一融合数据信息，建立多模态结果的融合函数w，

22、

23、其中，g为多模态结果的第二融合数据信息，h为多模态结果的第一融合数据信息，λ1和λ2为多模态结果的融合参数，对目标障碍物的数据信息进行融合，得到融合后的目标障碍物的数据信息。

24、进一步的，所述权重系数α和β的约束条件为，

25、

26、所述处理后的目标障碍物的点云数据信息的融合因子ρ1和所述处理后的目标和障碍物的位置和速度数据信息的融合因子ρ2的约束条件为，

27、

28、所述多模态结果的融合参数λ1的取值范围为(0,1)，所述多模态结果的融合参数λ2的取值范围为(0,1)。

29、进一步的，所述处理后的目标障碍物的位置和速度数据信息为目标障碍物的位置和速度的状态矩阵数据信息，所述处理后的道路的图像数据信息为道路图像的矩阵数据信息，所述处理后的目标障碍物的点云数据信息为目标障碍物的点云矩阵数据信息。

30、进一步的，在步骤q4中，所述采用障碍物与地图车道匹配算法对目标障碍物的状态进行分类包括：

31、q41.将所述融合后的目标障碍物的数据信息输入高精地图，建立障碍物与地图车道匹配函数p，

32、

33、其中，n为样本容量，xi为融合后的目标障碍物的数据信息，yi为高精地图中的地图车道点的数据信息，得到障碍物与地图车道的匹配度数据信息；

34、q42.基于所述障碍物与地图车道的匹配度数据信息，设置预设阈值k1、k2和k3，若所述障碍物与地图车道的匹配度数据信息小于k1则为第一类目标障碍物的状态，若所述障碍物与地图车道的匹配度数据信息在k1和k2之间则为第二类目标障碍物的状态，若所述障碍物与地图车道的匹配度数据信息在k2和k3之间则为第三类目标障碍物的状态，若所述障碍物与地图车道的匹配度数据信息大于k3则为第四类目标障碍物的状态；

35、q43.基于所述第一类目标障碍物的状态、第二类目标障碍物的状态、第三类目标障碍物的状态和第四类目标障碍物的状态，得到目标障碍物的状态分类数据信息。

36、进一步的，所述采用车辆的多轨迹预测模型算法对车辆的轨迹进行预测为若目标障碍物的状态为所述第一类目标障碍物的状态，则目标障碍物正处于沿当前车道直行的状态，采用以车辆为中心的单车运动学模型对车辆的运动轨迹进行预测，若目标障碍物的状态为所述第二类目标障碍物的状态，则目标障碍物正处于向相邻车道变道的状态，采用以前轮驱动的单车运动学模型对车辆的运动轨迹进行预测，若目标障碍物的状态为所述第三类目标障碍物的状态，则目标障碍物正处于转弯的状态，采用阿克曼转向几何的运动学模型对车辆的运动轨迹进行预测，若目标障碍物的状态为所述第四类目标障碍物的状态，则目标障碍物与地图匹配失败，则采用lstm预测模型对车辆的运动轨迹进行预测。

37、为了实现上述目的及其他相关目的，本发明还提供了一种基于融合多模态结果的轨迹预测系统，包括计算机设备，该计算机设备被编程或配置以执行任意一项所述的基于融合多模态结果的轨迹预测方法的步骤。

38、为了实现上述目的及其他相关目的，本发明还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有被编程或配置以执行任意一项所述的基于融合多模态结果的轨迹预测方法的计算机程序。

39、本发明具有以下积极效果：

40、1.本发明通过进行时间戳标定和数据对齐处理，得到处理后的道路的图像数据信息、目标障碍物的点云数据信息和目标障碍物的位置和速度数据信息，并结合采用多模态结果融合算法进行数据融合，得到融合后的目标障碍物的数据信息，通过多次匹配，分别将各类传感器的优势属性赋给目标物的基准位置，大大优化了检测结果，这既保证了检测的效率，满足成本控制的要求，又保证了检测效果，综合了各类传感器的优点。

41、2.本发明通过采用障碍物与地图车道匹配算法对目标障碍物的状态进行分类，得到目标障碍物的状态分类数据信息，并结合采用车辆的多轨迹预测模型算法对车辆的轨迹进行预测，在充分利用高精地图等信息的情况下，结合一个时序预测lstm模型，完成目标障碍物的轨迹预测功能，大大保障了预测的效果，这既保证了稳定的预测，又增强了预测结果的可解释性。