一种跨模态语义信息监督的轨迹预测方法

本发明涉及轨迹预测，特别是指一种跨模态语义信息监督的轨迹预测方法及装置。

背景技术：

1、轨迹预测是一种用于预测移动物体未来位置的技术，常用于自动驾驶、无人机、机器人导航和交通流预测等领域。在轨迹预测中，首先需要对感兴趣的物体进行检测和识别，并跟踪其在连续帧中的位置。物体检测与跟踪技术的发展对于轨迹预测至关重要。轨迹预测中存在不确定性，包括传感器噪声、不完全物体遮挡和未来环境变化等因素。有效的不确定性建模可以帮助评估预测结果的可靠性并提供决策依据。

2、轨迹预测算法一般以道路地图和场景中智能体的历史状态作为输入。为了编码场景上下文信息，早期的研究通常将它们转化为图像形式，以便使用卷积神经网络进行处理。由于图像信息计算量大，后面的算法改进了地图和历史状态的编码方式，用向量化信息代替图像信息表示上下文信息。比如，构建了车道图来捕捉地图拓扑结构，或使用图结构表示地图和历史轨迹信息。

3、现有方法中，普遍利用地图信息和车辆轨迹信息作为模型的监督信息，仅将车辆的未来轨迹信息作为约束模型的输出，并更新模型参数。然而，仅仅利用坐

4、标信息作为监督信号，只是让模型拟合可能行走的轨迹，而没有显式的让模型理解当前的车辆类型、行驶距离、车辆意图等信息以及为什么要按照特定方式行驶的原因。

5、现有技术中，缺乏一种针对场景语义信息的准确、高效的语义监督轨迹预测方法。

技术实现思路

1、本发明实施例提供了一种跨模态语义信息监督的轨迹预测方法及装置。所述技术方案如下：

2、一方面，提供了一种跨模态语义信息监督的轨迹预测方法，该方法由电子设备实现，该方法包括：

3、s1、采集车辆信息、行驶信息和地图信息，获得语义监督信息以及未来轨迹真值信息；

4、s2、基于编码器-解码器架构进行模型建立，获得待训练语义监督轨迹预测模型；

5、s3、将所述语义监督信息进行特征向量化，获得语义特征；

6、s4、根据所述语义监督信息，通过所述待训练语义监督轨迹预测模型，获得地图特征、历史轨迹特征以及未来轨迹特征；

7、s5、根据所述地图特征和所述历史轨迹特征进行特征拼接，获得全局背景信息特征；

8、s6、根据所述未来轨迹特征进行映射变换，获得距真值最近预测轨迹特征；

9、s7、根据所述语义特征、所述全局背景信息特征和所述距真值最近预测轨迹特征，对所述待训练语义监督轨迹预测模型进行对比学习训练，基于所述未来轨迹真值信息，获得损失函数收敛结果；

10、s8、当所述损失函数收敛结果为收敛时，获得语义监督轨迹预测模型，根据所述语义监督轨迹预测模型进行轨迹预测；当所述损失函数收敛结果为不收敛时，返回s1。

11、其中，所述语义监督信息包括行驶方向信息、行驶意图信息、行驶距离信息以及车辆类型信息。

12、可选地，所述根据所述地图特征和所述历史轨迹特征进行特征拼接，获得全局背景信息特征，包括：

13、将所述地图特征以及历史轨迹特征进行拼接，获得整体信息特征；

14、对所述历史轨迹特征的最后一个时刻的坐标进行连续向量映射，获得最后一个时刻坐标向量；将所述最后一个时刻坐标向量，输入预设的注意力模块，获得查询矩阵；

15、根据所述整体信息特征，获得关键矩阵以及价值矩阵；

16、根据所述查询矩阵、所述关键矩阵以及所述价值矩阵进行注意力交互，获得全局背景信息特征。

17、可选地，所述根据所述未来轨迹特征进行映射变换，获得距真值最近预测轨迹特征，包括：

18、根据所述未来轨迹特征进行维度映射变换，获得车辆行驶轨迹坐标；

19、根据所述车辆行驶轨迹坐标进行筛选，获得距真值最近预测轨迹坐标；

20、根据所述距真值最近预测轨迹坐标，在所述未来轨迹特征中进行对应选择，获得距真值最近预测轨迹特征。

21、可选地，所述根据所述语义特征、所述全局背景信息特征和所述距真值最近预测轨迹特征，对所述待训练语义监督轨迹预测模型进行对比学习训练，获得损失函数收敛结果，包括：

22、根据所述语义特征以及所述全局背景信息特征，对所述待训练语义监督轨迹预测模型进行对比学习训练，获得第一损失函数收敛结果；

23、根据所述语义特征以及所述距真值最近预测轨迹特征，对所述待训练语义监督轨迹预测模型进行对比学习训练，获得第二损失函数收敛结果；

24、根据所述未来轨迹特征，获得未来轨迹坐标；根据所述未来轨迹真值信息，获得未来轨迹真值坐标；根据所述未来轨迹坐标和未来轨迹真值坐标，计算高斯混合模型损失，获得第三损失函数收敛结果；

25、根据所述第一损失函数收敛结果、所述第二损失函数收敛结果以及所述第三损失函数收敛结果，获得损失函数收敛结果；

26、所述损失函数收敛结果包括收敛以及不收敛；其中，所述收敛是指当所述第一损失函数收敛结果、所述第二损失函数收敛结果以及所述第三损失函数收敛结果同时为收敛；所述不收敛是指第一损失函数收敛结果、所述第二损失函数收敛结果以及所述第三损失函数收敛结果不同时为收敛。

27、另一方面，提供了一种跨模态语义信息监督的轨迹预测装置，该装置应用于一种跨模态语义信息监督的轨迹预测方法，该装置包括：

28、语义监督信息获取模块，用于采集车辆信息、行驶信息和地图信息，获得语义监督信息以及未来轨迹真值信息；

29、模型建立模块，用于基于编码器-解码器架构进行模型建立，获得待训练语义监督轨迹预测模型；

30、特征向量化模块，用于将所述语义监督信息进行特征向量化，获得语义特征；

31、特征提取模块，用于根据所述语义监督信息，通过所述待训练语义监督轨迹预测模型，获得地图特征、历史轨迹特征以及未来轨迹特征；

32、全局背景信息特征获取模块，用于根据所述地图特征和所述历史轨迹特征进行特征拼接，获得全局背景信息特征；

33、预测轨迹特征获取模块，用于根据所述未来轨迹特征进行映射变换，获得距真值最近预测轨迹特征；

34、收敛结果获取模块，用于根据所述语义特征、所述全局背景信息特征和所述距真值最近预测轨迹特征，对所述待训练语义监督轨迹预测模型进行对比学习训练，基于所述未来轨迹真值信息，获得损失函数收敛结果；

35、模型获取模块，用于当所述损失函数收敛结果为收敛时，获得语义监督轨迹预测模型，根据所述语义监督轨迹预测模型进行轨迹预测；当所述损失函数收敛结果为不收敛时，返回语义监督信息获取模块。

36、其中，所述语义监督信息包括行驶方向信息、行驶意图信息、行驶距离信息以及车辆类型信息。

37、可选地，所述全局背景信息特征获取模块，进一步用于：

38、将所述地图特征以及历史轨迹特征进行拼接，获得整体信息特征；

39、对所述历史轨迹特征的最后一个时刻的坐标进行连续向量映射，获得最后一个时刻坐标向量；将所述最后一个时刻坐标向量，输入预设的注意力模块，获得查询矩阵；

40、根据所述整体信息特征，获得关键矩阵以及价值矩阵；

41、根据所述查询矩阵、所述关键矩阵以及所述价值矩阵进行注意力交互，获得全局背景信息特征。

42、可选地，所述预测轨迹特征获取模块，进一步用于：

43、根据所述未来轨迹特征进行维度映射变换，获得车辆行驶轨迹坐标；

44、根据所述车辆行驶轨迹坐标进行筛选，获得距真值最近预测轨迹坐标；

45、根据所述最近轨迹坐标，在所述未来轨迹特征中进行对应选择，获得距真值最近预测轨迹特征。

46、可选地，所述收敛结果获取模块，进一步用于：

47、根据所述语义特征以及所述全局背景信息特征，对所述待训练语义监督轨迹预测模型进行对比学习训练，获得第一损失函数收敛结果；

48、根据所述语义特征以及所述距真值最近预测轨迹特征，对所述待训练语义监督轨迹预测模型进行对比学习训练，获得第二损失函数收敛结果；

49、根据所述未来轨迹特征，获得未来轨迹坐标；根据所述未来轨迹真值信息，获得未来轨迹真值坐标；根据所述未来轨迹坐标和未来轨迹真值坐标，计算高斯混合模型损失，获得第三损失函数收敛结果；

50、根据所述第一损失函数收敛结果、所述第二损失函数收敛结果以及所述第三损失函数收敛结果，获得损失函数收敛结果；

51、所述损失函数收敛结果包括收敛以及不收敛；其中，所述收敛是指当所述第一损失函数收敛结果、所述第二损失函数收敛结果以及所述第三损失函数收敛结果同时为收敛；所述不收敛是指第一损失函数收敛结果、所述第二损失函数收敛结果以及所述第三损失函数收敛结果不同时为收敛。

52、另一方面，提供了一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现上述一种跨模态语义信息监督的轨迹预测方法。

53、另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现上述一种跨模态语义信息监督的轨迹预测方法。

54、本发明实施例提供的技术方案带来的有益效果至少包括：

55、本发明提出一种跨模态语义信息监督的轨迹预测方法，基于文本信息的语义监督学习方法，引入了额外的语义信息，将车辆类型、行驶距离、车辆意图、地图信息等信息，通过文本编码的方式提取成特征，对模型进行监督和提示，使得模型能够更好地理解驾驶任务的上下文和背景，帮助模型更准确地预测车辆未来的行动，更准确地预测路径，降低模型的预测误差，减少模型的训练时间；本发明采用语义监督学习方法使得模型无需依赖大量标注好的数据集，而是通过利用现有的车辆、轨迹、地图等信息自动生成监督信号。这不仅提高了数据利用率，还降低了监督信息获取的成本，减少了对人工标注的依赖。本发明提出的语义监督学习方法不受具体轨迹预测算法制约，可用于大部分轨迹预测方法上，对轨迹预测算法带来提升。本发明是一种针对场景语义信息的准确、高效的语义监督轨迹预测方法。