基于数据驱动模态表征与区域注意力的多模轨迹预测方法

本技术涉及自动驾驶，具体地，涉及一种基于数据驱动模态表征与区域注意力的多模轨迹预测方法。

背景技术：

1、准确可靠的车辆轨迹预测是自动驾驶车辆的核心功能之一，也是高质量的局部运动规划和决策的基础。然而，由于车辆间复杂的相互作用和机动类别的多样性，准确预测未来的轨迹是一项具有挑战性的任务。

2、在动态密集的交通场景中，车辆的运动不仅受自身历史路径的影响，还受周围车辆的影响。例如，目标车辆需要考虑周围的车辆，以避免在倾向于变道时发生碰撞，因此，车辆间的相互作用建模是车辆轨迹预测的关键。然而，如何为交互建模选择合适的范围成为一个棘手的问题。现有的一些方法只考虑距离目标车辆较近的周围车辆，而忽略了非局部的相互作用，使得相互作用表征不完整，影响了轨迹预测的精度。其他方法在建模交互时，通过考虑更大范围的周围车辆来捕捉完整的交互，这使得来自无关周围车辆的信息在交互表征中成为噪声，并最终干扰模型预测。此外，受驾驶员个性化特征、生理和心理因素的影响，目标车辆在同一交通场景中存在多种合理的机动选择，即使在做同样的机动时，不同车辆的执行方式也各不相同。单峰轨迹的预测会产生多模态的平均值，从而导致模态崩溃。因此，研究者开展了多模态轨迹预测的相关研究，现有的方法大多倾向于用独热编码作为不同机动类别的模态先验来解码多模态轨迹。然而，独热编码是一种低维稀疏向量，难以有效地表征复杂的轨迹模式，另外，所有具有相同机动类别的轨迹模态用相同的独热编码表示，忽略了轨迹内部的差异。

技术实现思路

1、为了克服现有技术中的至少一个不足，本技术提供一种基于数据驱动模态表征与区域注意力的多模轨迹预测方法。

2、第一方面，提供一种基于数据驱动模态表征与区域注意力的多模轨迹预测方法，包括：

3、获取目标车辆及其周围车辆在历史时间段的运动信息；运动信息包括x方向的位置、速度和加速度，y方向的位置、速度和加速度；

4、将目标车辆及其周围车辆在历史时间段的运动信息输入到多模态轨迹预测模型中，得到目标车辆的多模态轨迹预测结果；多模态轨迹预测模型包括：基于意图的区域注意力机制模块ira、个性化模态表征模块dim、长短期记忆人工神经网络；

5、基于意图的区域注意力机制模块ira用于基于目标车辆及其周围车辆在历史时间段的运动信息，得到车辆间的相互作用；

6、个性化模态表征模块dim用于基于目标车辆及其周围车辆在历史时间段的运动信息，得到目标车辆的未来模态表征；

7、长短期记忆人工神经网络用于根据车辆间的相互作用、目标车辆的未来模态表征和目标车辆在历史时间段的运动信息，得到目标车辆的多模态轨迹预测结果。

8、在一个实施例中，基于意图的区域注意力机制模块ira，包括：二维多头注意力机制2d mha，卷积模块、三维多头注意力机制3dmha；

9、将目标车辆的在历史时间段的运动信息输入到二维多头注意力机制2d mha，得到驾驶员意图；

10、将目标车辆及其周围车辆在历史时间段的运动信息表示为张量；

11、将张量输入到卷积模块进行卷积操作，得到场景表征；

12、将驾驶员意图和场景表征输入到三维多头注意力机制3d mha，得到车辆间的相互作用。

13、在一个实施例中，将驾驶员意图和场景表征输入到三维多头注意力机制3d mha，得到车辆间的相互作用，包括：

14、三维多头注意力机制3d mha包括多个子空间，针对每个子空间，根据驾驶员意图计算查询向量q；根据场景表征计算键向量k和值向量v；

15、将查询向量q和键向量k通过softmax函数计算，得到注意力得分矩阵；

16、注意力得分矩阵和值向量v进行相乘，得到子空间对应的相互作用表征；

17、将所有子空间对应的相互作用表征进行加权聚合，得到车辆间的相互作用。

18、在一个实施例中，个性化模态表征模块dim，包括：历史模态表征模块eh、历史个性表征计算模块、拟合器、分类器、未来模态表征计算模块；

19、目标车辆及其周围车辆在历史时间段的运动信息输入到历史模态表征模块eh，得到历史模态表征rh；

20、将历史模态表征rh和历史共性表征mh输入到历史个性表征计算模块，得到历史个性表征σh；历史个性表征σh包括多个模态的历史个性表征；

21、将历史个性表征σh输入到拟合器，得到未来个性表征

22、将未来个性表征和未来共性表征mf输入到未来模态表征计算模块，得到目标车辆的未来模态表征目标车辆的未来模态表征包括多个模态的未来模态表征；

23、分类器用于根据历史模态表征rh，得到目标车辆执行多个模态的概率。

24、在一个实施例中，未来共性表征mf，采用以下方式获取：

25、根据设定时间段内的横向位移将训练样本分成三个子集；三个子集分别表示左转、直行和右转；每个子集包括多个样本；

26、针对每个子集，将样本的未来轨迹数据输入到未来模态表征模块ef，得到每个样本对应的未来模态表征；

27、求所有样本对应的未来模态表征rf的均值，得到每个子集对应的未来共性表征；所有子集对应的未来共性表征构成未来共性表征mf。

28、在一个实施例中，历史共性表征mh，采用以下方式获取：

29、根据设定时间段内的横向位移将训练样本分成三个子集；三个子集分别表示左转、直行和右转；每个子集包括多个样本；

30、针对每个子集，将样本的历史轨迹数据输入到历史模态表征模块eh，得到每个样本对应的历史模态表征；

31、求所有样本对应的历史模态表征rh的均值，得到每个子集对应的历史共性表征；所有子集对应的历史共性表征构成历史共性表征mh。

32、在一个实施例中，长短期记忆人工神经网络，包括第一长短期记忆人工神经网络单元和第二长短期记忆人工神经网络单元；

33、将目标车辆的在历史时间段的运动信息和车辆间的相互作用输入到第一长短期记忆人工神经网络单元，得到输出结果；

34、将输出结果和目标车辆的未来模态表征进行拼接，并将拼接结果输入到第二长短期记忆人工神经网络单元，输出目标车辆的多模态轨迹预测结果。

35、第二方面，提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时，以实现上述的基于数据驱动模态表征与区域注意力的多模轨迹预测方法。

36、第三方面，提供一种计算机程序产品，包括计算机程序/指令，计算机程序/指令被处理器执行时实现上述的基于数据驱动模态表征与区域注意力的多模轨迹预测方法。

37、相对于现有技术而言，本技术具有以下有益效果：

38、1、本技术将衡量车辆交互用强度的标准重新定义为目标车辆的意图，并构造了ira模块来将注意力分配到位于不同区域的周围车辆，注意力矩阵用于加权聚合不同区域的交互，可以在更大范围内对非局部交互进行建模，而不会引入与周围无关车辆产生的噪声。

39、2、本技术构造了dim模块，dim模块综合考虑了同一机动类型轨迹的模态共性和个性，并以数据驱动的方式进一步学习了轨迹的个性化高维模态表征，从而指导模型输出更准确合理的多模态轨迹。

40、3、本技术在真实的车辆轨迹数据集上进行了对比实验和消融实验，以全面评估所提出的方法，结果表明，本技术构建的模型具有明显的优势，尤其是在长期预测方面。