轨迹预测网络模型构建方法、训练方法、装置及存储介质与流程

本技术涉及轨迹预测，具体涉及一种轨迹预测网络模型构建方法、轨迹预测网络模型训练方法、轨迹预测方法、轨迹预测网络模型构建装置、轨迹预测网络模型训练装置、轨迹预测装置、计算机设备及计算机可读存储介质。

背景技术：

1、轨迹预测是自动驾驶技术中一个重要的组成部分。它致力于预测车辆、行人和其他障碍物未来的运动轨迹，以便自动驾驶系统可以做出准确的决策并且避免潜在的危险。在规划上游的模块中，轨迹预测的主要目标是预测周围交通参与者在未来一段时间内可能采取的动作或运动轨迹。目前相关技术中轨迹预测方法是以被预测智能体为中心的基于transformer的编码器-解码器网络结构。编码器将输入的道路信息，需预测被预测智能体信息，以及交互被预测智能体信息的序列转换为固定长度的特征图表示，解码器中每个查询点代表一种可能的轨迹模态，通过将查询点和编码器中得到的特征图的融合，得到未来的轨迹预测。

2、在实际生产中，轨迹预测的时序稳定性是评价一个轨迹预测模型性能的重要指标。目前相关技术中的预测模型是基于单帧的场景的数据进行训练，并没有显式在模型的设计中加入模块考虑轨迹的时序稳定性，从而造成预测轨迹失准。

技术实现思路

1、本技术提供了一种轨迹预测网络模型构建方法、轨迹预测网络模型训练方法、轨迹预测方法、轨迹预测网络模型构建装置、轨迹预测网络模型训练装置、轨迹预测装置、计算机设备及计算机可读存储介质。

2、本技术实施方式涉及的轨迹预测网络模型构建方法，包括：

3、配置第一编码器模块以及第二编码器模块，其中所述第一编码器模块被配置为根据当前时刻的被预测智能体位置、当前时刻的环境图像以及预设潜查询特征向量，确定第一输入特征数据，所述第二编码器模块被配置为根据所述被预测智能体位置以及所述环境图像在当前时刻的前一时刻的投影数据、以及预设潜查询特征向量，确定第二输入特征数据；

4、配置解码器模块，其中所述解码器模块被配置为根据所述第一输入特征数据以及所述第二输入特征数据，确定目标预测轨迹。

5、如此，本技术实施方式中的轨迹预测网络模型构建方法，能够构建出一个配置有至少两组编码器模块的轨迹预测网络模型，以其中一组编码器模块利用当前时刻的前一时刻的元素投影与当前时刻的元素间的残差生成一组特征数据，与另一组编码器模块利用当前时刻的元素生成的另一组特征数据一同进行叠加，以消除编码器输出数据存在的时空错位情况，从而使输出的特征数据精确度提高，进而提高轨迹预测的精确度。

6、在某些实施方式中，所述方法还包括：

7、配置长短期记忆模块，其中所述长短期记忆模块被配置为根据所述第一输入特征数据以及所述第二输入特征数据，确定特征编码，所述特征编码被配置为使所述解码器模块根据所述特征编码确定所述目标预测轨迹。

8、如此，本技术实施方式中的轨迹预测网络模型构建方法，在上述实施方式的基础上还能能够构建出长短期记忆模块，以根据上述实施方式中由两组特征数据进行叠加，并利用与时域相关的数据处理运算方法对叠加后的数据执行时域稳定处理，从而得到一组能够使解码器模块直接使用的特征编码，从而提高轨迹预测的精确度。

9、本技术实施方式中的轨迹预测网络模型训练方法，用于根据上述的轨迹预测网络模型构建方法构建的轨迹预测网络模型，包括：

10、控制第二编码器模块将当前时刻的被预测智能体位置、以及当前时刻的环境图像，投影到当前时刻的前一时刻，确定第一偏移量以及第二偏移量，其中所述第一偏移量为相比于所述当前时刻，所述当前时刻的前一时刻处所述被预测智能体位置的偏移量，所述第二偏移量为相比于所述当前时刻，所述当前时刻的前一时刻处所述环境图像的偏移量；

11、控制所述第二编码器模块根据所述第一偏移量、所述第二偏移量以及预设潜查询特征向量，确定第二输入特征数据；

12、控制第一编码器模块根据当前时刻的被预测智能体位置、当前时刻的环境图像以及预设潜查询特征向量，确定第一输入特征数据；

13、控制解码器模块根据所述第一输入特征数据以及所述第二输入特征数据，确定目标预测轨迹，以完成当次训练过程。

14、如此，本技术实施方式中的轨迹预测网络模型训练方法，可以在训练时控制第二编码器模块对输入到网络模型中的位置数据与环境图像数据进行投影处理以及残差计算，从而实现与第一编码器模块生成的数据进行合并来消除编码器输出数据存在的时空错位情况，最后经过解码器的数据处理确定目标预测轨迹，完成当次训练。

15、在某些实施方式中，所述方法还包括：

16、控制长短期记忆模块根据所述第一输入特征数据以及所述第二输入特征数据，确定特征编码，其中所述特征编码被配置为根据当前时刻的前一时刻下的预设单元状态以及预设隐藏状态向量，对所述第一输入特征数据以及所述第二输入特征数据进行时域稳定化而确定；

17、控制所述解码器模块根据所述特征编码，确定所述目标预测轨迹，以完成当次训练过程。

18、如此，本技术实施方式中的轨迹预测网络模型训练方法，还能够控制轨迹预测网络模型中的长短期记忆模块，利用预设单元状态以及预设隐藏状态向量在相邻时间点之间的变换关系，根据两组编码器模块输出的叠加数据进行时域稳定化处理，生成一个成功消除了时空错位情况的特征编码，并控制解码器模块根据上述的特征编码来生成目标预测轨迹，从而实现通过提升轨迹预测的时序稳定性来提升预测轨迹的精确度。

19、本技术实施方式中的轨迹预测方法，基于根据上述的轨迹预测网络模型构建方法构建的轨迹预测网络模型，或基于根据上述的轨迹预测网络模型训练方法训练的轨迹预测网络模型，包括：

20、获取当前时刻的被预测智能体位置、以及当前时刻的环境图像；

21、根据所述被预测智能体位置以及所述环境图像，确定第一输入特征数据以及第二输入特征数据，其中所述第一编码器模块被配置为根据当前时刻的被预测智能体位置、当前时刻的环境图像以及预设潜查询特征向量，确定第一输入特征数据，所述第二编码器模块被配置为根据所述被预测智能体位置以及所述环境图像在当前时刻的前一时刻的投影数据、以及预设潜查询特征向量，确定第二输入特征数据；

22、根据所述第一输入特征数据以及所述第二输入特征数据，确定目标预测轨迹。

23、本技术实施方式中的轨迹预测网络模型构建装置，包括：

24、编码器配置模块，用于配置第一编码器模块以及第二编码器模块；

25、解码器配置模块，用于配置解码器模块。

26、本技术实施方式中的轨迹预测网络模型训练装置，包括：

27、偏移量确定模块，用于控制第二编码器模块将当前时刻的被预测智能体位置、以及当前时刻的环境图像，投影到当前时刻的前一时刻，确定第一偏移量以及第二偏移量；

28、时域变换模块，用于控制所述第二编码器模块根据所述第一偏移量、所述第二偏移量以及预设潜查询特征向量，确定第二输入特征数据；

29、原始编码模块，用于控制第一编码器模块根据当前时刻的被预测智能体位置、当前时刻的环境图像以及预设潜查询特征向量，确定第一输入特征数据；

30、轨迹生成模块，用于控制解码器模块根据所述第一输入特征数据以及所述第二输入特征数据，确定目标预测轨迹，以完成当次训练过程。

31、本技术实施方式中的轨迹预测装置，包括：

32、数据获取模块，用于获取当前时刻的被预测智能体位置、以及当前时刻的环境图像；

33、数据处理模块，用于根据所述被预测智能体位置以及所述环境图像，确定第一输入特征数据以及第二输入特征数据；

34、轨迹预测模块，用于根据所述第一输入特征数据以及所述第二输入特征数据，确定目标预测轨迹。

35、本技术实施方式中的计算机设备，包括存储器与处理器，所述存储器存储有计算机程序，在所述计算机程序被所述处理器执行的情况下，实现上述的方法。

36、本技术实施方式中的计算机可读存储介质，存储有计算机程序，在所述计算机程序被一个或多个处理器执行的情况下，实现上述的方法。

37、本技术的实施方式的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实施方式的实践了解到。