一种交通参与者的轨迹预测方法、系统及存储介质

本发明涉及轨迹预测，尤其是涉及一种交通参与者的轨迹预测方法、系统及存储介质。

背景技术：

1、近年来，大量基于浅层学习的轨迹预测模型被提出，浅层学习中的基于运动学的方法是比较早被应用在轨迹预测领域的，这类方法一般需要对行人的运动学特征(速度、位置和角速度等)进行建模，并将其与贝叶斯滤波器、马尔可夫网络或者贝叶斯网络结合起来，将当前状态传播到未来状态进行预测。但是由于基于运动学(恒定速度/加速度/转弯)方法的局限性、运动特征信息提取的不足、特定场景信息的缺失、模型构建的复杂性以及大型数据集样本及行人运动类型有限等问题，最终的预测效果与实际情况存在一定差距，传统的方法难以对较为复杂的行人运动模型及场景进行较为精确的预测。

2、以人工神经网络为架构的学习网络在处理行人轨迹预测领域取得了显著的效果，基于深度学习的时序数据处理模型成为新的发展趋势。其中包含采用基于卷积循环网络(rnn)以及其变体长短时记忆lstm网络对时间轨迹序列进行建模、生成对抗网络gan模型以生成多模态轨迹预测以及图神经网络gcn模型将行人之间的交互表达为图形以提取空间交互信息等方法在同构交通参与者轨迹预测方面取得了重大的成就，但是对于城市交通混合异质的轨迹预测研究以上方法或者其混合方法都还无法满足无人驾驶的高效性、实时性、准确性要求。例如；在城市道路交通路口中，道路智能体存在异质性(智能体的形状、大小、转弯半径以及可操作性的不同)，公交车-行人交互的动态约束与自行车-行人甚至汽车-行人交互存在有显著差异；行人轨迹预测方法均采用循环神经网络(rnns)对行人轨迹进行建模，同时通过一些空间模块或图卷积模块来对行人的空间交互进行建模，其难以对较长序列进行建模，且行人空间交互模式非常复杂，简单的图卷积或者社交池化很难对其进行建。

技术实现思路

1、本发明提供一种交通参与者的轨迹预测方法、系统及存储介质，基于无人驾驶汽车的城市交通参与者的轨迹预测场景，不仅仅考虑了交通路口智能体时间和空间交互特征，还充分利用了交通路口智能体的状态类别信息，从而在实验数据集上的预测准确度得到较大的提升，表现出了良好的稳定性。

2、本发明采用了如下技术方案：

3、一种交通参与者的轨迹预测方法，包括：

4、s1.对交通参与者的历史轨迹序列进行预处理，得到时空类别图；

5、s2.将所述时空类别图输入到第一编码器；其中，所述第一编码器由时间序列层、类别层、空间层和全连接层组成；

6、s3.所述时间序列层通过其时间transformer模块对待预测行人的时间序列进行编码，得到行人的时间序列隐藏状态；

7、s4.所述类别层通过其类别transformer模块从时空类别图中学习不同类别智能体对行人的交互影响力，得到不同类别间的交互嵌入信息；

8、s5.所述空间层通过其空间transformer模块学习待预测行人周边领域的不同智能体的交互权重信息，得到不同智能体间的交互权重信息；

9、s6.所述全连接层将所述行人的时间序列隐藏状态、不同类别间的交互嵌入信息和不同智能体间的交互权重信息进行拼接映射成特定维度的隐藏向量；

10、s7.将所述隐藏向量输入到第二编码器；

11、s8.所述第二编码器通过其空间transformer模块和时间transformer模块将所述隐藏向量进行编码，并将得到的编码向量与高斯噪声进行拼接，并通过其全连接层将得到的拼接向量解码成未来轨迹的高斯分布参数向量，作为轨迹预测的输出；

12、s9.将所述轨迹预测添加到历史轨迹序列中作为下一帧轨迹预测的输入。

13、在一些实施例中，s1中，将每个智能体视为一个节点，代理之间的交互视为边，所有具有相同类别的代理视为一个类别节点，得到时空类别图gstc：

14、

15、其中，i∈{1，...，n}、t∈{1，……，tpred}、c＝{1，……，c}分别表示节点、时间步长和类别的索引；表示在时间步长t中具有类别c的节点i，}是连接节点i和j的空间边；}是在时间步长t时生成的具有类别c的类别节点,}是连接类别c1与c2的类别边，}是连接类别节点和每个空间节点且属于类别c的空间类别代理边。

16、在一些实施例中，s3中，所述时间transformer模块将一组行人轨迹嵌入向量i∈{1，…，m}作为输入，输出一组更新的具备时间相关性的嵌入向量i∈{1，…，m}，独立地考虑每个行人，过程为：

17、所述时间transformer模块的自注意块首先学习查询矩阵给定输入的键矩阵和值矩阵对于第一个智能体i：

18、

19、其中fq，fk和fv是对应的行人i共享的查询、键和值函数；

20、按照等式分别计算每个智能体i的时间序列注意力，表示为：

21、

22、

23、headj＝attj(qi,ki,vi)；

24、其中softmax函数将n维向量映射为一个概率分布，由以下公式定义：

25、

26、f是一个完全连接的层，合并了k个头，attj索引第j个头，最终的嵌入由两个跳过连接和一个最终的完全连接层生成。

27、在一些实施例中，s4中，首先在所述时空类别图上获得每个类别的类别特征，在此基础上通过所述类别transformer模块获得类别级交互权重，使用填充操作将它们对齐到相同的数量，然后通过线性投影得到各类别的嵌入即：

28、

29、其中φ()表示线性投影，是t时刻类别c的类别节点，是类别c在t时刻的嵌入，θ()是填充操作，we是线性投影的可学习权值；

30、所述类别transformer模块将时间帧t时刻c个类别的状态信息集合作为输入，输出一组更新的具备类别交互信息的嵌入过程为:

31、首先计算每个智能体的查询向量、键向量、值向量:

32、qi＝fq(hi),ki＝fk(hi),vi＝fv(hi)；

33、将所述时空类别图中从节点j到节点i的交互信息定义为:

34、

35、类别i的交互信息被表示为:

36、

37、其中softmax函数将n维向量映射为一个概率分布，由以下公式定义：

38、

39、在一些实施例中，s5中，所述空间transformer模块提取了不同智能体之间的空间交互作用，给定时间帧t时刻n个智能体的状态信息集合输出一组更新的具备时间相关性的嵌入向量过程为：

40、首先计算每个智能体的查询向量、键向量、值向量:

41、qi＝fq(hi),ki＝fk(hi),vi＝fv(hi)；

42、将时空类别图中从节点j到节点i的交互信息定义为:

43、

44、节点i的图卷积运算被表示为:

45、

46、

47、其中softmax函数将n维向量映射为一个概率分布，由以下公式定义：

48、fout是一个完全连接的层。

49、在一些实施例中，s6中的进行拼接映射得到所述隐藏向量的公式为：

50、

51、在一些实施例中，s8中，通过所述第二编码器对所述隐藏向量进行处理的过程如下：

52、通过所述第二编码器的空间transformer模块编码每个节点的时空类别交互特征然后输出每个节点的空间嵌入特征表示并通过所述第二编码器的时间transformer模块通过时间注意增强输出节点隐藏特征

53、将节点隐藏特征与高斯噪声δ进行拼接以产生多轨迹路径；

54、所述第二编码器的全连接层γ()将拼接得到的向量解码映射成未来轨迹的高斯分布参数向量,过程为:

55、

56、

57、其中y＝(mx,my,σx,σy,ρxy)，作为轨迹预测的输出。

58、一种交通参与者的轨迹预测系统，用于执行上述中任一项所述的交通参与者的轨迹预测方法；

59、所述交通参与者的轨迹预测系统包括：

60、预处理模块，用于对交通参与者的历史轨迹序列进行预处理，得到时空类别图；

61、第一编码器，用于在所述第一编码器的时间序列层通过其时间transformer模块对待预测行人的时间序列进行编码，得到行人的时间序列隐藏状态；

62、在所述第一编码器的类别层通过其类别transformer模块从时空类别图中学习不同类别智能体对行人的交互影响力，得到不同类别间的交互嵌入信息；

63、在所述第一编码器的空间层通过其空间transformer模块学习待预测行人周边领域的不同智能体的交互权重信息，得到不同智能体间的交互权重信息；

64、在所述第一编码器的全连接层将所述行人的时间序列隐藏状态、不同类别间的交互嵌入信息和不同智能体间的交互权重信息进行拼接映射成特定维度的隐藏向量；

65、第二编码器，用于通过所述第二编码器的空间transformer模块和时间transformer模块将所述隐藏向量进行编码，并将得到的编码向量与高斯噪声进行拼接，并通过其全连接层将得到的拼接向量解码成未来轨迹的高斯分布参数向量，作为轨迹预测的输出；并将所述轨迹预测添加到历史轨迹序列中作为下一帧轨迹预测的输入。

66、一种计算机可读存储介质，所述存储介质存储计算机指令，当计算机读取所述计算机指令时，所述计算机执行上述中任意一项所述的交通参与者的轨迹预测方法。

67、综上所述，本发明至少具有以下有益效果：

68、本发明基于无人驾驶汽车的城市交通参与者的轨迹预测场景，不仅仅考虑了交通路口智能体时间和空间交互特征，还充分利用了交通路口智能体的状态类别信息，从而在实验数据集上的预测准确度得到较大的提升，表现出了良好的稳定性。