基于编码器-解码器架构的轨迹预测方法

1.本发明涉及自动驾驶技术领域，具体而言，涉及一种基于编码器-解码器架构的轨迹预测方法。


背景技术：

2.在自动驾驶领域中，实现对交通环境精准的感知和预测，是保证自动驾驶车辆安全高效运行的前提。面对复杂多变的交通环境，自动驾驶车辆需要即时地获取周围交通环境信息和路网信息等，并通过算法决策出一条安全高效的运行轨迹，需要对周围的交通环境做出合理的轨迹预测。其中，轨迹预测的对象一般为行人、车辆和自行车等。
3.传统的轨迹预测方法包括：基于规则的轨迹预测方法和基于数据驱动的轨迹预测方法。许多传统基于规则的轨迹预测方法通过建立运动学的模型在短距离的预测中拥有较高的精度，但由于复杂多变的交通环境具有高度的非线性性，这使得基于模型的轨迹预测方法很难在长距离的预测中取得较高的精度，无法满足自动驾驶车辆在高效安全方面的保障。基于数据驱动的轨迹预测方法通常采用长短期记忆神经网络(lstm)和循环神经网络(rnn)根据历史的轨迹数据去预测未来的轨迹。在基于lstm的轨迹预测方法中，将轨迹预测视作序列学习和生成任务进行建模，利用本身的结点状态和周围行人或车辆的结点状态交互以进行轨迹预测，取得了较好的效果。此外，现有模型还在lstm基础上引入注意力机制，使轨迹预测精度更进一步的提升。
4.现有的自动驾驶轨迹预测方法有着差强人意的精度，但却存在以下不足：现有基于数据驱动的轨迹预测方法在模型中缺少路网信息的支撑，但路网信息能给模型在轨迹预测中提供重要的数据支持，使得其无法满足在当今复杂的交通环境信息做出更高精度的预测；现有模型中缺少安全性约束，没有考虑预测后车辆或行人出现碰撞的情况，而出现碰撞情况是非安全性且极少发生的，缺少安全约束的考虑会导致模型的预测精度下降，无法满足自动驾驶对高效安全的需求。


技术实现要素：

5.本发明在于提供一种基于编码器-解码器架构的轨迹预测方法，其能够缓解上述问题。
6.为了缓解上述的问题，本发明采取的技术方案如下：
7.本发明提供了一种基于编码器-解码器架构的轨迹预测方法，其特征在于，包括以下步骤：
8.s1、基于卷积神经网络对道路图片进行特征提取，得到路网特征信息，获取通过雷达捕捉到的道路中所有的物体特征信息，基于物体特征信息和路网特征信息得到提取向量图；
9.s2、将提取向量图输入至带有注意力机制的图注意力网络，输出得到具有注意力信息的特征向量；
10.s3、将具有注意力信息的特征向量输入至第一长短期记忆递归神经网络，输出得到第一结果数据；
11.s4、将第一结果数据输入至解码器图注意力网络，对第一结果数据进行信息聚合得到第二结果数据；
12.s5、将第二结果数据输入至第二长短期记忆递归神经网络，输出得到轨迹预测结果，第二长短期记忆递归神经网络的损失函数包括位置信息损失和碰撞面积约束。
13.在本发明的一较佳实施方式中，步骤s1包括以下步骤：
14.s11、将道路图片输入至卷积神经网络，输出得到路网特征信息；
15.s12、获取通过雷达捕捉到的道路图片中所有的物体特征信息，采用独热编码对物体特征信息中的类型信息进行编号，得到物体特征向量；
16.s13、采用全连接网络对物体特征向量进行扩充；
17.s14、将扩充后的物体特征向量与路网特征信息合并，得到提取向量图。
18.在本发明的一较佳实施方式中，步骤s13中，扩充公式为：
[0019][0020]
其中，表示扩充后的第i个向量，w1代表全连接层的权重系数，代表第i个物体的特征向量，a代表进行扩充向量的点积操作。
[0021]
在本发明的一较佳实施方式中，步骤s14中，所得到的提取向量图有多张，分别表示不同时刻的状态，状态包括物体特征向量与路网特征信息。
[0022]
在本发明的一较佳实施方式中，步骤s2中，具有注意力信息的特征向量的计算公式为
[0023][0024]
其中，代表注意力权重向量，w2代表带有注意力机制的图注意力网络中的系数，σ代表向量的点积操作。
[0025]
在本发明的一较佳实施方式中，长短期记忆递归神经网络包括输入门、忘记门、输出门、隐藏层和细胞单元。
[0026]
在本发明的一较佳实施方式中，步骤s3中，第一结果数据
[0027]ht
＝lstm(v
t
,h
t-1
；w3)
[0028]
其中，v
t
表示对t时刻矩阵中所有特征向量进行嵌入之后得到的向量，w3代表第一长短期记忆递归神经网络中的权重系数。
[0029]
在本发明的一较佳实施方式中，步骤s4中，第二结果数据
[0030]gt
＝g(h
t
；w4)
[0031]
其中，w4代表解码器图注意力网络中的权重参数，g代表解码器图注意力网络中的点积操作。
[0032]
在本发明的一较佳实施方式中，步骤s5中，第一个轨迹预测结果
[0033][0034]ht+1
由g
t
输入获得，h0为隐藏层的初始状态，w5代表第二长短期记忆递归神经网络的权重系数，
[0035]
在得到h
t+1
后，开始自循环得到其它任意预测时间的轨迹预测结果，即
[0036]ht+x
＝lstm(h
t+x
,h
t+x-1
；w5)
[0037]
其中，h
t+x
代表t+x时刻的预测结果，x》1，h
t+x-1
代表上一时刻的预测结果。
[0038]
在本发明的一较佳实施方式中，步骤s5中，第二长短期记忆递归神经网络的损失函数为
[0039][0040]
其中，为t时刻的位置损失，s
collision
为碰撞面积。
[0041]
与现有技术相比，本发明的有益效果是：
[0042]
采用编码器-解码器架构，提高了预测轨迹的效率；采用路网信息和特征信息共同嵌入进向量，提高了轨迹预测的可靠性；对向量运用注意力机制，使得轨迹预测的结果更为精确；在损失函数中加入碰撞面积的约束，使得损失值更快收敛，并且预测精度进一步提升。
[0043]
为使本发明的上述目的、特征和优点能更明显易懂，下文特举本发明实施例，并配合所附附图，作详细说明如下。
附图说明
[0044]
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0045]
图1是本发明的流程图；
[0046]
图2是本发明的lstm网络图；
具体实施方式
[0047]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。
[0048]
请参照图1，本发明公开了一种基于编码器-解码器架构的轨迹预测方法，具体操作过程如下：
[0049]
一、构建提取向量图
[0050]
在本发明中，采用了卷积神经网络，运用三个层的叠加对道路图片进行编码，包括卷积层、池化层、全连接层。卷积层用于提取路网特征，池化层用于缩小路网特征的维度使得计算量变小，最后全连接层用于得到想要的输出结果，即为整体的路网特征信息。
[0051]
在当前时刻，先将道路图片输入卷积神经网络络cnn，得到一个多维向量，此向量即为路网特征信息，此向量用e
t
进行表示，代表第t帧的路网特征信息。
[0052]et
＝cnn(picture)
[0053]
其中，cnn中包括了卷积层、池化层和全连接层的运用。
[0054]
在物体特征信息(通过雷达捕捉)中，类型信息此时为顺序编码，为了能够取得更
好的效果，采用独热编码为其进行编号，即类型为4的将其编码为[0,0,0,1]，这样得到4维向量。
[0055]
编码之后的第i个物体特征向量用表示。
[0056][0057]
此时，物体特征信息和路网特征信息的维度是不相等的，为了能使得物体特征和路网特征可以形成一个提取图，采用一个全连接层将物体特征信息维度进行扩大。扩大之后的第i个向量用进行表示，w1代表全连接层的权重系数。
[0058][0059]
当前帧的所有物体特征向量进行扩充之后，将其和路网特征信息合并成为一个提取图，表示为一个边集和点集，点集为物体特征向量信息。点集表示为是一个矩阵。
[0060]
矩阵中保存了路网特征信息和当前所有物体特征信息(例如车辆、行人等)。在轨迹预测时，需要观察一个时间段的信息进行预测，那么上面得到的矩阵就会存在多个，每个矩阵表示每一帧的路网特征信息和当前帧的所有物体特征信息。多个矩阵和边集的集合共同组成了多张提取图，多个矩阵表示为a＝{a
t-r+1
,a
t-r+2
,...,a
t
}。a
t
为t时刻的矩阵。
[0061]
二、编码器层
[0062]
编码器层包括带有注意力机制的图注意力网络(graph attention network gat)和第一长短期记忆递归神经网络。
[0063]
带有注意力机制的图注意力网络包括对输入特征向量的聚合，将注意力机制运用在图结构上，使得轨迹预测得到更为精准的结果。将上一个卷积神经网络得到的路网特征信息和物体的特征向量输入到图注意力网络中，可以得到经过注意力之后的特征向量，将用作于下一层长短期记忆递归神经网络的输入。
[0064]
注意力机制(attention mechanism)是在计算能力有限的情况下，将计算资源分配给更重要的任务，同时解决信息超载问题的一种资源分配方案。在神经网络学习中，一般而言模型的参数越多则模型的表达能力越强，模型所存储的信息量也越大，但这会带来信息过载的问题。那么通过引入注意力机制，在众多的输入信息中聚焦于对当前任务更为关键的信息，降低对其他信息的关注度，甚至过滤掉无关信息，就可以解决信息过载问题，并提高任务处理的效率和准确性。在得到上面所述的多个帧对应的多个矩阵之后，我们将每一个矩阵运用注意力机制，也就是输入到图注意力网络中，我们会得到带有注意力的每一个矩阵，这些矩阵可以对我们之后的预测起到关键作用。将图注意力网络作用于我们的矩阵中每一个特征向量，可以得到带有注意力的矩阵，即
[0065][0066]
其中，代表注意力权重向量，w2代表带有注意力机制的图注意力网络中的系数，σ代表向量的点积操作。
[0067]
图2详细描述了长短期记忆递归神经网络(long short-term memory,lstm)的网络结构，其中内层结构包含输入门、忘记门、输出门、隐藏层、细胞单元，x
t-1
、x
t
等为输入，ht-1
、h
t
等为隐藏层输出。在第一长短期记忆网络中，我们正常将多个矩阵直接输入到lstm，即输入x
t-1
为t-1时刻对应的矩阵a
t-1
。而在第二长短期记忆网络中，只有一个矩阵g
t
，需要使用到lstm自循环操作，即将其输入到第二长短期记忆网络中，会得到第一个输出的h1。此时，将h1作为下一个输入x2，以此类推将前一层的输出作为下一层的输入，即x
t
＝h
t-1
，循环往后得到输出结果。
[0068]
在带有注意力机制的图注意力网络中得到的具有注意力信息的特征向量，输入第一长短期记忆递归神经网络中，能够学习到长期的规律，可以得到更为精确的预测轨迹。
[0069]
即将刚才得到的经过gat之后的矩阵输入到lstm网络中，也就代表我们已经观察到了[t-r+1,t]这段时间间隔中的数据，即第一结果数据，计算公式为
[0070]ht
＝lstm(v
t
,h
t-1
；w3)。
[0071]
其中，v
t
为对t时刻矩阵中所有特征向量进行嵌入之后得到的向量，w3代表第一长短期记忆递归神经网络中的权重系数。
[0072]
三、解码器层
[0073]
解码器层包括解码器图注意力网络和第二长短期记忆递归神经网络。
[0074]
通过解码器图注意力网络对第一结果数据进行再一轮对信息的聚合得到更稳定的信息，即第二结果数据，计算公式如下：
[0075]gt
＝g(h
t
；w4)
[0076]
其中，w4代表解码器图注意力网络中的权重参数，g代表解码器图注意力网络中的点积操作。
[0077]
并且将第二结果数据作为输出，输入到下一层解码器的长短期记忆递归神经网络(第二长短期记忆递归神经网络)中。
[0078]
第二长短期记忆递归神经网络将上一轮中得到的图注意网络信息(第二结果数据)进行自循环，得到预测时刻[t+1,t+k]的轨迹预测结果。在第t+1时刻时得到的轨迹预测结果由上一层的结果确定，h0代表lstm的初始参数，w5代表lstm的权重系数。
[0079]ht+1
＝lstm(g
t
,h0；w5)
[0080]
在其它时刻的轨迹预测结果则由第二长短期记忆递归神经网络进行自循环得到。
[0081]ht+x
＝lstm(h
t+x
,h
t+x-1
；w6)，其中x》1。
[0082]
轨迹预测的结果，即h
t+x
再接上一个全连接线性层即可以输出预测结果的位置。
[0083]
(x,y)＝linear(h
t+x
；w7)
[0084]
linear代表线性层，位置用二维向量(x,y)进行表示，即物体的x和y坐标。
[0085]
第二长短期记忆递归神经网络的损失函数中不仅包括位置信息的损失，还将碰撞面积作为安全性约束，这样可以得到更为准确的预测结果。
[0086][0087]
其中，为t时刻的位置损失，s
collision
为碰撞面积。
[0088]
本发明为带有安全性约束的高效图像学习轨迹预测方法，实现了带有路网信息和安全性约束的轨迹预测，提高了轨迹预测的准确性和安全性，提高预测效率，实现了多种类型目标的预测并且可以扩展到更多类型。
[0089]
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技
术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。