一种基于意图感知时空注意网络的车辆轨迹预测方法

本发明涉及智能车辆，尤其是涉及一种基于意图感知时空注意网络的车辆轨迹预测方法。

背景技术：

1、近年来，自动驾驶越来越受到国内外研究的关注，因为它在解决与安全、拥堵、节能等相关的许多长期交通挑战方面具有巨大的潜力。自动驾驶汽车的关键技术可以分为三个部分：感知、决策和控制。自动驾驶汽车通过传感器来感知周边的道路环境，识别周边障碍物的状态，对自车未来的运动进行决策规划和控制，从而保证汽车能够安全地行驶。在复杂的动态交通环境中，周边车辆的运动充满了高度不确定性，仅凭单纯的感知结果无法做出准确的规划。交通参与者预测是保证自动驾驶汽车安全行驶重要的一环。

2、随着深度学习等人工智能相关技术在自动驾驶领域内获得巨大成功，车辆轨迹预测方法逐渐向深度学习过渡。文献(tang l,wang h y,zhang w h,et al.driver lanechange intention recognition of intelligent vehicle based on long short-termmemory network[j].ieee access,2020,8:136898-136905.)考虑车辆自身行驶状态和周围车辆的影响，提出了一种基于multi-lstm(long short-term memory，长短期记忆)的变道意图预测方法，然而，意图识别无法得到明确的轨迹信息。文献(zyner a,worrall s,nebot e.naturalistic driver intention and path prediction using recurrentneural networks[j].ieee transactions on intelligent transportation systems,2020,21(4):1584-1594.)提出了一种基于不确定多模态轨迹预测的城市交叉口驾驶员意图预测方法，该方法可预测目标车辆的驾驶意图和车辆轨迹，但是只考虑目标车辆的运动，忽略了目标车辆与邻居车辆的交互，这种方法在复杂情况下无法获得令人满意的结果。

3、鉴于此，本发明提供一种基于意图感知时空注意网络的车辆轨迹预测方法。考虑驾驶意图与周围邻居车辆交互的耦合性，以提升长期轨迹预测的精度，对提高无人驾驶车辆的安全性能有很大的作用。

技术实现思路

1、本发明的目的是为解决现有技术中存在的上述问题，提出一种基于意图感知时空注意网络的车辆轨迹预测方法，考虑驾驶意图与邻居车辆交互的耦合性，提出一种意图注意机制，实现实时准确的车辆轨迹预测方法。

2、本发明车辆轨迹预测方法由车辆轨迹预测模型的离线训练和在线实时预测两部分组成，包括以下步骤：

3、步骤1：车辆轨迹预测模型的离线训练，分为构建训练数据库和训练车辆轨迹预测模型两部分，具体实施步骤如下：

4、步骤1.1：通过大规模真实驾驶场景的采集和处理构建训练数据库；

5、步骤1.1.1：数据采集：由车辆配备的摄像头、毫米波雷达等车载传感器采集到的车辆行驶数据主要有：目标车与邻居车辆的纵向距离、横向距离、纵向相对速度、横向相对速度、纵向加速度、横向相对加速度，车辆与车道线的横向距离；

6、步骤1.1.2：数据预处理：对数据的缺失值进行填补，采用最近邻填补法对单个缺失值进行填充，采用插值法对连续多个的缺失值进行填充，使用3-σ法则对数据的异常值进行去除，最后使用savitzky-golay滤波器对数据进行滤波从而得到比较光滑的数据曲线；

7、步骤1.1.3：数据集准备：定义坐标系以方便描述车辆的位置，计算目标车和邻居车辆各个时刻的位置坐标；将车辆驾驶意图定义为向左换道、向右换道和直行，为每段行驶序列数据设置意图标签；

8、步骤1.2：车辆轨迹预测模型的训练步骤如下：

9、步骤1.2.1：意图识别模块：通过车辆轨迹的时间演变及其与周围邻居车辆的空间关系来识别车辆的驾驶意图，获得驾驶意图特征向量；

10、步骤1.2.1.1：意图识别模块输入：意图识别模块的输入特征包括目标车的运动状态特征和目标车的交互状态特征；

11、步骤1.2.1.2：本发明的车辆驾驶意图识别模型基于bilstm网络，由前向lstm与后向lstm组合而成，把前向和反向的隐藏层向量拼接起来，它最后的输出是前向层和反向层在每个时刻的综合输出；

12、步骤1.2.1.3：引入快捷连接，以实现跨不同层的高效信息流，提高预测的效果；

13、步骤1.2.1.4：输入历史序列的最后时刻的输出向量先后经一个fc层和softmax函数处理获得一个意图概率向量；

14、步骤1.2.2：轨迹特征编码器：结合意图识别模块获得的目标车辆意图特征向量，提出一种意图注意机制来获得目标车辆及其邻居车辆的历史轨迹特征编码向量，然后利用邻居车辆与目标车辆的特征编码向量，基于多头注意力机制建立交互关系捕捉模块来捕获邻居车辆的重要性，最终形成一个表示“上下文”影响的中间语义向量；

15、步骤1.2.2.1：轨迹预测编码器输入：轨迹预测模型的输入包含目标车辆和周围邻居车辆过去一段时间的历史状态信息；

16、步骤1.2.2.2：轨迹预测模型基于lstm的编码器-解码器框架；对目标车辆及其周围邻居车辆从过去一段时间的历史状态信息进行编码；先使用一个全连接层作为嵌入层，将每辆车的输入状态向量进行嵌入形成嵌入向量；然后利用lstm分别将不同车辆的嵌入向量进行编码；

17、步骤1.2.2.3：意图注意机制：将目标车辆的意图向量和预测轨迹解码器上一时刻的隐藏状态向量用拼接操作拼接起来，由完全连接层处理获得的向量来作为键值对注意力机制中的“查询”；车辆的隐藏状态由不同全连接层处理，形成“键”和“值”；将注意力特征计算为“值”的加权和；

18、步骤1.2.2.4：交互关系捕捉模块：采用多头注意力机制，使用不同的学习线性投影计算多个注意力特征；然后，将这些注意力特征拼接在一起，并使用完全连接层进行处理；由完全连接层处理的目标车辆的历史轨迹特征向量来作为“查询”，邻居车辆的特征向量由不同全连接层和处理形成“键”和“值”；

19、步骤1.2.2.5：生成中间语义向量：使用多头注意来聚合来自不同子空间的信息，生成结合了所有车辆交互信息的中间语义向量；

20、步骤1.2.3：轨迹预测解码器：解码器接收包含目标车辆轨迹特征和邻居车辆交互特征的中间语义向量，生成预测的未来一段时间内目标车辆的轨迹点位置；

21、步骤1.2.3.1：轨迹预测解码器采用全连接层嵌入预测轨迹前一时刻位置的坐标并形成嵌入向量；此时的中间语义向量包含选定的车辆交互信息以及目标车辆的运动状态编码，与嵌入向量一起被输送到lstm解码器

22、步骤1.2.3.2：lstm解码器添加快捷连接，预测生成目标车辆未来时间步长的轨迹点位置；

23、步骤2：车辆轨迹预测模型的在线实时预测：车辆实时采集数据和数据预处理之后，用训练好的车辆轨迹预测模型在线实时预测，即可预测目标车的轨迹。

24、与现有技术相比，本发明的优点在于：

25、本发明车辆轨迹预测方法考虑了驾驶意图与邻居车辆交互的耦合性，提出一种意图注意机制，在时间维度上分配注意力权重以提取车辆的历史信息；引入交互关系捕捉模块，基于多头注意力机制获取不同邻居车辆对目标车辆的影响，在空间维度上捕捉车辆之间的交互信息，提升长期轨迹预测的精度，有效地实现预测周围车辆的换道意图。