基于注意力机制与目标点信息的周车轨迹预测方法及装置

本发明涉及自动驾驶环境感知领域，具体涉及一种基于注意力机制与目标点信息的周围车辆轨迹预测方法及装置。

背景技术：

1、对周围环境中车辆及行人的轨迹预测是自动驾驶关键技术之一，对未来轨迹的准确预测能够避免自动驾驶车辆规划出错误的路径，增强决策规划模块输出的有效性，输出更加平滑的规划轨迹。目前车辆轨迹预测方法主要可以分为两大类型：基于物理模型以及基于深度学习的预测方法。

2、基于物理模型的预测方法将车辆表示为受限于某种物理模型控制的运动物体，该模型一般为运动学模型或者动力学模型。动力学模型需要有准确的车辆物理参数，因此在预测任务中运动学模型更为常见。常用的运动学模型包括了恒定速度模型、恒定加速度模型、恒定角速度和速度模型以及恒定角速度和加速度模型。但物理模型方法通常只适用于短期预测，例如预测一秒内的未来轨迹，因为这些算法无法对驾驶员的驾驶行为进行预测。

3、深度学习模型则通过大数据驱动，使模型能够自主地学习到其他环境因素对目标车辆驾驶行为的影响。目前深度学习模型主流的方法以车辆的历史轨迹及车道线信息作为输入，通过不同交互模型获取车辆与车辆、车辆与道路之间的交互信息。但目前的方法不能高效编码道路信息以及历史轨迹信息，并建立对应的交互模型以充分利用环境信息。同时目标点信息对未来轨迹预测精度是重要影响因素之一，主流的方法没有充分利用该信息。

技术实现思路

1、为了至少解决现有技术存在的问题之一，本发明提供基于注意力机制与目标点信息的周车轨迹预测方法及装置。

2、为了实现本发明目的，本发明提供的基于注意力机制与目标点信息的周车轨迹预测方法，包含以下步骤：

3、通过传感器获取车辆位置信息并进行预处理，得到车辆轨迹数据，将所述轨迹数据划分为历史轨迹数据及预测轨迹数据；

4、根据历史轨迹数据及高精地图数据构建轨迹数据及车道线数据，并基于历史轨迹数据确定候选目标点；

5、搭建注意力机制神经网络，所述注意力机制神经网络包括：用于将低维历史轨迹输入转换为高维的轨迹特征向量的历史轨迹编码模块，用于将低维道路中心线输入转换为高维的道路特征向量的道路编码模块，用于提取道路特征与轨迹特征、轨迹特征与轨迹特征之间的交互，输出目标车辆与环境的交互特征的交互模块，用于以交互特征作及候选目标点作为输入，输出预测目标点坐标及对应的概率的目标点预测模块，用于以交互特征向量及目标点坐标作为输入并输出预测轨迹的轨迹预测预测模块；

6、将轨迹数据及车道线数据输入到搭建的注意力机制神经网络中，以预测轨迹数据计算损失函数进行网络最优训练，保存最优模型参数，得到训练后的注意力机制神经网络；

7、载入最优模型参数，获取周围车辆位置，输入目标车辆的历史轨迹及车道线数据，获得车辆的预测轨迹。

8、进一步地，通过目标车辆历史轨迹最后一点获取目标车辆一定曼哈顿距离内车道中心线的路点，随后使用样条曲线插值的方式拟合原本的路点，并以一定间隔d重新采样曲线上的路点，同时基于与历史轨迹的最后一点最接近的路段lc重新采样路点以作为候选目标点；

9、基于目标车辆历史轨迹计算目标车辆的航向角，将历史轨迹及前述路点旋转航向角角度作为轨迹数据及车道线数据。

10、进一步的，所述历史轨迹编码模块以历史轨迹this作为输入，输出为轨迹编码特征τ，包含循环神经网络中的一个变体ugru模块进行编码，所有的历史轨迹使用同一个ugru模块进行编码，ugru模块的计算公式如下：

11、

12、

13、式中，gruback与gruback分别表示后序gru模块与前序gru模块，为t-1时刻后序gru模块的隐藏状态，为t+1时刻前序gru模块的隐藏状态，xt表示t时刻的输入，wb与wf表示ugru中可学习的参数，concat[·,·]表示拼接操作，最后的隐藏状态将作为ugru模块的最终输出。

14、进一步的，所述道路编码模块包含中心线向量化及中心线编码两个过程。

15、进一步的，所述交互模块由四个使用注意力机制的模块组成，分别为路段于车辆注意力模块、路段间注意力模块、车辆对道路注意力模块以及车辆间注意力模块；交互模块中，每个车辆历史轨迹与道路中心线的路段将被视为一个节点。

16、所述路段对车辆注意力模块通过每个路段和车辆之间的空间信息从位于路段周围车辆信息中更新路段的交通状况。

17、所述路段间注意力模块经过自注意力后每个路段将自身周围路段的交通状况以不同权重聚合到该路段；

18、所述车辆对道路注意力模块将车道相关的信息以不同权重聚合到每个车辆节点上，车辆节点对路段的不同权重也表示了各个路段节点对于车辆的指引作用。

19、所述车辆间注意力模块表示了车辆间的交互作用。

20、进一步的，所述目标点预测模块使用多层感知机预测候选目标点为目标点的概率，及候选目标点偏离正式目标点的距离。

21、进一步的，所述轨迹预测模块使用多层感知机预测目标车辆未来轨迹。

22、进一步的，所述损失函数定义为：

23、

24、

25、分别为目标点预测和轨迹生成阶段的损失函数，λ1、λ2为两项任务的权重系数。

26、本发明还挺高一种基于注意力机制的车辆轨迹预测装置，用于实现前述预测方法，包括：

27、感知模块，用于获取并存储周围车辆位置、自动驾驶车辆位置，根据自动驾驶车辆位置获取车道线。

28、预处理模块，用于处理感知模块获取的车辆轨迹及车道线信息，形成轨迹数据及车道线数据。

29、预测模块，用于将所述轨迹数据及车道线数据输入到预训练的车辆轨迹预测模型中，得到预测轨迹。

30、本发明还提供一种存储介质，用于存储前述预测方法的指令或程序。

31、与现有技术相比，本发明至少具有如下优点和有益效果：

32、(1)本发明对预测网络的多模态输入问题，提出了基于注意力机制的交互模块处理车道线信息和历史轨迹信息，该模块将提取影响车辆未来状态的三种重要交互信息：车道线对于车辆的指引、车流信息以及车辆间的交互。车道线对车辆的指引信息有助于预测目标车辆的最终目标点；车流信息及车辆间的交互则有助于预测网络对周围环境进行整体建模，对周围环境的准确建模能够明显增强轨迹预测模块的准确性。

33、(2)本发明设置有目标点预测模块，从道路中心线中采样目标点，在轨迹预测模块中加入目标点信心进一步增强轨迹预测模块的准确性。

技术特征：

1.基于注意力机制与目标点信息的周车轨迹预测方法，其特征在于，包含以下步骤：

2.根据权利要求1所述的基于注意力机制与目标点信息的周车轨迹预测方法，其特征在于，所述根据历史轨迹数据及高精地图数据构建轨迹数据及车道线数据，并基于历史轨迹数据确定候选目标点，包括：

3.根据权利要求1所述的基于注意力机制与目标点信息的周车轨迹预测方法，其特征在于，所述历史轨迹编码模块以历史轨迹this作为输入，输出为轨迹编码特征τ，包含循环神经网络中的一个变体ugru模块进行编码，所有的历史轨迹使用同一个ugru模块进行编码，ugru模块的计算公式如下：

4.根据权利要求1所述的基于注意力机制与目标点信息的周车轨迹预测方法，其特征在于，所述道路编码模块包含中心线向量化及中心线编码两个过程，其中，向量化过程为：对于一段由m个路点组成的道路中心线lj，第i个向量vi由第i个路点作为起点与第i+1个路点作为终点连接形成，则这段道路中心线lj将由m-1个向量v组成；中心线编码过程为：对于若干向量v组成的一段路段lj，其编码特征pj计算公式如下：

5.根据权利要求1所述的基于注意力机制与目标点信息的周车轨迹预测方法，其特征在于，所述交互模块包括路段对车辆注意力模块、路段间注意力模块、车辆对道路注意力模块以及车辆间注意力模块，交互模块中，每个车辆历史轨迹与道路中心线的路段将被视为一个节点，其中：

6.根据权利要求1所述的基于注意力机制与目标点信息的周车轨迹预测方法，其特征在于，所述目标点预测模块使用多层感知机预测候选目标点为真实目标点的概率，及候选目标点偏离正式目标点的距离。

7.根据权利要求1所述的基于注意力机制与目标点信息的周车轨迹预测方法，其特征在于，所述轨迹预测模块使用多层感知机预测目标车辆未来轨迹。

8.根据权利要求1-7任一所述的基于注意力机制与目标点信息的周车轨迹预测方法，其特征在于，所述损失函数定义为：

9.一种基于注意力机制的车辆轨迹预测装置，其特征在于，用于实现权利要求1-8所述的方法，包括：

10.一种存储介质，其特征在于，用于存储权利要求1-8任一所述的预测方法的指令或程序。

技术总结
本发明公开了基于注意力机制与目标点信息的周车轨迹预测方法及装置。所述方法包括步骤：获取车辆位置信息并进行预处理，得到车辆轨迹数据；根据历史轨迹数据及高精地图数据构建轨迹数据及车道线数据；搭建注意力机制神经网络，包括：轨迹数据编码模块、车道线数据编码模块、交互模块、目标点预测模块、轨迹预测模块；将历史轨迹数据及车道线数据输入到搭建的神经网络中，并构建损失函数进行网络最优训练，保存最优模型参数。载入最优模型参数，输入车辆历史轨迹及车道线数据，获取目标车辆的预测轨迹。本发明采用深度神经网络，通过注意力机制获取车辆、车道线的交互信息，并加入目标点预测模块以进一步增加轨迹预测的准确性。

技术研发人员：李巍华,刘建铭
受保护的技术使用者：华南理工大学
技术研发日：
技术公布日：2024/1/15