基于弗莱纳坐标系的轨迹预测与规划一体实现方法

本发明涉及的是一种自动驾驶领域的技术，具体是一种基于弗莱纳坐标系的轨迹预测与规划一体实现方法。

背景技术：

1、在自动驾驶任务中通常将预测模块和规划模块分离设计，模型缺乏统一的优化目标。此外，现有模型的轨迹输出通常在笛卡尔坐标系，但是对于实际曲直不定的道路来说，这种建模方式缺少对道路结构先验知识的利用。弗莱纳坐标系可以将道路“化曲为直”，本方法使用深度神经网络模型输出弗莱纳坐标系下的轨迹坐标，利用道路的先验结构，降低轨迹出界风险。

技术实现思路

1、本发明针对现有技术缺少对于道路结构先验知识的利用且预测和规划效率较低导致车辆出界的风险和自动驾驶模块间的累计误差较高的问题，提出一种基于弗莱纳坐标系的轨迹预测与规划一体实现方法，将弗莱纳变换算法应用到深度学习中，将道路结构知识通过弗莱纳坐标系变化进行提取，并且统一预测模块和规划模块优化目标，利用其在局部域建模的优势结合端到端的运动和规划模块耦合模型，显著减小串联结构中模块间由于目标不一致造成的累计误差，提高自车输出轨迹的准确性。

2、本发明是通过以下技术方案实现的：

3、本发明涉及一种基于弗莱纳坐标系的轨迹预测与规划一体实现方法，构建包含折线编码器、规划头和预测头的神经网络，通过对采集到的场景信息分别进行折线编码和弗莱纳变换，将编码后的特征采用基于注意力的智能体到车道的有效节点聚合后嵌入弗莱纳变换后的特征，再分别通过基于注意力的车道到它车的有效节点聚合以及可行域到自车的有效节点聚合后，合并进行智能体到智能体的有效节点聚合，并通过多层感知机结构的规划头和预测头，预测得到它车未来轨迹以及相应置信度和自车未来轨迹。

4、所述的弗莱纳变换是指：以ρ为参考系的弗莱纳变换为πρ(·)，反变换为其中：笛卡尔系下选定的参考道路为在参考道路上按照固定空间分辨率δρ均匀采样的二维坐标。对于自车的未来时间-空间轨迹为轨迹按照时间均匀采样的二维坐标；轨迹切向量分解法向量分解其中：为ρxy上距离最近的点，it为点的前继节点索引，⊥为正交操作。当ρxy上距离最近的点为ρxy的终点，此时it为l-1。

5、所述的基于注意力的智能体到车道的有效节点聚合是指：将智能体节点特征和车道节点特征作为图神经网络中的节点表示，有效节点聚合指的是图神经网络根据节点间距离阈值划分有效作用范围，聚合其他邻居节点信息，以此更新自身节点特征的方式。

6、所述的基于注意力的车道到它车的有效节点聚合是指：将车道节点特征和它车节点特征作为图神经网络中的节点表示，有效节点聚合指的是图神经网络根据节点间距离阈值划分有效作用范围，聚合其他邻居节点信息，以此更新自身节点特征的方式。

7、所述的可行域到自车的有效节点聚合是指：将可行域车道节点特征和自车节点特征作为图神经网络中的节点表示，有效节点聚合指的是图神经网络根据节点间距离阈值划分有效作用范围，聚合其他邻居节点信息，以此更新自身节点特征的方式。

8、所述的智能体到智能体的有效节点聚合是指：将智能体节点特征作为图神经网络中的节点表示，有效节点聚合指的是图神经网络根据节点间距离阈值划分有效作用范围，聚合其他邻居节点信息，以此更新自身节点特征的方式。

9、所述的有效节点聚合，采用但不限于mingliang等在《用于运动预测的学习车道图表示》(learning lane graph representations for motion forecasting.arxivpreprint arxiv:2007.13732,2020.)中记载的技术实现。

10、所述的神经网络，其训练所采用的损失函数l＝lplanning+lprediction，其中：规划损失预测损失lprediction＝lcls+lreg，和分别为自车真实轨迹的切向量和法向量分解，和为其预测值。α＞1为调节系数，因为切向量误差量级比法向量大；平滑l1损失函数分类损失回归损失m为它车的数量，k为每一辆车预测的轨迹数量，将k条轨迹中和真实轨迹的最终偏移误差(fde)最小的轨迹ε为最大边缘(max-margin)损失的范围。

11、技术效果

12、相比于与笛卡尔坐标系的基准模型，在nuplanmini数据集上，基准模型fde(最终距离误差)指标为5.196，本发明提出的基于弗莱纳坐标系的预测和规划一体化模型为4.76，误差降低8％，显著提高了输出轨迹准确度。图3为模型部署后在仿真平台的运行效果。

技术特征：

1.一种基于弗莱纳坐标系的轨迹预测与规划一体实现方法，其特征在于，通过构建包含折线编码器、规划头和预测头的神经网络，通过对采集到的场景信息分别进行折线编码和弗莱纳变换，将编码后的特征采用基于注意力的智能体到车道的有效节点聚合后嵌入弗莱纳变换后的特征，再分别通过基于注意力的车道到它车的有效节点聚合以及可行域到自车的有效节点聚合后，合并进行智能体到智能体的有效节点聚合，并通过多层感知机结构的规划头和预测头，预测得到它车未来轨迹以及相应置信度和自车未来轨迹。

2.根据权利要求1所述的基于弗莱纳坐标系的轨迹预测与规划一体实现方法，其特征是，所述的弗莱纳变换是指：以ρ为参考系的弗莱纳变换为πρ(·)，反变换为其中：笛卡尔系下选定的参考道路为在参考道路上按照固定空间分辨率δρ均匀采样的二维坐标，对于自车的未来时间-空间轨迹为轨迹按照时间均匀采样的二维坐标；轨迹切向量分解法向量分解其中：为ρxy上距离最近的点，it为点的前继节点索引，⊥为正交操作，当ρxy上距离最近的点为ρxy的终点，此时it为l-1。

3.根据权利要求1所述的基于弗莱纳坐标系的轨迹预测与规划一体实现方法，其特征是，所述的基于注意力的智能体到车道的有效节点聚合是指：将智能体节点特征和车道节点特征作为图神经网络中的节点表示，有效节点聚合指的是图神经网络根据节点间距离阈值划分有效作用范围，聚合其他邻居节点信息，以此更新自身节点特征的方式；

4.根据权利要求1所述的基于弗莱纳坐标系的轨迹预测与规划一体实现方法，其特征是，所述的神经网络，其训练所采用的损失函数l＝lplanning+lprediction，其中：规划损失预测损失lprediction＝lcls+lreg，和分别为自车真实轨迹的切向量和法向量分解，和为其预测值，α＞1为调节系数，因为切向量误差量级比法向量大；平滑l1损失函数分类损失回归损失m为它车的数量，k为每一辆车预测的轨迹数量，将k条轨迹中和真实轨迹的最终偏移误差(fde)最小的轨迹ε为最大边缘(max-margin)损失的范围。

5.一种实现权利要求1-4中任一所述方法的基于弗莱纳坐标系的轨迹预测与规划一体系统，其特征在于，包括：编码模块、弗莱纳变换模块、交互模块以及输出模块，其中：编码模块采集场景信息后，采用车道卷积网络对场景信息进行编码，使用多层感知机(mlp)提取智能体历史轨迹并以最后观测时刻作为图节点坐标；弗莱纳变换模块根据图节点坐标，进行弗莱纳变换，将笛卡尔坐标系的输出轨迹转换为弗莱纳坐标系的输出轨迹，作为模型训练标签；交互模块使用基于图网络的特征交互方式进行有效节点聚合，得到将场景信息充分融合后的智能体节点特征，输出模块采用多层感知机结构，输入为融合后的智能体节点特征，输出预测得到它车未来轨迹以及相应置信度和自车未来轨迹。

6.根据权利要求5所述的基于弗莱纳坐标系的轨迹预测与规划一体系统，其特征是，所述的输出模块包括：基于多层感知机结构的预测头和规划头，其中：在训练阶段预测头和规划头同时更新参数；在推理阶段，预测头不参与前向传播，模型仅使用规划头输出自车未来轨迹。

技术总结
一种基于弗莱纳坐标系的轨迹预测与规划一体实现方法，构建包含折线编码器、规划头和预测头的神经网络，通过对采集到的场景信息分别进行折线编码和弗莱纳变换，将编码后的特征采用基于注意力的智能体到车道的有效节点聚合后嵌入弗莱纳变换后的特征，再分别通过基于注意力的车道到它车的有效节点聚合以及可行域到自车的有效节点聚合后，合并进行智能体到智能体的有效节点聚合，并通过多层感知机结构的规划头和预测头，预测得到它车未来轨迹以及相应置信度和自车未来轨迹。本发明将弗莱纳变换算法应用到深度学习中，将道路结构知识通过弗莱纳坐标系变化进行提取，并且统一预测模块和规划模块优化目标，利用其在局部域建模的优势结合端到端的运动和规划模块耦合模型，显著减小串联结构中模块间由于目标不一致造成的累计误差，提高自车输出轨迹的准确性。

技术研发人员：赵峒,王德泉
受保护的技术使用者：上海交通大学
技术研发日：
技术公布日：2024/3/24