车辆轨迹预测方法、神经网络预测模型训练方法、装置与流程

本公开涉及智能驾驶，尤其涉及一种车辆轨迹预测方法、神经网络预测模型训练方法、装置。

背景技术：

1、随着社会经济的快速发展，智能驾驶技术得到了广泛应用。在智能驾驶场景(如自动驾驶场景或辅助驾驶场景)中，智能驾驶技术对汽车安全行驶尤为重要。通常可以通过车辆中的传感器采集车辆周围的环境信息，并根据车辆周围的环境信息以及车辆的行驶信息，预测和规划车辆的行驶轨迹。但是，智能驾驶场景通常非常复杂、且存在诸多不确定和多变的因素，因此如何在复杂多变的驾驶场景中，为车辆规划行驶轨迹，以确保自动驾驶的安全性成为了亟待解决的技术问题。

技术实现思路

1、目前轨迹预测方法无法在复杂多变的驾驶场景中，确保自动驾驶的安全性。

2、为了解决上述技术问题，本公开提供了一种车辆轨迹预测方法、神经网络预测模型训练方法、装置，在轨迹预测时通过综合考虑环境的多模态性和不确定性，因此预测的轨迹能够在复杂多变的驾驶场景中，确保自动驾驶的安全性。

3、本公开的第一方面，提供了一种车辆轨迹预测方法，包括：基于车辆在行驶过程中的自车行驶数据以及车辆的环境数据确定车辆当前时间点的栅格图像数据；基于神经网络预测模型对栅格图像数据进行处理，得到多维度特征图；基于多维度特征图、自车尺寸数据和环境数据，预测车辆在未来预设时间段的轨迹。

4、基于本方案，由于栅格图像数据能够较为全面的提供自车所处的时空环境，通过神经网络预测模型对该栅格图像数据进行处理后能够得到考虑环境多模态和不确定性的多维度特征图。再结合该多维度特征图、车辆尺寸数据和环境数据预测车辆轨迹时，充分考虑了环境的多模态性和不确定性，因此预测的轨迹能够在复杂多变的驾驶场景中，确保自动驾驶的安全性。

5、本公开的第二方面，提供了一种神经网络预测模型训练方法，包括：确定多组样本栅格图像数据和样本栅格图像数据对应的多维度样本特征图；多维度样本特征图包括样本轨迹矢量、样本多模态热力图和样本占据栅格图；基于初始神经网络预测模型对样本栅格图像数据进行处理，得到预测多维度特征图；预测多维度特征图包括预测自车多模态热力图，目标对象对应的预测占据栅格图，以及预测轨迹矢量；以预测多维度特征图作为初始神经网络预测模型的初始训练输出，多维度样本特征图作为监督信息，迭代训练初始神经网络预测模型得到训练后的神经网络预测模型。

6、本公开的第三方面，提供了一种车辆轨迹预测装置，包括：确定模块，用于基于车辆在行驶过程中的自车行驶数据以及车辆的环境数据确定车辆当前时间点的栅格图像数据；处理模块，用于基于神经网络预测模型对确定模块确定的栅格图像数据进行处理，得到多维度特征图；优化模块，用于基于自车尺寸数据、环境数据和处理模块确定的所述多维度特征图，预测车辆在未来预设时间段的轨迹。

7、本公开的第四方面，提供了一种神经网络预测模型训练装置，包括：确定模块，用于确定多组样本栅格图像数据和样本栅格图像数据对应的多维度样本特征图；多维度样本特征图包括样本轨迹预测图、样本多模态热力图和样本占据栅格图；预测模块，用于基于初始神经网络预测模型对确定模块确定的样本栅格图像数据进行处理，得到预测多维度特征图；预测多维度特征图包括预测自车多模态热力图，目标对象对应的预测占据栅格图，以及预测轨迹矢量；训练模块，用于以预测多维度特征图作为初始神经网络预测模型的初始训练输出，多维度样本特征图作为监督信息，迭代训练初始神经网络预测模型得到训练后的神经网络预测模型。

8、本公开的第五方面，提供了一种计算机程序产品，当所述计算机程序产品中的指令处理器执行时，执行本公开第一方面提出的车辆轨迹预测方法或者第二方面提出的神经网络预测模型训练方法。

9、本公开的第六方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述任一所述的方法。

10、本公开的第七方面，提供了一种电子设备，该电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述任一所述的方法。

技术特征：

1.一种车辆轨迹预测方法，包括：

2.根据权利要求1所述的方法，其中，所述基于神经网络预测模型对所述栅格图像数据进行处理，得到多维度特征图，包括：

3.根据权利要求1所述的方法，其中，所述基于神经网络预测模型对所述栅格图像数据进行处理，得到多维度特征图，包括：

4.根据权利要求3所述的方法，其中，所述基于所述神经网络预测模型中的中间处理层对所述编码特征数据进行处理，得到中间特征数据，包括：

5.根据权利要求4所述的方法，其中，所述基于所述神经网络预测模型中的后处理层对所述中间特征数据进行处理，得到所述多维度特征图，包括：

6.根据权利要求2或5所述的方法，其中，所述基于所述多维度特征图、自车尺寸数据和所述环境数据，预测所述车辆在未来预设时间段的轨迹，包括：

7.根据权利要求6所述的方法，其中，所述基于所述初始轨迹矢量、所述目标对象对应的占据栅格图、所述自车多模态热力图、自车尺寸数据和所述环境数据，确定避让鸟瞰栅格图，包括：

8.一种神经网络预测模型训练方法，包括：

9.根据权利要求8所述的方法，其特征在于，所述基于初始神经网络预测模型对所述样本栅格图像数据进行处理，得到预测多维度特征图，包括：

10.根据权利要求9所述的方法，其中，所述基于所述初始神经网络预测模型中的中间处理层对所述预测编码特征数据进行处理，得到预测中间特征数据，包括：

11.根据权利要求10所述的方法，其中，所述基于所述初始神经网络预测模型中的后处理层对所述预测中间特征数据进行处理，得到所述预测多维度特征图，包括：

12.根据权利要求8-11中任一项所述的方法，其中，所述以所述预测多维度特征图作为所述初始神经网络预测模型的初始训练输出，所述多维度样本特征图作为监督信息，迭代训练所述初始神经网络预测模型得到训练后的神经网络预测模型，包括：

13.一种车辆轨迹预测装置，包括：

14.一种神经网络预测模型训练装置，包括：

15.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-7中任一项所述的车辆轨迹预测方法，或者，所述计算机程序用于执行上述权利要求8-12中任一项所述的神经网络预测模型训练方法。

16.一种电子设备，所述电子设备包括：

技术总结
公开了一种车辆轨迹预测方法、神经网络预测模型训练方法、装置，涉及智能驾驶技术领域，该方法包括基于车辆在行驶过程中的自车行驶数据以及车辆的环境数据确定车辆当前时间点的栅格图像数据；基于神经网络预测模型对栅格图像数据进行处理，得到多维度特征图；基于多维度特征图、自车尺寸数据和环境数据，预测车辆在未来预设时间段的轨迹。本公开的技术方案在预测轨迹时，通过神经网络预测模型确定考虑环境多模态和不确定性的多维度特征图，再结合该多维度特征图、车辆尺寸数据和环境数据预测轨迹，能够确保预测的轨迹在复杂多变的驾驶场景中，确保自动驾驶的安全性。

技术研发人员：胡义涵,李堃,梁平原
受保护的技术使用者：地平线机器人有限公司
技术研发日：
技术公布日：2024/1/16