障碍物轨迹预测方法、系统和计算机可读存储介质与流程

1.本技术涉及自动驾驶技术领域，尤其涉及一种障碍物轨迹预测方法、系统和计算机可读存储介质。


背景技术：

2.随着自动驾驶技术的日渐成熟，自动驾驶车辆得以广泛应用。为了可以使得自动驾驶车辆在城市道路、封闭园区、高速公路等复杂场景中行驶，自动驾驶车辆需要对周围车辆、行人、自行车等障碍物进行轨迹预测，以便预知风险，避免发生事故。
3.相关技术的方法中将障碍物相关的地图信息与障碍物历史轨迹信息经过预处理后，输入神经网络，从而确定障碍物的目标轨迹。但是，相关技术的方法为黑盒模型，其内部工作机制，很难被开发人员理解，这样不利于方法的后期优化，也不方便及时掌握预估运动轨迹的确定过程。


技术实现要素：

4.本技术提供一种障碍物轨迹预测方法、系统和计算机可读存储介质，方法方便开发人员理解。
5.本技术提供一种障碍物轨迹预测方法，所述障碍物轨迹预测方法包括：
6.获取障碍物的信息及所述障碍物预估运动的地图信息；
7.根据所述地图信息，确定所述障碍物的多个候选终点；
8.根据多个所述候选终点提取多个所述候选终点的特征，根据所述地图信息提取地图特征，并根据所述障碍物的信息提取所述障碍物特征；
9.根据所述候选终点的特征、所述地图特征及所述障碍物特征，从多个所述候选终点中确定多个预定终点，多个所述预定终点相较于多个所述候选终点中的其余候选终点，成为预估运动轨迹的目标终点的可能性更高；
10.根据多个所述预定终点，确定所述障碍物的目标终点，其中，所述目标终点包括历史轨迹终点及未来达到终点；及，
11.根据所述目标终点，确定所述障碍物的从所述历史轨迹终点到所述未来达到终点的预估运动轨迹。
12.可选的，所述障碍物的信息包括障碍物的历史位置信息；
13.所述地图信息包括车道线信息，所述车道线信息包括车道线邻接关系及车道线连接关系；
14.所述根据所述地图信息，确定所述障碍物的多个候选终点，包括：
15.根据所述历史位置信息，确定与所述障碍物实际运动方向相匹配的基础车道；
16.根据所述基础车道的车道线邻接关系及所述基础车道的车道线连接关系，在所述基础车道周围拓展多条候选车道；
17.根据多条所述候选车道，确定多个所述候选终点。
18.可选的，所述根据多个所述候选终点提取多个所述候选终点的特征，包括：根据多个所述候选终点，采用多层感知机，确定多个所述候选终点的特征。
19.可选的，所述根据多条所述候选车道，确定多个所述候选终点，包括：
20.以预定间隔均匀地在每条所述候选车道上选择多个点，作为多个所述候选终点。
21.可选的，所述以预定间隔均匀地在每条所述候选车道上选择多个点，作为多个所述候选终点，包括：沿所述候选车道的车道线方向，以预定间隔均匀地在每条所述候选车道的车道中心线上选择多个点，作为多个所述候选终点；
22.和/或，
23.所述以预定间隔均匀地在每条所述候选车道上选择多个点，作为多个所述候选终点，包括：沿所述候选车道的车道线方向以及垂直于所述车道线方向的方向，以预定间隔均匀地在每条所述候选车道上选择多个点，作为多个所述候选终点。
24.可选的，所述障碍物的信息包括障碍物的历史轨迹信息；所述根据所述障碍物的信息提取所述障碍物特征，包括：根据所述历史轨迹信息，采用卷积神经网络，提取所述障碍物特征，所述障碍物运动的时间特征和空间特征；
25.和/或，
26.所述地图信息包括车道线信息、可行驶区域信息及语义信息；
27.所述根据所述地图信息提取地图特征，包括：根据所述车道线信息、所述可行驶区域信息及所述语义信息，采用图神经网络，提取所述地图特征。
28.可选的，所述从多个所述候选终点中确定多个预定终点，包括：逐个判断多个所述候选终点是否会成为所述目标终点；将可能成为目标终点的多个候选终点，确定为多个预定终点；
29.和/或，
30.所述从多个所述候选终点中确定多个预定终点，包括：确定所有候选终点成为所述目标终点的概率，选择可能性最大的预定终点，作为所述目标终点；
31.和/或，
32.所述根据多个所述预定终点，确定所述障碍物的目标终点，包括：使用深度神经网络，提取所述预定终点的特征；根据所述预定终点的特征所述地图特征及所述障碍物特征，优化所述预定终点，确定所述目标终点。
33.可选的，所述根据所述目标终点，确定所述障碍物的从所述历史轨迹终点到所述未来达到终点的预估运动轨迹，包括：根据所述目标终点，使用优化算法，确定预估运动轨迹，以使所述预估运动轨迹平滑且符合障碍物运动学特性；
34.和/或，
35.所述根据所述目标终点，确定所述障碍物的从所述历史轨迹终点到所述未来达到终点的预估运动轨迹，包括：根据所述目标终点，提取所述目标终点的特征；将所述目标终点的特征，所述地图特征及所述障碍物特征输入至深度神经网络，以输出所述障碍物的预估运动轨迹。
36.本技术的提供一种障碍物轨迹预测系统，包括一个或多个处理器，用于实现如上任一项所述的方法。
37.本技术的提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行
时，实现如上任一项所述的方法。
38.在一些实施例中，本技术的障碍物轨迹预测方法，获取的障碍物的信息及障碍物预估运动的地图信息，是明确的；提取的多个候选终点的特征、地图特征及障碍物特征，是明确的，并且，根据候选终点的特征、地图特征及障碍物特征，从多个候选终点中确定多个预定终点，预定终点也是明确的，最后根据目标终点，可以确定障碍物的从历史轨迹终点到未来达到终点的预估运动轨迹。如此方法可以先确定目标终点进行估计，再根据历史轨迹终点及未来达到终点确定预估运动轨迹，此估预估运动轨迹是完整的，这样目标终点的估计过程是开发人员更容易理解的，易于根据目标终点对最终的预估运动轨迹做出解释，避免完全黑箱式的预测结果，有利于后期优化，方便及时掌握预估运动轨迹的确定过程。
附图说明
39.图1所示为本技术提供的障碍物轨迹预测方法的一实施例的流程示意图；
40.图2所示为图1所示的障碍物轨迹预测方法中的步骤120的一实施例的流程示意图；
41.图3所示为本技术提供的障碍物轨迹预测系统的一实施例的模块框图。
具体实施方式
42.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施例并不代表与本说明书一个或多个实施例相一致的所有实施例。相反，它们仅是与如所附权利要求书中所详述的、本说明书一个或多个实施例的一些方面相一致的装置和方法的例子。
43.需要说明的是：在其他实施例中并不一定按照本说明书示出和描述的顺序来执行相应方法的步骤。在一些其他实施例中，其方法所包括的步骤可以比本说明书所描述的更多或更少。此外，本说明书中所描述的单个步骤，在其他实施例中可能被分解为多个步骤进行描述；而本说明书中所描述的多个步骤，在其他实施例中也可能被合并为单个步骤进行描述。
44.相关技术的方法为黑盒模型，其内部工作机制，很难被开发人员理解，这样不利于方法的后期优化，也不方便及时掌握预估运动轨迹的确定过程，为了解决这一技术问题，本技术实施例提供的一种障碍物轨迹预测方法，获取的障碍物的信息及障碍物预估运动的地图信息，是明确的；提取的多个候选终点的特征、地图特征及障碍物特征，是明确的，并且，根据候选终点的特征、地图特征及障碍物特征，从多个候选终点中确定多个预定终点，预定终点也是明确的，最后根据目标终点，可以确定障碍物的从历史轨迹终点到未来达到终点的预估运动轨迹。如此方法可以先确定目标终点进行估计，再根据历史轨迹终点及未来达到终点确定预估运动轨迹，此估预估运动轨迹是完整的，这样目标终点的估计过程是开发人员更容易理解的，易于根据目标终点对最终的预估运动轨迹做出解释，避免完全黑箱式的预测结果，也方便其他开发人员理解，有利于后期优化，方便及时掌握预估运动轨迹的确定过程。
45.下面首先对本技术实施例提供的障碍物轨迹预测方法进行介绍。
46.本技术实施例提供的一种障碍物轨迹预测方法中的障碍物可以包括移动物。其中移动物比如包括携带有移动设备的人，非机动车辆、机动车辆中的一种或多种。移动设备可以包括具有信息收集功能的手机和/或电话手表。在此并不做限定。
47.此障碍物轨迹预测方法可以应用于终端设备。此终端设备可以包括车辆，车辆可以包括至少一辆自动驾驶车辆。至少一辆自动驾驶车辆可以包括当前车辆以及除当前车辆以外的其他车辆中的一辆或多辆。如果至少一辆自动驾驶车辆可以包括至少一辆其他车辆，以当前车辆为基准，当前车辆使用该障碍物轨迹预测方法，在当前车辆移动过程中可能会遇到包含至少一辆其他车辆的障碍物，可以预测障碍物的轨迹，当前车辆可以更好的避让或者规划行驶路线。当前车辆可以通过当前车辆的信息用来反映当前车辆的自身情况，其包括当前车辆的位置信息及当前车辆的运动状态信息。如此可以更好的反映当前车辆的位置状态。
48.图1所示为本技术提供的障碍物轨迹预测方法的一实施例的流程示意图。
49.如图1所示，本技术实施例所提供的障碍物轨迹预测方法，可以包括如下步骤110～步骤160：
50.步骤110，获取障碍物的信息及障碍物预估运动的地图信息。
51.本步骤110中的障碍物的信息用来反映障碍物的自身情况，其包括障碍物的历史位置信息及障碍物的历史运动状态信息。障碍物的历史位置信息可以包括障碍物的历史全球定位系统(global positioning system，简称gps)坐标、障碍物相对当前车辆的历史位置中的一种或多种。障碍物的历史运动状态信息可以包括历史速度、历史加速度、历史姿态角、历史角速度、历史角加速度中的一种或多种。障碍物的历史位置信息及障碍物的历史运动状态信息分别与当前车辆的信息在于时间长不同，障碍物的历史位置信息及障碍物的历史运动状态信息是当前时间之前已记录的，当前车辆的信息是实时获取的。
52.步骤120，根据地图信息，确定障碍物的多个候选终点。
53.地图信息用于反映障碍物可以所经的地图信息，其包括车道线信息、可行驶区域信息及语义信息中的一种或多种。车道线信息可以包括车道线位置与形状、车道线邻接关系、车道线连接关系、车道线类型中的一种或多种。车道线邻接关系可以是指左右相邻的关系，车道线连接关系可以是指同一车道前后延伸的车道的关系。车道线类型可以是指直行和/或转弯中的一种或多种。其中，车道可以是由车道中心线、车道左边线、车道右边线构成的。在理想条件下，当车辆直线行驶时，车辆中心的轨迹与车道中心线较为接近。当车辆在车道左边线和车道右边线的中间构成的区域内行驶时，可以称车辆属于此车道。可行驶区域可以包括机动车道区域、非机动车道区域、道路边界中的一种或多种。语义信息可以包括十字路口区域、人行横道区域、交通限制信息中的一种或多种。交通限制信息用于表示障碍物遵守交通规则，如此可以通过障碍物遵守交通规则，准确地预测障碍物的轨迹。交通限制信息可以包括交通灯信息、限速信息及限行信息中的一种或多种。
54.图2所示为图1所示的障碍物轨迹预测方法中的步骤120的一实施例的流程示意图。如图2所示，步骤120包括如下步骤121～步骤123：
55.步骤121，根据历史位置信息，确定与障碍物实际运动方向相匹配的基础车道。
56.在十字路口区域等车道数量多且互相交错时，如此可以障碍物可能会经过多个车道，根据历史位置信息，确定与障碍物实际运动方向相匹配的车道，作为基础车道，这样可
以确定障碍物所属的车道。
57.步骤122，根据基础车道的车道线邻接关系及基础车道的车道线连接关系，在基础车道周围拓展多条候选车道。从障碍物的基础车道开始，可以拓展出多条更长、更完整的候选车道，以覆盖障碍物的变道、转向、直行等一种或多种运动需求。例如障碍物处于在十字路口区域前的基础车道，障碍物既可以直行也可以右转，将拓展出两条候选车道，一条候选车道可以为沿基础车道继续直行的车道，另一条候选车道可以为沿基础车道继续右转的车道。
58.步骤123，根据多条候选车道，确定多个候选终点。
59.本步骤123的一实施例可以包括以预定间隔均匀地在每条候选车道上选择多个点，作为多个候选终点，预定间隔可以根据用户需求的预估运动轨迹的精度确定，预估运动轨迹的精度越大，则预定间隔越小，预估运动轨迹的精度越小，则预定间隔越大，在此并不做限定。如此，均匀地在每条候选车道上选择多个点，确定出的候选车道更准确地反映整个候选车道的情况，提高多个候选终点的准确性。进一步的，本步骤123中，针对多个候选车道中的每个候选车道，可以将该条候选车道分段，得到分段车道；依次对一个分段车道以预定间隔均匀地在每条候选车道上选择多个点，作为多个候选终点。这样对一个分段车道的计算量小于整段候选车道的计算量，提高处理效率。
60.上述以预定间隔均匀地在每条候选车道选择多个点，作为多个候选终点的实施例有多种，在一种实施例中，沿候选车道的车道线方向，以预定间隔均匀地在每条候选车道的车道中心线上选择多个点，作为多个候选终点，如此以中心线为基准选择候选终点，可以在控制计算量大小的情况下，获取较好的预估运动轨迹的预测效果。在另一种实施例中，沿候选车道的车道线方向以及垂直于车道线方向的方向，以预定间隔均匀地在每条候选车道上选择多个点，作为多个候选终点。如此在候选车道内密集选点，会一定程度上增加计算量，但可以获得更为完善、准确的预测结果。其中，候选车道的车道线方向以及垂直于车道线方向的方向选择的多个点的分布，可以是阵列方式或者网格方式，如此不仅选点不仅密集，而且比较有规则，使得选取的候选终点更合理，进而得到的预估运动轨迹更合理。
61.步骤130，根据多个候选终点提取多个候选终点的特征，根据地图信息提取地图特征，并根据障碍物的信息提取障碍物特征。
62.其中，本步骤130中的根据多个候选终点提取多个候选终点的特征，可以包括根据多个候选终点，采用多层感知机，确定多个候选终点的特征。如此可以独立使用多层感知机，确定多个候选终点的特征，这样可以更好的挖掘出多个候选终点的特征，以便更好地提取目标终点的特征。
63.本步骤130中的根据地图信息提取地图特征可以包括根据车道线信息、可行驶区域信息及语义信息，采用图神经网络，提取地图特征，其中地图特征可以包括多条候选车道之间的拓扑特征、位置特征及语义特征。如此可以独立使用图神经网络，可视化地确定地图特征，方便理解地图特征，这样可以更好的挖掘出地图特征。
64.本步骤130中的根据障碍物的信息提取障碍物特征，包括：根据历史轨迹信息，采用卷积神经网络，提取障碍物运动的时间特征和空间特征。如此可以独立的采用卷积神经网络，提取障碍物运动的时间特征和空间特征，这样可以更好的挖掘障碍物运动的时间特征和空间特征，以有利于目标终点的确定。进一步的，在本步骤130还可以包括对多个所述
候选终点、地图信息及障碍物的信息的预处理操作，其中，预处理操作包括坐标转换及信息编码。这样方便去除一些与特征相关的噪声，提高特征提取的准确性，之后再执行提取多个候选终点的特征、地图特征及障碍物特征。
65.步骤140，根据候选终点的特征、地图特征及障碍物特征，从多个候选终点中确定多个预定终点，多个预定终点相较于多个候选终点中的其余候选终点，成为预估运动轨迹的目标终点的可能性更高。预定终点可以是指初次确定的终点，还需要通过执行步骤150再次确定预定终点是否可以成为最终的目标终点。
66.本步骤140可以采用多种实施例实现，在一些实施例中，逐个判断多个候选终点是否会成为目标终点；将可能成为目标终点的多个候选终点，确定为多个预定终点。如此设置多个预定终点，可以预测出多条预估运动轨迹，覆盖更完善的轨迹空间，也能减少预估运动轨迹的突变，保证稳定性，同时，逐个确定候选终点，可以提高候选终点确定的准确性。具体的，使用可以多层感知机和/或注意力算法逐个多个候选终点是否会成为目标终点。
67.在另一些实施例中，确定所有候选终点成为目标终点的概率，选择可能性最大的预定终点，作为目标终点。如此通过概率可以快速确定目标终点，速度更快。具体的，使用可以多层感知机和/或注意力算法，确定所有候选终点成为目标终点的概率。
68.步骤150，根据多个预定终点，确定障碍物的目标终点，其中，目标终点包括历史轨迹终点及未来达到终点。如此对预定终点进行优化，调整预定终点的位置，使得预定终点的坐标点作为预估运动轨迹的终点更准确。
69.在本步骤150的一实施例可以包括：可以使用深度神经网络，提取预定终点的特征；根据预定终点的特征地图特征及障碍物特征，优化预定终点，确定目标终点。通过调整终点的设置方式即可控制预测轨迹的生成，保证终点的有效性，可以保证预估运动轨迹的可靠性。随后可以对目标终点进行检查，确保预估运动轨迹符合车辆运动学规律、符合交通规则、没有碰撞等。
70.步骤160，根据目标终点，确定障碍物的从历史轨迹终点到未来达到终点的预估运动轨迹。
71.本步骤160有多种实现的实施例，在一种实施例中，根据目标终点，使用优化算法，确定预估运动轨迹，以使预估运动轨迹平滑且符合障碍物运动学特性。如此使用优化算法，可以检测预估运动轨迹，得到平滑且符合障碍物运动学特性的预估运动轨迹，可以保证预估运动轨迹的合理性，进而确保当前车辆的安全性，减小意外事故发生的可能性。在另一种实施例中，根据目标终点，提取目标终点的特征；将目标终点的特征，地图特征及障碍物特征输入至深度神经网络，以输出障碍物的预估运动轨迹。如此利用深度神经网络较强的函数拟合能力，同时避免人为设计复杂的优化算法约束条件。
72.图3所示为本技术提供的障碍物轨迹预测系统300的一实施例的模块框图。障碍物轨迹预测系统300包括一个或多个处理器301，用于实现如上所述的障碍物轨迹预测方法。
73.在一些实施例中，障碍物轨迹预测系统300可以包括计算机可读存储介质309，计算机可读存储介质309可以存储有可被处理器301调用的程序，可以包括非易失性存储介质。在一些实施例中，障碍物轨迹预测系统300可以包括内存308和接口307。在一些实施例中，障碍物轨迹预测系统300还可以根据实际应用包括其他硬件。
74.本技术实施例的计算机可读存储介质309，其上存储有程序，该程序被处理器301
执行时，用于实现如上描述的障碍物轨迹预测方法。
75.本技术可采用在一个或多个其中包含有程序代码的计算机可读存储介质309(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。计算机可读存储介质309包括永久性和非永久性、可移动和非可移动媒体，可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机可读存储介质309的例子包括但不限于：相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
76.以上所述仅为本说明书的较佳实施例而已，并不用以限制本说明书，凡在本说明书的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本说明书保护的范围之内。
77.还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。