一种基于异质图的轨迹预测方法与流程

1.本发明涉及自动驾驶技术领域，特别涉及一种基于异质图的轨迹预测方法。


背景技术：

2.在自动驾驶技术中，轨迹预测是指利用上游的感知模块捕捉到的驾驶场景信息来预测场景中其他智能体的未来行动轨迹。传统的轨迹预测方法主要是利用高精地图信息进行先验估计，例如使用卡尔曼滤波器进行轨迹状态预测。近年来，基于深度学习的轨迹预测方法快速发展，其主要是基于深度学习进行场景特征提取。现有的基于深度学习的场景特征提取技术主要包括两大类：基于光栅化的方法、以及基于图卷积网络的方法。
3.基于光栅化的方法主要是采用光栅化俯视图像，所述光栅化俯视图像是表示地图结构和智能体之间邻域关系的最常见和最直接的方法。所述基于光栅化的方法具体包括：将地图元素渲染为俯视图，根据其类型使用不同的颜色，然后使用图像卷积技术进行特征提取。然而将场景信息编码为栅格图对于信息的利用不够高效、直接。这是由于若要将坐标和属性类别信息以图像元素的形式绘制出来，则可能会导致矢量信息失真，当环境和智能体历史过于复杂时，需要大量计算和数据来训练和部署。
4.而图卷积网络在处理非结构化数据和相关关系方面得到了广泛的应用。其一般使用邻接矩阵学习节点和节点之间的关系。该类方法直接使用坐标来表示驾驶场景中的信息，可以更加简洁、高效地编码和处理信息。现有的方法通过异质图显式编码驾驶场景中的异质信息，例如车、人和交通信号灯等，以统一、对称地方式处理物体之间的相对空间关系。虽然将场景信息用坐标形式编码简洁高效，但用离散坐标来记录真实世界的连续过程会造成信息损失，不同的离散化记录方法对轨迹预测模型的影响并没有被研究。同时现有的基于图卷积技术的轨迹预测方法没有充分讨论有效的数据增强方法。


技术实现要素：

5.基于现有技术中的部分或全部问题，本发明提供一种基于异质图的轨迹预测方法，包括：
6.提供基模型；
7.通过所述基模型，基于异质图特征预测轨迹终点，其中所述异质图根据驾驶场景中一个或多个的智能体以及动静态地图建模形成；以及
8.通过所述基模型，基于所述轨迹终点预测轨迹。
9.进一步地，基于所述轨迹终点预测轨迹包括：
10.根据所述轨迹终点生成初步轨迹；以及
11.通过多层感知机对所述初步轨迹进行优化修正，得到输出轨迹。
12.进一步地，所述基模型通过设置超参数训练生成。
13.进一步地，所述轨迹预测方法还包括：
14.设置不同的超参数，以训练生成n个基模型，其中，每个基模型预测k个模态，使用
k-means算法对所述n个基模型的输出进行集成，包括：
15.在每个预测的时刻点，对所有基模型的预测坐标进行聚类，并生成k个簇中心；
16.根据置信度对所述簇中心的坐标从高到低排序；以及
17.遍历每个预测的时刻，将不同时刻的置信度排序相同的簇中心坐标连接起来，作为一个模态的最终预测轨迹。
18.进一步地，所述超参数的设置包括：
19.对输入的智能体的轨迹坐标、尺寸，以及地图元素的坐标使用指定范围的随机尺度进行缩放，得到不同比例尺度的俯视场景。
20.进一步地，所述超参数的设置包括：
21.对输入的智能体的轨迹按照预设比例进行随机丢弃，以形成不同的超参数。
22.进一步地，所述超参数的设置包括：
23.采用多智能体的平均中心作为中心点，随机生成输入的地图尺寸。
24.进一步地，所述超参数的设置包括：
25.对输入的地图元素的坐标进行插值，得到同一物理含义但坐标不同的地图数据，以形成不同的超参数。
26.进一步地，所述基模型的训练还包括：
27.通过时间层面的一致性约束损失，对基模型进行优化。
28.本发明提供的一种基于异质图的轨迹预测方法，将驾驶场景的智能体和地图信息通过异质图显示编码。在编码时将每个智能体的特征变换到自身行驶的坐标系下，将两智能体间的特征变换到相对坐标系下，以统一、对称地方式处理智能体之间的特征联系，并通过交叉注意力机制为各个邻居分配不同的注意力值，对于信息的处理和捕捉更加高效。在模型的数据预处理阶段，针对地图元素和场景中的智能体使用了不同的数据增强策略，大幅度丰富了训练场景数量，提高了模型的准确度和泛化性能。在模型的解码和输出部分，使用目标预测头对可能的轨迹预测终点先进行回归，并基于终点生成完整的初步轨迹，再使用轨迹优化模块对初步轨迹进行修正生成输出轨迹。此外，本方案还使用基于k-means的集成学习提高轨迹预测性能。
附图说明
29.为进一步阐明本发明的各实施例的以上和其它优点和特征，将参考附图来呈现本发明的各实施例的更具体的描述。可以理解，这些附图只描绘本发明的典型实施例，因此将不被认为是对其范围的限制。在附图中，为了清楚明了，相同或相应的部件将用相同或类似的标记表示。
30.图1示出本发明一个实施例的一种基于异质图的轨迹预测方法的流程示意图；
31.图2示出本发明一个实施例的地图元素再标注的示意图；以及
32.图3示出本发明一个实施例的基于k-means的轨迹预测集成学习的示意图。
具体实施方式
33.以下的描述中，参考各实施例对本发明进行描述。然而，本领域的技术人员将认识到可在没有一个或多个特定细节的情况下或者与其它替换和/或附加方法或组件一起实施
各实施例。在其它情形中，未示出或未详细描述公知的结构或操作以免模糊本发明的发明点。类似地，为了解释的目的，阐述了特定数量和配置，以便提供对本发明的实施例的全面理解。然而，本发明并不限于这些特定细节。
34.在本说明书中，对“一个实施例”或“该实施例”的引用意味着结合该实施例描述的特定特征、结构或特性被包括在本发明的至少一个实施例中。在本说明书各处中出现的短语“在一个实施例中”并不一定全部指代同一实施例。
35.需要说明的是，本发明的实施例以特定顺序对方法步骤进行描述，然而这只是为了阐述该具体实施例，而不是限定各步骤的先后顺序。相反，在本发明的不同实施例中，可根据实际需求的调节来调整各步骤的先后顺序。
36.为了提高轨迹预测的效率和准确度，本发明提供一种基于异质图的轨迹预测方法，其通过异质图来提取智能体的轨迹特征、智能体间的关系特征和智能体与地图间的关系特征，并利用transfomer网络聚合和迭代，此外，还使用数据增强、交叉注意力、轨迹两阶段回归优化和集成学习来更加高效地预测多智能体的未来轨迹。下面结合实施例附图对本发明的方案作进一步描述。
37.图1示出本发明一个实施例的一种基于异质图的轨迹预测方法的流程示意图。如图1所示，一种基于异质图的轨迹预测方法，包括：
38.首先，在步骤101，基模型训练。基于输入的数据，例如所述智能体的轨迹特征、地图中元素的坐标信息、各个智能体间的关系特征以及智能体与地图间的关系特征等生成超参数以完成基模型的训练。由于基模型的性能决定了轨迹预测的准确性，因此，在本发明的实施例中，一方面采用了多种数据增强策略来提高基模型的性能，另一方面增加了时间层面的一致性约束损失。
39.在本发明的一个实施例中，数据增强策略包括对输入的数值数据使用指定范围的随机尺度进行缩放，其中，所述数值数据包括智能体的轨迹坐标、尺寸，以及地图元素的坐标等，所述随机尺度的范围例如可为0.85至0.125。通过对输入的数值数据进行缩放，相当于给模型输入了不同尺度比例的俯视场景，进而可以促进智能体对不同比例的场景依然输出正确的预测值。
40.在本发明的一个实施例中，数据增强策略包括在训练基模型时对输入数据中的智能体轨迹进行随机丢弃，丢弃比例可根据实际需求设定，在本发明的一个实施例中，所述丢弃比例为0.3。通过随机丢弃智能体轨迹可以生成更多不同的训练样本，有助于降低过拟合，提高基模型的泛化性能。
41.在本发明的一个实施例中，数据增强策略包括使用随机的地图输入尺寸。地图元素包括静态元素及动态元素，其中所述静态元素例如包括车道中心线、边缘线、斑马线和可行驶区域等，以及所述动态元素例如可包括红绿灯信息和道路的通行状态等，所述静态及动态元素通常以点坐标、有向折线或多边形记录下来。一般情况下，较远处的交通指示信息，如很远处的红绿灯对预测当前车辆的行驶轨迹没有价值，因此，在本发明的一个实施例中，以多智能体的平均中心为中心点限制输入的地图尺寸。通过平均中心限制地图尺寸使得的地图限制尺寸在训练时是随机变化的，因此，可作为数据增强的一种有效手段。
42.在本发明的一个实施例中，数据增强策略包括对地图元素的坐标进行再标注。图2示出本发明一个实施例的地图元素再标注的示意图。如图2所示，一些诸如车道线等地图元
素在真实世界中为连续的线段，而在记录时则会将其采样成离散的有序坐标点集。采用不同的采样方法和采样起始点虽然得到的记录结果不同，但所表达的真实地图元素并无差异，如图2中不同颜色的采样点都可以用来记录车道中心线的坐标。为了削弱采样因素对基模型训练的影响，在本发明的一个实施例中，通过对已有的地图元素坐标进行插值的方法，来生成同一物理含义但坐标不同的地图数据，进而增加训练数据量。
43.所述时间层面的一致性约束损失基于时间一致性设置。其中所述时间一致性是指基于给定的时间范围的连续输入所生成的轨迹应该一致。在轨迹预测任务中，输入是历史轨迹的连续帧，因此可以合理地假设任何两个具有小时间偏移的重叠输入数据块都应该产生一致的结果。由于在本发明的实施例中，采用了预测k条未来轨迹的方式来处理多模态，因此在应用时间一致性对齐时，需要考虑原始预测和时移预测之间的轨迹匹配关系。基于此，在本发明的一个实施例中，采用了最终位移误差作为匹配标准，并使用smooth l1计算原始预测和时移预测之间的误差作为时间一致性约束损失。
44.接下来，在步骤102，异质图特征提取。将驾驶场景中所有的智能体以及动静态地图建模为异质图，并提取所述异质图的特征。在本发明的一个实施例中，所述特征包括驾驶场景中所有智能体的轨迹坐标及尺寸、地图中静态元素及动态元素的坐标及信息、各个智能体间的关系特征以及智能体与地图元素间的关系特征。
45.在轨迹预测任务中，智能体的预测轨迹会受到场景中智能体的影响。在现有技术的方案中，通常仅考虑了待预测智能体周围的小部分固定数量其他智能体的行为影响，其虽然能减少一定程度的网络计算量，但忽略了远距离智能体，例如汽车，行人和自行车等的影响。虽然远距离的其他智能体对自身智能体的影响较小，但也有特殊情况，如不遵守交通规则的智能体、故障车辆等。基于此，在本发明的一个实施例中，在数据处理阶段，将驾驶场景中所有的智能体纳入异质图。
46.在本发明的一个实施例中，通过基于transformer技术的交叉注意力机制为各个邻居分配不同的注意力值，以生成各个智能体间的关系特征以及智能体与地图元素间的关系特征。具体而言，是以智能体自身的当前轨迹特征作为索引，其所有入边的特征当作键和值，通过做交叉注意力来聚合所有入边的信息，以获得更新后的节点特征。
47.最后，在步骤103，轨迹预测。通过训练得到的基模型，基于如前所述的异质图的特征预测轨迹。在本发明的一个实施例中，将轨迹预测问题解耦为两阶段回归任务。第一阶段预测轨迹的终点位置，并在终点位置的引导下估计出完成轨迹。第二阶段将第一阶段的输出作为锚定轨迹进行优化。在本发明的一个实施例中，优化模块使用基于一维卷积实现的多层感知机实现。
48.为了更好地提升模型性能，在本发明的一个实施例中，还采用了集成学习的方法来提高基模型的性能，具体而言，是通过设置不同的超参数，以训练生成n个基模型，使用k-means算法对所述n个基模型的输出进行集成，其中，每个基模型预测k个模态。图3示出本发明一个实施例的基于k-means的轨迹预测集成学习的示意图。如图3所示，所述集成学习的方法包括：
49.在每个预测的时刻点，对所述n个基模型的k个模态的预测坐标进行聚类，并生成k个簇中心；
50.根据置信度对所述簇中心的坐标从高到低排序；以及
51.遍历每个预测的时刻，将不同时刻的置信度排序相同的簇中心坐标连接起来，作为一个模态的最终预测轨迹。
52.如图3所示的实施例中，所述n取值为3，k取值为2，在本发明的其他实施例中，可根据实际需求设置所述n及k的取值。
53.本发明提供的一种基于异质图的轨迹预测方法将驾驶场景的智能体和地图信息建模为异质图，显式地捕捉了驾驶场景中的异质性，对于信息的处理和捕捉更加高效。在此基础上，采用了多种有效的数据增强方法，同时将轨迹预测解耦为两阶段任务，并采用了集成学习方法，最终大幅度提升了轨迹预测的性能。经大量的消融和对比实验，验证了所述方法的高效性。
54.尽管上文描述了本发明的各实施例，但是，应该理解，它们只是作为示例来呈现的，而不作为限制。对于相关领域的技术人员显而易见的是，可以对其做出各种组合、变型和改变而不背离本发明的精神和范围。因此，此处所公开的本发明的宽度和范围不应被上述所公开的示例性实施例所限制，而应当仅根据所附权利要求书及其等同替换来定义。