轨迹预测方法、装置和智能体与流程

1.本公开的实施例涉及计算机技术领域，具体涉及轨迹预测方法、装置和智能体。


背景技术：

2.轨迹预测旨在根据运动对象(如智能体等)在某时间段的位置和外界物理环境的变化去预测其未来的位置。轨迹预测可以广泛应用于各种领域，如自动驾驶、机器人导航、行为分析与理解、目标检测/跟踪等等。
3.目前，针对轨迹预测的研究方向包括如何建模交互关系和描述或刻画预测的轨迹等方面。其中，交互关系包括运动对象之间的交互关系和运动对象与周围物理环境之间的交互关系。建模交互关系的本质就是获取影响运动对象的运动因素的表征。
4.现有的轨迹预测方法通常是利用卷积神经网络等提取运动对象的图像的特征，以及引入注意力机制等筛选对运动对象影响程度较高的周围的其它运动对象，然后利用长短期记忆网络等对运动对象的运动轨迹进行编码，再利用生成对抗网络和变分自编码器等对运动对象的运动轨迹进行直接预测。


技术实现要素：

5.本公开的实施例提出了轨迹预测方法、装置和智能体。
6.第一方面，本公开的实施例提供了一种轨迹预测方法，该方法包括：获取对象所在区域的图像，以及获取对象运动至当前所在位置处的历史运动轨迹；从图像中确定对象的候选目的地，其中，候选目的地位于图像的边界处；根据历史运动轨迹，从候选目的地中确定对象的目标目的地；根据历史运动轨迹和目标目的地，预测对象从当前所在位置运动至目标目的地的轨迹。
7.第二方面，本公开的实施例提供了一种轨迹预测装置，该装置包括：获取单元，被配置成获取对象所在区域的图像，以及获取对象运动至当前所在位置处的历史运动轨迹；候选目的地确定单元，被配置成从图像中确定对象的候选目的地，其中，候选目的地位于图像的边界处；目标目的地确定单元，被配置成根据历史运动轨迹，从候选目的地中确定对象的目标目的地；轨迹预测单元，被配置成根据历史运动轨迹和目标目的地，预测对象从当前所在位置运动至目标目的地的轨迹。
8.第三方面，本公开的实施例提供了一种电子设备，该电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如第一方面中任一实现方式描述的方法。
9.第四方面，本公开的实施例提供了一种计算机可读介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面中任一实现方式描述的方法。
10.本公开的实施例提供的轨迹预测方法、装置和智能体，通过先从候选目的地中筛选目标目的地，然后再预测运动对象从当前位置运动至目标目的地的运动轨迹，可以实现对运动对象的全场景预测。
附图说明
11.通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本公开的其它特征、目的和优点将会变得更明显：
12.图1是本公开的一个实施例可以应用于其中的示例性系统架构图；
13.图2是根据本公开的轨迹预测方法的一个实施例的流程图；
14.图3是根据本公开的实施例的轨迹预测方法的一个应用场景的示意图；
15.图4是根据本公开的轨迹预测方法的又一个实施例的流程图；
16.图5是根据本公开的轨迹预测方法的再一个实施例的流程图；
17.图6是根据本公开的轨迹预测装置的一个实施例的结构示意图；
18.图7是适于用来实现本公开的实施例的电子设备的结构示意图。
具体实施方式
19.下面结合附图和实施例对本公开作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
20.需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。
21.图1示出了可以应用本公开的轨迹预测方法或轨迹预测装置的实施例的示例性架构100。
22.如图1所示，系统架构100可以包括智能体(agent)101、102，网络103和服务器104。网络103用以在智能体101、102和服务器104之间提供通信链路的介质。网络103可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
23.智能体101、102通过网络103与服务器104交互，以接收或发送各种消息(如图像、预测轨迹、控制信号等)等。智能体101、102可以是具有运动能力的各种智能体。智能体一般可以具有自治性(autonomy)、反应性(reactive)、主动性(proactive)、社会性(social)和进化性等等。例如，智能体101、102可以是智能汽车、智能机器人等等。
24.服务器104可以是为智能体101、102提供各种服务的服务器，例如，预测智能体101、102的运动轨迹以辅助于智能体101、102的运动。
25.需要说明的是，本公开的实施例所提供的轨迹预测方法一般由服务器104执行，相应地，轨迹预测装置一般设置于服务器104中。
26.需要说明的是，服务器104可以是硬件，也可以是软件。当服务器104为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器104为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务的多个软件或软件模块)，也可以实现成单个软件或软件模块。在此不做具体限定。需要指出的是，服务器104也可以设置于智能体101、102中。
27.应该理解，图1中的智能体、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的智能体、网络和服务器。
28.继续参考图2，其示出了根据本公开的轨迹预测方法的一个实施例的流程200。该轨迹预测方法包括以下步骤：
29.步骤201，获取对象所在区域的图像，以及获取该对象运动至当前所在位置处的历史运动轨迹。
30.在本实施例中，对象可以指各种具有运动能力的对象。例如，对象可以是如图1所示的智能体101、102。又例如，智能体可以是人。对象所在区域可以指包括该对象当前所在位置在内的一定空间。区域的大小或范围可以根据实际的应用场景或应用需求灵活设置。
31.对象所在区域的图像可以通过各种方法得到，以及轨迹预测方法的执行主体(如图1所示的服务器104等)可以从本地或其他设备等获取对象所在区域的图像。例如，对象所在区域的图像可以由该区域内的图像采集装置(如摄像头等)进行采集得到，此时，该图像采集装置可以将采集到的图像发送至上述执行主体。又例如，对象所在区域的图像可以由该对象所具有的图像采集装置进行采集得到，此时，该对象可以将采集得到的图像发送至上述执行主体。
32.对象的运动轨迹可以采用各种方法表示。例如，运动轨迹可以使用对象在各个时刻的位置坐标按照时间顺序形成的位置坐标序列进行表示。历史运动轨迹可以指对象运动至当前所在位置处的运动轨迹。具体地，根据实际的应用场景，历史运动轨迹可以指对象在运动至当前所在位置处之前的预设时间段内的运动轨迹，其中，预设时间段可以根据应用需求进行设置。
33.执行主体可以从本地或其他设备获取对象运动至当前所在位置处的历史运动轨迹。例如，对象在运动过程中可以记录自身的运动轨迹，此时，可以由该对象向执行主体发送其运动至当前所在位置处的历史运动轨迹。又例如，在对象的运动过程中，该对象经过的区域中的监控设备可以记录该对象的运动轨迹，此时，监控设备可以向执行主体发送该对象运动至当前所在位置处的历史运动轨迹。
34.步骤202，从图像中确定该对象的候选目的地。
35.在本实施例中，候选目的地可以指图像所呈现的区域中的任意对象离开该区域时的可能出口，因此，候选目的地可以位于图像的边界处。在不同的场景下，图像中确定的候选目的地的数量可以为一个，也可以为至少两个。
36.具体地，可以采用各种方法从图像中确定对象的候选目的地。例如，可以按照预设区域大小对图像进行图像分割，然后将分割出的、位于图像的边界处的图像区域确定为候选目的地。其中，预设区域大小可以根据对象的大小进行设置。
37.一般地，每个候选目的地是一个图像区域，因此，候选目的地可以采用各种方法进行表示。例如，可以使用候选目的地对应的图像区域的各顶点坐标进行表示。
38.又例如，候选目的地可以通过如下表示：
39.d＝(x
min
，y
min
，x
max
，y
max
，θ
min
，θ
max
，)
[0040][0041][0042]
其中，“d”表示候选目的地。“x
min”和“y
min”分别表示候选目的地最小的顶点的横坐
标和纵坐标，“x
max”和“y
max”分别表示候选目的地最大的顶点的横坐标和纵坐标。“θ
min”和“θ
max”分别表示对象当前所在位置与候选目的地之间的最小角度和最大角度。“x
0”和“y
0”分别表示对象当前所在位置的横坐标和纵坐标。需要说明的是，坐标系可以根据实际的应用场景灵活设置。
[0043]
步骤203，根据历史运动轨迹，从候选目的地中确定该对象的目标目的地。
[0044]
在本实施例中，目标目的地可以是指针对上述对象，其离开图像所呈现的区域时的出口。具体地，可以根据该对象的历史运动轨迹，采用各种方法从各候选目的地中确定该对象的目标目的地。例如，可以根据该对象的历史运动轨迹的运动方向，从各候选目的地中确定在该运动方向上的候选目的地作为该对象的目标目的地。
[0045]
需要说明的是，当候选目的地为一个时，则该对象只能从该候选目的地离开图像所呈现的区域，因此可以直接确定该候选目的地为该对象的目标目的地。
[0046]
步骤204，根据历史运动轨迹和目标目的地，预测该对象从当前所在位置运动至目标目的地的轨迹。
[0047]
在本实施例中，可以采用各种预测方法，根据对象的历史运动轨迹和目标目的地，确定该对象从当前所在位置处运动至目标目的地的运动轨迹。例如，可以预先统计并存储图像所呈现的区域中的对象从进入该区域开始至离开该区域的运动轨迹。此时，可以查询预先存储的运动轨迹，确定包括该对象当前所在位置和目标目的地的运动轨迹作为该目标从当前所在位置运动至目标目的地的轨迹。
[0048]
又例如，可以利用预先训练的轨迹预测模型(如采用encoder-decoder编码-解码框架实现)根据历史运动轨迹和目标目的地，预测该对象从当前所在位置运动至目标目的地的轨迹。具体的训练方法可以根据预先采集或获取的训练样本，以及预设的损失函数，利用现有的各种训练方法完成轨迹预测模型的训练。例如，损失函数可以表示轨迹预测模型预测的轨迹与训练样本中的实际轨迹之间的差异。作为示例，损失函数可以表示如下：
[0049][0050]
其中，“l”表示损失函数。“t”表示预测的时间段。表示轨迹预测模型预测的轨迹。“y”表示预测的轨迹对应的实际采集到的轨迹。
[0051]
在本实施例的一些可选的实现方式中，可以先对图像进行分割，得到图像区域集，然后分别确定图像区域集中的各图像区域是否位于图像的边界处，并确定位于图像的边界处的图像区域作为候选目的地。
[0052]
具体地，可以采用现有的各种图像分割方法(如语义分割等)对图像进行分割得到图像区域集，然后采用各种方法(如确定是否包括横坐标和/或纵坐标为0的坐标等)确定分割得到的每个图像区域是否位于图像的边界处。若图像区域位于图像的边界处，则可以认为该图像区域属于候选目的地，若图像区域不位于图像的边界处，则可以任务该图像区域不属于候选目的地。
[0053]
作为示例，可以通过如下公式确定候选目的地：
[0054]
f＝se(i)
[0055]
d＝c(f,l)
[0056]
其中，“se”表示预先训练的图像分割模型。“i”表示图像。“f”表示图像分割结果，
即图像区域集。“d”表示候选目的地。“l”表示分割得到的每个图像区域的标签，标签包括位于图像的边界和不位于图像的边界。“c”表示分类器，以根据图像区域的标签确定图像区域是否属于候选目的地。
[0057]
利用图像分割方法可以对图像进行快速且较准确的图像区域分割，从而有助于提升后续目标目的地和轨迹预测结果的效率和准确性。
[0058]
继续参见图3，图3是根据本实施例的轨迹预测方法的一个示意性的应用场景300。在图3的应用场景中，可以先获取运动对象301当前所在的区域的图像302，然后利用分割模型303确定图像302中的候选目的地304，具体包括候选目的地“a”、候选目的地“b”、候选目的地“c”、候选目的地“d”和候选目的地“e”。然后，可以利用目标目的地确定模型306，根据该对象301在当前时刻之前的预设时段内的历史运动轨迹305，从候选目的地304中确定该对象301的目标目的地307，具体包括目标目的地“c”、目标目的地“d”和目标目的地“e”。之后，可以利用估计预测模型308，根据历史运动轨迹305确定该对象301从当前位置分别运动至目标目的地“c”、目标目的地“d”和目标目的地“e”的运动轨迹。
[0059]
现有的轨迹预测方法通常是短时预测，如根据8帧历史运功轨迹预测12帧未来的运动轨迹，每帧时长如0.4秒等等，而并不是全场景的预测(即在运动对象当前所在场景的整个区域内的轨迹预测)。另外，现有的轨迹预测方法所预测的各条轨迹都是相同的权重，即预测的各条轨迹都具有同样的可能性，因此现有的预测方法并不能针对不同的场景或不同的选择等给出自适应的轨迹预测结果。
[0060]
本公开的上述实施例提供的轨迹预测方法可应用于全场景的轨迹预测，具体的思路是先确定运动对象的目标目的地，然后预测运动至目标目的地的轨迹。假设运动对象的目的地为g
i＝1,2
…n，其中，“n”是目的地数量，则历史运动轨迹“x”、目的地g和预测轨迹“y”之间符合如下规律：
[0061]
p(y,g|x)＝p(y|x,g)p(g|x)
[0062]
基于此，p(y|x)可以转换表示为：
[0063][0064]
基于这一思路，先从候选目的地中筛选目标目的地，然后再预测运动对象从当前位置运动至目标目的地的运动轨迹，可以实现对运动对象的全场景预测，而不是短时预测。
[0065]
进一步参考图4，其示出了轨迹预测方法的又一个实施例的流程400。该轨迹预测方法的流程400，包括以下步骤：
[0066]
步骤401，获取对象所在区域的图像，以及获取该对象运动至当前所在位置处的历史运动轨迹。
[0067]
步骤402，从图像中确定该对象的候选目的地
[0068]
步骤403，获取每个候选目的地的活跃度。
[0069]
在本实施例中，候选目的地的活跃度可以指候选目的地中出现各种运动对象的概率。具体地，每个候选目的地的活跃度可以采用各种方法确定。例如，可以统计每个候选目的地中出现的运动对象的数量，并根据该数量确定该候选目的地的活跃度，一般地，出现的运动对象的数量与活跃度正相关。
[0070]
可选地，候选目的地的活跃度可以指目标时间段内的活跃度。其中，目标时间段可以根据实际的应用场景确定。例如，目标时间段可以指当前时刻之前的预设时长对应的时间段。又例如，可以预先划分多个时间段(如将一天按小时进行时间段划分)，然后确定当前时刻所在的时间段作为目标时间段。
[0071]
由于在一些场景中，每个候选目的地经常在一时间段内的活跃度较高，而在另一时间段内的活跃度较低，因此，通过时间段区分候选目的地的活跃度可以更准确地表达每个候选目的地的活跃度。
[0072]
作为示例，可以先通过如下式子计算每个候选目的地的人流密度：
[0073][0074]
其中，“f
i”表示候选目的地“i”的人流密度。“q
t”表示图像所呈现的区域中在时间段“t”中出现的各种对象的坐标。“d
i”表示候选目的地“i”的位置。此时，若在时间段“t”中候选目的地中出现有任意对象，则该候选目的地的人流密度为1，若在时间段“t”中候选目的地中未出现任意对象，则该候选目的地的人流密度为0。
[0075]
然后，可以通过如下式子计算每个候选目的地的活跃度：
[0076][0077]
其中，“s
i”表示候选目的地“i”的活跃度。“n”表示“n”个候选目的地。
[0078]
步骤404，根据历史运动轨迹和每个候选目的地的活跃度，从候选目的地中确定该对象的目标目的地。
[0079]
在本实施例中，候选目的地的活跃度越高可以表示该候选目的地历史作为目标目的地的概率较高，以及在一些情况下，对象经常具有从众性，因此候选目的地的活跃度越高，也可以表示该候选目的地作为当前该对象的目标目的地的概率越高。
[0080]
基于此，可以根据该对象的历史运动轨迹和各候选目的地的活跃度，采用各种方法确定该对象的目标目的地，例如，可以根据该对象的历史运动轨迹的运动方向，先从各候选目的地中确定在该运动方向上的候选目的地，然后再从确定的各候选目的地中选取活跃度大于预设阈值的候选目的地作为该对应的目标目的地。
[0081]
步骤405，根据历史运动轨迹和目标目的地，预测该对象从当前所在位置运动至目标目的地的轨迹。
[0082]
在本实施例的一些可选地实现方式中，可以通过如下步骤根据历史运动轨迹和每个候选目的地的活跃度，从候选目的地中确定该对象的目标目的地：
[0083]
步骤一，确定每个候选目的地的位置向量。
[0084]
在本步骤中，候选目的地的位置向量可以用于表示候选目的地在图像中的位置。具体地，可以采用各种向量表示方法来确定每个候选目的地的位置向量。例如，可以利用现有的各种特征提取模型提取每个候选目的地在图像中的位置特征，并将提取的用于表示位置特征的特征向量作为每个候选目的地的位置向量
[0085]
步骤二，利用每个候选目的地的活跃度对该候选目的地的位置向量进行更新，得到更新后的位置向量；
[0086]
在本步骤中，可以采用各种方法利用每个候选目的地的活跃度对该候选目的地的位置向量进行更新，以得到更新后的位置向量。更新后的位置向量可以融合候选目的地的位置特征和活跃度特征。
[0087]
例如，可以直接拼接候选目的地的活跃度和位置向量以得到更新后的位置向量。又例如，可以计算候选目的地的活跃度与位置向量的乘积以得到更新后的位置向量。
[0088]
步骤三，确定历史运动轨迹的特征向量；
[0089]
在本步骤中，可以利用现有的各种特征提取方法确定对象的历史运动轨迹的特征向量。例如，可以利用各种特征提取模型提取历史运动轨迹的特征，从而得到表示历史运动轨迹的特征的特征向量。
[0090]
步骤四，将每个候选目的地的更新后的位置向量与特征向量进行融合，得到该候选目的地的融合向量；
[0091]
在本步骤中，可以根据实际的应用需求，采用各种向量融合方法实现候选目的地的更新后的位置向量与对象的历史运动轨迹的特征向量之间的融合。
[0092]
例如，可以计算候选目的地的更新后的位置向量与对象的历史运动轨迹的特征向量的和或乘积进行融合。又例如，可以直接拼接候选目的地的更新后的位置向量与对象的历史运动轨迹的特征向量的和或乘积进行融合。
[0093]
步骤五，根据各候选目的地的融合向量，分别确定各目的地为该对象的目标目的地的概率，以及根据各目的地分别为该对象的目标目的地的概率，确定该对象的目标目的地。
[0094]
在本步骤中，由于融合向量融合了候选目的地的更新后的位置向量与对象的历史运动轨迹的特征向量，而更新后的位置向量可以表示候选目的地的位置特征和活跃度特征，因此，融合向量包含有候选目的地的位置特征和活跃度特征，以及对象的历史运动轨迹的特征。
[0095]
根据融合向量，可以采用各种方法确定每个候选目的地为对象的目标目的地的概率。例如，可以利用预先训练的目标目的地确定模型根据每个候选目的地的融合向量确定该候选目的地为对象的目标目的地的概率。其中，目标目的地确定模型可以根据融合向量，即根据候选目的地的位置特征和活跃度特征，以及对象的历史运动轨迹的特征确定候选目的地属于目标目的地的概率。
[0096]
在得到各候选目的地分别为该对象的目标目的地的概率之后，可以按照概率大小，确定该对象的目标目的地。例如，可以按照概率从大到小的顺序，选取预设数目个候选目的地作为目标目的地。其中，预设数目可以根据实际的应用需求或应用场景预先设置。
[0097]
作为示例，可以先通过如下公式提取对象的历史运动轨迹的特征向量：
[0098]ht
＝nn(h
t-1
，mlp(q
t
))
[0099]
其中，nn(neural networks，神经网络模型)可以是各种能够处理序列数据的神经网络模型，例如，rnn(recurrent neural network，循环神经网络)、lstm(long-short term memory，长短期记忆网络)、gru(gate recurrent unit，门控循环单元)等等，具体可以根据实际的应用需求灵活选择所使用的神经网络模型。“q
t”表示历史运动轨迹(如由各时刻的坐标按时间顺序组成的坐标序列)。mlp(multilayer perceptron，多层感知机)可以用于将历史运动轨迹(如坐标序列)转化成可变长度的向量。“h
t”和“h
t-1”分别表示“t”和“t-1”时
刻的隐藏状态。“t”可以为当前时刻。
[0100]
然后，可以通过如下公式形成候选目的地的融合向量：
[0101]ei
＝mlp([h
t
,mlp(s
idi
)])
[0102]
其中，“e
i”表示候选目的地“i”的融合向量。“d
i”表示候选目的地“i”的位置。“s
i”表示候选目的地“i”的活跃度。mlp可以是带有一层tanh非线性激活的单层感知机。“[,]”表示拼接操作。
[0103]
然后，可以通过如下公式根据候选目的地的融合向量确定该候选目的地为对象的目标目的地的概率：
[0104]ri
＝softmax(mlp(ei))
[0105]
其中，“r
i”表示候选目的地“i”为对象的目标目的地的概率。mlp为各种多层感知机。softmax函数用于归一化映射。
[0106]
上述各步骤中未具体说明的执行过程可参考图2对应实施例中的相关说明，在此不再赘述。
[0107]
本公开的上述实施例提供的方法通过在全场景预测的基础上，根据每个候选目的地的活跃度选取目标目的地，即确定运动对象的运动方向，然后预测运动对象运动至目标目的地的轨迹，可以避免不必要的轨迹预测，而且有助于提升轨迹预测的准确度。
[0108]
进一步参考图5，其示出了轨迹预测方法的再一个实施例的流程500。该轨迹预测方法的流程500，包括以下步骤：
[0109]
步骤501，获取对象所在区域的图像，以及获取该对象运动至当前所在位置处的历史运动轨迹。
[0110]
步骤502，从图像中确定该对象的候选目的地。
[0111]
步骤503，获取每个候选目的地的活跃度，确定每个候选目的地的位置向量，以及利用每个候选目的地的活跃度对该候选目的地的位置向量进行更新，得到更新后的位置向量。
[0112]
步骤504，确定历史运动轨迹的特征向量，将每个候选目的地的更新后的位置向量与特征向量进行融合，得到该候选目的地的融合向量。
[0113]
步骤505，根据各候选目的地的融合向量，分别确定各候选目的地为该对象的目标目的地的概率，以及根据各目的地分别为该对象的目标目的地的概率，确定该对象的目标目的地。
[0114]
步骤506，根据每个目标目的地的融合向量，确定该目标目的地的权重。
[0115]
在本实施例中，各目标目的地的权重可以用于区分各候选目的地分别对于该对象的吸引力。具体地，可以采用各种方法根据每个目标目的地的融合向量，确定该目标目的地的权重。例如，可以利用预先训练的权重确定模型根据每个目标目的地的融合向量确定该目标目的地的权重。其中，权重确定模型可以根据融合向量，即根据目标目的地的位置特征和活跃度特征确定目标目的地的权重。
[0116]
步骤507，确定各目标目的地的融合向量的加权和作为控制向量。
[0117]
在本实施例中，对于每个目标目的地，可以将该目标目的地的权重确定为该目标目的地的融合向量的权重，从而计算各目标目的地的融合向量的加权和，并将得到的加权和结果值作为控制向量。
[0118]
步骤508，根据历史运动轨迹和控制向量，利用预先训练的轨迹预测模型，预测该对象从当前所在位置运动至目标目的地的轨迹。
[0119]
在本实施例中，由于控制向量包含有各目标目的地的位置特征和活跃度特征对于对象的吸引力信息，因此，在利用对象的历史运动轨迹进行轨迹预测的同时，结合控制向量进行轨迹预测，有助于提升轨迹预测的准确性。
[0120]
具体地，可以采用各种方法，根据历史运动轨迹和控制向量，利用预先训练的轨迹预测模型，预测该对象从当前所在位置运动至目标目的地的轨迹。例如，可以预先训练轨迹预测模型，其中，轨迹预测模型可以根据对象的历史运动轨迹和每个目标目的地的控制向量，预测对象从当前所在位置运动至该目标目的地的运动轨迹。
[0121]
需要说明的是，在目标目的地为多个时，可以采用上述方法确定控制向量，并利用对象的历史运动轨迹和控制向量预测该对象的运动轨迹。在目标目的地为一个时，则可以直接根据对象的历史运动轨迹预测该对象的运动轨迹。
[0122]
作为示例，可以通过如下公式实现对象的历史运动轨迹的编码：
[0123]ht
＝nn(h
t-1
，mlp(q
t
))
[0124]
其中，nn可以是各种能够处理序列数据的神经网络模型，例如rnn、lstm、gru等等，具体可以根据实际的应用需求灵活选择所使用的神经网络模型。“q
t”表示历史运动轨迹(如由各时刻的坐标按时间顺序组成的坐标序列)。mlp(multilayer perceptron，多层感知机)可以用于将历史运动轨迹(如坐标序列)转化成可变长度的向量。“h
t”和“h
t-1”分别表示“t”和“t-1”时刻的隐藏状态。“t”可以为当前时刻。
[0125]
然后，可以通过如下公式确定目标目的地的权重：
[0126]
wi＝softmax(mlp([ei,h
t-1
]))
[0127]
其中，“w
i”表示目标目的地“i”的权重。“e
i”表示候选目的地“i”的融合向量。mlp可以是带有一层tanh非线性激活的单层感知机。softmax函数用于归一化映射。
[0128]
然后，可以通过如下公式确定控制向量：
[0129]
c＝∑w
iei
[0130]
其中，“w
i”表示目标目的地“i”的权重。“e
i”表示候选目的地“i”的融合向量。“c”表示控制向量，通过计算各目标目的地的融合向量的加权和得到。
[0131]
之后，可以通过如下解码公式进行轨迹预测：
[0132][0133]
其中，nn可以是各种能够处理序列数据的神经网络模型，例如rnn、lstm、gru等等，具体可以根据实际的应用需求灵活选择所使用的神经网络模型。mlp可以是各种多层感知机。表示预测的轨迹。
[0134]
上述各步骤中未具体说明的执行过程可参考图2对应实施例中的相关说明，在此不再赘述。
[0135]
本公开的上述实施例提供的方法通过在全场景预测的基础上，根据各候选目的地的活跃度筛选目标目的地，并确定目标目的地的权重，然后结合各目标目的地的权重进行轨迹预测，从而使得各条预测轨迹在不同的场景下可以具有不同的权重，以适用于各种不同的场景下的轨迹预测。
[0136]
进一步参考图6，作为对上述各图所示方法的实现，本公开提供了轨迹预测装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
[0137]
如图6所示，本实施例提供的轨迹预测装置600包括获取单元601、候选目的地确定单元602、目标目的地确定单元603和轨迹预测单元604。其中，获取单元601被配置成获取对象所在区域的图像，以及获取对象运动至当前所在位置处的历史运动轨迹；候选目的地确定单元602被配置成从图像中确定对象的候选目的地，其中，候选目的地位于图像的边界处；目标目的地确定单元603被配置成根据历史运动轨迹，从候选目的地中确定对象的目标目的地；轨迹预测单元604被配置成根据历史运动轨迹和目标目的地，预测对象从当前所在位置运动至目标目的地的轨迹。
[0138]
在本实施例中，轨迹预测装置600中：获取单元601、候选目的地确定单元602、目标目的地确定单元603和轨迹预测单元604的具体处理及其所带来的技术效果可分别参考图2对应实施例中的步骤201、步骤202、步骤203和步骤204的相关说明，在此不再赘述。
[0139]
在本实施例的一些可选的实现方式中，上述候选目的地确定单元602进一步被配置成：对图像进行分割，得到图像区域集；分别确定图像区域集中的各图像区域是否位于图像的边界处；确定位于图像的边界处的图像区域作为候选目的地。
[0140]
在本实施例的一些可选的实现方式中，上述目标目的地确定单元603进一步被配置成：获取每个候选目的地的活跃度；根据历史运动轨迹和每个候选目的地的活跃度，从候选目的地中确定对象的目标目的地。
[0141]
在本实施例的一些可选的实现方式中，上述目标目的地确定单元603进一步被配置成：确定每个候选目的地的位置向量，其中，位置向量用于表示候选目的地在图像中的位置；利用每个候选目的地的活跃度对该候选目的地的位置向量进行更新，得到更新后的位置向量；确定历史运动轨迹的特征向量；将每个候选目的地的更新后的位置向量与特征向量进行融合，得到该候选目的地的融合向量；根据各候选目的地的融合向量，分别确定各候选目的地为对象的目标目的地的概率，以及根据各目的地分别为对象的目标目的地的概率，确定对象的目标目的地。
[0142]
在本实施例的一些可选的实现方式中，轨迹预测单元604进一步被配置成：根据每个目标目的地的融合向量，确定该目标目的地的权重；确定各目标目的地的融合向量的加权和作为控制向量；根据历史运动轨迹和控制向量，利用预先训练的轨迹预测模型，预测对象从当前所在位置运动至目标目的地的轨迹。
[0143]
本公开的上述实施例提供的装置，通过获取单元获取对象所在区域的图像，以及获取对象运动至当前所在位置处的历史运动轨迹；候选目的地确定单元从图像中确定对象的候选目的地，其中，候选目的地位于图像的边界处；目标目的地确定单元根据历史运动轨迹，从候选目的地中确定对象的目标目的地；轨迹预测单元根据历史运动轨迹和目标目的地，预测对象从当前所在位置运动至目标目的地的轨迹，通过先从候选目的地中筛选目标目的地，然后再预测运动对象从当前位置运动至目标目的地的运动轨迹，可以实现对运动对象的全场景预测。
[0144]
下面参考图7，其示出了适于用来实现本公开的实施例的电子设备(例如图1中的服务器)700的结构示意图。图7示出的终端设备/服务器仅仅是一个示例，不应对本公开的
实施例的功能和使用范围带来任何限制。
[0145]
如图7所示，电子设备700可以包括处理装置(例如中央处理器、图形处理器等)701，其可以根据存储在只读存储器(rom)702中的程序或者从存储装置708加载到随机访问存储器(ram)703中的程序而执行各种适当的动作和处理。在ram 703中，还存储有电子设备700操作所需的各种程序和数据。处理装置701、rom 702以及ram703通过总线704彼此相连。输入/输出(i/o)接口705也连接至总线704。
[0146]
通常，以下装置可以连接至i/o接口705：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置706；包括例如液晶显示器(lcd)、扬声器、振动器等的输出装置707；包括例如磁带、硬盘等的存储装置708；以及通信装置709。通信装置709可以允许电子设备700与其他设备进行无线或有线通信以交换数据。虽然图7示出了具有各种装置的电子设备700，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。图7中示出的每个方框可以代表一个装置，也可以根据需要代表多个装置。
[0147]
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置709从网络上被下载和安装，或者从存储装置708被安装，或者从rom 702被安装。在该计算机程序被处理装置701执行时，执行本公开的实施例的方法中限定的上述功能。
[0148]
需要说明的是，本公开的实施例所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开的实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开的实施例中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、rf(射频)等等，或者上述的任意合适的组合。
[0149]
上述智能体可以包括上述电子设备，以利用该电子设备进行轨迹预测。例如，智能体为智能机器人，此时智能机器人可以包括机械结构和控制单元，同时还可以包括上述电子设备以进行轨迹预测，控制单元可以根据轨迹预测结果控制机械结构按照轨迹预测结果进行运动。又例如，智能体为智能车辆时，此时车辆可以包括车辆结构的基本组成部分(如车体、制动装置、走行部等等)，还可以包括上述电子设备以进行轨迹预测，车辆可以按照轨
迹预测结果进行行驶。
[0150]
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：获取对象所在区域的图像，以及获取对象运动至当前所在位置处的历史运动轨迹；从图像中确定对象的候选目的地，其中，候选目的地位于图像的边界处；根据历史运动轨迹，从候选目的地中确定所述的目标目的地；根据历史运动轨迹和目标目的地，预测对象从当前所在位置运动至目标目的地的轨迹。
[0151]
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的实施例的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c++，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
[0152]
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0153]
描述于本公开的实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括获取单元、候选目的地确定单元、目标目的地确定单元和轨迹预测单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，获取单元还可以被描述为“获取对象所在区域的图像，以及获取对象运动至当前所在位置处的历史运动轨迹的单元”。
[0154]
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开的实施例中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开的实施例中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。