姿态轨迹预测方法、装置及电子设备与流程

本公开涉及车辆驾驶技术领域，尤其涉及一种姿态轨迹预测方法、装置及电子设备。

背景技术：

对于自动驾驶系统而言，行为规划是最具挑战的模块之一，行为规划具体可以包括预测车辆周围的障碍物目标(例如其他车辆)的姿态轨迹，目前，为了实现对该姿态轨迹的预测，一般仅是对车辆周围的其他车辆的速度、轨迹等进行分析，现有预测方式的预测效果较差。

技术实现要素：

为了解决上述技术问题，提出了本公开。本公开的实施例提供了一种姿态轨迹预测方法、装置及电子设备。

根据本公开实施例的一个方面，提供了一种姿态轨迹预测方法，包括：

获取车辆的基础感知定位数据；

获取所述车辆周围的交通参与者中的，属性为人的障碍物目标的头部活动特征数据；

根据所述基础感知定位数据和所述头部活动特征数据，确定所述车辆周围的交通参与者中的各个障碍物目标的预测姿态轨迹。

根据本公开实施例的另一个方面，提供了一种姿态轨迹预测装置，包括：

第一获取模块，用于获取车辆的基础感知定位数据；

第二获取模块，用于获取所述车辆周围的交通参与者中的，属性为人的障碍物目标的头部活动特征数据；

第一确定模块，用于根据所述基础感知定位数据和所述头部活动特征数据，确定所述车辆周围的交通参与者中的各个障碍物目标的预测姿态轨迹。

根据本公开实施例的再一个方面，提供了一种电子设备，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述姿态轨迹预测方法。

根据本公开实施例的又一个方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述姿态轨迹预测方法。

本公开的实施例中，可以获取车辆的基础感知定位数据，以及获取车辆周围的交通参与者中的，属性为人的障碍物目标的头部活动特征数据，之后，可以根据基础感知定位数据和头部活动特征数据，确定车辆周围的交通参与者中的各个障碍物目标的预测姿态轨迹。可见，本公开的实施例中，可以依据由基础感知定位数据和头部活动特征数据组成的预测参考数据，进行车辆周围的交通参与者中的各个障碍物目标的姿态轨迹的预测，由于由基础感知定位数据和头部活动特征数据组成的预测参考数据能够非常有效地表征车辆当前所处的实际场景，根据预测参考数据能够更快更准确地确定出各个障碍物目标的姿态轨迹。因此，与现有技术相比，本公开的实施例中，通过将车辆周围的交通参与者中的，属性为人的障碍物目标的头部活动特征数据加入预测过程，以丰富预测参考数据，能够有效地改善进行姿态轨迹的预测时的预测效果。

下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。

附图说明

构成说明书的一部分的附图描述了本公开的实施例，并且连同描述一起用于解释本公开的原理。

参照附图，根据下面的详细描述，可以更加清楚地理解本公开，其中：

图1为本公开一示例性实施例提供的轨迹姿态预测方法的流程示意图；

图2为车辆所处道路场景的示意图；

图3-1至图3-9依次为道路图、行人可通行图、交通灯图、道路限速图、障碍物图、障碍物历史姿态轨迹图、头部活动特征图、预测姿态轨迹图、交通信号图；

图4为本公开的实施例中获得头部活动特征数据的原理图；

图5为机动车的乘员的手臂姿态示意图；

图6为自行车的乘员的手臂姿态示意图；

图7为交通警察的手臂姿态示意图；

图8为本公开一示例性实施例中车辆姿态轨迹预测系统的构架图；

图9为本公开一示例性实施例中车辆姿态轨迹预测系统的另一构架图；

图10为本公开一示例性实施例提供的轨迹姿态预测装置的结构框图；

图11为本公开一示例性实施例提供的电子设备的结构图。

具体实施方式

仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。

应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。

本领域技术人员可以理解，本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，不代表任何特定技术含义和必然逻辑顺序；“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。

还应理解，对于本公开实施例中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。

另外，本公开中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。本公开中字符“/”表示前后关联对象是一种“或”的关系。

还应理解，本公开对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

本公开实施例可以应用于终端设备、计算机系统、服务器等电子设备，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与终端设备、计算机系统、服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统、大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。

终端设备、计算机系统等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。

示例性方法

图1是本公开一示例性实施例提供的轨迹姿态预测方法的流程示意图。图1所示的方法包括步骤101、步骤102和步骤103，下面对各步骤分别进行说明。

步骤101，获取车辆的基础感知定位数据。

这里，车辆可以为汽车，例如为纯电动汽车或者混合电动汽车，当然，车辆的类型并不局限于此，具体可以根据实际情况来确定，本公开的实施例对此不做任何限定。

需要说明的是，车辆可以包括地图定位和感知模块，基础感知定位数据为通过地图定位和感知模块，进行基本的感知定位所能够得到的数据。可选地，基础感知定位数据可以包括以下至少一项：道路图、行人可通行图、交通灯图、道路限速图、障碍物图、障碍物历史姿态轨迹图。

假设步骤101中涉及的车辆为图2中的汽车201，容易看出，图2呈现了一个带红绿灯的十字路口场景，各个方向均有两个车道，并且，无论是垂直方向(其也可以称为纵向)还是水平方向(其也可以称为横向)，不同方向的道路均有隔离路沿(例如隔离路沿213、隔离路沿215、隔离路沿217和隔离路沿219)进行分隔；十字路口有用于横穿马路的人行道220，纵向当前处于绿灯通行状态，且当前有行人(例如行人221、行人222、行人223、行人224、行人225和行人226)正在通过人行道220。另外，在绿灯情况下，理论上而言，左拐弯类似换道，但优先级低于对面直行的车辆；如果是无红绿灯路口的停止线，一般遵循先到先过的交通规则；行人在人行道220上行走一般是安全的；部分行人可能会在草坪230处；图2中还可以包括建筑物240。

针对图2呈现的十字路口场景，可以分别绘制汽车201通过基本的感知定位得到的道路图、行人可通行图、交通灯图、道路限速图、障碍物图、障碍物历史姿态轨迹图这6个图，以得到包括这6个图的基础感知定位数据；其中，道路图、行人可通行图、交通灯图、道路限速图、障碍物图、障碍物历史姿态轨迹图均可以为二维(即2-d)鸟瞰图像形式。

具体地，道路图可以如图3-1所示；行人可通行图可以如图3-2所示，行人可通行图可以用于表征能够供行人通行的区域，在行人可通行图中，可以利用亮度来指示可通行度，亮度与可通行度可以呈反比，容易看出，草坪230的可通行度小于人行道220；交通灯图可以如图3-3所示，交通灯图可以用于表征当前允许通行的车道和方向；道路限速图可以如图3-4所示，道路限速图可以用于表征各个车道的驾驶速度上限；障碍物图可以如图3-5所示，障碍物图可以用于表征汽车201周围的各个障碍物目标所在的位置；障碍物历史姿态轨迹图可以如图3-6所示，障碍物历史姿态轨迹图可以用于表征汽车201周围的各个障碍物目标在最近一秒(或者最近半秒)的姿态轨迹，该姿态轨迹可以表征手臂姿态、大小腿姿态以及其他人体部件姿态等。

步骤102，获取车辆周围的交通参与者中的，属性为人的障碍物目标的头部活动特征数据。

这里，车辆周围的交通参与者中可以包括多个障碍物目标，例如包括属性为人的障碍物目标、属性为车的障碍物目标等。具体地，属性为人的障碍物目标既可以包括属性为真实的人类的障碍物目标(例如属性为交通警察的障碍物目标)，也可以包括属性为机器人的障碍物目标；属性为车的障碍物目标既可以包括属性为机动车的障碍物目标，也可以包括属性为非机动车的障碍物目标。为了便于理解，本公开的实施例中均属性为人的障碍物目标仅包括行人的情况为例进行说明。

可选地，头部活动特征数据包括以下至少一项：头部朝向信息、眼睛凝视方向信息、嘴巴动作信息、脸部表情信息。这里，头部活动特征数据可以包括呈二维鸟瞰图像形式的头部活动特征图。具体地，头部活动特征图可以如图3-7所示，容易看出，图3-7能够有效地体现出汽车201周围的交通参与者中，属性为人的各个障碍物目标的头部朝向、眼睛凝视方向等。

需要说明的是，获取头部活动特征数据的具体实现形式多样，为了布局清楚，后续进行举例介绍。

步骤103，根据基础感知定位数据和头部活动特征数据，确定车辆周围的交通参与者中的各个障碍物目标的预测姿态轨迹。

这里，根据基础感知定位数据和头部活动特征数据，确定出的车辆周围的交通参与者中的各个障碍物目标的预测姿态轨迹可以通过预测姿态轨迹图进行呈现。具体地，预测姿态轨迹图可以呈二维鸟瞰图像形式，预测姿态轨迹图可以如图3-8所示。

本公开的实施例中，可以获取车辆的基础感知定位数据，以及获取车辆周围的交通参与者中的，属性为人的障碍物目标的头部活动特征数据，之后，可以根据基础感知定位数据和头部活动特征数据，确定车辆周围的交通参与者中的各个障碍物目标的预测姿态轨迹。可见，本公开的实施例中，可以依据由基础感知定位数据和头部活动特征数据组成的预测参考数据，进行车辆周围的交通参与者中的各个障碍物目标的姿态轨迹的预测，由于由基础感知定位数据和头部活动特征数据组成的预测参考数据能够非常有效地表征车辆当前所处的实际场景，根据预测参考数据能够更快更准确地确定出各个障碍物目标的姿态轨迹。因此，与现有技术相比，本公开的实施例中，通过将车辆周围的交通参与者中的，属性为人的障碍物目标的头部活动特征数据加入预测过程，以丰富预测参考数据，能够有效地改善进行姿态轨迹的预测时的预测效果。

在一个可选示例中，获取车辆周围的交通参与者中的，属性为人的障碍物目标的头部活动特征数据，包括：

调用第一摄像头采集包括车辆周围的交通参与者的第一图像；

对第一图像中，属性为人的障碍物目标进行人脸检测；

在人脸检测成功的情况下，根据人脸检测结果，得到第一图像中，属性为人的障碍物目标的头部朝向信息和/或眼睛凝视方向信息；

在人脸检测失败的情况下，对第一图像中，属性为人的障碍物目标进行姿态估计，根据姿态轨迹估计结果，得到第一图像中，属性为人的障碍物目标的头部朝向信息。

这里，第一摄像头可以为车辆的前置摄像头，通过对第一摄像头的调用，能够采集到包括车辆周围的交通参与者的第一图像。

接下来，如图4所示，可以利用卷积神经网络(convolutionalneuralnetworks，cnn)，进行人检检测，以确定出第一图像中属性为人的障碍物目标(例如行人)。之后，可以利用cnn，对行人进行人脸检测，并判断人脸检测是否成功。

一般而言，若行人不是背面或者侧面面对第一摄像头，人脸检测是可以成功的。具体地，在人脸检测过程中，可以先利用cnn，进行行人眼睛的检测，如果行人眼睛的检测成功，则可以确定行人的眼睛凝视方向，从而得到包括相应眼睛凝视方向信息的头部活动特征数据；如果行人的眼睛检测不成功，则可以利用cnn，依据第一图像中的脸部图像估计头部姿态，从而得到包括相应眼睛朝向信息的头部活动特征数据。当然，人脸检测过程中，也可以同时进行行人眼睛的检测和头部姿态的估计。

若行人正好是背面或者侧面面对第一摄像头，人脸检测很可能是失败的，这时可以利用openpose模型(其为一种姿态估计模型)进行姿态估计，以得到姿态估计结果，姿态估计结果中可以包括行人的身体姿态，身体姿态可以包括头部姿态、手臂姿态，腿部姿态等。之后，可以从姿态估计结果中获取行人的头部姿态，并根据头部姿态，得到包括相应头部朝向信息的头部活动特征数据。

需要指出的是，利用第一图像和cnn，行人的嘴巴动作信息、脸部表情信息等也能够被确定出来。

可见，本公开的实施例中，通过第一图像的采集和检测，能够非常便捷可靠地获得头部活动特征数据。

在一个可选示例中，根据基础感知定位数据和头部活动特征数据，确定车辆周围的交通参与者中的各个障碍物目标的预测姿态轨迹之前，该方法还包括：

获取车辆周围的交通参与者中的至少一个障碍物目标发出的交通信号；

根据交通信号，确定道路影响数据；其中，道路影响数据指示受至少一个障碍物目标影响的道路区域；

根据基础感知定位数据和头部活动特征数据，确定车辆周围的交通参与者中的各个障碍物目标的预测姿态轨迹，包括：

根据基础感知定位数据、头部活动特征数据和道路影响数据，确定车辆周围的交通参与者中的各个障碍物目标的预测姿态轨迹。

可选地，交通信号包括以下至少一项：换道信号、拐弯信号、刹车信号、倒车信号、减速信号。换道信号可以为向左换道信号或者向右换道信号，拐弯信号可以为左拐弯信号或者右拐弯信号。

以图2为例，汽车203和汽车205分别为汽车201周围的交通参与者中的一个障碍物目标，假设汽车203通过亮刹车灯发出了刹车信号，汽车205通过亮右后灯发出了右转弯信号，则可以确定由于汽车203的刹车可能受到影响的道路区域q1，以及由于汽车205的右转弯可能受到影响的道路区域q2。

具体地，q1可以利用汽车203的当前速度确定，例如，可以预先训练得到一计算模型，将汽车203的当前速度，以及用于表征汽车203的意图为刹车的数据输入计算模型，以得到计算模型输出的位置信息和长度信息，并根据得到的位置信息和长度信息，确定q1所在的具体位置和长度。

需要说明的是，q2可以利用汽车205的当前速度确定，具体确定过程参照对q1的具体确定过程的说明即可，在此不再赘述。

在确定出q1和q2之后，可以生成道路影响数据，道路影响数据可以包括呈二维鸟瞰图像形式的交通信号图。具体地，交通信号图可以如图3-9所示，容易看出，图3-9能够体现受汽车203的刹车意图，以及汽车205的右转弯意图影响的道路区域。

在得到道路影响数据之后，可以根据基础感知定位数据、头部活动特征数据和道路影响数据，确定车辆周围的交通参与者中的各个障碍物目标的预测姿态轨迹。需要说明的是，根据基础感知定位数据、头部活动特征数据和道路影响数据，确定车辆周围的交通参与者中的各个障碍物目标的预测姿态轨迹的具体实现形式多样，为了布局清楚，后续进行举例介绍。

可见，本公开的实施例中，可以将基于车辆周围的交通参与者中的至少一个障碍物目标发出的交通信号得到的道路影响数据加入预测过程，以进一步丰富预测参考数据，能够更为有效地改善进行姿态轨迹的预测时的预测效果。

需要说明的是，获取车辆周围的交通参与者中的至少一个障碍物目标发出的交通信号的具体实现形式多样，下面进行举例介绍。

在一种实现形式中，获取车辆周围的交通参与者中的至少一个障碍物目标发出的交通信号，包括：

通过车联网，获取车辆周围的交通参与者中的至少一个障碍物目标发出的交通信号。

需要指出的是，基于车联网(其包括车-车和车-人)，每个车辆都能够通过车载通信设备向其他车辆发送信号，以及通过车载通信设备接收来自其他车辆的信号，通过车载通信设备接收的信号可以包括车辆周围的交通参与者中的至少一个障碍物目标发出的交通信号，因此，这种实现形式中，利用车联网，能够非常便捷地获取到交通信号。

在另一种实现形式中，获取车辆周围的交通参与者中的至少一个障碍物目标发出的交通信号，包括：

获取车辆周围的交通参与者中的至少一个障碍物目标发出的交通信号，包括：

调用第二摄像头采集包括车辆周围的交通参与者的第二图像；

对第二图像进行检测识别处理，以得到检测识别处理结果；

根据检测识别处理结果，获得车辆周围的交通参与者中的至少一个障碍物目标发出的交通信号。

这里，第二摄像头可以为车辆的前置摄像头或者后置摄像头，在摄像头为后置摄像头的情况下，后置摄像头的数量可以为两个，两个后置摄像头可以分设于车辆外部的两侧。

这种实现形式中，在调用第二摄像头采集到包括车辆周围的交通参与者的第二图像之后，可以对第二图像进行检测识别处理，以得到检测识别处理结果。具体地，以下三项中的至少一项满足：

至少一个障碍物目标包括属性为机动车的障碍物目标，检测识别处理结果包括以下至少一项：属性为机动车的障碍物目标的车灯状态信息、属性为机动车的障碍物目标的乘员的交通手势信息；

至少一个障碍物目标包括属性为非机动车的障碍物目标，检测识别处理结果包括属性为非机动车的障碍物目标的乘员的交通手势信息；

至少一个障碍物目标包括属性为交通警察的障碍物目标，检测识别处理结果包括属性为交通警察的障碍物目标的交通手势信息。

这里，属性为机动车的障碍物目标可以为汽车或者摩托车；属性为机动车的障碍物目标的车灯状态信息可以用于表征该障碍物目标的哪些车灯属于点亮状态，哪些车灯处于熄灭状态；属性为机动车的障碍物目标的乘员可以为该障碍物目标的驾驶员或者为该障碍物目标上的其他乘客，该障碍物目标的乘员的交通手势信息可以用于表征该障碍物目标的乘员做出的具体是哪种交通手势。可选地，该障碍物目标的乘员做出的具体可以为图5中的任一种交通手势。

这里，属性为非机动车的障碍物目标可以为自行车或者三轮车；属性为非机动车的障碍物目标的乘员的交通手势信息可以用于表征该障碍物目标的乘员做出的具体是哪种交通手势。可选地，该障碍物目标的乘员做出的具体可以为图6中的任一种交通手势。

这里，属性为交通警察的障碍物目标的交通手势信息可以用于表征该障碍物目标做出的具体是哪种交通手势。可选地，该障碍物目标做出的具体可以为图7中的任一种交通手势。

在得到检测识别处理结果之后，可以根据检测识别处理结果，获得车辆周围的交通参与者中的至少一个障碍物目标发出的交通信号。

在检测识别处理结果中包括属性为机动车的障碍物目标的车灯状态信息的情况下，可以基于卷积神经网络(convolutionalneuralnetworks，cnn)-长短期记忆网络(longshort-termmemory，lstm)和车灯状态信息，识别出相应的交通信号，例如识别出左/右拐弯信号，刹车信号，倒车信号等。例如，在车灯状态信息用于表征刹车灯处于点亮状态的情况下，利用cnn-lstm，识别出的交通信号为刹车信号。

在检测识别处理结果包括交通手势信息的情况下，依据交通手势信息，也能够非常便捷地识别出相应的交通信号。例如，在交通手势信息用于表征图5中最左边的交通手势的情况下，识别出的交通信号为左转弯信号。

可见，这种实现形式中，利用调用第二摄像头采集的第二图像，可以进行车灯状态和/或交通手势的识别，以便捷地获取到相应的交通信号。

在一个可选示例中，在上述获取交通信号的后一种实现形式的基础上，在检测识别处理结果包括交通手势信息的情况下，根据检测识别处理结果，获得交通参与者发出的交通信号，包括：

确定车辆所处的地理区域；

确定与地理区域匹配的交通信号识别规则；

根据检测识别处理结果中的交通手势信息，以及交通信号识别规则，识别车辆周围的交通参与者中的至少一个障碍物目标发出的交通信号。

这里，可以调用全球定位系统(globalpositioningsystem，gps)，确定车辆当前所处的地理区域，确定出的地理区域可以用于表征车辆当前处于哪个国家。

本公开的实施例中，可以预先设置地理区域与交通信号识别规则之间的对应关系；其中，任一地理区域对应的交通信号识别规则用于指示每个交通手势在该地理区域代表何种含义，不同地理区域对应的交通信号识别规则可以相同或者不同(例如存在部分差异)。

在确定出车辆当前所处的地理区域之后，可以根据预先设置的对应关系，确定车辆当前所处的地理区域对应的交通信号识别规则，并将确定出的交通信号识别规则作为与车辆当前所处的地理区域匹配的交通信号识别规则。

再之后，可以根据检测识别处理结果中的交通手势信息，以及与车辆当前所处的地理区域匹配的交通信号识别规则，识别交通参与者发出的交通信号。

具体地，预先设置的对应关系中，地理区域1可以与交通信号识别规则1对应，地理区域2可以与交通信号识别规则2对应，交通信号识别规则1可以指示交通手势1在地理区域1代表右拐弯含义，交通信号识别规则2可以指示交通手势1在地理区域2代表减速含义。假设检测识别处理结果中的交通手势信息与交通手势1对应，那么，当车辆所处的地理区域为地理区域2的情况下，与车辆所处的地理区域匹配的交通信号识别规则为交通信号识别规则2，依据交通信号识别规则2，识别出的交通信号可以为减速信号。

可见，本公开的实施例中，可以结合车辆当前所处的地理区域来识别交通信号，这样能够较好地保证识别结果的可靠性。

在一个可选示例中，根据基础感知定位数据、头部活动特征数据和道路影响数据，确定车辆周围的交通参与者中的各个障碍物目标的预测姿态轨迹，包括：

将基础感知定位数据、头部活动特征数据和道路影响数据一并输入预测模型，以获得预测模型输出的，车辆周围的交通参与者中的各个障碍物目标的预测姿态轨迹；

其中，预测模型为基于深度学习网络的模型或者为基于生成对抗网络(generativeadversarialnetworks，gan)的模型。

需要说明的是，为了实现对车辆周围的交通参与者中的各个障碍物目标的姿态轨迹的预测，本公开的实施例中可以设置有姿态轨迹预测系统。

在预测模型为基于深度学习网络的模型的情况下，车辆姿态轨迹预测系统的构架可以如图8所示。其中，“编码器”是一个利用cnn模型提取特征图的中间表示，行人身体姿态(例如手臂、大小腿部等的姿态)、凝视方向、头部姿态等交互线索可以体现在提取的特征图中；“车辆lstm”是对车辆的方向、速度、航点和位置热图的预测，lstm是递归神经网络(recursiveneuralnetwork，rnn)的一种，能够抓取时域特性；“行人lstm”是对行人的方向、速度、航点和位置热图的预测；“驾驶道路cnn”是可驾驶区域分割图，类似一个解码器结构，可驾驶区域用于表征当前车辆可以驾驶的区域；“全联接层fcls”输出渲染的未来交通参与者车辆和行人的姿态图(相当于上文中的预测姿态轨迹图)。

在预测模型为基于gan的模型的情况下，车辆姿态轨迹预测系统的构架可以如图9所示。图9与图8的区别在于，图9中包括噪声生成器，噪声生成器用于输入生成器噪声；gan需要一个生成器(其可以用g表示)获取数据分布，以及一个鉴别器(其可以用d表示)估计一个样本是来自训练数据还是生成器，鉴别器可以用于判别数据的真伪，gan能够通过对抗学习，增强模型的适应性；在鉴别器中，“分类器lstm”是基于lstm的序列分类模型，“全联接层”输出的是时域轨迹的判别结果。

为了能够实现对车辆周围的交通参与者中的各个障碍物目标的姿态轨迹的预测，需要预先训练得到预测模型，预测模型可以利用多个训练数据集训练得到；其中，每个训练数据集中包括道路图、行人可通行图、交通灯图、道路限速图、障碍物图、障碍物历史姿态轨迹图、交通信号图，以及预测姿态轨迹图这9个图。

可选地，训练预测模型时使用的损失函数可以包括以下至少一项：车辆碰撞损失、车辆保持道路损失、车辆几何损失、行人车辆碰撞损失、行人保持道路损失。

假设车辆的预测位置热图用obj^vehicle表示，真实位置用obj^vehiclegt表示，则车辆碰撞损失可以定义为：

l^vehiclecollision＝sum[h(obj^vehicle，obj^vehiclegt)+λ*h(obj^vehicle，s)]

其中，lcollision表示碰撞损失，λ表示自车的交通信号图的权重，0<λ<1，例如，λ可以为0.3，h()函数表示交叉熵，s表示不同车辆的交通信号图。

车辆保持道路损失可以定义为：

lonroad＝sum[(1-rgt)*obj^vehicle]

其中，lonroad表示车辆保持道路损失，rgt表示可驾驶区域的真实区域。

需要说明的是，车辆几何损失来自于预测的自车轨迹生成的道路区域，假设道路区域真实值(其可以为二值图像)是ggt，则车辆几何损失可以定义为：

lgeometry＝sum[(1-ggt)*obj^vehicle]

其中，lgeometry表示车辆几何损失。

假设行人的预测位置热图用obj^pedestrian表示，行人的真实位置用obj^vehiclegt表示，则行人车辆碰撞损失可以定义为：

l^pedestriancollision＝sum(h(obj^pedestrian，obj^vehiclegt))

其中，l^pedestriancollision表示行人车辆碰撞损失。

假设行人可通行图和行人可通行图真实值分别为t和tgt，则行人保持道路损失可以定义为：

lonwalkway＝sum[(1-tgt)*obj^pedestrian]

其中，lonwalkway表示行人保持道路损失。

本公开的实施例中，不管预测模型为基于深度学习网络的模型或者为基于gan的模型，均可以获取基础感知定位数据、头部活动特征数据和道路影响数据，基础感知定位数据可以包括道路图、行人可通行图、交通灯图、道路限速图、障碍物图和障碍物历史姿态轨迹图，头部活动特征数据可以包括头部活动特征图，道路影响数据可以包括交通信号图。接下来，可以将道路图、行人可通行图、交通灯图、道路限速图、障碍物图、障碍物历史姿态轨迹图、头部活动特征图和交通信号图这8个图一并提供给编码器，编码器提取的特征图可以用于进行后续模型处理，从而使得预测模型最终输出预测姿态轨迹图。可见，本公开的实施例中，利用预测模型，能够便捷可靠地获得车辆周围的交通参与者中的各个障碍物目标的预测预测姿态。

综上，本公开的实施例中，除了马路行人的运动速度和位置轨迹以外，还可以将行人的身体姿态和头部朝向/眼睛凝视方向等信息加入对马路行人的运动轨迹的预测模型中，以保证预测效果。

示例性装置

图10是本公开一示例性实施例提供的轨迹姿态预测装置的结构框图。图10所示的装置包括第一获取模块1001、第二获取模块1002和第一确定模块1003。

第一获取模块1001，用于获取车辆的基础感知定位数据；

第二获取模块1002，用于获取车辆周围的交通参与者中的，属性为人的障碍物目标的头部活动特征数据；

第一确定模块1003，用于根据基础感知定位数据和头部活动特征数据，确定车辆周围的交通参与者中的各个障碍物目标的预测姿态轨迹。

在一个可选示例中，头部活动特征数据包括以下至少一项：头部朝向信息、眼睛凝视方向信息、嘴巴动作信息、脸部表情信息。

在一个可选示例中，第二获取模块1002，包括：

第一调用单元，用于调用第一摄像头采集包括车辆周围的交通参与者的第一图像；

检测单元，用于对第一图像中，属性为人的障碍物目标进行人脸检测；

第一获取单元，用于在人脸检测成功的情况下，根据人脸检测结果，得到第一图像中，属性为人的障碍物目标的头部朝向信息和/或眼睛凝视方向信息；

第二获取单元，用于在人脸检测失败的情况下，对第一图像中，属性为人的障碍物目标进行姿态估计，根据姿态轨迹估计结果，得到第一图像中，属性为人的障碍物目标的头部朝向信息。

在一个可选示例中，

该装置还包括：

第三获取模块，用于在根据基础感知定位数据和头部活动特征数据，确定车辆周围的交通参与者中的各个障碍物目标的预测姿态轨迹之前，获取车辆周围的交通参与者中的至少一个障碍物目标发出的交通信号；

第二确定模块，用于根据交通信号，确定道路影响数据；其中，道路影响数据指示受至少一个障碍物目标影响的道路区域；

第一确定模块1003，具体用于：

根据基础感知定位数据、头部活动特征数据和道路影响数据，确定车辆周围的交通参与者中的各个障碍物目标的预测姿态轨迹。

在一个可选示例中，交通信号包括以下至少一项：换道信号、拐弯信号、刹车信号、倒车信号、减速信号。

在一个可选示例中，

第三获取模块，包括：

第二调用单元，用于调用第二摄像头采集包括车辆周围的交通参与者的第二图像；

第三获取单元，用于对第二图像进行检测识别处理，以得到检测识别处理结果；

第四获取单元，用于根据检测识别处理结果，获得车辆周围的交通参与者中的至少一个障碍物目标发出的交通信号；

或者，

第三获取模块，具体用于：

通过车联网，获取车辆周围的交通参与者中的至少一个障碍物目标发出的交通信号。

在一个可选示例中，以下三项中的至少一项满足：

至少一个障碍物目标包括属性为机动车的障碍物目标，检测识别处理结果包括以下至少一项：属性为机动车的障碍物目标的车灯状态信息、属性为机动车的障碍物目标的乘员的交通手势信息；

至少一个障碍物目标包括属性为非机动车的障碍物目标，检测识别处理结果包括属性为非机动车的障碍物目标的乘员的交通手势信息；

至少一个障碍物目标包括属性为交通警察的障碍物目标，检测识别处理结果包括属性为交通警察的障碍物目标的交通手势信息。

在一个可选示例中，第一确定模块1003，具体用于：

将基础感知定位数据、头部活动特征数据和道路影响数据一并输入预测模型，以获得预测模型输出的，车辆周围的交通参与者中的各个障碍物目标的预测姿态轨迹；

其中，预测模型为基于深度学习网络的模型或者为基于生成对抗网络的模型。

在一个可选示例中，基础感知定位数据包括以下至少一项：道路图、行人可通行图、交通灯图、道路限速图、障碍物图、障碍物历史姿态轨迹图。

示例性电子设备

下面，参考图11来描述根据本公开实施例的电子设备110。电子设备110可以是第一设备和第二设备中的任一个或两者、或与它们独立的单机设备，该单机设备可以与第一设备和第二设备进行通信，以从它们接收所采集到的输入信号。

如图11所示，电子设备110包括一个或多个处理器111和存储器112。

处理器111可以是中央处理器(cpu)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，其控制电子设备110中的其他组件执行期望的功能。

存储器112可以包括一个或多个计算机程序产品，计算机程序产品可包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器可以包括随机存取存储器(ram)和/或高速缓冲存储器(cache)等。非易失性存储器可以包括只读存储器(rom)、硬盘、闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器111可以运行程序指令，以实现上文本公开的各个实施例的轨迹姿态预测方法以及/或者其他期望的功能。

在一个示例中，电子设备110还可以包括：输入装置113和输出装置114，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。输入装置113可以包括键盘、鼠标等。输出装置114可以包括显示器、扬声器、远程输出装置等。

当然，为了简化，图11中仅示出了电子设备110中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备110还可以包括任何其他适当的组件。

示例性计算机程序产品和计算机可读存储介质

除了上述方法和设备外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，该指令在被处理器运行时使得处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的轨迹姿态预测方法中的步骤。

计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，程序设计语言包括面向对象的程序设计语言，诸如java、c++等，还包括常规的过程式程序设计语言，诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的轨迹姿态预测方法中的步骤。

计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质可以包括电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本公开的基本原理，需要指出的是，本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为该优点、优势、效果等是本公开的各个实施例必须具备的。上述公开的具体细节仅是为了示例和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。

本说明书中各实施例采用递进方式描述，每个实施例重点说明与其它实施例的差异，各实施例间相同或相似的部分相互参见即可。由于系统实施例与方法实施例基本对应，描述的比较简单，相关之处参见方法实施例的说明即可。

本公开中涉及的器件、装置、设备、系统的方框图仅作为示例性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。

可能以许多方式来实现本公开的方法和装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和装置。用于方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。

在本公开的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。提供所公开的方面的以上描述以使本领域任何技术人员能够做出或者使用本公开。对这些方面的各种修改对本领域技术人员而言是显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。