结合空间域特征可覆盖多场景的行人轨迹预测方法及装置

本发明涉及运动预测，特别涉及一种结合空间域特征可覆盖多场景的行人轨迹预测方法及装置。

背景技术：

1、频发的道路交通碰撞事故，对缺乏自我保护措施的弱势道路使用者致残和致死率极高。在所有交通事故遇难人员中，行人和自行车、摩托车、电动车等二轮车使用者占比最高，超过70％。同样致残和致死率对这两类弱势道路使用者也非常高。由此可见，增强对行人骑车人等在交通中处于弱势群体的保护措施有着极为迫切的需求。过去的半个世纪，盲区预警、车道保持系统等高级驾驶辅助系统adas(advanced driving assistant system)及各种车辆防撞系统应运而生，增进道路安全。在车辆防撞系统中，车辆首先通过lidar、radar等雷达感知四周，识别障碍物和其他交通参与者，通过adas中的碰撞制动系统判断和决策，发出警报，紧急制动，保护驾驶人和其他交通参与者的安全。即使能快速反应，但这类主要由预警实现安全保护的措施局限性较大，因为是通过自车与其他交通参与者的距离进行判断，未能够考虑行驶中其他交通参与者更多的信息，如注意力，行为意图和前进的速度，方向等，对于行人突然闯入道路，与车辆未来行驶路径发生冲突等突发情况反应不及。行人具有非常强的灵活性、机动性、随意性，会在短时间内做出急停转向，提速奔跑，掉头等动作，碰撞制动系统无法快速反应，难以处理这种棘手的情况。并且仅根据距离信息进行判断和决策，很容易发生欠制动、误制动等操作，相比没有预警碰撞系统的车辆，可能更容易发生侧撞或追尾。综上，精准的行人未来轨迹预测对于预防道路碰撞起着非常必要的作用。

2、相较于传统汽车，搭载lidar、laser radar、visual sensor等众多车载传感器(on-board sensor)的车辆，感知环境的能力已经有了飞跃性的进步。交通环境感知模块利用配置的各种on-board sensor对自车行驶道路四周的交通环境进行实时地感知和信息采集，如路侧行人位置，周围车的速度信息等，然后将采集到的环境信息进行筛选处理发送到决策规划层。行人未来轨迹预测是连接中层的环境感知系统和上层的决策规划系统的桥梁，感知模块捕捉交通环境信息包括道路信息，行人和自车的运动信息等，经预测网络运算，最后将得到的未来轨迹结果发送给决策规划系统，进行决策判断。有效代替传统车辆，提升驾驶安全，降低交通事故率，成为自动驾驶技术的强烈期望。而行人的运动轨迹预测在自动驾驶系统中，具有承上启下的重要作用，因此建立实时准确的行人未来轨迹预测模型是十分必要的。

3、现阶段，运动预测领域的研究重点是基于数据驱动学习性的方法。传统的方法对运动模式和行人运动意图通过手工定义，难以准确刻画复杂交通环境下行人的多元复杂运动，难以进行精确的运动学建模，需要通过运动轨迹预测方法实现准确的预测，涵盖人体运动姿态特征提取、行为意图识别、速度补偿等众多方面。

4、因此亟待一种能够解决行人运动层特征、周围的交通环境特征和轨迹时序相关信息提取和运用不充足不完备的缺陷，对行人运动轨迹进行较高精度的预测方法。

技术实现思路

1、本发明提供一种结合空间域特征可覆盖多场景的行人轨迹预测方法及装置，以解决行人运动层特征、周围的交通环境特征和轨迹时序相关信息提取和运用不充足不完备等问题，可对行人运动轨迹进行较高精度的预测。

2、本发明第一方面实施例提供一种结合空间域特征可覆盖多场景的行人轨迹预测方法，包括以下步骤：获取车辆的车载图像、自车运动信息和行人历史轨迹；

3、将所述车载图像输入预先构建的空间域提取与行人意图识别模型中，以预测未来行人穿行意图，其中，所述空间域提取与行人意图识别模型采用二维人体姿态估计算法openpose、卷积神经网络cnn和卷积长短期记忆神经网络convlstm构建得到；

4、将所述自车运动信息输入预先构建的自车速度补偿模型中，以预测未来自车速度，其中，所述自车速度补偿模型采用第一长短期记忆神经网络lstm、第一双向长短期记忆神经网络bi-lstm、第一时间注意力机制和第二时间注意力机制构建得到；

5、将所述行人历史轨迹、所述未来行人穿行意图和所述未来自车速度向量输入预先构建的行人轨迹预测模型中，以预测未来行人轨迹，其中，所述行人轨迹预测模型采用第二长短期记忆神经网络lstm、第二双向长短期记忆神经网络bi-lstm、第三时间注意力机制和第四时间注意力机制构建得到。

6、可选地，所述将所述车载图像输入预先构建的空间域提取与行人意图识别模型中，以预测未来行人穿行意图，包括：

7、将所述车载图像裁剪为包围行人的二维矩形边界框目标大小的图像序列和包围行人的二维矩形边界框的左上角右下角坐标序列；

8、将所述包围行人的二维矩形边界框目标大小的图像序列和所述包围行人的二维矩形边界框的左上角右下角坐标序列输入所述二维人体姿态估计算法openpose中，以提取行人姿态层特征；

9、将所述包围行人的二维矩形边界框目标大小的图像序列输入所述卷积神经网络cnn中，以提取空间特征信息；

10、将所述空间特征信息输入所述卷积长短期记忆神经网络convlstm中，以提取时间关联信息，并将所述空间特征信息与所述时间关联信息结合，得到行人运动层特征和交通环境层的空间域特征；

11、将所述行人姿态层特征、所述行人运动层特征和交通环境层的空间域特征进行拼接，得到所述未来行人穿行意图。

12、可选地，所述将所述包围行人的二维矩形边界框目标大小的图像序列和所述包围行人的二维矩形边界框的左上角右下角坐标序列输入所述二维人体姿态估计算法openpose中，以提取行人姿态层特征，包括：

13、基于所述二维人体姿态估计算法openpose检测所述包围行人的二维矩形边界框目标大小的图像序列，得到行人骨架关键点坐标序列向量；

14、根据所述包围行人的二维矩形边界框的左上角右下角坐标序列将所述行人骨架关键点坐标序列向量相互匹配连接，得到所述行人姿态层特征。

15、可选地，所述卷积长短期记忆神经网络convlstm采用多个小卷积核和多个卷积层提取所述空间特征信息中的行人运动层特征和交通环境层的空间域特征。

16、可选地，所述自车速度补偿模型基于编码-解码器架构构建，其中，其编码器由所述第一长短期记忆神经网络lstm和所述第一时间注意力机制构成，其解码器由所述第一双向长短期记忆神经网络bi-lstm和所述第二时间注意力机制构成。

17、可选地，所述行人轨迹预测模型基于编码-解码器架构构建，其中，其编码器由所述第二长短期记忆神经网络lstm和所述第三时间注意力机制构成，其解码器由所述第二双向长短期记忆神经网络bi-lstm和所述第四时间注意力机制构成。

18、可选地，所述将所述行人历史轨迹、所述未来行人穿行意图和所述未来自车速度向量输入预先构建的行人轨迹预测模型中，以预测未来行人轨迹，包括：

19、将所述行人历史轨迹输入所述长短期记忆神经网络lstm中进行编码，得到行人新时间序列；

20、将所述行人新时间序列输入所述第一时间注意力机制中，以对关键时间步进行加权，得到行人新轨迹；

21、将所述行人新轨迹、所述未来行人穿行意图和所述未来自车速度向量依次输入所述双向长短期记忆神经网络bi-lstm和所述第二时间注意力机制中，以结合过去和未来的特征信息预测所述未来行人轨迹。

22、本发明第二方面实施例提供一种结合空间域特征可覆盖多场景的行人轨迹预测装置，包括：获取模块，用于获取车辆的车载图像、自车运动信息和行人历史轨迹；

23、行人意图预测模块，用于将所述车载图像输入预先构建的空间域提取与行人意图识别模型中，以预测未来行人穿行意图，其中，所述空间域提取与行人意图识别模型采用二维人体姿态估计算法openpose、卷积神经网络cnn和卷积长短期记忆神经网络convlstm构建得到；

24、自车速度预测模块，用于将所述自车运动信息输入预先构建的自车速度补偿模型中，以预测未来自车速度，其中，所述自车速度补偿模型采用第一长短期记忆神经网络lstm、第一双向长短期记忆神经网络bi-lstm、第一时间注意力机制和第二时间注意力机制构建得到；

25、行人预测模块，用于将所述行人历史轨迹、所述未来行人穿行意图和所述未来自车速度向量输入预先构建的行人轨迹预测模型中，以预测未来行人轨迹，其中，所述行人轨迹预测模型采用第二长短期记忆神经网络lstm、第二双向长短期记忆神经网络bi-lstm、第三时间注意力机制和第四时间注意力机制构建得到。

26、本发明第三方面实施例提供一种车辆，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的结合空间域特征可覆盖多场景的行人轨迹预测方法。

27、本发明第四方面实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序，该程序被处理器执行时实现如上的结合空间域特征可覆盖多场景的行人轨迹预测方法。

28、本发明实施例提出的结合空间域特征可覆盖多场景的行人轨迹预测方法及装置，具有以下有益效果：

29、通过openpose算法进行骨架提取和人体关键点估计，提取行人姿态层特征，通过cnn提取行人运动层和周围的交通环境特征，将提取到的特征再输入convlstm网络，进一步提取空间特征和轨迹时序相关性，解决了特征提取和利用不充分不完整的缺陷；基于rnnencoder-decoder架构的意图识别模型，encoder提取并编码时间和空间特征，decoder输入不同特征的加权组合，实现了对行人穿行意图较高准确率的识别，为后续的行人轨迹预测网络打下基础；

30、将轨迹预测问题看作是求解优化问题，针对路侧和视野较好的十字路口场景，基于rnn编码-解码器架构，引入时间注意力机制和双向长短期记忆网络单元，结合意图识别模型，设计搭建了行人轨迹预测网络；并引入自车速度补偿模型，使模型兼顾人车交互和车辆运动信息。且同其他模型比较，本发明提出模型具有更高的准确率和性能；

31、提取并匹配车辆视角和监控视角的中的行人空间域特征和二维轨迹信息，并融合车辆运动信息，交通信息，地图信息，输入行人轨迹预测网络，能够覆盖大多数自动驾驶场景如车辆在正常道路中行驶，在拥挤复杂的十字路口场景，道路盲区等，且能大大提高对行人未来轨迹预测的准确率。

32、本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。