基于多任务网络的车辆朝向估计方法、装置、设备及介质与流程

本发明属于自动驾驶领域，涉及车辆朝向估计/预测技术，具体涉及一种基于多任务网络的车辆朝向估计方法、装置、设备及介质。

背景技术：

1、车辆朝向预测/估计是自动驾驶领域中的一个重要任务，其对目标车辆轨迹判断、自车路径规划等都具有至关重要的作用。目前车辆朝向的精确判断需要综合利用摄像头、激光雷达等多种传感器的数据，且随着技术的不断进步，采用纯视觉的车辆朝向估计方案逐渐变为主流。但是纯视觉的车辆朝向估计方案，其主要集中在车轮接地点信息的提取，对于遮挡或截断情形使得车轮不可见时就难以准确的预测出目标车辆的朝向信息，使得当前采用纯视觉的方案对目标车辆的朝向估计具有局限性。

2、例如，已公开发明专利cn112507862a，提供了一种基于多任务卷积神经网络的车辆朝向检测方法及系统，该方法通过采用多级多任务卷积神经网络得到检测类别以及车轮接地点信息，并根据所得车轮接地点计算图像中车辆朝向，并通过建立图像坐标系与世界坐标系，仅通过相机内外参就将图像坐标点映射至世界坐标系，然后在世界坐标系下计算车辆的空间朝向。上述专利中记载的方法仅适用于在车辆完全显露于视野时的车辆朝向的预测，不适用于存在遮挡和截断等常见路况情形，同时，上述专利中记载的方法也没有解决在没有距离估计的情形下映射至3d空间计算空间车辆朝向的问题。

技术实现思路

1、为了解决现有车辆朝向估计方法中存在的无法解决遮挡和截断情形下车辆朝向准确估计，以及在计算出图像中车辆朝向但并未得到实际车辆在3d空间内朝向的技术问题，本发明公开了一种基于多任务网络的车辆朝向估计方法，该方法能够实现对视野中所有情形车辆的朝向进行准确预测。所述车辆朝向估计方法，包括：

2、s100、采集自车的前视图像，所述前视图像内包括至少1个目标车辆，例如采用自车的前视相机采集前视图像；

3、s200、基于多任务网络模型，获得前视图像内各目标车辆的相关信息，所述相关信息包括目标车辆的检测信息、车身边界语义分割信息和关键点信息；

4、s300、针对每个目标车辆，依据目标车辆的检测信息、车身边界语义分割信息和关键点信息中的至少两种，判断目标车辆相对于自车的初步朝向，计算以目标车辆自身为中心的第一朝向角；具体包括：s310、依据目每个标车辆的检测信息和关键点信息，判断该目标车辆相对于自车的初步朝向；

5、s320、依据该目标车辆的检测信息、车身边界语义分割信息和关键点信息中的至少两种，计算以该目标车辆自身为中心的第一朝向角；

6、s400、在3d空间内构造目标车辆，将3d空间平面划分为多个基准朝向，将多个基准朝向划分为多个区域，每个区域对应一种目标车辆相对于自车的初步朝向的类型；提取初步朝向所处区域内的每个基准朝向下目标车辆中各关键点的3d坐标，并将各3d坐标转换为2d投影点坐标；

7、s500、依据2d投影点坐标，计算初步朝向所处区域内各基准朝向对应的目标车辆的第二朝向角；

8、s600、计算第一朝向角分别与各第二朝向角的差值，依据最小差值原则确定初步朝向所处区域内的基准朝向，将确定的基准朝向作为目标车辆的车辆朝向。

9、进一步地，上述步骤s200中，所述目标车辆的检测信息包括车辆类型、车辆部位和该目标车辆在前视图像内的位置坐标，所述车辆类型包括轿车、公交车、卡车等类型，所述车辆部位包括车侧、车头、车尾等部位；

10、所述车身边界语义分割信息包括车辆部位的车身边界语义分割信息；

11、所述关键点信息为目标车辆中各关键点的坐标信息和置信分值，所述目标车辆的关键点包括4个车顶轮廓角点、4个车底轮廓角点和4个车轮接地点。

12、更进一步地，上述步骤s200中，所述多任务网络模型包括分类输出头、框回归输出头、语义分割输出头、关键点置信分输出头和关键点输出头；

13、所述分类输出头采用损失函数focal loss训练获得，用于输出前视图像内目标车辆的车辆类型和车辆部位；

14、所述框回归输出头采用损失函数ciou训练获得，用于输出前视图像内目标车辆的图像内位置坐标；

15、所述语义分割输出头采用损失函数dice loss训练获得，用于输出前视图像内目标车辆的车辆部位的车身边界语义分割信息；

16、所述关键点置信分输出头采用损失函数smooth l1 loss训练获得，用于输出前视图像内目标车辆的关键点的置信分值；

17、所述关键点输出头采用损失函数oks loss训练获得，用于输出前视图像内目标车辆的关键点的坐标信息。

18、进一步地，上述步骤s310中，所述目标车辆相对于自车的初步朝向包括同向、逆向和横穿中的任意一种。所述针对每个目标车辆，依据目标车辆的检测信息、车身边界语义分割信息和关键点信息中的至少两种，判断目标车辆相对于自车的初步朝向，包括：

19、s311、在所述目标车辆的相关信息中，当检测信息中包括车尾或关键点朝前时，判断该目标车辆相对于自车的初步朝向为同向，其中，所述关键点朝前为目标车辆关键点连线的矢量方向与自车关键点连线的矢量方向相同；

20、s312、当检测信息中包括车头或关键点反向时，判断该目标车辆相对于自车的初步朝向为逆向，其中，所述关键点反向为目标车辆关键点连线的矢量方向与自车关键点连线的矢量方向相反；

21、s313、依据关键点信息计算目标车辆同一侧两个关键点之间的距离，所述距离有多组，当其中任意两组所述距离的比例大于阈值时，判断该目标车辆相对于自车的初步朝向为横穿。

22、进一步地，上述步骤s400中，所述在3d空间内构造目标车辆，将3d空间平面划分为多个基准朝向，将多个基准朝向划分为多个区域，每个区域对应一种目标车辆相对于自车的初步朝向的类型，提取初步朝向所处区域内的每个基准朝向下目标车辆中各关键点的3d坐标，并将各3d坐标转换为2d投影点坐标，包括：

23、s410、采用检测信息和前视图像像素，依据小孔成像原理估算目标车辆相对于前视相机的车距；

24、s420、依据估算的车距和预设目标车辆的车长，在3d空间内以自车为坐标原点构造目标车辆；

25、s430、依据设定角度将3d空间平面均匀划分为多个基准朝向，将多个基准朝向按预设初步朝向的类型划分为多个区域，所述区域包括同向区域、逆向区域和横穿区域；

26、s440、依据目标车辆相对于自车的初步朝向的类型，确定该初步朝向所处区域内的所有基准朝向；

27、s450、提取确定的每个基准朝向下目标车辆中各关键点的3d坐标；

28、s460、将目标车辆中各关键点投影至2d平面内，提取各3d坐标的2d投影点坐标。

29、更进一步地，上述步骤s410中，所述采用检测信息和前视图像像素，依据小孔成像原理估算目标车辆相对于前视相机的车距，包括：

30、s411、预设不同车辆类型的尺寸参数，所述尺寸参数包括车长、车宽和车高；

31、s412、依据目标车辆的检测信息，获得与目标车辆对应的尺寸参数；

32、s413、采用目标车辆的车宽和前视图像中目标车辆的像素车宽，依据小孔成像原理估算目标车辆相对于前视相机的第一水平距离和第一垂直距离；

33、采用目标车辆的车高和前视图像中目标车辆的像素车高，依据小孔成像原理估算目标车辆相对于前视相机的第二水平距离和第二垂直距离；

34、s414、将第一水平距离与第二水平距离的平均值作为目标车辆相对于前视相机的水平距离；将第一垂直距离与第二垂直距离的平均值作为目标车辆相对于前视相机的垂直距离。

35、进一步地，上述步骤s320中，所述以目标车辆自身为中心的第一朝向角为以下任意一项：车顶同一侧两个角点连线的朝向角α1、车底同一侧两个角点连线的朝向角α2、车轮同一侧两个接地点连线的朝向角α3、车侧语义分割上边界连线的朝向角α4和车侧语义分割下边界连线的朝向角α5。

36、上述步骤s500中，所述目标车辆的第二朝向角为目标车辆的上轮廓左侧朝向角β0、上轮廓右侧朝向角β1、下轮廓左侧朝向角β2和下轮廓右侧朝向角β3中的任意一种。

37、本发明实施例提供了一种基于多任务网络的车辆朝向估计装置，包括：

38、多任务网络模型，包括检测分支、语义分割分支、关键点分支，所述检测分支用于输出目标车辆的检测信息，所述语义分割分支用于输出目标车辆的车身边界语义分割信息，所述关键点分支用于输出目标车辆的关键点信息；

39、目标车辆的初步朝向及第一朝向角获取模块，用于依据目标车辆的检测信息、车身边界语义分割信息和关键点信息中的至少两种，判断目标车辆相对于自车的初步朝向，计算以目标车辆自身为中心的第一朝向角；具体来说，包括初步朝向判断子模块，所述初步朝向判断子模块用于依据目标车辆的检测信息和关键点信息，判断目标车辆相对于自车的初步朝向；第一朝向角计算子模块，所述第一朝向角计算子模块用于依据目标车辆的检测信息、车身边界语义分割信息和关键点信息中的至少两种，计算以目标车辆自身为中心的第一朝向角；

40、目标车辆构造及3d坐标提取模块，用于在3d空间内构造目标车辆，并提取初步朝向所处区域内的每个基准朝向下目标车辆中各关键点的3d坐标；

41、坐标转换模块，用于将3d坐标转换为2d投影点坐标；

42、第二朝向角计算模块，用于依据2d投影点坐标，计算初步朝向所处区域内各基准朝向对应的目标车辆的第二朝向角；

43、目标车辆朝向判断模块，用于计算第一朝向角分别与各第二朝向角的差值，依据最小差值原则确定初步朝向所处区域内的基准朝向，将确定的基准朝向作为目标车辆的车辆朝向。

44、本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意的基于多任务网络的车辆朝向估计方法，以解决现有车辆朝向估计方法中无法解决遮挡和截断情形下车辆朝向的准确估计，以及在计算出图像中车辆朝向但并未得到实际车辆在3d空间内朝向的技术问题。

45、本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述任意的基于多任务网络的车辆朝向估计方法的计算机程序，以解决现有车辆朝向估计方法中无法解决遮挡和截断情形下车辆朝向的准确估计，以及在计算出图像中车辆朝向但并未得到实际车辆在3d空间内朝向的技术问题。

46、与现有技术相比，本说明书实施例采用的上述至少一个技术方案能够达到的有益效果至少包括：本发明的基于多任务网络的车辆朝向估计方法，第一方面，通过引入了多任务网络模型，得到前视图像内更全面的目标车辆信息，能够更加准确的对目标车辆的初步朝向进行估计以及准确的计算出第一朝向角；第二方面，通过对3d空间平面按照预设角度单元划分为多个基准朝向，并定义初步朝向中同向、逆向和横穿的角度范围，可以通过目标车辆判断的初步朝向确定计算第二朝向角的基准方向，大幅度减少了计算量，提高了计算效率及成本；第三方面，通过在3d空间内构建目标车辆，并将目标车辆在不同基准方向下的8个角点的3d坐标转换为2d投影点坐标以计算第二朝向角，通过最小差值原则获得第一朝向角与所有第二朝向角中差值最小的第二朝向角所对应的基准方向，即可得到目标车辆的朝向。本发明的方法可以适用于遮挡以及截断情形，可以解决所有情形的车辆朝向预测，且预测的结果更鲁棒和稳定。