一种基于体素坐标系的泊车方法及装置与流程

本发明涉及智能驾驶领域，尤其涉及一种基于体素坐标系的泊车方法及装置。

背景技术：

1、全自动泊车辅助系统(apa,auto parking assist)通过环视摄像头和超声波雷达感知车辆的周边环境，寻找停车位或地面车位标记(例如：车位线)；通过惯性测量单元(imu,inertial measurement unit)和车轮传感器估计车辆姿态信息，包括车辆位置以及车辆行驶方向；根据驾驶员通过客户操作界面手动选择目标泊车位，或根据驾驶员通过客户操作界面控制系统自动选择目标泊车位；通过目标泊车位的位置、车辆姿态信息以及车辆尺寸规划自动泊车轨迹，并控制车辆沿自动泊车轨迹进行全自动泊车。

2、现有的全自动泊车辅助系统是利用车载传感器，包括雷达和摄像头，通过雷达和摄像头对车辆周边环境进行识别，并通过控制单元控制车辆进行泊车。现有的泊车系统需要泊车位为提前预设好的标准车位，且需要清晰的识别出车位线才能保证车辆的顺利泊入，因此，现有的全自动泊车辅助系统的泊车方案存在车位线识别不清晰时无法进行泊车的缺陷。

技术实现思路

1、本发明提供一种基于体素坐标系的泊车方法及装置，解决了现有的泊车方案存在的车位线识别不清晰时无法进行泊车的问题。

2、为达到上述目的，本发明采用如下技术方案：

3、第一方面，本发明提供一种基于体素坐标系的泊车方法，该方法包括：在检测到车辆处于泊车场景时，对所述车辆预设范围内的车位线进行识别，得到第一车位线；

4、在所述第一车位线不完整的情况下，根据所述车辆的尺寸生成车辆三维模型，并将所述车辆三维模型和所述车辆周围预设范围内的场景图像显示在客户端操作界面上；

5、获取用户在所述场景图像上标注的用于停车的参考框，并基于所述参考框和所述第一车位线确定用于停车的边界框，所述边界框的尺寸可容纳所述车辆三维模型；

6、将所述边界框映射至包含车辆周围场景信息的体素坐标系内，得到位于所述体素坐标系中的目标边界框；

7、确定所述目标边界框对应的区域范围是否存在障碍物；

8、在不存在所述障碍物的情况下，将所述目标边界框对应的区域作为泊车区域，并控制所述车辆进入所述泊车区域。

9、在一种可能的实现方式中，在将所述边界框映射至包含所述车辆周围场景信息的体素坐标系内之前，所述方法还包括：

10、获取所述车辆周围预设范围内场景的点云数据，并将所述点云数据三维重构为体素坐标系下的体素数据。

11、在一种可能的实现方式中，所述获取所述车辆周围预设范围内场景的点云数据，具体包括：

12、对用于获取点云图像的激光雷达和相机进行外参校准，以使所述激光雷达的坐标系与所述相机的坐标系重合；

13、通过所述激光雷达获取所述车辆周围预设范围内场景的第一点云图像，通过所述相机获取所述车辆周围预设范围内场景的第二点云图像；

14、对所述第一点云图像与所述第二点云图像进行图像融合，得到点云数据。

15、在一种可能的实现方式中，所述将所述点云数据三维重构为体素坐标系下的体素数据，具体包括：

16、将所述点云数据的每个点云的坐标进行三维映射，得到体素立方；

17、将所述体素立方切割为多个具有相同尺寸的体素格；

18、根据所述体素格将所述点云数据分为多组；

19、对分组后的每组点云数据进行随机采样，得到位于每个所述体素格内的预设数量个采样点云；

20、通过全连接网络将每个所述体素格内的预设数量个采样点云映射到特征空间，得到特征点；

21、对映射后每个所述体素格内的所有所述特征点进行本地池化，得到一个特征表示数据；

22、通过u-net特征编码器对所述特征表示数据进行回正，得到包含深度信息的特征向量；

23、根据所述特征向量与预设条件，判断每个所述体素格是否被障碍物占用；若是，将所述体素格标记为未激活区域；若否，将所述体素格标记为激活区域，并将所述体素格作为体素立方，重复上述步骤，直至所述体素格满足预设条件，得到体素坐标系下的体素数据。

24、在一种可能的实现方式中，基于所述参考框和所述第一车位线确定用于停车的边界框，具体为：

25、将所述第一车位线矫正为第一矩形框，将所述参考框矫正为第二矩形框；

26、计算所述第一车位线的长度占完整的车位线长度的比例，得到第一比例；

27、根据1与所述第一比例的差值确定第二比例；

28、获取所述第一矩形框的四个顶点的第一坐标，获取所述第二矩形的四个顶点的第二坐标；

29、对于所述第一矩形框与所述第二矩形框对应的顶点，将所述第一坐标与所述第一比例的乘积与所述第二坐标与所述第二比例的乘积的和作为第三坐标；

30、将所述第三坐标作为顶点，根据所述第三坐标确定边界框。

31、在一种可能的实现方式中，在未识别到所述第一车位线时，所述获取用户在所述场景图像上标注的用于停车的参考框，并基于所述参考框和所述第一车位线确定用于停车的边界框，具体为：

32、获取用户在所述场景图像上标注的用于停车的参考框，将所述参考框作为用于停车的边界框。

33、在一种可能的实现方式中，所述确定所述目标边界框对应的区域范围是否存在障碍物，具体为：

34、判断所述目标边界框是否完全在所述激活区域；若是，则所述目标边界框对应的区域范围不存在障碍物；若否，则所述目标边界框对应的区域范围存在所述障碍物。

35、在一种可能的实现方式中，在对所述车辆预设范围内的车位线进行识别，得到第一车位线之后，所述方法还包括：

36、在所述第一车位线完整的情况下，将所述车辆周围预设范围内的场景图像和所述场景图像内识别到的所述第一车位线显示在客户端操作界面上；

37、响应于用户在所述操作界面上对所述第一车位线的确认操作，将所述第一车位线对应的区域作为泊车区域；

38、获取所述车辆当前的位置信息、姿态信息以及车辆尺寸；

39、根据所述位置信息、所述姿态信息、所述车辆尺寸以及所述泊车区域确定自动泊车轨迹；

40、控制所述车辆沿所述自动泊车轨迹进行泊车。

41、第二方面，本发明提供一种基于体素坐标系的泊车装置，所述装置包括：

42、目标检测模块，用于在检测到车辆处于泊车场景时，对所述车辆预设范围内的车位线进行识别，得到第一车位线；

43、第一处理模块，用于在所述第一车位线不完整的情况下，根据所述车辆的尺寸生成车辆三维模型，并将所述车辆三维模型和所述车辆周围预设范围内的场景图像显示在客户端操作界面上；

44、第二处理模块，用于获取用户在所述场景图像上标注的用于停车的参考框，并基于所述参考框和所述第一车位线确定用于停车的边界框，所述边界框的尺寸可容纳所述车辆三维模型；

45、第三处理模块，用于将所述边界框映射至包含车辆周围场景信息的体素坐标系内，得到位于所述体素坐标系中的目标边界框；

46、第四处理模块，用于确定所述目标边界框对应的区域范围是否存在障碍物；

47、泊车控制模块，用于在不存在所述障碍物的情况下，将所述目标边界框对应的区域作为泊车区域，并控制所述车辆进入所述泊车区域。

48、第三方面，本发明提供一种电子设备，该电子设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述任一项所述的基于体素坐标系的泊车方法。

49、第四方面，本发明提供一种计算机可读存储介质，该存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述任一项所述的基于体素坐标系的泊车方法。

50、本发明实施例提供的基于体素坐标系的泊车方法，首先，当车辆的传感器检测到车辆处于泊车场景时，对车辆预设范围内的所有车位线进行识别，车辆驾驶人员将其中一个车位线作为第一车位线；其次，在第一车位线不完整的情况下，根据车辆的尺寸生成该车辆的车辆三维模型，并将车辆三维模型和车辆周围预设范围内的场景图像显示在客户端操作界面上；再次，获取用户在场景图象上标注的用于停车的边界框，且边界框的尺寸需要能容纳该车辆三维模型；之后，将该边界框映射至包含车辆周围场景信息的体素坐标系内，得到位于体素坐标系内的目标边界框；最后，确定该目标边界框对应的区域范围内是否存在障碍物，并在不存在障碍物的情况下，将目标边界框对应的区域作为泊车区域，并控制车辆进入泊车区域内停车。本发明在车位线识别不清晰时，根据用户手动输入的参考框与识别到的不清晰的第一车位线确定目标边界框，并在该目标边界框所在的区域在包含车辆周围场景信息的体素坐标系内未被障碍物占用时，将该目标边界框作为用于停车的车位线，实现车位线识别不清晰时的辅助泊车。