雷达点云数据增强方法、装置、智能汽车及存储介质与流程

本发明涉及智能驾驶，具体涉及一种雷达点云数据增强方法、装置、智能汽车及存储介质。

背景技术：

1、随着激光雷达技术的日益增强，激光雷达在高阶智能驾驶领域中扮演着愈来愈重要的角色，在具备l3及以上智能驾驶功能的车辆中，激光雷达是必备传感器之一。通过深度学习目标感知模型(以下简称目标感知模型)处理激光雷达采集的三维点云数据，能对车辆周边的环境进行精准感知。

2、激光雷达一般都存在视场角，比如at128，其视场角为120°×25.4°，在视场角之外的区域叫做视野盲区；另外，由于激光雷达的安装位置的限制，在隧道、弯道、匝道、切入、切出、超车等情况下，部分视场角被遮挡，也会形成视野盲区。当目标刚进入但又没完全进入激光雷达视野的时候，目标就会被折断，该场景称为fov(filed of view：视场角)边界场景(即视场边界场景)，目标在视场边界场景下记录的数据称为fov边界数据。由于激光雷达的视野盲区通常处于近距离，因此，fov边界数据又称为近距离点云数据。

3、而目前训练目标感知模型的点云数据样本中，近距离点云数据的数据量和占比都很小，目标感知模型在视场边界场景下的训练数据量不足，导致自动驾驶时，当目标刚进入激光雷达的视场角中时，会出现漏检或者检测结果不准确的情况。

4、现有的点云数据增强方法，是根据标注框内点云的数量是否符合要求来提取点云数据并添加到训练数据中，而在视场边界场景下，标注框内点云的数量并不能表征目标的特征，提取的点云数据不准确；并且，将点云数据添加到训练数据中容易产生数据冲突。因此，无法有效地增强近距离点云数据，导致目标感知模型在近距离视场边界场景下感知性能不佳。

技术实现思路

1、本发明的目的之一在于提供一种雷达点云数据增强方法，以解决现有技术中无法有效地增强近距离点云数据，导致目标感知模型在近距离视场边界场景下感知性能不佳的问题；目的之二在于提供一种雷达点云数据增强装置；目的之三在于提供一种智能汽车；目的之四在于提供一种计算机可读存储介质。

2、为了实现上述目的，本发明采用的技术方案如下：

3、枚举点云数据中的标注框，筛选出部分区域位于雷达的近距离视野盲区范围内的标注框，基于筛选出的标注框获得若干个第一目标框及第一目标框内的点云数据，所有的所述第一目标框以及所述第一目标框内的点云数据构成视场边界场景数据集；

4、从所述视场边界场景数据集中选取第二目标框，当判定基于所述第二目标框的位置将所述第二目标框放入所述点云数据的目标帧中，所述第二目标框与所述目标帧中的对象不冲突时，将所述第二目标框以及所述第二目标框内的点云数据放入所述目标帧以增强所述点云数据。

5、根据上述技术手段，首先在点云数据的标注框中进行筛选，能够准确地提取到符合视场边界场景的第一目标框，获得视场边界场景数据集，然后将视场边界场景数据集中的第二目标框加入目标帧时，只将与目标帧中的对象不冲突的第二目标框加入目标帧中，使得增强后的样本数据更加符合实际。因此，通过筛选和冲突判定两个步骤，能够有效地增强近距离点云数据，满足目标感知模型训练的数据需求，提高目标感知模型在近距离视场边界场景下的感知性能。

6、进一步，所述筛选出部分区域位于雷达的近距离视野盲区范围内的标注框，包括：

7、在鸟瞰图视角下，计算自车的后轴中心与雷达坐标系中心的第一长度，获取雷达的近距离视野盲区范围在自车行进方向的第二长度，获取所述标注框表征的对象的第三长度，所述自车上安装有雷达；

8、以自车的后轴中心为坐标系中心，基于所述第一长度、所述第二长度和所述第三长度，获得自车行进方向的边界范围，当所述标注框的中心沿自车行进方向的坐标位于所述边界范围内时，设定所述标注框为部分区域位于雷达的近距离视野盲区范围内的标注框。

9、根据上述技术手段，通过确定相对于标注框表征的对象的边界范围，能够简单、方便地判定标注框是否符合视场边界场景，是否为部分区域位于雷达的近距离视野盲区范围内的标注框。

10、进一步，所述基于筛选出的标注框获得若干个第一目标框及第一目标框内的点云数据，包括：

11、获取所述筛选出的标注框内的点云在各个投影平面上的投影面积；

12、当所述投影面积的最大值大于预设面积阈值时，将所述筛选出的标注框设为所述第一目标框并获取所述第一目标框内的点云数据。

13、根据上述技术手段，通过投影面积来对标注框进行进一步过滤，能够过滤掉难例，避免训练时，难例数据对目标感知模型产生负面影响。

14、进一步，判定基于所述第二目标框的位置将所述第二目标框放入所述点云数据的目标帧中，所述第二目标框与所述目标帧中的对象是否冲突，包括：

15、当基于所述第二目标框的位置和范围，在所述目标帧中检测到物体时，判定所述第二目标框与所述目标帧中的对象有冲突；

16、当检测到所述第二目标框与所述目标帧中的标注框或目标框之间存在交集，判定所述第二目标框与所述目标帧中的对象有冲突；

17、当检测到所述第二目标框放入所述目标帧中被遮挡时，判定所述第二目标框与所述目标帧中的对象有冲突；

18、否则，判定所述第二目标框与所述目标帧中的对象不冲突。

19、根据上述技术手段，通过从第二目标框是否与物体重叠、第二目标框与目标帧的目标框或标注框之间是否存在交集、第二目标框是否被遮挡三个角度来判定是否存在冲突，能够准确地判定第二目标框内的点云数据与原有训练数据是否会发生数据冲突，使得增强后的近距离点云数据与实际情况更加吻合，增强后的数据更加有效。

20、进一步，检测所述第二目标框放入所述目标帧中是否被遮挡，包括：

21、将所述第二目标框以及所述目标帧中的每个标注框分别投影至各个投影平面，在每个投影平面上分别计算所述第二目标框的投影与每个所述目标帧中的标注框的投影之间的相交面积；

22、当任一所述相交面积与所述第二目标框的投影面积相等时，判定所述第二目标框放入所述目标帧中被遮挡；否则，判定所述第二目标框放入所述目标帧中不被遮挡。

23、根据上述技术手段，通过根据相交面积和投影面积，能直观准确地判定出第二目标框是否被遮挡。

24、进一步，基于所述第二目标框的位置和范围，检测所述目标帧中是否存在物体，包括：

25、基于所述第二目标框的位置，获取所述目标帧中所述第二目标框的范围内的点云数量；

26、当所述点云数量超过预设数量阈值时，判定所述目标帧中存在物体，否则，判定所述目标帧中不存在物体。

27、根据上述技术手段，通过第二目标框的范围内的点云数量来判定第二目标框是否与目标帧中的物体重叠，计算简单方便、无需根据点云数据进行建模。

28、进一步，检测所述第二目标框与所述目标帧中的标注框或目标框之间是否存在交集，包括：

29、在鸟瞰图视角下，获取所述第二目标框的第一投影面积、所述标注框的第二投影面积和已放入所述目标帧中的目标框的第三投影面积；

30、分别计算所述第一投影面积与所述第二投影面积的第一交并比、所述第一投影面积与所述第三投影面积的第二交并比；

31、当所述第一交并比不等于零或所述第二交并比不等于零时，判定所述第二目标框与所述目标帧中的标注框或目标框之间存在交集，否则，判定所述第二目标框与所述目标帧中的标注框或目标框之间不存在交集。

32、根据上述技术手段，通过鸟瞰图视角下，计算第二目标框的投影与目标帧中的标注框或目标框的投影之间的交并比，能够简单快速地判定第二目标框与目标帧中的标注框或目标框之间是否存在交集。

33、进一步，所述将所述第二目标框放入所述目标帧，包括：

34、在所述目标帧中查找目标类别的标注框和目标框，获得总数量；

35、当所述总数量小于或等于预设阈值时，将所述第二目标框放入所述目标帧。

36、根据上述技术手段，通过统计目标类别下标注框和目标框的总数量，能够防止在一个目标帧中同一类的标注框和目标框太多，提高增强数据的均衡性和数据质量。

37、一种雷达点云数据增强装置，所述装置包括：

38、数据集模块，用于枚举点云数据中的标注框，筛选出部分区域位于雷达的近距离视野盲区范围内的标注框，基于筛选出的标注框获得若干个第一目标框及第一目标框内的点云数据，所有的所述第一目标框以及所述第一目标框内的点云数据构成视场边界场景数据集；

39、增强模块，用于从所述视场边界场景数据集中选取第二目标框，当判定基于所述第二目标框的位置将所述第二目标框放入所述点云数据的目标帧中，所述第二目标框与所述目标帧中的对象不冲突时，将所述第二目标框以及所述第二目标框内的点云数据放入所述目标帧以增强所述点云数据。

40、进一步，所述增强模块包括冲突判定单元，所述冲突判定单元用于当基于所述第二目标框的位置和范围，在所述目标帧中检测到物体时，判定所述第二目标框与所述目标帧中的对象有冲突；当检测到所述第二目标框与所述目标帧中的标注框或目标框之间存在交集，判定所述第二目标框与所述目标帧中的对象有冲突；当检测到所述第二目标框放入所述目标帧中被遮挡时，判定所述第二目标框与所述目标帧中的对象有冲突；否则，判定所述第二目标框与所述目标帧中的对象不冲突。

41、根据上述技术手段，通过判定第二目标框内的点云数据与原有训练数据是否会发生数据冲突，使得增强后的近距离点云数据与实际情况更加吻合，增强后的数据更加有效。

42、进一步，所述数据集模块包括筛选单元，所述筛选单元用于在鸟瞰图视角下，计算自车的后轴中心与雷达坐标系中心的第一长度，计算雷达的近距离视野盲区范围在自车行进方向的第二长度，获取所述标注框表征的对象的第三长度，所述自车上安装有雷达；以自车的后轴中心为坐标系中心，基于所述第一长度、所述第二长度和所述第三长度，获得自车行进方向的边界范围，当所述标注框的中心沿自车行进方向的坐标位于所述边界范围内时，设定所述标注框为部分区域位于雷达的近距离视野盲区范围内的标注框。

43、根据上述技术手段，通过边界范围判定标注框是否为部分区域位于雷达的近距离视野盲区范围内的标注框，更加快捷有效。

44、一种智能汽车，所述智能汽车包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的雷达点云数据增强程序，所述雷达点云数据增强程序被所述处理器执行时实现任意一项上述雷达点云数据增强方法的步骤。

45、一种计算机可读存储介质，所述计算机可读存储介质上存储有雷达点云数据增强程序，所述雷达点云数据增强程序被处理器执行时实现任意一项上述雷达点云数据增强方法的步骤。

46、本发明的有益效果：增强后的数据符合视场边界场景，增强后的数据与实际情况更加吻合，使用本实施例增强后的样本数据对目标感知模型进行训练，可以极大程度的提升目标感知模型在fov边界场景下对目标感知的准确性。