点云数据增强方法、装置、设备及存储介质与流程

本发明涉及汽车，具体涉及一种点云数据增强方法、装置、设备及存储介质。

背景技术：

1、随着自动驾驶技术的发展，基于激光雷达的三维(three-dimensional，3d)目标感知技术在自动驾驶领域越来越重要，可以通过大量的点云数据对3d目标感知领域中的目标检测和语义分割等检测模型进行训练与优化，以加速检测模型的收敛速度，从而提高检测模型的精确度和鲁棒性。但目前实际存在的点云数据帧数不足，或者每帧点云数据中的目标物体对应的数量不足、类别不平衡、多样性缺乏，导致点云数据的丰富度较差。

2、当前可以通过对全局点云数据和局部目标内点云数据进行增强操作(例如缩放、旋转、翻转和噪声变换)，来增加点云数据的多样性。并且，可以通过判断增加的目标物体(即点云数据)的位置是否为地面点云，以及是否与原始点云数据中的物体有干涉，以将目标物体放置在合适的位置，来增加点云数据的数据量和丰富度。但是，对全局点云数据和局部目标内点云数据进行增强操作时，会出现增强后的点云与真实场景背离的情况，造成场景和目标不合理的问题。判断地面点云和干涉物体耗费的时间较长，不利于对模型的实时训练，且判断地面点云和干涉物体的准确度较低，从而增强点云数据的合理性和效率较差。

技术实现思路

1、本发明的目的在于提供一种点云数据增强方法、装置、设备及存储介质，以解决在增加目标点云数据时，判断地面点云和干涉物体耗费的时间较长且准确度较低，导致对点云数据进行增强的合理性和效率较差的技术问题。本技术的技术方案如下：

2、根据本技术涉及的第一方面，提供一种点云数据增强方法，包括：针对目标车辆对应的训练数据库中包括的多类点云数据中的任一类点云数据，从训练数据库中获取任一类点云数据对应的至少一个粘贴框，并确定至少一个粘贴框中的每个粘贴框对应的多个衍生框，多类点云数据中的每一类点云数据对应的粘贴框的尺寸范围不同，粘贴框用于指示任一类点云数据对应的虚拟障碍物，衍生框用于指示一个粘贴框对应的虚拟障碍物的复制障碍物；基于至少一个粘贴框中的每个粘贴框的尺寸，确定任一类点云数据对应的地面高度标准差阈值和地面高度差阈值；基于任一类点云数据对应的地面高度标准差阈值和地面高度差阈值，从至少一个粘贴框中的每个粘贴框对应的多个衍生框中，确定出每个粘贴框对应的目标衍生框，一个粘贴框对应一个目标衍生框；将至少一个粘贴框中的每个粘贴框对应的点云数据，添加至每个粘贴框对应的目标衍生框中，得到增强点云数据。

3、根据上述技术手段，本技术可以通过任一类点云数据对应的地面高度标准差阈值和地面高度差阈值，从任一类点云数据对应的粘贴框在多个位置上的衍生框中，确定出能够放置于地面位置上的目标衍生框，以将粘贴框对应的点云数据添加至目标衍生框得到增强点云数据，提高了粘贴目标成功放置在地面上的可能性，确保了增强点云数据的合理性，且通过地面高度标准差阈值和地面高度差阈值进行地面判断减少了计算耗时，提高了增强点云数据的效率。

4、在一种可能的实施方式中，确定至少一个粘贴框中的每个粘贴框对应的多个衍生框，包括：以目标车辆为原点，基于至少一个粘贴框中的每个粘贴框的原始位置进行旋转，得到至少一个粘贴框中的每个粘贴框对应的多个衍生框；基于至少一个粘贴框中的每个粘贴框的位置和每个衍生框对应的旋转角度，确定至少一个粘贴框中的每个粘贴框对应的多个衍生框中的每个衍生框的位置。

5、根据上述技术手段，本技术可以通过旋转确定粘贴框的多个旋转位置，以对多个旋转位置上衍生框的进行地面判断和碰撞判断，提升了粘贴目标成功放置的可能性。

6、在一种可能的实施方式中，每个粘贴框对应多个点云；基于至少一个粘贴框中的每个粘贴框的尺寸，确定任一类点云数据对应的地面高度标准差阈值和地面高度差阈值，包括：基于至少一个粘贴框中的每个粘贴框对应的多个点云数据中的每个点云数据的高度值，确定每个粘贴框对应的最大高度值、最小高度值和高度标准差；基于至少一个粘贴框中的每个粘贴框对应的高度标准差，确定任一类点云数据对应的地面高度标准差阈值；基于至少一个粘贴框中的每个粘贴框对应的最大高度值和最小高度值，确定任一类点云数据对应的地面高度差阈值。

7、根据上述技术手段，本技术可以统计各类点云数据在垂直区块内的地面点云对应的地面高度标准差阈值和地面高度差阈值，用于后续判断粘贴目标能否放置在相应位置的地面上，提升了目标粘贴的合理性。

8、在一种可能的实施方式中，基于任一类点云数据对应的地面高度标准差阈值和地面高度差阈值，从至少一个粘贴框中的每个粘贴框对应的多个衍生框中，确定出每个粘贴框对应的目标衍生框，包括：确定至少一个粘贴框中的每个粘贴框对应的多个衍生框中的每个衍生框对应的点云高度标准差和点云高度差；基于任一类点云数据对应的地面高度标准差阈值和地面高度差阈值，从至少一个粘贴框中的每个粘贴框对应的多个衍生框中确定出每个粘贴框对应的至少一个衍生框，至少一个衍生框中的每个衍生框对应的点云高度标准差小于地面高度标准差阈值，且每个衍生框对应的点云高度差小于地面高度差阈值；确定至少一个粘贴框中的每个粘贴框对应的至少一个衍生框中的每个衍生框对应的交并比iou，并将每个粘贴框对应的至少一个衍生框中iou为零的衍生框确定为目标衍生框，iou为衍生框与原始点云数据的交叠率。

9、根据上述技术手段，本技术可以根据衍生框所在位置对应的点云高度标准差和点云高度差，基于衍生框所在位置上的点云数据对应的地面高度标准差阈值和地面高度差阈值，从衍生框所在位置中确定出能够进行目标粘贴的地面位置，并进一步通过iou从衍生框所在地面位置中确定出与原始点云数据完全不交叠的地面位置，以保证进行目标粘贴的地面位置不与其他障碍物碰撞，提升了目标粘贴的合理性。

10、在一种可能的实施方式中，基于点云数据的类别，依次将多类点云数据中的每一类点云数据对应的至少一个粘贴框中的每个粘贴框对应的点云数据，添加至每个粘贴框对应的目标衍生框中，得到增强点云数据；针对多类点云数据中的每一类点云数据对应的至少一个粘贴框中的每个粘贴框，以及每个粘贴框对应的目标衍生框，将每个粘贴框或每个目标衍生框的中心点分别与多个角点进行连接，以将每个粘贴框或每个目标衍生框划分为多个椎体；对每个粘贴框或每个目标衍生框对应的多个椎体进行变换处理，得到进一步增强的点云数据，变换处理包括以下至少一项：加密补充、稀疏化、加噪声、交换、混合、丢弃。

11、根据上述技术手段，本技术可以针对不同类别的点云数据进行相应的点云数据增强，平衡每帧点云中的点云数据的类别分布，提升少量点云数据样本的检测率，提高检测模型的收敛速度和检测表现。通过对粘贴框或目标衍生框对应的多个椎体进行变换处理，可以增强点云的多样性，从而提升点云检测模型的检测精度和鲁棒性。

12、根据本技术提供的第二方面，提供一种点云数据增强装置，包括获取模块、确定模块以及处理模块；获取模块，用于针对目标车辆对应的训练数据库中包括的多类点云数据中的任一类点云数据，从训练数据库中获取任一类点云数据对应的至少一个粘贴框，多类点云数据中的每一类点云数据对应的粘贴框的尺寸范围不同，粘贴框用于指示任一类点云数据对应的虚拟障碍物；确定模块，用于确定至少一个粘贴框中的每个粘贴框对应的多个衍生框，衍生框用于指示一个粘贴框对应的虚拟障碍物的复制障碍物；确定模块，还用于基于至少一个粘贴框中的每个粘贴框的尺寸，确定任一类点云数据对应的地面高度标准差阈值和地面高度差阈值；确定模块，还用于基于任一类点云数据对应的地面高度标准差阈值和地面高度差阈值，从至少一个粘贴框中的每个粘贴框对应的多个衍生框中，确定出每个粘贴框对应的目标衍生框，一个粘贴框对应一个目标衍生框；处理模块，用于将至少一个粘贴框中的每个粘贴框对应的点云数据，添加至每个粘贴框对应的目标衍生框中，得到增强点云数据。

13、在一种可能的实施方式中，处理模块，还用于以目标车辆为原点，基于至少一个粘贴框中的每个粘贴框的原始位置进行旋转，得到至少一个粘贴框中的每个粘贴框对应的多个衍生框；确定模块，还用于基于至少一个粘贴框中的每个粘贴框的位置和每个衍生框对应的旋转角度，确定至少一个粘贴框中的每个粘贴框对应的多个衍生框中的每个衍生框的位置。

14、在一种可能的实施方式中，每个粘贴框对应多个点云；确定模块，还用于基于至少一个粘贴框中的每个粘贴框对应的多个点云数据中的每个点云数据的高度值，确定每个粘贴框对应的最大高度值、最小高度值和高度标准差；确定模块，还用于基于至少一个粘贴框中的每个粘贴框对应的高度标准差，确定任一类点云数据对应的地面高度标准差阈值；确定模块，还用于基于至少一个粘贴框中的每个粘贴框对应的最大高度值和最小高度值，确定任一类点云数据对应的地面高度差阈值。

15、在一种可能的实施方式中，确定模块，还用于确定至少一个粘贴框中的每个粘贴框对应的多个衍生框中的每个衍生框对应的点云高度标准差和点云高度差；确定模块，还用于基于任一类点云数据对应的地面高度标准差阈值和地面高度差阈值，从至少一个粘贴框中的每个粘贴框对应的多个衍生框中确定出每个粘贴框对应的至少一个衍生框，至少一个衍生框中的每个衍生框对应的点云高度标准差小于地面高度标准差阈值，且每个衍生框对应的点云高度差小于地面高度差阈值；确定模块，还用于确定至少一个粘贴框中的每个粘贴框对应的至少一个衍生框中的每个衍生框对应的交并比iou，并将每个粘贴框对应的至少一个衍生框中iou为零的衍生框确定为目标衍生框，iou为衍生框与原始点云数据的交叠率。

16、在一种可能的实施方式中，处理模块，还用于基于点云数据的类别，依次将多类点云数据中的每一类点云数据对应的至少一个粘贴框中的每个粘贴框对应的点云数据，添加至每个粘贴框对应的目标衍生框中，得到增强点云数据；处理模块，还用于针对多类点云数据中的每一类点云数据对应的至少一个粘贴框中的每个粘贴框，以及每个粘贴框对应的目标衍生框，将每个粘贴框或每个目标衍生框的中心点分别与多个角点进行连接，以将每个粘贴框或每个目标衍生框划分为多个椎体；处理模块，还用于对每个粘贴框或每个目标衍生框对应的多个椎体进行变换处理，得到进一步增强的点云数据，变换处理包括以下至少一项：加密补充、稀疏化、加噪声、交换、混合、丢弃。

17、根据本技术提供的第三方面，提供一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，处理器被配置为执行指令，以实现上述第一方面及其任一种可能的实施方式的方法。

18、根据本技术提供的第四方面，提供一种计算机可读存储介质，当计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述第一方面中及其任一种可能的实施方式的方法。

19、根据本技术提供的第五方面，提供一种车辆，包括：点云数据增强装置，用于实现上述第一方面及其任一种可能的实施方式的方法。

20、根据本技术提供的第六方面，提供一种计算机程序产品，计算机程序产品包括计算机指令，当计算机指令在电子设备上运行时，使得电子设备执行上述第一方面及其任一种可能的实施方式的方法。

21、由此，本技术的上述技术特征具有以下有益效果：

22、(1)可以通过任一类点云数据对应的地面高度标准差阈值和地面高度差阈值，从任一类点云数据对应的粘贴框在多个位置上的衍生框中，确定出能够放置于地面位置上的目标衍生框，以将粘贴框对应的点云数据添加至目标衍生框得到增强点云数据，提高了粘贴目标成功放置在地面上的可能性，确保了增强点云数据的合理性，且通过地面高度标准差阈值和地面高度差阈值进行地面判断减少了计算耗时，提高了增强点云数据的效率。

23、(2)可以通过旋转确定粘贴框的多个旋转位置，以对多个旋转位置上衍生框的进行地面判断和碰撞判断，提升了粘贴目标成功放置的可能性。

24、(3)可以统计各类点云数据在垂直区块内的地面点云对应的地面高度标准差阈值和地面高度差阈值，用于后续判断粘贴目标能否放置在相应位置的地面上，提升了目标粘贴的合理性。

25、(4)可以根据衍生框所在位置对应的点云高度标准差和点云高度差，基于衍生框所在位置上的点云数据对应的地面高度标准差阈值和地面高度差阈值，从衍生框所在位置中确定出能够进行目标粘贴的地面位置，并进一步通过iou从衍生框所在地面位置中确定出与原始点云数据完全不交叠的地面位置，以保证进行目标粘贴的地面位置不与其他障碍物碰撞，提升了目标粘贴的合理性。

26、(5)可以针对不同类别的点云数据进行相应的点云数据增强，平衡每帧点云中的点云数据的类别分布，提升少量点云数据样本的检测率，提高检测模型的收敛速度和检测表现。通过对粘贴框或目标衍生框对应的多个椎体进行变换处理，可以增强点云的多样性，从而提升点云检测模型的检测精度和鲁棒性。

27、需要说明的是，第二方面至第六方面中的任一种实现方式所带来的技术效果可参见第一方面中对应实现方式所带来的技术效果，此处不再赘述。

28、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本技术。