一种3D目标检测自动化标注方法及存储介质与流程

本技术涉及电池领域，具体涉及一种3d目标检测自动化标注方法及存储介质。

背景技术：

1、数据集标注是指给原始数据(如图像、视频、文本、音频和3d点云)添加标签的过程，带有标签的数据被称为训练数据，这些标签形成了数据属于哪一类对象的表示，帮助机器学习模型在未来遇到从未见过的数据时，能够准确地进行分类和识别。

2、而现有的数据标注方法中，如申请号为202310491186.4公开了一种自动化标注方法、系统、电子设备及存储介质及申请号为202110005211.4公开了一种点云的标注方法及标注设备，都依赖于数据本身的关键帧，从关键帧出发，依照向后时序将关键帧信息传递，没有使用向前时序的顺序处理，在遮挡情况下对目标全局追踪能力较差(部分情况会将遮挡时间区域前后的目标当作不同目标，标注不同的追踪id)，并且前后帧的数据没有进行相关的数据增强，对机器学习算法的推理能力有更精确的要求。如申请号为202111635551.1公开了一种与2d标注相结合的静态目标3d自动标注方法、装置及介质，该方案中使用了类似全场景标注的思想去处理静态的目标的追踪，不适用于对动态目标的处理。如申请号为202211654179.3公开了一种目标标注方法、装置、电子设备及计算机可读存储介质，使用了二维图片和三维点云数据相结合的方法进行追踪标注，利用了雷达和摄像头互相弥补来解决遮挡问题，雷达遮挡就使用摄像头数据，摄像头有遮挡就使用雷达数据，但是不能处理两个都被遮挡的情况(中低速场景下车载雷达和摄像头只仅其一能捕捉某个遮挡目标的情况并不多见)

技术实现思路

1、鉴于上述问题，本技术提供了一种3d目标检测自动化标注方法及存储介质，解决现有在自动驾驶方案中对数据标注的方法中采用由前向后的时序方式处理，而有使用向前时序的顺序处理，在遮挡情况下对目标全局追踪能力较差的问题。

2、为实现上述目的，发明人提供了一种3d目标检测自动化标注方法，包括：

3、获取同一目标场景下雷达设备的点云数据及摄像头设备采集的图像数据，以及获取该场景下采集车的车辆位姿信息和采集设备的参数信息，所述采集设备包括雷达设备及摄像头设备；

4、对每帧点云数据通过三维目标识别算法识别出白名单种类范围内的目标信息；

5、根据车辆位姿信息和点云数据中的时序信息，按照时间从前向后和从后向前两个时序方向，通过追踪算法对连续的点云序列和帧中的目标信息进行追踪检测，得到三维目标的追踪信息，所述三维目标的追踪信息包括三维追踪id及三维目标位姿信息；

6、根据车辆位姿信息及三维目标追踪信息，利用插值算法对图像数据的每个时间戳的图片帧在点云数据帧集合中进行插值计算，获取当前图片时间戳下的点云插值标注信息；

7、根据车辆位姿信息、雷达和摄像头设备的内外参数信息以及点云插值标注信息，将点云目标的标注信息从三维坐标系映射到图片帧的二维坐标系中，获得图片帧上的二维目标追踪结果。

8、在一些实施例中，所述根据车辆位姿信息和点云数据中的时序信息，通过追踪算法对连续的点云序列和帧中的目标信息进行追踪检测，得到三维目标的追踪信息之后还包括以下步骤：

9、根据点云数据中的时序信息、车辆位姿信息及三维目标位姿信息，对目标的点集合进行叠加密集处理，得到目标的几何信息更丰富的三维目标追踪信息。

10、在一些实施例中，所述根据点云数据中的时序信息、车辆位姿信息及三维目标位姿信息，对目标的点集合进行叠加密集处理，得到目标的几何信息更丰富的三维目标追踪信息具体包括以下步骤：

11、利用采集的车辆位姿信息、点云数据的时序信息及三维目标位姿信息，在较长时序的多帧集合对当前目标进行相应的立体区域的点密集聚集，获得每个目标的密集点集合；

12、对密集点集合根据目标的类别进行初步规则约束，建立对应的公式，然后根据密集点的外廓进行计算，获取最接近原始目标真值的长宽高，并计算目标的中心点，得到更精准的目标信息。

13、在一些实施例中，所述根据车辆位姿信息及三维目标追踪信息，利用插值算法对图像数据的每个时间戳的图片帧在点云数据帧集合中进行插值计算，获取当前图片时间戳下的点云插值标注信息具体包括以下步骤：

14、遍历点云数据的时间戳集合，找到与当前时间戳最近的若干个时间戳；

15、对这些时间戳对应的点云标注信息和车辆位姿信息，构建点云数据中各个目标近似的物理学运动轨迹；

16、计算这些目标在当前图片时间戳下的三维坐标信息。

17、在一些实施例中，所述步骤根据车辆位姿信息、雷达和摄像头设备的内外参数信息以及点云插值标注信息，将点云目标的标注信息从三维坐标系映射到图片帧的二维坐标系中，获得图片帧上的二维目标追踪结果具体包括以下步骤：

18、通过利用雷达和摄像头设备的外参矩阵，将激光雷达坐标下的点云数据转换到相机坐标系下；

19、利用针孔相机模型和摄像头设备的内参矩阵，将相机坐标系下的点云，投影至像素坐标系，即可得到2d图像坐标。

20、还提供了另一个技术方案，一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器运行时执行以下步骤：

21、获取同一目标场景下雷达设备的点云数据及摄像头设备采集的图像数据，以及获取该场景下采集车的车辆位姿信息和采集设备的参数信息，所述采集设备包括雷达设备及摄像头设备；

22、对每帧点云数据通过三维目标识别算法识别出白名单种类范围内的目标信息；

23、根据车辆位姿信息和点云数据中的时序信息，按照时间从前向后和从后向前两个时序方向，通过追踪算法对连续的点云序列和帧中的目标信息进行追踪检测，得到三维目标的追踪信息，所述三维目标的追踪信息包括三维追踪id及三维目标位姿信息；

24、根据车辆位姿信息及三维目标追踪信息，利用插值算法对图像数据的每个时间戳的图片帧在点云数据帧集合中进行插值计算，获取当前图片时间戳下的点云插值标注信息；

25、根据车辆位姿信息、雷达和摄像头设备的内外参数信息以及点云插值标注信息，将点云目标的标注信息从三维坐标系映射到图片帧的二维坐标系中，获得图片帧上的二维目标追踪结果。

26、在一些实施例中，所述根据车辆位姿信息和点云数据中的时序信息，通过追踪算法对连续的点云序列和帧中的目标信息进行追踪检测，得到三维目标的追踪信息之后还包括以下步骤：

27、根据点云数据中的时序信息、车辆位姿信息及三维目标位姿信息，对目标的点集合进行叠加密集处理，得到目标的几何信息更丰富的三维目标追踪信息。

28、在一些实施例中，所述根据点云数据中的时序信息、车辆位姿信息及三维目标位姿信息，对目标的点集合进行叠加密集处理，得到目标的几何信息更丰富的三维目标追踪信息具体包括以下步骤：

29、利用采集的车辆位姿信息、点云数据的时序信息及三维目标位姿信息，在较长时序的多帧集合对当前目标进行相应的立体区域的点密集聚集，获得每个目标的密集点集合；

30、对密集点集合根据目标的类别进行初步规则约束，建立对应的公式，然后根据密集点的外廓进行计算，获取最接近原始目标真值的长宽高，并计算目标的中心点，得到更精准的目标信息。

31、在一些实施例中，所述根据车辆位姿信息及三维目标追踪信息，利用插值算法对图像数据的每个时间戳的图片帧在点云数据帧集合中进行插值计算，获取当前图片时间戳下的点云插值标注信息具体包括以下步骤：

32、遍历点云数据的时间戳集合，找到与当前时间戳最近的若干个时间戳；

33、对这些时间戳对应的点云标注信息和车辆位姿信息，构建点云数据中各个目标近似的物理学运动轨迹；

34、计算这些目标在当前图片时间戳下的三维坐标信息。

35、在一些实施例中，所述步骤根据车辆位姿信息、雷达和摄像头设备的内外参数信息以及点云插值标注信息，将点云目标的标注信息从三维坐标系映射到图片帧的二维坐标系中，获得图片帧上的二维目标追踪结果具体包括以下步骤：

36、通过利用雷达和摄像头设备的外参矩阵，将激光雷达坐标下的点云数据转换到相机坐标系下；

37、利用针孔相机模型和摄像头设备的内参矩阵，将相机坐标系下的点云，投影至像素坐标系，即可得到2d图像坐标。

38、区别于现有技术，上述技术方案，当获取同一目标场景下雷达设备的点云数据及摄像头设备的图像数据后，以及获取该场景下采集车的车辆位姿信息和采集设备的参数信息，然后对每帧点云数据通过三维目标识别算法，识别出白名单种类范围内目标信息，根据车辆位姿信息和点云数据中的时序信息，按照时间从前向后和从后向前的两个时序方向，通过追踪算法对连续的点云序列和帧中的目标信息进行追踪检测，得到三维目标追踪信息，然后根据车辆位置信息及三维目标追踪信息，利用插值算法对图像数据的每个时间戳的图片帧在点云数据帧集合中进行插值计算，获取当前图片时间戳下的点云插值标注信息，根据车辆位位姿信息、雷达设备和摄像头设备的内外参数信息以及点云插值标注信息，将点云目标的标注信息从三维坐标系映射到图片帧的二维坐标系中，获得图片帧上的二维目标追踪结果，实现对数据的标注。在本方案中，采用从前向后及从后向前的两种时序对点云数据的目标检测策略，提高了跟踪结果的召回率，有利于解决目标在采集场景中被遮挡而出现追踪id不连续的问题，同时基于前后两个实现方向的三维采集数据，自动标注的三维算法模型中，双向的前后帧的目标信息序列可以用于目标被遮挡情况下尽量去扩展目标追踪的连续性。

39、上述
技术实现要素：
相关记载仅是本技术技术方案的概述，为了让本领域普通技术人员能够更清楚地了解本技术的技术方案，进而可以依据说明书的文字及附图记载的内容予以实施，并且为了让本技术的上述目的及其它目的、特征和优点能够更易于理解，以下结合本技术的具体实施方式及附图进行说明。