目标信息确定方法及装置、样本数据的生成方法及装置、及应用其的目标检测方法及装置与流程

本发明涉及目标检测，尤其涉及一种目标信息确定方法及装置、用于目标检测模型的样本数据的生成方法及装置、目标检测模型构建方法及装置、和应用其的目标检测方法及装置，以及计算设备、移动工具和存储介质。

背景技术：

1、随着深度学习在图像领域的应用的快速发展，基于视觉的深度学习目标检测已广泛的应用于各个领域。如在无人驾驶领域，基于深度学习的目标检测已被广泛用于障碍物检测、目标跟踪、交通灯检测等方面。在无人驾驶领域，现有的深度学习目标检测主要是基于相机传感器的图像数据进行检测的，具体地，其一般是基于大量经过标注的图像数据来训练出深度学习目标检测模型，以利用训练出的目标检测模型达到检测相机视场中的特定目标的目的。这种检测方案由于严重依赖单一传感器数据，因此目标检测精度严重受限，如可能存在漏检、误检和预测精度损失等不良情况，这会对无人驾驶系统的可靠性产生一定影响。因此，为了提高目标检测的精度，业内目前还提出了一种将相机传感器与激光雷达的数据进行融合的方案，其是在基于相机传感器的图像数据的目标检测结果的基础上，通过将图像数据的目标检测结果与激光雷达的点云目标检测结果进行映射融合以提高目标检出率。但这种方式下，数据融合依赖的图像目标检测结果仍是在单一传感器下得到的预测结果，因而检测精度的提高是有限的，也是不稳定的。

技术实现思路

1、基于此，本发明实施例提供一种目标检测方案，以至少解决现有技术中的目标检测结果精度不高的问题。

2、第一方面，本发明实施例提供一种目标信息确定方法，其包括：

3、对第一感知数据和第二感知数据进行融合，其中，所述第一感知数据为图像数据，所述第二感知数据包括点云数据；

4、根据融合后的第一感知数据和第二感知数据、以及第一感知数据中对目标物体的标注信息生成目标物体的三维空间信息，其中，所述三维空间信息被用作用于表征目标物体的目标信息，其包括目标物体的三维包围框的中心点的x值、y值和三维包围框的宽度值、长度值、高度值。

5、第二方面，本发明实施例提供一种用于目标检测模型的样本数据的生成方法，其包括：

6、对第一感知数据和第二感知数据进行融合，生成融合数据和对目标物体的三维标注标签，其中，所述第一感知数据为图像数据，所述第二感知数据为点云数据，所述融合数据为包含r、g、b、x、y和激光反射值的6通道数据，所述三维标注标签包括目标物体的三维包围框的中心点的x值、y值和三维包围框的宽度值、长度值、高度值；

7、根据第一感知数据中对目标物体的标注结果获取目标物体的目标类别标签和二维标注标签；

8、将融合数据作为目标检测模型的输入部分，将目标物体的目标类别标签、二维标注标签和三维标注标签作为目标检测模型的输出部分，形成用于训练目标检测模型的样本数据。

9、第三方面，本发明实施例提供一种目标检测模型构建方法，其包括：

10、利用本发明第二方面所述方法生成的样本数据，对选用的网络模型进行训练，生成用于目标检测的目标检测模型。

11、第四方面，本发明实施例提供一种目标检测方法，其包括：

12、基于第二感知数据对第一感知数据进行通道扩展，生成融合数据，其中，所述第一感知数据为图像数据，所述第二感知数据为点云数据，所述融合数据为包含r、g、b、x、y和激光反射值的6通道数据；

13、将所述融合数据输入至预先训练好的目标检测模型，以获取目标检测模型输出的对目标物体的预测结果，其中，所述预测结果至少包括目标物体的三维空间信息，其中，所述三维空间信息为目标物体的三维包围框的中心点x值、y值和三维包围框的宽度值、长度值、高度值。

14、第五方面，本发明实施例提供一种目标信息确定装置，其包括：

15、传感器融合模块，用于对第一感知数据和第二感知数据进行融合，其中，所述第一感知数据为图像数据，所述第二感知数据包括点云数据；

16、三维标注模块，用于根据融合后的第一感知数据和第二感知数据、以及第一感知数据中对目标物体的标注信息生成目标物体的三维空间信息，其中，所述三维空间信息包括目标物体的三维包围框的中心点的x值、y值和包围框的宽度值、长度值、高度值，其被用作用于表征目标物体的目标信息。

17、第六方面，本发明实施例提供一种用于目标检测模型的样本数据的生成装置，其包括：

18、三维数据生成模块，用于对第一感知数据和第二感知数据进行融合，生成融合数据和对目标物体的三维标注标签，其中，所述第一感知数据为图像数据，所述第二感知数据为点云数据，所述融合数据为包含r、g、b、x、y和激光反射值的6通道数据，所述三维标注标签包括目标物体的三维包围框的中心点的x值、y值和三维包围框的宽度值、长度值、高度值；

19、二维数据生成模块，用于根据第一感知数据中对目标物体的标注结果获取目标物体的目标类别标签和二维标注标签；

20、样本数据确定模块，用于将融合数据作为目标检测模型的输入部分，将目标物体的目标类别标签、二维标注标签和三维标注标签作为目标检测模型的输出部分，形成用于训练目标检测模型的样本数据。

21、第七方面，本发明实施例提供一种目标检测模型训练装置，其包括：

22、模型训练模块，用于利用生成的样本数据，对选用的网络模型进行训练，生成用于目标检测的目标检测模型，其中，所述样本数据的输入部分为包含r、g、b、x、y和激光反射值的6通道数据，输出部分包括目标物体的目标类别标签、二维标注标签和三维标注标签，所述目标类别标签为目标物体的类别，所述二维标注标签为目标物体的二维像素框的中心点的x值和y值以及二维像素框的长度值和宽度值，所述三维标注标签包括目标物体的三维包围框的中心点的x值、y值和包围框的宽度值、长度值、高度值。

23、第八方面，本发明实施例提供一种目标检测装置，其包括：

24、通道扩展模块，用于基于第二感知数据对第一感知数据进行通道扩展，生成融合数据，其中，所述第一感知数据为图像数据，所述第二感知数据为点云数据，所述融合数据为包含r、g、b、x、y和激光反射值的6通道数据；

25、目标检测模块，用于将所述融合数据输入至预先训练好的目标检测模型，以获取目标检测模型输出的对目标物体的预测结果，其中，所述预测结果至少包括目标物体的三维空间信息，其中，所述三维空间信息为目标物体的三维包围框的中心点的x值、y值和三维包围框的宽度值、长度值、高度值。

26、第九方面，本发明实施例提供一种计算设备，其包括：

27、存储器，用于存储可执行指令；以及

28、处理器，用于执行存储器中存储的可执行指令，所述可执行指令在由所述处理器执行时实现本发明第一方面提供的方法步骤。

29、第十方面，本发明实施例提供了一种移动工具，其包括根据本发明第九方面所述的计算设备。

30、第十一方面，本发明实施例提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述第一方面提供的方法的步骤。

31、第十二方面，本发明实施例提供了一种计算机程序产品，所述计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行上述第一方面提供的方法。

32、本发明实施例的有益效果在于：本发明实施例提供的方法将不同维度的传感器获取到的感知数据，如点云数据和图像数据，直接进行融合，由于不需要依赖对图像数据的目标检测预测结果，而是直接基于采集的多个维度的感知数据来进行目标检测，因而用于目标检测的感知数据真实可靠且来源丰富，能够有效提高目标检测的准确率；并且，本发明实施例的方法还根据感知层面的数据融合结果，获取到了目标物体的三维空间信息，因而能够准确确定出目标物体的空间位置和尺寸大小，且通过三维空间信息也能够进一步提高目标检出的准确率和可靠性。