一种自动驾驶3D目标检测方法及相关装置与流程

本技术涉及自动驾驶、深度学习、时序融合和3d目标检测的，具体而言，涉及一种自动驾驶3d目标检测方法及相关装置。

背景技术：

1、目前，在自动驾驶的应用场景中，通常是使用已有的二维(2d)目标检测方法来从二维图像特征中预测出三维(3d)目标，具体例如：获取多相机采集的环境图像，并提取出环境图像中的图像特征，然后，使用目标检测模型对该图像特征进行目标对象(例如障碍物或行人等等)检测等等。在具体的实践过程中发现，由于目标检测模型是使用二维图像和二维标签训练的，所以该目标检测模型缺少三维(3d)的先验信息，导致自动驾驶的应用场景中的目标检测精度较低。

技术实现思路

1、本技术实施例的目的在于提供一种自动驾驶3d目标检测方法及相关装置，用于改善自动驾驶的应用场景中的目标检测精度较低的问题。

2、本技术实施例提供了一种自动驾驶3d目标检测方法，包括：获取自动驾驶场景中的当前时刻的多视角图像，并提取出多视角图像的图像特征；使用深度估计网络模型对多视角图像的图像特征进行深度点云预测，获得当前时刻的点云数据；根据多视角图像的相机参数从多视角图像的图像特征中提取出上下文特征，并对上下文特征和当前时刻的点云数据进行外积操作和体素池化操作，获得当前时刻的鸟瞰图特征；获取过去时刻的鸟瞰图特征，并将当前时刻的鸟瞰图特征和过去时刻的鸟瞰图特征进行融合，获得融合后的鸟瞰图特征；使用融合后的鸟瞰图特征进行3d目标检测。在上述方案的实现过程中，通过深度估计网络模型预测出的点云数据获得的鸟瞰图特征来进行3d目标检测，能够有效地利用目标对象的三维信息建模的先验信息，以使深度估计网络模型输出深度感知更精确的点云数据，从而提高了自动驾驶的应用场景中的目标检测精度。

3、可选地，在本技术实施例中，在使用深度估计网络模型对多视角图像的图像特征进行深度点云预测之前，还包括：获取不同视角拍摄的样本图像和样本标签，并提取出样本图像的图像特征和相机参数，样本图像是对目标对象采集的图像，样本标签是目标对象的三维点云数据；以图像特征和相机参数为训练数据，以样本标签为训练标签，对深度估计神经网络进行训练，获得深度估计网络模型。在上述方案的实现过程中，通过以图像特征和相机参数为训练数据，以样本标签为训练标签，对深度估计神经网络进行训练，以使深度估计网络模型输出深度感知更精确的点云数据，从而提高了自动驾驶的应用场景中的目标检测精度。

4、可选地，在本技术实施例中，相机参数包括：内部参数和外部参数；根据多视角图像的相机参数从多视角图像的图像特征中提取出上下文特征，包括：将内部参数和外部参数进行展平和拼接，获得参数输入向量，并将参数输入向量扩展为多维向量；使用多维向量对图像特征进行加权融合，获得上下文特征。在上述方案的实现过程中，通过将内部参数和外部参数进行展平和拼接后的参数输入向量作为加权融合的一部分，从而进一步地高了深度估计的质量和目标检测的准确率。

5、可选地，在本技术实施例中，对上下文特征和当前时刻的点云数据进行外积操作和体素池化操作，包括：获取过去时刻的点云数据，将过去时刻的点云数据与当前时刻的点云数据进行对齐，获得对齐点云数据；对上下文特征和对齐点云数据进行外积操作和体素池化操作。在上述方案的实现过程中，通过将过去时刻的点云数据与当前时刻的点云数据进行对齐，从而增加点云数据在时域上对齐的鲁棒性，以进一步提升3d目标检测的效果。

6、可选地，在本技术实施例中，将过去时刻的点云数据与当前时刻的点云数据进行对齐，包括：将过去时刻的点云数据的坐标系转换为全局坐标系；将过去时刻的点云数据由全局坐标系转换为当前时刻的点云数据的坐标系。在上述方案的实现过程中，通过将过去时刻的点云数据的坐标系转换为全局坐标系，并将过去时刻的点云数据由全局坐标系转换为当前时刻的点云数据的坐标系，从而增加点云数据在时域上对齐的鲁棒性，以进一步提升3d目标检测的效果。

7、可选地，在本技术实施例中，将当前时刻的鸟瞰图特征和过去时刻的鸟瞰图特征进行融合，包括：将上一时刻的鸟瞰图特征与当前时刻的鸟瞰图特征对齐，获得对齐后的鸟瞰图特征；将当前时刻的鸟瞰图特征和对齐后的鸟瞰图特征进行融合。在上述方案的实现过程中，通过同时让点云数据和鸟瞰图特征对齐融合，即将当前时刻的鸟瞰图特征和对齐后的鸟瞰图特征进行融合，从而获得时空融合的bev特征，更好地帮助模型识别和处理遮挡问题，有效地提升了模型性能的鲁棒性。

8、可选地，在本技术实施例中，将当前时刻的鸟瞰图特征和过去时刻的鸟瞰图特征进行融合，包括：将多个时刻的鸟瞰图特征与当前时刻的鸟瞰图特征对齐，获得多个时刻对齐后的鸟瞰图特征；将当前时刻的鸟瞰图特征和多个时刻对齐后的鸟瞰图特征进行融合。在上述方案的实现过程中，通过将多个时刻的鸟瞰图特征与当前时刻的鸟瞰图特征对齐，并将当前时刻的鸟瞰图特征和多个时刻对齐后的鸟瞰图特征进行融合，从而获得时空融合的bev特征，有效地改善了自动驾驶汽车运动造成过去帧与当前帧空间存在的非对齐问题，使用多帧时序特征的精确对齐，从而进一步地提升了3d目标检测的准确率。

9、本技术实施例还提供了一种自动驾驶3d目标检测装置，包括：图像特征提取模块，用于获取自动驾驶场景中的当前时刻的多视角图像，并提取出多视角图像的图像特征；点云数据获得模块，用于使用深度估计网络模型对多视角图像的图像特征进行深度点云预测，获得当前时刻的点云数据；特征提取获得模块，用于根据多视角图像的相机参数从多视角图像的图像特征中提取出上下文特征，并对上下文特征和当前时刻的点云数据进行外积操作和体素池化操作，获得当前时刻的鸟瞰图特征；时域特征融合模块，用于获取过去时刻的鸟瞰图特征，并将当前时刻的鸟瞰图特征和过去时刻的鸟瞰图特征进行融合，获得融合后的鸟瞰图特征；特征目标检测模块，用于使用融合后的鸟瞰图特征进行3d目标检测。

10、可选地，在本技术实施例中，自动驾驶3d目标检测装置，还包括：特征参数提取模块，用于获取不同视角拍摄的样本图像和样本标签，并提取出样本图像的图像特征和相机参数，样本图像是对目标对象采集的图像，样本标签是目标对象的三维点云数据；网络模型获得模块，用于以图像特征和相机参数为训练数据，以样本标签为训练标签，对深度估计神经网络进行训练，获得深度估计网络模型。

11、可选地，在本技术实施例中，相机参数包括：内部参数和外部参数；特征提取获得模块，包括：参数展平拼接子模块，用于将内部参数和外部参数进行展平和拼接，获得参数输入向量，并将参数输入向量扩展为多维向量；特征加权融合子模块，用于使用多维向量对图像特征进行加权融合，获得上下文特征。

12、可选地，在本技术实施例中，特征提取获得模块，包括：点云数据对齐子模块，用于获取过去时刻的点云数据，将过去时刻的点云数据与当前时刻的点云数据进行对齐，获得对齐点云数据；外积体素池化子模块，用于对上下文特征和对齐点云数据进行外积操作和体素池化操作。

13、可选地，在本技术实施例中，点云数据对齐子模块，包括：第一坐标系转换单元，用于将过去时刻的点云数据的坐标系转换为全局坐标系；第二坐标系转换单元，用于将过去时刻的点云数据由全局坐标系转换为当前时刻的点云数据的坐标系。

14、可选地，在本技术实施例中，时域特征融合模块，包括：第一特征对齐子模块，用于将上一时刻的鸟瞰图特征与当前时刻的鸟瞰图特征对齐，获得对齐后的鸟瞰图特征；第一特征融合子模块，用于将当前时刻的鸟瞰图特征和对齐后的鸟瞰图特征进行融合。

15、可选地，在本技术实施例中，时域特征融合模块，包括：第二特征对齐子模块，用于将多个时刻的鸟瞰图特征与当前时刻的鸟瞰图特征对齐，获得多个时刻对齐后的鸟瞰图特征；第二特征融合子模块，用于将当前时刻的鸟瞰图特征和多个时刻对齐后的鸟瞰图特征进行融合。

16、本技术实施例还提供了一种电子设备，包括：处理器和存储器，存储器存储有处理器可执行的机器可读指令，机器可读指令被处理器执行时执行如上面描述的方法。

17、本技术实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上面描述的方法。

18、本技术实施例的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本技术实施例了解。