单目伪3D目标检测方法、装置、设备及存储介质与流程

本申请属于目标检测，尤其涉及一种单目伪3d目标检测方法、装置、设备及存储介质。

背景技术：

1、车辆在进行智能驾驶时，需要获取物体的三维(3d)信息，包括物体的位置和姿态，如此才能清楚地了解驾驶环境。因此，一个准确而稳健的感知系统是车辆理解驾驶环境的关键。而包括三维障碍物检测在内的强大的感知系统有助于全自动驾驶的发展，能够大大减少不安全驾驶造成的死亡。

2、单目相机因其丰富的色彩和纹理以及低廉的价格而在智能驾驶场景中得到广泛应用。但单目相机的主要问题是缺乏三维信息，而且物体的尺度变化和遮挡使三维物体的检测更具挑战性。目前，基于单目相机的3d目标检测方法主要是包括，通过基于二维(2d)图像计算九维参数，基于计算得到的九维参数预测三维检测框，或者，基于采集到的二维图像结合激光点云数据来捕捉物体的三维信息。其中，基于二维图像计算九维参数，算法效率和准确率都较低。而结合激光点云的检测方法，需要额外设置激光雷达成本较高，而且由于激光雷达容易受到天气、探测距离的影响，导致适用范围受限。

技术实现思路

1、本申请实施例提供一种单目伪3d目标检测方法、装置、设备、存储介质及程序，能够准确高效的基于二维图像得到待检测对象的伪3d检测框，适用范围广。

2、第一方面，本申请实施例提供一种单目伪3d目标检测方法，包括：

3、将二维图像输入目标检测模型，目标检测模型包括特征提取网络、第一检测头网络和第二检测头网络，二维图像中包含待检测的目标对象；

4、利用特征提取网络对二维图像进行多尺度特征提取，得到多张尺度不同的第一特征图；

5、利用第一检测头网络对多张第一特征图进行预测，得到目标对象在二维图像中的二维检测框；

6、利用第二检测头网络对多张第一特征图进行预测，得到目标对象在二维图像中的棱边直线方程；

7、基于二维检测框和棱边直线方程，预测目标对象在二维图像中的伪3d检测框。

8、第二方面，本申请实施例提供了一种单目伪3d目标检测装置，包括：

9、输入模块，用于将二维图像输入目标检测模型，目标检测模型包括特征提取网络、第一检测头网络和第二检测头网络，二维图像中包含待检测的目标对象；

10、特征提取模块，用于利用特征提取网络对二维图像进行多尺度特征提取，得到多张尺度不同的第一特征图；

11、第一检测模块，用于利用第一检测头网络对多张第一特征图进行预测，得到目标对象在二维图像中的二维检测框；

12、第二检测模块，用于利用第二检测头网络对多张第一特征图进行预测，得到目标对象在二维图像中的棱边直线方程；

13、伪3d预测模块，用于基于二维检测框和棱边直线方程，预测目标对象在二维图像中的伪3d检测框。

14、第三方面，本申请实施例提供了一种电子设备，电子设备包括：处理器以及存储有计算机程序指令的存储器；

15、处理器执行计算机程序指令时实现如第一方面的单目伪3d目标检测方法。

16、第四方面，本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序指令，计算机程序指令被处理器执行时实现如第一方面的单目伪3d目标检测方法。

17、第五方面，本申请实施例提供了一种计算机程序产品，计算机程序产品中的指令由电子设备的处理器执行时，使得电子设备执行如第一方面的单目伪3d目标检测方法。

18、本申请实施例的单目伪3d目标检测方法、装置、设备、存储介质及程序，将包含目标对象的二维图像输入目标检测模型，目标检测模型包括特征提取网络、第一检测头网络和第二检测头网络，利用特征提取网络对二维图像进行多尺度特征提取，得到多张尺度不同的第一特征图，利用第一检测头网络对多张第一特征图进行预测，得到目标对象在二维图像中的二维检测框，利用第二检测头网络对多张第一特征图进行预测，得到目标对象在二维图像中的棱边直线方程，基于二维检测框和棱边直线方程，预测目标对象在二维图像中的伪3d检测框。根据本申请实施例，在目标检测模型中构建两个不同的检测头网络分别得到目标对象的二维检测框和棱边直线方程，在增加单目伪3d检测的准确率的同时大大降低了计算量，模型效率得到提高，而且，不受天气、探测距离等的影响，适用范围更广。

技术特征：

1.一种单目伪3d目标检测方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述特征提取网络包括yolov7的骨干网络，所述利用所述特征提取网络对所述二维图像进行多尺度特征提取，得到多张第一特征图，包括：

3.根据权利要求1所述的方法，其特征在于，所述第一检测头网络包括多尺度注意力模块、目标检测模块和融合模块，所述利用所述第一检测头网络对多张第一特征图进行预测，得到所述目标对象在所述二维图像中的二维检测框，包括：

4.根据权利要求3所述的方法，其特征在于，所述利用所述多尺度注意力模块提取该第一特征图对应的第二特征图，包括：

5.根据权利要求1所述的方法，其特征在于，所述目标对象的棱边包括侧棱和底棱，所述第二检测头网络包括一个repconv层以及一个包含依次连接的conv、bn和sigmoid的网络结构，所述利用所述第二检测头网络对所述多张第一特征图进行预测，得到所述目标对象在所述二维图像中的棱边直线方程，包括：

6.根据权利要求5所述的方法，其特征在于，所述基于所述二维检测框和所述棱边直线方程，预测所述目标对象在所述二维图像中的伪3d检测框，包括：

7.根据权利要求1-6任一项所述的方法，其特征在于，所述将二维图像输入目标检测模型之前，所述方法还包括：

8.一种单目伪3d目标检测装置，其特征在于，包括：

9.一种电子设备，其特征在于，所述电子设备包括：处理器以及存储有计算机程序指令的存储器；

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如权利要求1-7任意一项所述的单目伪3d目标检测方法。

技术总结
本申请公开了一种单目伪3D目标检测方法、装置、设备及存储介质，将包含目标对象的二维图像输入目标检测模型，利用模型中的特征提取网络对二维图像进行多尺度特征提取，得到多张尺度不同的第一特征图，利用模型中的第一检测头网络对多张第一特征图进行预测，得到目标对象的二维检测框，利用模型中的第二检测头网络对多张第一特征图进行预测，得到目标对象的棱边直线方程，基于二维检测框和棱边直线方程，预测目标对象的伪3D检测框。根据本申请实施例，在目标检测模型中构建两个不同的检测头网络分别得到目标对象的二维检测框和棱边直线方程，在增加单目伪3D检测的准确率的同时大大降低了计算量，模型效率得到提高，适用范围更广。

技术研发人员：雷田子,谢伟,石雄,胡荣东
受保护的技术使用者：长沙智能驾驶研究院有限公司
技术研发日：
技术公布日：2024/3/31