单目视觉深度估计方法及计算机可读存储介质与流程

本发明涉及视觉图像处理，具体涉及一种单目视觉深度估计方法及计算机可读存储介质。

背景技术：

1、在矿山场景下的无人驾驶应用中，激光雷达和毫米波雷达常常无法有效感知小尺寸石头，在远距离障碍物的识别中，尤其如此。此外，由于探测距离、障碍物表面材质和天气等原因，激光雷达和毫米波雷达对特定障碍物存在检出率较低的问题。基于以上这些问题，目前可行且通用的解决方案是通过视觉增强的方式弥补激光雷达与毫米波雷达的上述不足。

2、需要注意的是摄像头采集的图像数据无法包括障碍物的深度信息，因此即使能够在图像数据中通过机器学习等方式获取障碍物目标框，也不足以提供有效的供自动驾驶系统决策的辅助信息。因此如何获取摄像头采集的图像数据中障碍物的深度信息是在自动驾驶系统中利用图像数据需要解决的关键问题之一。需要注意的是当我们在讨论图像数据的深度信息时，这通常与世界坐标系下的三维坐标是等价的。在矿山的应用场景下，铲装区由于经过了大范围的挖掘作业，地面是相对平整的，除了局部有较小的起伏外，整体平坦且几乎没有坡度。

3、目前图像数据的深度估计常用的方法有基于相似三角形的单目视觉深度估计、基于双目视觉视差的深度估计和基于深度学习的视觉深度估计等。上述方法中，基于相似三角形的单目视觉深度估计方法中估计的深度信息精度不高，难以满足实际需要；基于双目视觉视差的深度估计方法对双目摄像头之间的位置精度要求较高，且软件算法复杂，消耗较高算力；基于深度学习的视觉深度估计方法计算量大、过程复杂，较难实现。普遍而言，当前的深度估计方法或者工程量大，耗时耗力，效率低下；或者方法复杂，计算耗时，难以满足无人驾驶要求的实时性；或者深度估计精度较差，难以满足无人驾驶的精度要求，均对无人驾驶的安全性具有重大挑战。

技术实现思路

1、针对现有的视觉深度估计方法难以同时满足无人驾驶场景下精度与效率需求的问题，本发明提供一种单目视觉深度估计方法及计算机可读存储介质。

2、本发明的技术方案提供一种基于激光雷达的单目视觉深度估计方法，包括如下步骤：

3、s1.准备步骤：

4、在世界坐标系下，预先设定距离序列d，其中每一个距离值记作di，i为计数量。以每一距离值di选取多个到基准点距离相等的地面点构成点集

5、对每一点集解算出其中的所有点在像素坐标系下的二维坐标wi,j(uj,vj)，其中j为该点集中点的计数。对每一点集中所有点在像素坐标系下的二维坐标wi,j(uj,vj)进行曲线拟合得到曲线序列fi(u,v)，i为拟合曲线的计数；

6、s2.确定障碍物接地点步骤：

7、在图像数据中识别出障碍物的目标框，将目标框的下边缘中点作为障碍物的接地点，其坐标记为b(ub,vb)；

8、s3.坐标插值步骤

9、对于接地点为b(ub,vb)的障碍物，在曲线序列fi(u,v)找到与接地点为b(ub,vb)相邻的两条拟合曲线fk(u,v)与fk+1(u,v)；

10、通过在拟合曲线fk(u,v)与拟合曲线fk+1(u,v)间做距离插值得到接地点b(ub,vb)的距离值

11、优选地，所述s1准备步骤包括：

12、s12.取点步骤：

13、预定一个距离序列d，对于其中的每一个距离序列di，在世界坐标系下确定点集pdi使得对于任一地面点均有lp＝di，其中lp为点p到基准点的距离。

14、s13.点集映射步骤：

15、对于每一个点集通过第一外参矩阵将其中的每一地面点映射到激光雷达坐标系下得到其在激光雷达坐标系下的对应点的坐标，通过第二外参矩阵以及相机的内参矩阵得到激光雷达坐标系下的对应点的坐标在像素坐标系下的坐标wi,j(uj,vj)，其中j为该点集中点的计数。

16、s14.曲线拟合步骤

17、对从属于同一点集下的所有点对应于像素坐标系下的坐标wi,j(uj,vj)，通过拟合得到所有像素坐标的一条拟合曲线fi(u,v)，进而对应于前述的距离序列d得到一组拟合曲线序列f(u,v)。

18、优选地，所述s13点集映射步骤中的第一外参矩阵通过标定激光雷达与世界坐标系得到；第二外参矩阵通过联合标定激光雷达与单目摄像头得到。

19、优选地，所述s14曲线拟合步骤中的所述拟合曲线为多项式曲线，所述s3坐标插值步骤中的插值方式为线性插值。

20、优选地，所述s12取点步骤中的所述地面点在相机指向的左右90度范围内的半圆形区域内选定。

21、优选地，所述距离序列di的步长为10m，所述点集中地面点的取点间隔为0.01m。

22、本发明的技术方案还提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使所述处理器执行上述任一项所述的基于激光雷达的单目视觉深度估计方法。

23、本发明的基于激光雷达的单目视觉深度估计方法采用了先拟合然后实时插值的计算方法，由于大计算量的拟合过程是在运行前进行的，该部分的计算时间并不影响系统的实时性，在运行过程中只需要找到两条相邻曲线做简单的距离插值即可，因此其实时计算量小，方法简单，易于实现，能够极大的提升系统运行时的深度估计速度。

技术特征：

1.一种基于激光雷达的单目视觉深度估计方法，其特征在于，包括如下步骤：

2.如权利要求1所述的基于激光雷达的单目视觉深度估计方法，其特征在于，所述s1准备步骤包括：

3.如权利要求2所述的基于激光雷达的单目视觉深度估计方法，其特征在于，所述s13点集映射步骤中的第一外参矩阵通过标定激光雷达与世界坐标系得到；第二外参矩阵通过联合标定激光雷达与单目摄像头得到。

4.如权利要求2所述的基于激光雷达的单目视觉深度估计方法，其特征在于，所述s14曲线拟合步骤中的所述拟合曲线为多项式曲线，所述s3坐标插值步骤中的插值方式为线性插值。

5.如权利要求2所述的基于激光雷达的单目视觉深度估计方法，其特征在于，所述s12取点步骤中的所述地面点在相机指向的左右90度范围内的半圆形区域内选定。

6.如权利要求5所述的基于激光雷达的单目视觉深度估计方法，其特征在于，所述距离序列di的步长为10m，所述点集中地面点的取点间隔为0.01m。

7.一种计算机可读存储介质，其特征在于，存储有计算机程序，所述计算机程序被处理器执行时，使所述处理器执行如权利要求1-6任一项所述的基于激光雷达的单目视觉深度估计方法。

技术总结
本发明提供一种单目视觉深度估计方法及计算机可读存储介质，包括如下步骤：针对预先设定距离序列D中的每一个距离值D<subgt;i</subgt;得到其点集在像素坐标系下的二维坐标W<subgt;i,j</subgt;并进行曲线拟合得到曲线序列f<subgt;i</subgt;；在图像数据中识别出障碍物的目标框，目标框的下边缘中点为障碍物的接地点B；在曲线序列f<subgt;i</subgt;中找到与接地点为B(u<subgt;b</subgt;,v<subgt;b</subgt;)相邻的两条拟合曲线f<subgt;k</subgt;与f<subgt;k+1</subgt;；在两条拟合曲线间插值得接地点B的距离值该基于激光雷达的单目视觉深度估计方法采用了先拟合然后实时插值的计算方法，由于大计算量的拟合过程是在运行前进行的，因此不影响系统的实时性，在运行过程中只需要找到两条相邻曲线做简单的距离插值即可，能够大幅提升系统运行时的深度估计速度。

技术研发人员：张帅乾,张保俊,袁广驰,王炜杰,占也
受保护的技术使用者：安徽海博智能科技有限责任公司
技术研发日：
技术公布日：2024/1/14