基于单目视觉的目标深度估计方法、装置及车辆与流程

本公开涉及自动驾驶技术，尤其涉及一种基于单目视觉的目标深度估计方法、装置及车辆。

背景技术：

1、随着人们对汽车安全型和舒适性需求的日益增长，智能驾驶技术受到了广泛的关注和研究。环境感知是实现汽车智能化的重要基础。目标深度估计，即估计目标物与车辆中设置的摄像头之间的纵向距离(也可以近似为目标物与车辆之间的纵向距离)，是环境感知中的一个重要环节。

2、现有技术中，主要是利用空间测量方式，并依赖相机位姿数据进行计算，以实现对目标深度估计。但是，由于需要依赖相机位姿数据，从而导致计算量大，进而导致计算速度较慢，难以满足实时性要求。

技术实现思路

1、本公开提供了一种基于单目视觉的目标深度估计方法、装置及车辆，以解决现有技术中利用空间测量方式来进行目标深度估计，难以满足实时性要求的问题。

2、根据本公开第一方面，提供了一种基于单目视觉的目标深度估计方法，包括：

3、获取车辆在行驶过程中，所述车辆上设置的摄像机采集获取的目标物的原始视频帧数据；并从所述原始视频帧数据中按照时间的顺序，抽取多个目标图像，以由所述多个目标图像构成目标视频帧数据；

4、分别识别每个目标图像中的目标物，以获取所述目标物的实际像素坐标；

5、按照时间顺序，依次确定所述目标视频帧数据中除了时间最晚的目标图像之外的其他目标图像中的目标物的预测像素坐标；其中，所述每个其他目标图像中的目标物的预测像素坐标是基于与之相邻的上一个目标图像中的目标物的实际像素坐标，获取的初始深度值、所述摄像机的参数信息和所述车辆的行驶信息，以及预设的运动模型而确定的；

6、根据其他目标图像中的目标物的预测像素坐标和实际像素坐标，以更新获取所述时间最晚的目标图像中目标物的目标深度值；其中，所述深度值用于表征采集所述时间最晚的目标图像时所述目标物与所述摄像机之间的纵向距离的估计值。

7、根据本公开第二方面，提供了一种基于单目视觉的目标深度估计装置，包括：

8、获取单元，用于获取车辆在行驶过程中，所述车辆上设置的摄像机采集获取的目标物的原始视频帧数据；并从所述原始视频帧数据中按照时间的顺序，抽取多个目标图像，以由所述多个目标图像构成目标视频帧数据；

9、识别单元，用于分别识别每个目标图像中的目标物，以获取所述目标物的实际像素坐标；

10、预测单元，用于按照时间顺序，依次确定所述目标视频帧数据中除了时间最晚的目标图像之外的其他目标图像中的目标物的预测像素坐标；其中，所述每个其他目标图像中的目标物的预测像素坐标是基于与之相邻的上一个目标图像中的目标物的实际像素坐标，获取的初始深度值、所述摄像机的参数信息和所述车辆的行驶信息，以及预设的运动模型而确定的；

11、更新单元，用于根据其他目标图像中的目标物的预测像素坐标和实际像素坐标，以更新获取所述时间最晚的目标图像中目标物的目标深度值；其中，所述深度值用于表征采集所述时间最晚的目标图像时所述目标物与所述摄像机之间的纵向距离的估计值。

12、根据本公开第三方面，提供了一种车控设备，包括存储器和处理器；其中，

13、所述存储器，用于存储计算机程序；

14、所述处理器，用于读取所述存储器存储的计算机程序，并根据所述存储器中的计算机程序执行如第一方面所述的基于单目视觉的目标深度估计方法。

15、根据本公开第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如第一方面所述的基于单目视觉的目标深度估计方法。

16、根据本公开第五方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时，实现如第一方面所述的基于单目视觉的目标深度估计方法。

17、本公开提供的基于单目视觉的目标深度估计方法、装置及车辆，包括：获取车辆在行驶过程中，车辆上设置的摄像机采集获取的目标物的原始视频帧数据；并从原始视频帧数据中按照时间的顺序，抽取多个目标图像，以由多个目标图像构成目标视频帧数据；分别识别每个目标图像中的目标物，以获取目标物的实际像素坐标；按照时间顺序，依次确定目标视频帧数据中除了时间最晚的目标图像之外的其他目标图像中的目标物的预测像素坐标；其中，每个其他目标图像中的目标物的预测像素坐标是基于与之相邻的上一个目标图像中的目标物的实际像素坐标，获取的初始深度值、摄像机的参数信息和车辆的行驶信息，以及预设的运动模型而确定的；根据其他目标图像中的目标物的预测像素坐标和实际像素坐标，以更新获取时间最晚的目标图像中目标物的目标深度值；其中，深度值用于表征采集时间最晚的目标图像时目标物与摄像机之间的纵向距离的估计值。本方案提供的基于单目视觉的目标深度估计方法、装置及车辆中，可以利用目标图像中目标物的实际像素坐标，以及预设的运动模型，确定出与之相邻的下一个目标图像中目标物的预测像素坐标；然后，可以根据获取的目标图像中目标物的实际像素坐标与预测像素坐标之间的距离，以更新获取目标深度值。与空间量测方式相比，不依赖位姿数据，仅对深度值单一参数优化求解，计算量小，速度快，可以满足实时性要求。

技术特征：

1.一种基于单目视觉的目标深度估计方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，当所述目标图像为m个时，所述按照时间顺序，依次确定所述目标视频帧数据中除了时间最晚的目标图像之外的其他目标图像中的目标物的预测像素坐标，包括：

3.根据权利要求2所述的方法，其特征在于，m＝3，则所述按照时间从晚到早的顺序，从所述目标视频帧数据中，根据排序第n的目标图像中的目标物的实际像素坐标，获取的初始深度值、所述摄像机的参数信息和所述车辆的行驶信息，以及预设的运动模型，确定排序第n+1的目标图像中的预测像素坐标，将n加1，重复所述按照时间从晚到早的顺序的步骤，直至确定所述目标视频帧数中排序第m的目标图像中目标物的预测像素坐标，包括：

4.根据权利要求3所述的方法，其特征在于，所述摄像机的参数信息包括像元尺寸、焦距、偏航角、俯仰角、主点坐标；所述车辆的行驶信息包括车辆速度信息；

5.根据权利要求3所述的方法，其特征在于，所述摄像机的参数信息包括像元尺寸、焦距、偏航角、俯仰角、主点坐标；所述车辆的行驶信息包括车辆速度信息；

6.根据权利要求1-5任一项所述的方法，其特征在于，所述分别识别每个目标图像中的目标物，以获取所述目标物的实际像素坐标，包括：

7.根据权利要求1所述的方法，其特征在于，当所述目标图像为m个时，所述按照时间顺序，依次确定所述目标视频帧数据中除了时间最晚的目标图像之外的其他目标图像中的目标物的预测像素坐标，还包括：

8.一种基于单目视觉的目标深度估计装置，其特征在于，包括：

9.一种车控设备，其特征在于，包括存储器和处理器；其中，

10.一种车辆，其特征在于，包括车控设备；

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现上述权利要求1-7任一项所述的方法。

12.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时，实现上述权利要求1-7任一项所述的方法。

技术总结
本公开提供的一种基于单目视觉的目标深度估计方法、装置及车辆，涉及自动驾驶技术，包括：获取摄像机采集获取的目标物的原始视频帧数据；从原始视频帧数据中抽取多个目标图像，由多个目标图像构成目标视频帧数据；识别目标图像中的目标物以获取目标物的实际像素坐标；按照时间顺序依次确定目标视频帧数据中除了时间最晚的目标图像之外的其他目标图像中的目标物的预测像素坐标；根据预测像素坐标和实际像素坐标，以更新获取目标深度值。可利用目标图像中目标物的实际像素坐标，确定与之相邻的下一个目标图像中目标物的预测像素坐标；然后根据实际像素坐标与预测像素坐标之间的距离，以更新获取目标深度值，从而可以满足实时性要求。

技术研发人员：苏国威,张超
受保护的技术使用者：北京四维图新科技股份有限公司
技术研发日：
技术公布日：2024/1/13