根据图像数据的距离确定的制作方法

本公开涉及用于使用图像数据确定从相机到对象的距离的技术。

背景技术：

1、车辆通常包括传感器。传感器可以提供关于车辆操作的数据，例如车轮速度、车轮取向以及发动机和变速器数据(例如，温度、燃料消耗等)。传感器可检测车辆的位置和/或取向。传感器可以是全球定位系统(gps)传感器；加速度计，诸如压电或微机电系统(mems)；陀螺仪，诸如速率、环形激光器或光纤陀螺仪；惯性测量单元(imu)；和/或磁力计。传感器可以检测外部世界，例如车辆的周围环境的对象和/或特性，诸如其他车辆、道路车道标记、交通信号灯和/或标志、行人等。例如，传感器可以是雷达传感器、扫描激光测距仪、光检测和测距(激光雷达)装置和/或图像处理传感器(诸如相机)。

技术实现思路

1、本公开提供了用于使用来自相机的图像数据确定从所述相机到对象的距离的技术。相机可以例如安装在车辆上。具体地，所述技术可以使用单目图像数据，即，来自单个相机而不是一对立体相机的图像数据。所述技术可以包括：根据图像数据生成深度图，在图像数据中检测对象，将围绕对象的边界框应用于深度图，掩蔽深度图，以及基于掩蔽的深度图来确定到对象的距离。掩蔽深度图包括用边界框中距相机最近的像素的深度值掩蔽包含在边界框中的像素，使得边界框中的所有像素都具有最近像素的深度值。

2、与用于根据图像确定距离的先前技术相比，所述技术可以提供更高的准确度。先前技术通常对相机的固有和外部校准高度敏感，但是本文的技术独立于相机的校准并且独立于相机在车辆上的放置。因此，更高的准确度和降低的敏感度可以允许车辆放弃用于检测距离的其他传感器，诸如雷达或激光雷达传感器，而支持相机，或者通过将来自图像数据的确定的距离与来自雷达和/或激光雷达传感器的数据融合来获得增加的准确度。

3、一种计算机包括处理器和存储器，所述存储器存储可由所述处理器执行以进行以下操作的指令：从相机接收图像数据，根据所述图像数据生成深度图，在所述图像数据中检测对象，将围绕所述对象的边界框应用于所述深度图，通过将所述深度图中的所述边界框中的像素的深度值设置为所述边界框中的最近像素的深度值来掩蔽所述深度图，以及基于所述掩蔽的深度图来确定距所述对象的距离。所述最近像素在所述边界框中的所述像素中距所述相机最近。

4、深度图可以是有序深度图。

5、图像数据可以是单目图像数据。

6、确定距所述对象的所述距离可包括执行机器学习程序，并且所述掩蔽的深度图为所述机器学习程序的输入。机器学习程序可以是距离回归器。

7、所述对象可以是第一对象，所述边界框可以是第一边界框，在所述图像数据中检测所述第一对象可以包括在所述图像数据中检测第二对象，并且所述指令还可以包括用于在掩蔽所述深度图之前将围绕所述第二对象的第二边界框应用于所述深度图的指令。所述像素可以是第一像素，所述最近像素可以是第一最近像素，所述第二边界框可以包括第二像素，所述第二像素包括第二最近像素，所述第二最近像素可以在所述第二边界框中的所述第二像素中距所述相机最近，所述第二边界框可以与所述第一边界框重叠，所述第一最近像素距所述相机可以比所述第二最近像素距所述相机更近，并且用于掩蔽所述深度图的指令可以包括用于将所述第二边界框中位于所述第一边界框内的所述第二像素的所述深度值设置为所述第一最近像素的所述深度值的指令。用于掩蔽所述深度图的指令可以包括用于将所述第二边界框中位于所述第一边界框外的所述第二像素的所述深度值设置为所述第二最近像素的所述深度值的指令。

8、第二最近像素可以在第一边界框内。

9、所述指令还可以包括用于根据图像数据确定对象的类型的指令。确定所述对象的所述类型可包括执行机器学习程序。图像数据可以是机器学习程序的输入。

10、所述机器学习程序可以是第一机器学习程序，确定距所述对象的所述距离可包括执行第二机器学习程序，并且所述第一机器学习程序和所述第二机器学习程序可为一起经训练的程序。

11、确定距所述对象的所述距离可基于所述对象的所述类型。

12、在所述图像数据中检测所述对象可包括执行机器学习程序，并且所述图像数据可为所述机器学习程序的输入。机器学习程序可以是特征金字塔网络。

13、生成所述深度图可包括执行机器学习程序，并且所述图像数据可为所述机器学习程序的输入。机器学习程序可以是使用沙漏网络的深度神经网络。

14、所述指令还可以包括用于基于距对象的距离来致动车辆部件的指令。

15、一种方法包括：从相机接收图像数据，根据所述图像数据生成深度图，在所述图像数据中检测对象，将围绕所述对象的边界框应用于所述深度图，通过将所述深度图中的所述边界框中的像素的深度值设置为所述边界框中的最近像素的深度值来掩蔽所述深度图，以及基于所述掩蔽的深度图来确定距所述对象的距离。所述最近像素在所述边界框中的所述像素中距所述相机最近。

技术特征：

1.一种方法，其包括：

2.如权利要求1所述的方法，其中所述深度图是有序深度图。

3.如权利要求1所述的方法，其中所述图像数据是单目图像数据。

4.如权利要求1所述的方法，其中确定距所述对象的所述距离包括执行机器学习程序，并且所述掩蔽的深度图为所述机器学习程序的输入。

5.如权利要求1所述的方法，其中

6.如权利要求5所述的方法，其中

7.如权利要求6所述的方法，其中掩蔽所述深度图包括将所述第二边界框中位于所述第一边界框外的所述第二像素的所述深度值设置为所述第二最近像素的所述深度值。

8.如权利要求6所述的方法，其中所述第二最近像素位于所述第一边界框内。

9.如权利要求1所述的方法，其还包括根据所述图像数据确定所述对象的类型。

10.如权利要求9所述的方法，其中确定所述对象的所述类型包括执行机器学习程序。

11.如权利要求10所述的方法，其中所述机器学习程序是第一机器学习程序，确定距所述对象的所述距离包括执行第二机器学习程序，并且所述第一机器学习程序和所述第二机器学习程序为一起经训练的程序。

12.如权利要求9所述的方法，其中确定距所述对象的所述距离基于所述对象的所述类型。

13.如权利要求1所述的方法，其中在所述图像数据中检测所述对象包括执行机器学习程序，并且所述图像数据为所述机器学习程序的输入。

14.如权利要求1所述的方法，其中生成所述深度图包括执行机器学习程序，并且所述图像数据为所述机器学习程序的输入。

15.一种计算机，其包括处理器和存储器，所述存储器存储指令，所述指令能够由所述处理器执行以执行如权利要求1–14中一项所述的方法。

技术总结
本公开提供“根据图像数据的距离确定”。一种计算机包括处理器和存储器，所述存储器存储可由所述处理器执行以进行以下操作的指令：从相机接收图像数据，根据所述图像数据生成深度图，在所述图像数据中检测对象，将围绕所述对象的边界框应用于所述深度图，通过将所述深度图中的所述边界框中的像素的深度值设置为所述边界框中的最近像素的深度值来掩蔽所述深度图，以及基于所述掩蔽的深度图来确定距所述对象的距离。所述最近像素在所述边界框中的所述像素中距所述相机最近。

技术研发人员：Z·伊克巴尔,希塔·瑞瓦拉,A·马利克,古吉特·辛格,维贾伊·纳加萨米
受保护的技术使用者：福特全球技术公司
技术研发日：
技术公布日：2024/1/11