运动向量场的确定方法、装置、设备、存储介质和车辆与流程

本发明实施例涉及图像处理技术领域，尤其涉及一种运动向量场的确定方法、装置、设备、存储介质和车辆。

背景技术：

随着科技的发展，越来越多的技术领域需要对场景中物体的运动状态进行采集、分析和估计。例如无人驾驶领域中，无人车集成了雷达、摄像头、卫星定位、自主导航以及多种传感器等设备，无人车可以自主定位、确定导航路线、自动识别交通指示牌和路况等信息，通过大量数据信息的来驱动无人车向目的地址安全行驶。因此，无人车对于外界场景中物体的运动状态进行估计是十分重要的，以提高无人车的安全性能。

现有技术使用摄像头或相机等图像采集设备，通过对场景图像进行采集，以获得不同时刻的场景图像。并利用特征匹配等算法，确定不同时刻的场景图像中的同一物体。从而根据同一物体在场景图像中的运动距离和时间差，计算得到物体的运动速度，并确定物体的运动方向。

然而，现有技术估计的物体的运动状态均是以图像为标准，而在图像中相同的运动状态在实际场景中可能千差万别。因此现有技术无法确定物体在实际场景中的绝对运动状态，对于运动向量场的估计准确较低。

技术实现要素：

本发明实施例提供了一种运动向量场的确定方法、装置、设备、存储介质和车辆，能够确定场景中空间点的实际运动向量场，提高运动向量场估计的准确度。

第一方面，本发明实施例提供了一种运动向量场的确定方法，包括：

依据图像采集器采集的不同帧图像，确定场景中空间点的光流；

依据雷达采集的空间点数据，确定场景中空间点在图像采集器坐标系下的运动速度；

依据雷达采集的空间点数据，确定空间点在图像平面上的投影的一阶导数；

依据图像采集器的内参、图像采集器在全局坐标系下的旋转矩阵、图像采集器的运动速度、图像采集器的角速度、场景中空间点位姿、空间点的光流、空间点在图像采集器坐标系下的运动速度以及空间点在图像平面上的投影的一阶导数，确定场景中空间点的速度矢量。

第二方面，本发明实施例提供了一种运动向量场的确定装置，包括：

光流确定模块，用于依据图像采集器采集的不同帧图像，确定场景中空间点的光流；

速度确定模块，用于依据雷达采集的空间点数据，确定场景中空间点在图像采集器坐标系下的运动速度；

导数确定模块，用于依据雷达采集的空间点数据，确定空间点在图像平面上的投影的一阶导数；

速度矢量确定模块，用于依据图像采集器的内参、图像采集器在全局坐标系下的旋转矩阵、图像采集器的运动速度、图像采集器的角速度、场景中空间点位姿、空间点的光流、空间点在图像采集器坐标系下的运动速度以及空间点在图像平面上的投影的一阶导数，确定场景中空间点的速度矢量。

第三方面，本发明实施例提供了一种设备，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明任意实施例所述的运动向量场的确定方法。

第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任意实施例所述的运动向量场的确定方法。

第五方面，本发明实施例还提供了一种车辆，包括车体，所述车体上设置有本发明任意实施例提供的设备，以及与所述设备通信连接的图像采集器和雷达。

本发明实施例通过图像采集器实时或定时地采集不同时刻的不同帧图像，依据不同帧图像确定场景中空间点的光流；同时通过雷达采集场景中空间点数据，确定空间点在图像采集器坐标系下的运动速度以及空间点在图像平面上的投影的一阶导数；最终依据图像采集器的内参、图像采集器在全局坐标系下的旋转矩阵、图像采集器的运动速度、图像采集器的角速度、场景中空间点位姿以及确定的空间点的光流、空间点在图像采集器坐标系下的运动速度和空间点在图像平面上的投影的一阶导数，确定场景中空间点的速度矢量。本发明实施例结合光流以及雷达采集到的图像的深度信息，将二维图像中的空间点立体化，通过从不同的角度确定空间点在二维场景中的运动速度，利用其对等关系确定场景中空间点的实际运动向量场，提高运动向量场估计的准确度。

附图说明

图1为本发明实施例一提供的一种运动向量场的确定方法的流程图；

图2为本发明实施例二提供的一种运动向量场的确定方法的流程图；

图3为本发明实施例三提供的一种运动向量场的确定装置的结构示意图；

图4为本发明实施例四提供的一种设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明实施例作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明实施例，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明实施例相关的部分而非全部结构。

实施例一

图1为本发明实施例一提供的一种运动向量场的确定方法的流程图，本实施例可适用于对场景中空间点的运动向量场进行估计的情况，该方法可由运动向量场的确定装置来执行。该方法具体包括如下步骤：

s110、依据图像采集器采集的不同帧图像，确定场景中空间点的光流。

在本发明具体实施例中，图像采集器是指摄像头、相机和摄像机等图像采集设备，可以实时或定时的采集连续帧的图像。场景是指图像的采集对象，其中包含有相对运动或静止的物体，而空间点是指构成场景中物体的特征点，该特征点可以通过该特征提取等方式获得。光流是指空间运动物体在观察成像平面上的像素运动的瞬时速度，是物体在三维真实世界中的运动在图像上的二维速度矢量投影。光流可以利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，计算出相邻帧之间物体的运动信息。本实施例不对特征点的确定方式以及光流的计算方式进行限定，任何能够确定场景中特征点的方式以及任何能够计算光流的方式都可以应用于本实施例中。

本实施例利用图像采集器进行图像采集，依据采集到的不同帧图像，可以利用相邻两帧或相邻多帧图像计算场景中空间点的光流。具体的，在无人车场景中，图像采集器可以安装于无人车的周边，例如前端和/或后端，用于感知无人车的周围环境，以使无人车在静止或行驶的过程中，能够采集移动方向上的场景图像，便于及时获取周边环境图像信息进行路况分析。相应的，在采集到不同帧图像后，利用相邻帧图像计算场景中空间点的光流，即空间点在三维真实世界中的运动在图像上的二维速度矢量投影，包括在图像上投影的运动速度和运动方向。

s120、依据雷达采集的空间点数据，确定场景中空间点在图像采集器坐标系下的运动速度。

在本发明具体实施例中，雷达是指利用电磁波探测目标的电子设备，雷达发射电磁波对目标进行照射并接收目标回波，依据发射波与回波之间的频率变化和时间差等信息，确定目标至电磁波发射点的距离、距离变化率、径向速度、方位以及高度等信息。雷达采集的空间点数据可以包括对应的空间点在全局坐标系下的三维坐标信息、颜色信息、灰度信息和深度信息等多维度信息。图像采集器坐标系可以以小孔摄像机模型的聚焦中心为原点，以图像采集器光轴为z轴建立的三维直角坐标系，x轴和y轴一般与图像物理坐标系中的x轴和y轴平行，且采取前投影模型。相应的，场景中每一空间点都可以用图像采集器坐标系来表示其具体的位置信息，图像采集器坐标系与全局坐标系之间的关系可以用旋转矩阵与平移向量来描述。

具体的，无人车中采用的雷达可以分为毫米波雷达和激光雷达。若采用毫米波雷达，则依据不同时刻的毫米波雷达数据确定空间点在全局坐标系下的运动速度；依据毫米波雷达与图像采集器之间的相对位姿，将空间点在全局坐标系下的运动速度转换为在图像采集器坐标系下的运动速度。若采用激光雷达，则依据激光雷达与图像采集器之间的相对位姿，将空间点的点云数据投影到图像平面上得到深度图；依据不同时刻的深度图求得空间点在图像采集器坐标系下的运动速度。

s130、依据雷达采集的空间点数据，确定空间点在图像平面上的投影的一阶导数。

在本发明具体实施例中，雷达采集的空间点数据表示了空间点在三维空间上的位置关系，将三维空间中的点映射到二维平面上，即可获得以像素形式展现的二维图像，并求得空间点在图像平面上的投影的一阶导数。

s140、依据图像采集器的内参、图像采集器在全局坐标系下的旋转矩阵、图像采集器的运动速度、图像采集器的角速度、场景中空间点位姿、空间点的光流、空间点在图像采集器坐标系下的运动速度以及空间点在图像平面上的投影的一阶导数，确定场景中空间点的速度矢量。

在本发明具体实施例中，图像采集器的内参是与图像采集器自身特性相关的参数，比如图像采集器的焦距、主点坐标以及坐标轴倾斜参数等，可以由内参矩阵来表示。图像采集器在全局坐标系下的旋转矩阵可以理解为图像采集器与全局坐标系之间的坐标系朝向关系。图像采集器的运动速度为图像采集器的瞬时线速度，当图像采集器进行曲线运动时，还可以采用图像采集器的角速度来描述图像采集器的运动状态。图像采集器的运动速度和角速度都可以通过无人车上集成的惯性导航系统检测获得。场景中空间点位姿是指雷达采集到的空间点的6自由度数据。上述参数均可以通过无人车中的各个传感器检测获得。

可以理解的是，空间点的光流、空间点在图像采集器坐标系下的运动速度以及空间点在图像平面上的投影的一阶导数，从不同的角度均表示了空间点在二维平面上的运动速度，因此可以依据三者的对等关系来求得空间点的速度矢量。

可选的，本实施例可以通过联立如下公式，确定场景中空间点的速度矢量：

其中，k表示图像采集器的内参、r表示图像采集器在全局坐标系下的旋转矩阵、表示图像采集器在全局坐标系下的运动速度、表示图像采集器在全局坐标系下的角速度、x表示场景中空间点位姿、表示空间点的光流、表示空间点在图像采集器坐标系下的运动速度、j表示空间点在图像平面上的投影的一阶导数，以及[]×表示反对称矩阵运算，vobj表示场景中空间点的速度矢量。

本实施例的技术方案，通过图像采集器实时或定时地采集不同时刻的不同帧图像，依据不同帧图像确定场景中空间点的光流；同时通过雷达采集场景中空间点数据，确定空间点在图像采集器坐标系下的运动速度以及空间点在图像平面上的投影的一阶导数；最终依据图像采集器的内参、图像采集器在全局坐标系下的旋转矩阵、图像采集器的运动速度、图像采集器的角速度、场景中空间点位姿以及确定的空间点的光流、空间点在图像采集器坐标系下的运动速度和空间点在图像平面上的投影的一阶导数，确定场景中空间点的速度矢量。本发明实施例结合光流以及雷达采集到的图像的深度信息，将二维图像中的空间点立体化，通过从不同的角度确定空间点在二维场景中的运动速度，利用其对等关系确定场景中空间点的实际运动向量场，提高运动向量场估计的准确度。

实施例二

本实施例在上述实施例一的基础上，提供了运动向量场的确定方法的一个优选实施方式，能够依据公式计算得到空间点的速度矢量。图2为本发明实施例二提供的一种运动向量场的确定方法的流程图，如图2所示，该方法包括以下具体步骤：

s210、依据图像采集器采集的不同帧图像，确定场景中空间点的光流。

在本发明具体实施例中，利用图像采集器进行图像采集，依据采集到的不同帧图像，可以利用相邻两帧或相邻多帧图像计算场景中空间点的光流。图像中光流的计算方法包括基于区域或者基于特征的匹配方法、基于频域的方法以及基于梯度的方法等。本实施例不对光流的计算方法进行限定，任何可以计算图像光流信息的方法都可以应用在本实施例中。假设采用u＝[u,v]^t表示二维空间中的位置信息，则空间点的光流可以表示为

s220、依据雷达采集的空间点数据，确定场景中空间点在图像采集器坐标系下的运动速度。

在本发明具体实施例中，利用雷达进行空间点数据采集，假设采集到的空间点数据中空间点的三维空间位置信息为x，图像采集器的外参至少包括旋转矩阵rcam和平移向量tcam，其中，旋转矩阵rcam描述了全局坐标系的坐标轴相对于图像采集器坐标轴的方向，平移向量tcam描述了在图像采集器坐标系下空间原点的位置。鉴于图像采集器坐标系y与全局坐标系x之间的关系可以用旋转矩阵与平移向量来描述，因此空间点在图像采集器坐标系下的三维空间位置信息y可以表示为y＝rcam·x+tcam。进而可以求得场景中空间点在图像采集器坐标系下的运动速度

可选的，依据不同时刻的毫米波雷达数据确定空间点在全局坐标系下的运动速度；依据毫米波雷达与图像采集器之间的相对位姿，将空间点在全局坐标系下的运动速度转换为在图像采集器坐标系下的运动速度。

在本发明具体实施例中，可以采用毫米波雷达来确定空间点在图像采集器坐标系下的运动速度。具体的，毫米波雷达可以直接检测得到空间点在全局坐标系下的运动速度，进而依据毫米波雷达与图像采集器之间的相对位姿，将空间点在全局坐标系下的运动速度转换为在图像采集器坐标系下的运动速度。

可选的，依据激光雷达与图像采集器之间的相对位姿，将空间点的点云数据投影到图像平面上得到深度图；依据不同时刻的深度图求得空间点在图像采集器坐标系下的运动速度。

在本发明具体实施例中，可以采用激光雷达来确定空间点在图像采集器坐标系下的运动速度。具体的，当采用激光雷达时，激光雷达能够检测到空间点的点云数据，进而依据激光雷达与图像采集器之间的相对位姿即旋转矩阵和平移向量，将空间点的点云数据投影到图像平面上得到深度图。其中，深度图中的每个像素值代表的是物体到图像采集器坐标系下x轴和y轴所构成平面的距离。因此可以依据不同时刻的深度图求得空间点在图像采集器坐标系下的运动速度。值得注意的是，本实施例还可以采用深度相机或工业相机等能够检测图像深度信息的图像采集设备获取图像的深度信息。

s230、依据雷达采集的空间点数据，确定空间点在图像平面上的投影的一阶导数。

在本发明具体实施例中，雷达采集的空间点数据表示了空间点在三维空间上的位置关系，将三维空间中的点映射到二维平面上，即可获得以像素形式展现的二维图像，并求得空间点在图像平面上的投影的一阶导数。具体的，假设一阶导数表示为j，三维空间中空间点在全局坐标系x下经公式y＝rcam·x+tcam转换为图像采集器坐标系后为y＝[x,y,z]^t，二维空间中空间点在图像物理坐标系表示为a＝[u,v]^t。假设中间变量z＝k·y，其中为图像采集器的内参，其中fu和fv表示图像采集器在横纵坐标上的焦距，通常情况下相等，u0和v0表示相对于成像平面的主点坐标，s表示坐标轴倾斜参数，理想情况下为0，且由于a＝[z1/z3,z2/z3]，则得到空间点映射到图像物理坐标系中的坐标为[u,v]^t＝[fu·x/z,fv·y/z]^t。假设fu＝fv＝1，进而求得空间点在图像平面上的投影的一阶导数为

s240、通过联立如下公式，确定场景中空间点的速度矢量：

其中，k表示图像采集器的内参、r表示图像采集器在全局坐标系下的旋转矩阵、表示图像采集器在全局坐标系下的运动速度、表示图像采集器在全局坐标系下的的角速度、x表示场景中空间点位姿、表示空间点的光流、表示空间点在图像采集器坐标系下的运动速度、j表示空间点在图像平面上的投影的一阶导数，以及[]×表示反对称矩阵运算，vobj表示场景中空间点的速度矢量。

在本发明具体实施例中，参数k、r、以及x都可以通过无人车中的各个传感器检测获得。可以理解的是，空间点的光流、空间点在图像采集器坐标系下的运动速度以及空间点在图像平面上的投影的一阶导数，从不同的角度均表示了空间点在二维平面上的运动速度，因此可以依据三者的对等关系，通过联立来求得空间点的速度矢量。

本实施例的技术方案，通过计算二维图像的光流；并依据毫米波雷达或激光雷达采集到的空间点数据中的深度信息确定空间点在图像采集器坐标系下的运动速度；同时确定空间点在图像平面上的投影的一阶导数；最终依据公式，将图像采集器的内参、图像采集器在全局坐标系下的旋转矩阵、图像采集器的运动速度、图像采集器的角速度、场景中空间点位姿以及确定的空间点的光流、空间点在图像采集器坐标系下的运动速度和空间点在图像平面上的投影的一阶导数，确定场景中空间点的速度矢量。本发明实施例结合光流以及雷达采集到的图像的深度信息，将二维图像中的空间点立体化，通过从不同的角度确定空间点在二维场景中的运动速度，利用其对等关系确定场景中空间点的实际运动向量场，提高运动向量场估计的准确度。

实施例三

图3为本发明实施例三提供的一种运动向量场的确定装置的结构示意图，本实施例可适用于对场景中空间点的运动向量场进行估计的情况，该装置可实现本发明任意实施例所述的运动向量场的确定方法。该装置具体包括：

光流确定模块310，用于依据图像采集器采集的不同帧图像，确定场景中空间点的光流；

速度确定模块320，用于依据雷达采集的空间点数据，确定场景中空间点在图像采集器坐标系下的运动速度；

导数确定模块330，用于依据雷达采集的空间点数据，确定空间点在图像平面上的投影的一阶导数；

速度矢量确定模块340，用于依据图像采集器的内参、图像采集器在全局坐标系下的旋转矩阵、图像采集器的运动速度、图像采集器的角速度、场景中空间点位姿、空间点的光流、空间点在图像采集器坐标系下的运动速度以及空间点在图像平面上的投影的一阶导数，确定场景中空间点的速度矢量。

可选的，所述速度确定模块320包括：

全局坐标系下速度确定单元，用于依据不同时刻的毫米波雷达数据确定空间点在全局坐标系下的运动速度；

图像采集器坐标系下速度确定单元，用于依据毫米波雷达与图像采集器之间的相对位姿，将空间点在全局坐标系下的运动速度转换为在图像采集器坐标系下的运动速度。

可选的，所述速度确定模块320包括：

深度图确定单元，用于依据激光雷达与图像采集器之间的相对位姿，将空间点的点云数据投影到图像平面上得到深度图；

速度计算单元，用于依据不同时刻的深度图求得空间点在图像采集器坐标系下的运动速度。

可选的，所述速度矢量确定模块具体用于：

通过联立如下公式，确定场景中空间点的速度矢量：

其中，k表示图像采集器的内参、r表示图像采集器在全局坐标系下的旋转矩阵、表示图像采集器的运动速度、表示图像采集器的角速度、x表示场景中空间点位姿、表示空间点的光流、表示空间点在图像采集器坐标系下的运动速度、j表示空间点在图像平面上的投影的一阶导数，以及[]×表示反对称矩阵运算，vobj表示场景中空间点的速度矢量。

本实施例的技术方案，通过各个功能模块之间的相互配合，实现了二维图像的采集、三维信息的采集、光流的计算、坐标系的转换、空间点运动速度的计算、三维向二维的投影、导数的计算以及联立方程的求解等功能。本发明实施例结合光流以及雷达采集到的图像的深度信息，将二维图像中的空间点立体化，通过从不同的角度确定空间点在二维场景中的运动速度，利用其对等关系确定场景中空间点的实际运动向量场，提高运动向量场估计的准确度。

实施例四

图4为本发明实施例四提供的一种设备的结构示意图，图4示出了适于用来实现本发明实施例实施方式的示例性设备的框图。图4显示的设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

图4显示的设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图4所示，设备12以通用计算设备的形式表现。设备12的组件可以包括但不限于：一个或者多个处理器16，系统存储器28，连接不同系统组件(包括系统存储器28和处理器16)的总线18。

总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(isa)总线，微通道体系结构(mac)总线，增强型isa总线、视频电子标准协会(vesa)局域总线以及外围组件互连(pci)总线。

设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(ram)30和/或高速缓存存储器32。设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图4未显示，通常称为“硬盘驱动器”)。尽管图4中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如cd-rom,dvd-rom或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。系统存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明实施例各实施例的功能。

具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如系统存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明实施例所描述的实施例中的功能和/或方法。

设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该设备12交互的设备通信，和/或与使得该设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口22进行。并且，设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与设备12的其它模块通信。应当明白，尽管图中未示出，可以结合设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。

处理器16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的运动向量场的确定方法。

实施例五

本发明实施例五还提供一种计算机可读存储介质，其上存储有计算机程序(或称为计算机可执行指令)，该程序被处理器执行时用于执行一种运动向量场的确定方法，该方法包括：

依据图像采集器采集的不同帧图像，确定场景中空间点的光流；

依据雷达采集的空间点数据，确定场景中空间点在图像采集器坐标系下的运动速度；

依据雷达采集的空间点数据，确定空间点在图像平面上的投影的一阶导数；

依据图像采集器的内参、图像采集器在全局坐标系下的旋转矩阵、图像采集器的运动速度、图像采集器的角速度、场景中空间点位姿、空间点的光流、空间点在图像采集器坐标系下的运动速度以及空间点在图像平面上的投影的一阶导数，确定场景中空间点的速度矢量。

本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、rf等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明实施例操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c++，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或设备上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

另外，本发明实施例中还提供了一种车辆，包括车体，所述车体上设置有本发明任意实施例提供的设备，以及与所述设备通信连接的图像采集器和雷达。其中，所述雷达可以是激光雷达或毫米波雷达。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明实施例进行了较为详细的说明，但是本发明实施例不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。