用于目标速度估算的雷达视觉融合的制作方法

本发明主题涉及用于目标速度估算的雷达视觉融合。

背景技术：

使用传感器的信息和数据采集日益可用于各种各样的平台，包括个人便携式装置、车辆和计算装置。许多平台利用多种类型的传感器。在各种种类的车辆的情况下，例如，除了其它传感器(红外线、雷达、视觉(相机))之外的全球定位系统(GPS)的使用正在增加。通常，由每种类型的传感器采集的信息用于不同目的。因此，希望提供一种用于目标速度估算的雷达和相机系统的融合。

技术实现要素：

在本发明的一个示例性实施例中，确定来自移动平台的目标速度的方法包括使用雷达系统获得目标相对于移动平台的位置和径向速度；基于目标相对于移动平台的运动使用视觉系统来获得光流矢量；基于光流矢量估算目标的主运动矢量；以及使用处理器处理位置、径向速度和主运动矢量，以及确定二维中的目标速度。

在本发明的另一个示例性实施例中，用以确定目标速度的移动平台上的融合系统包括雷达系统，其配置成获得目标相对于移动平台的位置和径向速度；视觉系统，其配置成基于目标相对于移动平台的运动来获得光流矢量，以及基于该光流矢量估算主运动矢量；以及处理器，其配置成基于位置、径向速度和主运动矢量确定目标的速度。

本发明的上述特征和优点以及其它特征和优点从结合附图的下列详细描述中显而易见。

附图说明

其它特征、优点和细节，仅以举例的方式出现在以下对实施例的详细描述中，详细描述参考了附图，在附图中：

图1是根据实施例的融合系统的框图；

图2示出了根据实施例的用于融合系统的获得信息和期望信息；

图3是根据实施例确定目标速度的方法的处理流程；

图4示出了根据图3中示出的处理流程由雷达系统进行的目标和RoI标识以及位置确定；

图5示出了根据图3中示出的处理流程用于RoI中的点的光流的计算；以及

图6示出了根据图3中示出的处理流程确定的目标的二维速度。

具体实施方式

以下描述仅是示例的性质，并不意在限制本公开、其应用或用途。应当理解，在整个附图中，对应的参考标号指示相同或相应的部分和特征。

如上所述，许多平台具有用于不同目的采集数据的多种类型的传感器。例如，GPS接收器用于确定位置，视觉或相机系统可用于探测横向运动(角速度)，以及雷达系统测量范围和纵向速度。本文详述的系统和方法的实施例涉及融合从雷达系统和视觉系统获得的信息以克服每个系统的局限性。具体地说，实施例涉及基于雷达数据和视觉数据的融合估算目标速度。尽管出于说明目的示出了具有融合系统的汽车的示例性应用，但实施例不限于任何特定平台。

图1是根据实施例的融合系统100的框图。尽管出于说明目的在图1中示出为容纳在一起，但融合系统100可以在平台的不同部分处采用不同部件布置。雷达系统110包括发射部分113和接收部分115，其可在收发机布置中各自使用不同天线117或共享天线117。雷达系统110发送射频能量并接收从目标150反射的反射能量。反射能量基于雷达系统110和目标150之间的相对运动关于入射发射能量在频率上偏移。该频率偏移(被称为多普勒频移)可用于确定纵向速度(沿视线的相对速度)。从发射到接收的时间可以用于确定从雷达系统110到目标150的范围。融合系统100还包括视觉系统120，该视觉系统120包括相机123和图像处理器125。图像处理器125可使用采用相机123获得的图像来确定目标150相对于视觉系统120的角速度。融合系统100进一步包括处理部分130。该处理部分130包括一个或多个存储装置133和一个或多个处理器135。存储装置133可以存储指令以及由雷达系统110和视觉系统120中一个或二者获得的数据。处理器135基于来自雷达系统110和视觉系统120的信息的融合确定目标150的二维速度，如下面进一步讨论。

图2示出了根据实施例用于融合系统100的获得信息和期望信息。融合系统100可以例如为平台101(诸如车辆)的一部分。融合系统100使用雷达系统110获得纵向速度矢量220。融合系统100使用视觉系统120获得横向速度矢量230。正如所述以及根据实施例在下面进一步讨论，融合系统100基于来自雷达系统110和视觉系统120的信息(包括纵向速度矢量220和横向速度矢量230)来确定目标150的二维速度210。目标150可以为车辆、行人或任何其它移动物体。一旦确定目标的二维速度210，信息可促进大量应用。例如，通过估算目标150的二维速度210，目标150的位置在某一将来时间可以被预测，使得可以采取威胁评价(例如，潜在碰撞的确定)或自主控制决定(例如，用以避免碰撞的规避动作)。由于假定了平台101和目标150的平面布置，所以对二维速度210关注。在替代实施例中，可以将第三维度加入到估算和后续应用中。

图3是根据实施例确定目标150速度(210)的方法的处理流程。在框310处，使用雷达系统110确定目标150的位置p(包括至目标150的范围r)和径向速度rv。该过程开始于目标150的识别。在框320处，限定视觉系统120的关注区域(RoI)包括采用雷达系统110校准视觉系统120。校准的视觉系统120具有已知的参数诸如焦距、光学中心、失真以及相对于平台101的三维安装位置。鉴于这些参数，可以确定一对一映射函数以将来自地面(或接近地面)的像素映射到平台坐标系中的点，反之亦然。以这种方式，校准了视觉系统120。该映射进一步讨论如下。在框330处，计算RoI中的点的光流涉及使用视觉系统120获得两个或更多个图像帧，以及使用已知方程来确定光流矢量或目标150相对于视觉系统120的运动。在框340处，聚群用于计算的光流矢量上以便查找主运动q＝(qu,qv)。如果它们在幅度和取向方面类似，则聚群涉及将附近内的两个光流矢量分配到相同组中。示例性聚群算法包括图形分区、均值偏移和分水线。u-v坐标系是图像坐标系。在框350处，计算目标速度(二维速度210)包括使用以下详述的最小化方程。

主运动矢量q＝(qu,qv)、范围r和径向速度rv、径向速度s和方位角θ均为使用雷达系统110获得的输入。因此，在框350处，获得二维速度210作为解决方法以最小化下式：

目标150位置矢量p由下式给出：

p＝(r cos θ,r sin θ)^T [方程2]

由雷达系统110提供的径向速度s的精确度由σ表示。该值是提供有雷达系统110的规范的一部分。Σ是代表主运动矢量q估算的误差的二对二协方差矩阵。凭经验地，可以使用来自RoI的光流的样本协方差矩阵。h(v,p)表示将(雷达系统110的)自上而下的视图x-y坐标系中的位置p处的二维速度210映射到(视觉系统120的)u-v坐标系中的运动矢量q的函数。h(v,p)由相机校准过程预先确定，该相机校准过程为框320的一部分并假定目标150正在平坦地面上移动。该假定赞同平台101和目标150的平面布置的假定。

图4-6示出了参照图3讨论的用于示例性目标150的过程。示例性目标150为货车。图4示出了通过雷达系统110的目标和RoI410规范以及位置确定(框310和320)。通过雷达系统110的目标识别由“+”指示。图5示出了RoI410中的点的光流的计算(框330)。同样示出了示例性主运动矢量q510(框340)。通过领域、范围、方位中的其高度以及径向和纵向速度二者来确定每个主运动矢量q510。图5还示出了示例性非主运动矢量515。图6示出了采用方程1中示出的最小化方程确定的目标150的二维速度210(框350)。

虽然本发明已经参照示例性实施例进行了描述，但本领域技术人员应当理解，在不偏离本发明范围的前提下，可以做出各种变化，并且可以用等效物来替代其元件。此外，可作出许多修改以使特定的情况或材料适应本发明的教导而不偏离其实质范围。因此，其意图是，本发明并不限于所公开的具体实施例，而是本发明将包括落入本申请范围之内的所有实施例。