雷达和视觉传感器系统的融合的制作方法

本发明涉及雷达和视觉传感器系统的融合。

车辆(例如，汽车、卡车、建筑设备、农用设备、自动化工厂设备)越来越多地配备有传感器系统，这些传感器系统便于增强或自动化的车辆操作。例如，当传感器系统检测到在车辆正前方的物体时，可向驾驶员提供警报，或者可实施自动制动或其它碰撞防止策略。由传感器系统获得的信息须便于检测和识别车辆周围的物体。一种类型的传感器系统、即光检测和测距(激光雷达)系统提供密集点云(即，密集的一组反射)，该密集点云能有助于识别所感兴趣的潜在区域，来用于进一步研究。但是，激光雷达系统具有气候和其它限制。因此，期望提供雷达和视觉传感器系统的融合。

技术实现要素：

在一个示例性实施例中，融合雷达系统和视觉传感器系统的方法包括获得由于射频(rf)能量的传输而产生的雷达反射。该方法还包括从一个或多个视觉传感器系统获得图像帧，并且基于雷达反射和图像帧产生感兴趣区域(roi)提案。提供与基于roi提案检测到的物体相关的信息。

除了这里描述的一个或多个特征以外，从雷达反射获得雷达图。雷达图指示在相应距离数值处的经处理反射的强度。

除了这里描述的一个或多个特征以外，从图像帧获得视觉特征图。获得视觉特征图包括使用神经网络处理图像帧。

除了这里描述的一个或多个特征以外，产生roi提案包括发现视觉特征图的特征和雷达图中的点的重叠。

除了这里描述的一个或多个特征以外，获得雷达图包括将三维集群投影到图像平面上。

除了这里描述的一个或多个特征以外，获得三维集群基于对雷达反射执行快速傅里叶转换来进行。

除了这里描述的一个或多个特征以外，获得视觉特征图包括执行卷积过程。

除了这里描述的一个或多个特征以外，执行卷积过程包括利用核矩阵执行图像帧的一系列卷积。

除了这里描述的一个或多个特征以外，提供信息包括向车辆的驾驶员提供显示，该车辆包括雷达系统和视觉传感器系统。

除了这里描述的一个或多个特征以外，提供信息是向包括雷达系统和视觉传感器系统的车辆的车辆系统提供，该车辆系统包括防撞系统、自适应巡航系统或者自主驾驶系统。

在另一示例性实施例中，融合系统包括雷达系统，以获得由于射频(rf)能量的传输而产生的雷达反射。该系统还包括视觉传感器系统和控制器，该视觉传感器系统用于从一个或多个视觉传感器系统获得图像帧，而该控制器用于基于雷达反射和图像帧产生感兴趣区域(roi)提案，并且提供与基于roi提案检测到的物体相关的信息。

除了这里描述的一个或多个特征以外，该控制器从雷达反射获得雷达图，该雷达图指示在相应距离数值处的经处理反射的强度。

除了这里描述的一个或多个特征以外，该控制器基于使用神经网络处理图像帧而获得视觉特征图。

除了这里描述的一个或多个特征以外，该控制器基于发现视觉特征图的特征和雷达图中的点的重叠而产生roi提案。

除了这里描述的一个或多个特征以外，控制器基于将三维集群投影到图像平面上而获得雷达图。

除了这里描述的一个或多个特征以外，控制器基于对雷达反射执行快速傅里叶转换来获得三维集群。

除了这里描述的一个或多个特征以外，控制器基于执行卷积过程获得视觉特征图。

除了这里描述的一个或多个特征以外，控制器基于利用核矩阵执行图像帧的一系列卷积来执行卷积过程。

除了这里描述的一个或多个特征以外，控制器提供信息作为向车辆的驾驶员的显示，该车辆包括雷达系统和视觉传感器系统。

除了这里描述的一个或多个特征以外，控制器将信息提供给包括雷达系统和视觉传感器系统的车辆的车辆系统，该车辆系统包括防撞系统、自适应巡航系统或者自主驾驶系统。

当结合附图时，从以下具体实施方式中，本发明的上述特征和优点以及其它特征和优点显而易见。

附图说明

仅仅借助示例，其它特征、优点以及细节出现在以下具体实施方式中，该具体实施方式参照附图，附图中：

图1是根据一个或多个实施例的执行车辆中雷达和视觉传感器系统的融合的系统的框图；

图2是根据一个或多个实施例的执行雷达和视觉传感器系统的融合的方法的过程流；

图3是根据一个或多个实施例的执行雷达和视觉传感器系统的融合的方法的过程流中获得的示例性结果；以及

图4示出根据一个或多个实施例的具有来自视觉特征图的特征和来自距离图的点的示例性图像，其用于产生感兴趣区域提案。

具体实施方式

以下描述在本质上仅仅是示例性的，并且并不旨在限制本发明、其应用或使用。应该理解的是，在整个本附图中，对应的附图标记指示类似或对应的部件及特征。

如前所述，提供警报或者采取自动动作的车辆系统需要来自传感器系统的信息，该信息识别用于研究的感兴趣区域(roi)。激光雷达系统发送脉冲激光束，并且基于反射信号来确定距所检测物体的距离。与雷达系统相比，激光雷达系统获得更密集的反射集，称为点云。但是，除了与雷达系统相比相对更高的成本以外，激光雷达系统需要干燥气候，并且并不类似于雷达系统那样提供多普勒信息。雷达系统通常通过发送射频(rf)能量并且接收该能量从雷达视域中目标的反射来操作。当目标相对于雷达系统移动时，所接收反射的频率相对于发送频率偏移。此种偏移与多普勒频率对应，并且能用于确定目标的相对速率。也就是说，多普勒信息便于确定所检测物体相对于雷达系统的平台(例如，车辆)的速率。

这里详述的系统和方法的实施例涉及使用雷达系统来识别roi。与单单雷达系统相比，雷达和视觉传感器系统的融合用于实现激光雷达系统的性能改进，同时在潮湿气候中更佳性能和额外获得多普勒测量值的能力方面，提供优于激光雷达系统的益处。确切地说，卷积神经网络用于在通过视频或静止照相机获得的帧上执行特征图提取，并且该特征图与使用雷达系统获得的距离图融合。雷达系统的角分辨率越高，根据一个或多个实施例的融合会更成功。因此，为了解释目的而讨论的示例性雷达系统是超短程雷达(usrr)系统。将照相机作为示例性视觉传感器系统来讨论。

根据示例性实施例，图1是执行车辆100中雷达和视觉传感器系统的融合的系统的框图。图1中示出的车辆100是汽车101。车辆100如图所示具有三个示例性照相机150a、150b、150c(统称为150)和雷达系统130，该雷达系统在示例性实施例中是usrr系统135。根据一个或多个实施例的融合通过控制器110执行。

控制器110包括处理电路，以实施深学习卷积神经网络(cnn)。处理电路可包括专用集成电路(asic)、电子电路、处理器115(共享、专用或集群)和如图1中示出的执行一个或多个软件或固件程序的存储器120、组合逻辑电路和/或提供所描述功能性的其它合适部件。控制器110可基于来自雷达系统130和照相机150的数据的融合而向一个或多个车辆系统140提供信息或控制信号。车辆系统140可例如包括防撞系统、自适应巡航系统或完全自主驾驶系统。

图2是根据一个或多个实施例的执行雷达和视觉传感器系统的融合的方法的过程流。其中一些或所有处理器可通过控制器110执行。控制器110的其中一些或所有功能性可包括在根据替代实施例的雷达系统130中。在方框210处，获得雷达反射205包括获得来自雷达系统130的数据，该雷达系统根据示例性实施例是usrr系统135。在替代实施例中，雷达反射205可从多个雷达系统130获得。例如，两个或更多个usrr系统135可具有与照相机150的视域重叠的视域。在方框220处，如图3中所示，执行预处理包括执行已知的处理函数，例如对于所接收的雷达反射执行快速傅里叶转换(fft)，考虑超过预定阈值数值的fft数值，以及将那些数值组合到三维集群225中。在方框230处，投影至图像平面包括从在方框220处识别的三维集群225中产生二维距离图235。距离图235指示每个所接收反射的距离，该距离超过沿着一个轴线的阈值和沿着垂直轴线的相应强度。示例性距离图235在图3中示出。

在方框240处，获得图像帧207包括从每个照相机150获得图像。与示例性三维集群225相对应的图像帧207也在图3中示出。在方框250处，处理图像帧207产生视觉特征图255。图像帧207的处理包括已知系列的卷积过程，其中，图像帧207的像素矩阵且随后之前卷积过程的结果经历利用核矩阵的卷积。初始核心数值可以是随机的或者经由实验确定，并且在培训过程期间细化。视觉特征图255指示经处理图像帧207中的特征(例如，树、车辆、行人)。

在方框260处，产生一个或多个感兴趣区域(roi)提案包括使用由于雷达反射205产生的距离图235和由于图像帧207产生的视觉特征图255来作为输入。确切地说，将在雷达图235中指示的物体和在视觉特征图255中识别的视觉特征进行比较，以确定重叠来作为roi。在方框270处，视觉特征图255和roi提案(在方框260处产生)用于区域提案(rp)汇集。在方框270处，rp汇集指代将roi提案(在方框260处产生)规范化为同一尺寸。也就是说，在方框270处，每个roi提案可以是不同的尺寸(例如，32×32像素、256×256像素)并且可规范化为同一尺寸(例如，7×7像素)。将视觉特征图255中与roi提案相对应的像素进行提取并且规范化，以产生规范化特征图275。进一步参照图4来讨论该过程。在方框280处，分类并定位规范化特征图275包含另一神经网络过程。基本上，基于已知的物体识别处理来分析规范化特征图275中的提案，以确定这些提案是否包括物体。如果是的话，将物体进行分类(例如，行人、车辆)。

在方框290处，提供输出可包括多个实施例。根据一实施例，输出可以是向驾驶员的显示410，其覆盖对照相机显示中经分类物体的指示。该显示可包括带框图像，以指示经分类物体的轮廓。颜色或其它编码可指示该分类。利用像素坐标中的中心位置u、v和以像素单位计的尺寸(宽度w和高度h)来布置这些框。替代地或附加地，输出包括可向一个或多个车辆系统140提供的信息。该信息可包括每个经分类物体在从车辆视角的三维空间中的位置和分类。该信息可包括检测概率、物体几何形状、速率(即，航向角、速度)和针对每个物体的位置(例如，在x、y坐标系统中)，该速率基于通过雷达系统130获得的多普勒信息或者基于照相机150确定的逐帧移动来确定。

图3示出根据一个或多个实施例的执行雷达和视觉传感器系统的融合的方法的过程流中获得的示例性结果。示出示例性图像帧207。示例性图像帧207显示反射来自雷达系统130的射频(rf)传输的物体(例如，驻停汽车)以及反射较少的物体(例如，树)。在方框220处获得的示例性三维集群225也在图3中示出，用于在示例性图像帧207中示出的相同场景。如三维集群225的阴影指示，驻停汽车比场景中的其它物体反射更多能量。示例性距离图235也在图3中示出。距离图235是三维集群225的二维投影。基于示例性图像帧207的处理，还在图3中示出产生的示例性视觉特征图255。如图所示，在视觉特征图255中识别的特征由矩形界定。如图3指示，界定不同特征的矩形具有不同尺寸(即，包括不同数量的像素)。这导致需要在方框270处进行汇集。

图4示出根据一个或多个实施例的具有来自视觉特征图255的特征420和来自距离图235的点430的示例性图像410，其用于产生roi提案。来自特征图255的特征420在双线矩形内指示，而距离图235的点430由单线矩形指示。如图4指示，树指示为特征420，而非来自距离图235的点430。因此，由于树并不表示特征420和点430之间的重叠区域，因而在方框260处这些树不会在任何roi内得以指示。即使在方框260处产生的roi包括树、灌木等等，在方框280处的分类仍会从方框290处的输出中消除这些物体。

虽然已参照示例性实施例描述了上文公开，但本领域技术人员应理解的是，可做出各种改变，且等同物可替代本发明的元件，而不会偏离本发明的范围。此外，可做出许多修改，以使得特定情况或材料适应于本发明的教示，而不会偏离本发明的基本范围。因此，本发明并不旨在限制于所公开的特定实施例，而是会包括落在本发明范围内的所有实施例。