用于机动车辆的视觉系统和方法与流程

本发明涉及用于机动车辆的视觉系统，该视觉系统包括成像系统和数据处理装置，该成像系统适于捕捉机动车辆周围的图像，该数据处理装置建立对象检测器，该对象检测器适于通过图像处理对所述成像系统捕捉到的图像中的对象进行检测。此外，本发明涉及用于机动车辆的视觉方法。

背景技术：

例如wo2008057042a1中已知这种类型的视觉系统。这种视觉系统通常适于检测行人、自行车、大型动物和/或其他车辆，特别是以便于避免与这些对象碰撞。

技术实现要素：

本发明的问题在于，特别在另一车辆可能横穿的场景中，提供具有改进性能的用于机动车辆的视觉系统和方法。

本发明通过独立权利要求的特征解决了这个问题。本发明使用车轮检测器检测所捕捉的图像中的另一车辆的车轮、轮状结构或其特征部分。在此，与检测整个车辆相比，单独(即，以分离的方式)对车轮进行检测。通常，本发明的车轮检测器提供了与包括车轮的对象(即，其他车辆)有关的附加信息，这可以提高检测的准确性和可靠性并且避免碰撞。具体地，车轮检测器允许独立地并且与该车辆其余部分的大小和位置无关地确定该车轮的确切大小和位置，而如果将另一车辆仅作为整体来确定，则这通常是不可能的。另一车辆的车轮的确切大小和位置提供了有价值的附加信息，这将在下文中更详细地阐明。

优选地，车轮检测器与适于对另一车辆的非车轮部分进行检测和/或分类的非车轮检测器相结合，以便获得附加信息。非车轮检测器可以例如是行人或骑自行车者检测器，或对象分割器，如下文将阐明的那样。优选地，车轮检测器的搜索区域限于检测到的非车轮部分的附近，或者非车轮检测器的搜索区域限于检测到的车轮的附近。以这种方式，相应的搜索区域不必是完整的图像，而可以明显更小，这可以节省处理资源并且可以导致更快的对象检测。

在本发明的优选实施例中，该另一车辆是自行车，即本发明用于自行车检测和/或分类。为了对骑自行车者进行检测和/或分类，特别是在使用单目相机时，尤其是在横穿情形中时，需要追踪包括车轮、优选地还包括车架的整个自行车。例如，为了通过使用自动紧急制动来减轻自行车损伤，重要的是不仅要考虑避免撞到骑自行车者，而且还要避免撞击自行车的前轮或后轮。这可以通过根据本发明的车轮检测来实现。

优选地，车轮检测可以与行人检测器结合使用，以将对象分类为骑自行车者或自行车，并且改进对由骑自行车者所占据的空间的追踪。在该实施例中，行人检测器形成先前提到的非车轮部分检测器。

本发明的另一个优选应用是使用单目或立体成像系统对横穿机动车辆(特别是汽车、摩托车、卡车或公共汽车)进行检测和/或分类。在此应用中，根据本发明的车轮检测器有利地与例如基于光流的通用对象分割结合使用，以能够将检测到的对象分类为机动车辆。在此实施例中，对象分割器形成先前提到的非车轮部分检测器。

该车轮检测器优选地使用圆形或椭圆形检测算法，这是由于当在车辆横穿场景中观察时，车轮看起来呈圆形或更一般地呈椭圆形。在优选的实际实施例中，车轮检测器使用霍夫变换算法。然而，也可以是其他形式的车轮检测器；例如，车轮检测可以基于车轮分类器。通常，车轮检测可以优选地基于或包括车轮的轮胎检测、轮辋检测、轮辐检测和/或轮毂检测的任何合适的组合。

如上所述，本发明在横穿场景中特别有益。横穿场景是如下场景：另一车辆特别地以30°(优选45°)与90°之间的角度横穿或即将横穿本车辆的路径，其中，该另一车辆的车轮可视为圆形或椭圆的。

本发明的一个优点在于其可以用于提高位置精度，特别是在距离估计是已知弱点的单目相机系统中。通常，检测到的车轮可以优选地用于被检测对象的位置和/或距离估计。这基于以下发现：车轮通常是车辆在地面上所处的位置的非常好的参照，这将在下面更详细地阐明。

附图说明

在下文中，将基于参照附图的优选实施例来对本发明进行说明实施例，其中：

图1示出了根据本发明的视觉系统的示意图；

图2a至图2c示出了对骑自行车者车轮检测器在检测骑自行车者时的使用进行说明的不同图像；并且

图3示出了对车轮检测器在检测横穿汽车时的使用进行说明的图像。

具体实施方式

视觉系统10安装在机动车辆中并且包括成像系统11，该成像系统用于采集机动车辆周围的区域(例如，机动车辆前方的区域)的图像。优选地，成像系统11包括在可见和/或红外波长范围操作的一个或多个光学成像装置(特别是相机)12，其中红外线包括波长低于5微米的近红外线(nearir)和/或波长超过5微米的远红外线(farir)。在一些实施例中，成像系统11包括特别地形成立体成像系统11的多个成像装置12。在其他实施例中，仅使用形成单成像系统11的一个成像装置12，例如如图1所示。

成像系统11耦合到数据处理装置14，在该数据处理装置中，对从成像系统11接收的图像数据执行图像和数据处理。

数据处理装置14可以包括预处理部13，该预处理部适于控制成像系统11对图像的捕捉，从成像系统11接收包含图像信息的电信号，将成对的左/右图像变形成对准和/或创建视差图像，这本身在本领域中是已知的。图像预处理部13可以由专用硬件电路(例如，现场可编程门阵列(fpga))来实现。或者，预处理部13或其部分功能可以在微处理器中实现。在视觉系统10仅使用一个相机12的情况下，可以省略预处理部13。

处理器件14包括：对象检测部15，其适于对机动车辆前方的可能对象(诸如，行人、其他车辆、骑自行车者或大型动物)进行识别并且还优选进行分类；追踪部16，其适于随时间追踪由对象检测部15识别的、在所记录的图像中的候选对象的位置；以及估计和判定部17，其适于估计被追踪对象的碰撞概率并根据该估计的碰撞概率来激活或控制至少一个驾驶员辅助装置18、19。驾驶员辅助装置18、19可以具体地包括显示装置18以显示与检测到的对象有关的信息。然而，本发明不限于显示装置。驾驶员辅助装置18、19可以附加地或替代地包括：警告装置，其适于通过合适的光学、声学和/或触觉警告信号向驾驶员提供碰撞警告；一个或多个约束系统，诸如乘员安全气囊或安全带张紧器、行人安全气囊、引擎罩升降器等；和/或动态车辆控制系统，诸如制动或转向控制装置。数据处理装置14有利地访问存储装置25。

数据处理装置14优选是经编程的或可编程的数字装置，并且有利地包括微处理器、微控制器或数字信号处理器(dsp)。数据处理装置14和存储装置25优选在车载电子控制单元(ecu)中实现，并且可以经由单独的线缆或车辆数据总线连接到成像系统11。在另一个实施例中，ecu和一个或多个成像装置12可以集成到单个单元中，其中，包括ecu和所有成像装置12的单箱解决方案可以是优选的。从成像、图像预处理、图像处理到驾驶员辅助装置18的可能激活或控制的所有步骤都是实时地在驾驶过程中自动且连续地执行的。

数据处理装置14的对象检测部15包括车轮检测器20，该车轮检测器适于通过图像处理对成像系统11所提供的图像中的车轮或轮状结构进行检测和/或分类轮状结构。车轮检测器20优选地采用霍夫变换算法来检测图像中具有合适大小的圆形或椭圆形结构。或者，例如车轮检测器20可以基于车轮分类。特别地基于霍夫变换的车轮检测算法与随后的车轮分类和/或验证步骤的组合也是可能的。

在下文中，通过图2a至图2c和图3中所示的两个示例阐明了视觉系统10中的本发明的车轮检测器20的使用和益处。

图2a至图2c涉及自行车检测和/或分类。在此，车轮检测器20用于对自行车的车轮21进行检测和/或分类，如图2a所示。车轮检测/分类在图2a至图2c中用矩形22标记。

在对象检测部15中，车轮检测器20优选地与行人检测器结合，该行人检测器适于通过图像处理对成像系统11所提供的图像中的人进行检测和/或分类。具体地，行人检测器不仅适于检测行人，还适于检测骑自行车者。经检测/分类的骑自行车者在图2b和图2c中用浅矩形(lightrectangle)23标记。

图2b所示的骑自行车者检测可以在图2a所示的车轮检测之前或之后进行。具体地，车轮检测器20的搜索区域可以是基于网格覆盖的整个视野(即，提供给数据处理装置14的整个图像)，该视野可能受到确定的地面和/或驾驶通道的限制。或者，车轮检测器20的搜索区域可以局限于经分类的行人的附近，并且因此显著小于整个视野。在可以节省大量处理资源的后一种情况下，车轮检测有利地在行人或骑自行车者检测之后进行。或者，骑自行车者的搜索区域可以局限于车轮(可能被分类为自行车车轮)或成对的(自行车)车轮附近。

最后，如在图2c中由包围车轮22和骑自行车者23的较大发光方块24所示，通过对相对于彼此布置在典型距离和位置处的成对的车轮22和骑自行车者23进行结合检测/分类，来确定骑自行车者/自行车对象24。

图3涉及本发明的另一个应用，即使用单目或立体成像系统11对横穿机动车辆(特别是汽车)进行检测和/或分类。在此，车轮检测器20与对象检测部15中提供的对象分割器结合使用。对象分割器适于特别地基于光流来检测经分割的对象(图3中的黑色矩形26)。将经分割的对象26与可能被分类为汽车车轮的适当布置的成对车轮27相结合，以便检测横穿机动车辆或汽车28(图3中的浅方块)。因此，车轮检测器20是横穿机动车辆检测器和/或分类器的一部分。

本发明特别地可以用于改进单目相机系统11中的位置精度，在该单目相机中，距离估计是已知的弱点。通常，检测到的车轮可以优选地用于被检测对象的位置和/或距离估计。这是基于以下发现：车轮通常是车辆在地面上所处的位置的非常好的参照。

例如，与骑自行车者被检测为行人(行人看起来浮在地面上)的情况相比，与地面的接触点可以优选地用于改进对骑自行车者23的距离估计，参见图2。

此外，在横穿机动车辆(如汽车)的检测中，车轮检测器20可以提供改进的距离信息，这是由于与例如基于光流的对象分割相比，车轮检测器20为机动车辆在地面上所处的位置提供了更好的参考点，参见图3。基于光流的对象分割可能会被例如汽车的阴影所干扰，使得与地面的接触点模糊且容易出错。

距离估计的另一个方向在于车轮22、27的大小，对于自行车和机动车辆(如汽车)而言，车轮大小是标准化的并因此是熟知的。因此，车轮检测的标度也包含有价值的信息，这些信息可用于改进对距检测到的对象的距离的估计。