用于机动车辆的视觉系统和方法与流程

本发明涉及用于机动车辆的视觉系统，该视觉系统包括具有成像装置的立体成像设备，这些成像装置适于从机动车辆的周围环境捕获图像；和处理装置，该处理装置适于处理由所述成像装置捕获的图像并检测与机动车辆的周围环境中的现实世界对象相对应的所述图像中的对象，并且在所捕获的图像的若干时间帧内跟踪检出对象。本发明还涉及对应的视觉方法。

背景技术：

必须非常准确地确定立体相机系统中的左相机与右相机之间的偏航角(也称为斜视角)，因为该角度的误差会导致立体计算中的大距离估计误差。距离误差随着距离的平方而增加。对于汽车立体相机而言，由于汽车系统的热变化和长寿命时间，斜视角在车辆寿命时间内将不恒定。因此，需要用于估计斜视角误差的在线解决方案。

已知的是使用雷达或激光雷达距离信息作为参考值来估计斜视角误差，但是这需要雷达或激光雷达参考系统。

de102012009577a1描述了通过将由里程计数据确定的参考驱动距离与由图像处理确定的立体驱动距离进行比较来校准机动车辆中的两个立体相机之间的斜视角的方法。然而，计算参考驱动距离所需的外部里程计数据构成斜视角误差确定的不确定性的附加系统源。

de102013224502a1公开了校准车辆的立体相机的方法。该方法涉及单独地确定来自这两个相机的图像的光流。根据车辆的光流及估计的自我运动，计算对应的3d环境数据。根据这两个相机的3d环境数据的比较，确定校准误差。

上文提及的两种方法都需要确切了解某个其他传感器给出的自我意识车辆的运动。

us2014/0168377a1公开了用于使车载对象检测系统的立体相机对准的方法，其中每个相机在两个不同时间拍摄的图像用于确定静止对象(如交通标志)相对于车辆的所观察的位移。还使用例如在两个不同时间拍摄的图像中的对象的尺寸差异来确定对象相对于车辆的所预测的位移。基于所观察的位移与所预测的位移的差值来确定三角测量校正，以此用于校正相机的失准。

技术实现要素：

本发明的目的是提供视觉系统和控制视觉系统的方法，从而允许在机动车辆的操作期间准确确定立体相机之间的偏航角误差。

本发明利用独立权利要求的特征来达到该目的。根据本发明，通过使用非线性方程解算器方法来求解一组方程以便获得固有偏航误差的估计值。每个方程对应于一个时间帧，并且通过使用非线性方程解算器方法来关联时间帧的时间、特定检出对象的计算的视差值、固有偏航误差以及自我意识车辆的运动变量以便获得固有偏航误差的估计值。已经发现，以这种方式，可在机动车辆的运动期间准确地确定立体相机之间的偏航角误差，从而实现立体相机的对应偏航角校准。

固有偏航误差的估计值可有利地用于在驾驶期间校准成像装置之间的偏航角。

优选地，该组中的所有方程具有相同形式。具体地讲，优选地通过使由车辆运动学获得的离特定检出对象的当前距离与由视差值获得的当前距离相等来获得该组中的所有方程。在本文中，由视差值获得的当前距离可表示为x＝f·b/(d+ε)，其中f是基线方向上的成像装置的焦距，b是基线，即成像装置之间的距离，d是当前视差值，并且ε是固有偏航误差。在许多情况下，基线方向是水平的。然而，例如如果立体成像装置远离彼此定位(如在车辆的前保险杠中以及在挡风玻璃后面)，基线方向也可具有显著的垂直分量。在此类情况下，在成像装置之间的非水平方向上测量基线和焦距方向。

在ε＝0的理想情况下，上述方程给出检出对象的距离x与视差d之间的熟知关系。在ε≠0的现实情况下，上述方程与将偏航误差ε表示为向视差值d的简单移位的附加有利特征一起使用。换句话讲，所计算的视差d和偏航误差ε通过在该方程中进行加或减来彼此关联。换句话讲，通过将所计算的视差d与偏航误差ε相加(或相减)来表示理想视差d。本发明方法是准确的，这是由于小角度近似：偏航角ε非常小，使得sinε≈ε。不可接受的误差ε的示例为0.05度。

为了提高偏航误差估计中的精确度，该组方程中使用的方程数优选地大于未知变量，优选地为至少1.5倍，更优选地为至少2倍，甚至更优选地为至少3倍。优选地，该组中使用的方程数是至少三个、优选地至少五个、更优选地至少十个。一般而言，所使用的方程数越多，所确定的未知变量的精度越高。

优选地，该组方程基于基本上恒定的自我意识车辆速度v的假设，从而简化用于偏航误差计算的方程并因此降低计算工作量。具体地讲，上面提到的由车辆运动学获得的离特定检出对象的当前距离x可简单表示为方程x＝(t0-t)×v，其中t0是特定检出对象处于x＝0(即，在连接成像装置的直线上)时的(未知)时间，t是当前时间帧的帧时间，使得t0-t是至碰撞的时间ttc，并且运动变量v是一般相对于特定检出对象的自我意识车辆速度，即，自我意识车辆的纵向速度，或就静止检出对象而言，是绝对自我意识车辆速度(相对于地)。

综上所述，要在偏航误差估计中使用的实际优选的一般方程形式是

(t0-t)·(d+ε)-f·b/v＝0

优选地，视觉系统适于确定检出对象是否为静止或近乎静止的，并且丢弃不满足此条件(即正在运动)的检出对象。这可通过以下方式进行：确定检出对象的速度，并且在对象具有非零速度或超过预定阈值的速度的情况下丢弃该对象。检出对象的速度优选地由所述处理装置中的跟踪器估计，该跟踪器适于随时间推移跟踪检出对象或对象候选者。其他确定检出对象的速度的方式是可能的。另外，其他确定检出对象是否为静止或近乎静止的方式是可能的，例如通过在检出对象的图像处理中使用分类器，并且仅考虑已知为静止的分类对象，如杆、交通标志、灯柱、树木、斑马线、虚线车道标记等。

就静止检出对象而言，上面提到的相对于检出对象基本上恒定的自我意识车辆速度的条件简化为基本上恒定的绝对自我意识车辆速度(相对于地)。因此，视觉系统优选地适于确定自我意识车辆速度是否为基本上恒定的，并且在所述偏航误差估计中丢弃不满足此条件的图像帧。基本上恒定的自我意识车辆速度的条件可易于例如通过以下方式评价：监测车辆数据总线上可用的自我意识车辆速度，即，由以与自我意识车辆的动力总成中的旋转部件(如曲轴)的测量关系布置的角速度传感器测量的自我意识车辆速度，该速度与车轮速度成比例并且由驾驶舱速度计显示。其他评价基本上恒定的自我意识车辆速度的条件的方式是可能的，例如通过监测由机动车辆的卫星导航系统(gps)接收机提供的更精确速度值；或通过评价来自纵向加速度传感器的信号，该信号应为零或接近零。

如上面提到的，运动变量可特别是纵向车辆速度。然而，运动变量也可为例如积分纵向车辆速度、或自我意识车辆的纵向加速度。就纵向车辆速度而言，有多种方式可以处理该组方程中的速度变量。在一个优选实施方案中，速度变量v被视为已知的，即，由机动车辆的速度传感器和/或卫星导航系统接收机提供的自我意识车辆速度v插入到这些方程中。这具有以下优点：通过将未知变量数减少一个，可提高其他未知变量(包括偏航误差)确定时的精确度。另一方面，速度变量v可被视为未知的，并且可以以与导出其他未知数(诸如固有偏航误差)相同的方式通过使用非线性方程解算器方法求解该组方程来导出自我意识车辆速度v。在本申请中，本发明提供了独立于与车轮速度相关且由驾驶舱速度计显示的速度值的自我意识车辆速度值，该速度值可用于校准自我意识车辆速度。

优选地，该组方程基于自我意识车辆基本上沿直线运动的假设。这允许这些方程的简化，并且允许将车辆速度用作这些方程中的纵向速度，这是由于侧向速度分量为零或接近零。就这一点而言，视觉系统优选地适于监测基本上沿直线运动的自我意识车辆的条件，并且丢弃不满足所述条件的图像帧。在本文中，可在来自机动车辆的偏航速率传感器和/或方向盘角度传感器的信号的基础上监测基本上沿直线运动的自我意识车辆的条件。

附图说明

在下面，应参照附图在优选实施方案的基础上说明本发明，其中：

图1示出了根据本发明的实施方案的用于机动车辆的视觉系统。

具体实施方式

视觉系统10安装在机动车辆中，并且包括成像设备11以便捕获机动车辆周围的区域(例如机动车辆前方的区域)的图像。成像设备11包括多个光学成像装置12(特别是相机)，从而形成立体成像设备11并在可见和/或红外波长范围内操作，其中红外覆盖波长低于5微米的近红外和/或波长超过5微米的远红外。

成像设备11联接到数据处理装置14，该数据处理装置适于处理从成像设备11接收的图像数据。数据处理装置14可包括预处理部分13，该预处理部分适于控制成像设备11对图像的捕获，从成像设备11接收含有图像信息的信号，纠正或扭曲左/右图像对而使之对准和/或形成视差或深度图像，这本身是本领域已知的。图像预处理部分13可通过专用硬件电路例如现场可编程门阵列(fpga)或专用集成电路(asic)实现。另选地，预处理部分13或其功能的一部分可在微处理器中或在包括例如fpga、dsp、arm和/或微处理器功能的片上系统(soc)装置中通过软件实现。

由对应软件在处理装置14中执行的进一步图像和数据处理有利地包括识别并优选地还通过分类器分类机动车辆前方的可能对象，诸如行人、其他车辆、骑自行车者和/或大型动物，通过跟踪器随时间推移跟踪所捕获的图像中识别的对象候选者的位置，以及根据相对于所跟踪的对象执行的估计(例如估计的碰撞概率)来激活或控制至少一个驾驶员辅助装置18。驾驶员辅助装置18可特别包括显示装置以显示与检出对象相关的信息。然而，本发明不限于显示装置。除此之外或另选地，驾驶员辅助装置18可包括警告装置，该警告装置适于通过合适的光学、声学和/或触觉警告信号向驾驶员提供碰撞警告；一个或多个约束系统，诸如乘客安全气囊或安全带张紧器、行人安全气囊、机罩升降器等；和/或动态车辆控制系统，诸如制动器或转向控制装置。

数据处理装置14优选地为被编程或可编程的数字装置，并且优选地包括微处理器、微控制器、数字信号处理器(dsp)或片上系统(soc)装置。数据处理装置14、预处理部分13和存储器装置25优选地在车载电子控制单元(ecu)中实现，并且可经由单独的电缆或车辆数据总线连接到成像设备11。在另一个实施方案中，ecu和一个或多个成像装置12可集成到单个单元中，其中包括ecu和所有成像装置12的一体化解决方案可为优选的。在实时驾驶期间自动且连续地执行从成像、图像预处理、图像处理到驾驶员辅助装置18的可能激活或控制的所有步骤。

处理装置14可经由数字数据总线20(例如can总线)访问从机动车辆中的其他车辆传感器19(如速度传感器21、偏航速率传感器22、方向盘传感器23等)获得的信息。速度传感器21可为在变速器与车轮之间以与自我意识车辆的动力总成中的旋转部件(如曲轴或驱动轴)的测量关系布置的角速度传感器。偏航速率传感器22可例如为测量车辆侧向加速度的加速度传感器。

在下面，本发明以如图1所示的示例的方式描述，即通过检测并跟踪成像系统11所捕获的图像中的杆30来描述。杆30由对象检测部分检测并且由图像处理装置14中的跟踪器跟踪。可假定杆30在时间帧tk中检测到，并在与后续时间帧tk+1、tk+2…相对应的后续图像中找到。对于每个帧而言，对应视差dk、dk+1、dk+2…以通常方式在处理装置14中计算为左和右立体图像中的检出对象(此处为杆30)之间的像素中的基线距离。

视觉系统永久地监测车辆速度传感器21所提供的自我意识车辆速度。应假定车辆以恒定速度在道路40上运动。此外，处理装置14基于来自偏航速率传感器22或另选地来自方向盘传感器23的信号来确定车辆在道路上沿直线运动。基于来自数据处理装置的图像处理部分中的跟踪器的信息，杆30被准确地估计为静止的。由于符合所有条件，因此，时间帧tk、tk+1、tk+2…中的对象30被视为可由处理装置14采纳。然后处理装置14为杆30建立以下组方程：

(t0-tk)·(dk+ε)-f·b/v＝0

(t0-tk+1)·(dk+1+ε)-f·b/v＝0

(t0-tk+2)·(dk+2+ε)-f·b/v＝0

等，其中应当理解，至少三个方程足以估计偏航角误差的值，并且优选地使用超过三个方程，例如至少十个方程，以便在偏航误差估计中实现足够的精确度。可以看出，所有方程具有相同形式，并且差异仅在于帧时间t和视差d的值。

在上述方程中，杆30的tk、tk+1、tk+2…的值及对应视差值dk、dk+1、dk+2…与f、b和v的已知值一起插入。这给出了具有两个未知数的一组方程，这两个未知数即为碰撞时间t0(其中杆位于连接相机装置12的线上)和偏航误差ε。该组方程形成非线性最小二乘问题，并且使用非线性方程解算器方法如高斯牛顿算法可易于解出t0和ε。

可随时间进一步对由单个其他对象(此处为杆30)计算的偏航角误差ε进行滤波，以提高精确度。另外，可形成多个其他对象内的ε值的合适平均值。

已发现所得的ε值是偏航角误差的足够准确的量度，这可有利地用于机动车辆驾驶期间的偏航角误差校准。

恒定的自我意识车辆速度不是实现本发明的严格要求。例如，上文使用的方程x＝(t0-t)×v的替代形式将为方程

令自我意识车辆速度v(t)为变量，其中i为帧索引并且α为车辆速度的倍增误差。车辆速度的误差可被视为倍增的，因为速度可表示为车轮半径＝α×车轮半径(设定)且v＝α×v(车轮速度)。也可以在上述方程中设定α＝1。

如上面提到的，本发明允许估计f·b/v。因此，如果已知f和b，则可估计v和α。另外，如果从其他源(如卫星导航接收机)获知v或积分v(即)，则f可被视为未知的，从而可在线估计。另一方面，如果f被视为已知的，则可估计基线b(其随温度略微改变)。