用于处理立体数据的方法和设备的制作方法
【专利摘要】本发明涉及一种用于处理立体传感器系统(303)的传感器数据的方法，所述立体传感器系统用于立体检测所述立体传感器系统(303)的周围环境，其中，基于所述传感器数据形成(101)视差图(501)，其特征在于，确定(103)所述视差图(501)的以一相互间距(Δ1、Δ2、Δ3)形成的两个视差点(507、509、511、513)之间的视差变化，其中，根据所述视差变化对所述两个视差点中的至少一个相应地分类(105)给一个对象(617、619)。本发明还涉及相应的设备(201)、相应的对象识别系统(301)以及相应的计算机程序。
【专利说明】用于处理立体数据的方法和设备
【技术领域】
[0001]本发明涉及一种用于加工或处理立体传感器系统的传感器数据的方法和设备，该立体传感器系统用于立体检测立体传感器系统的周围环境。本发明还涉及一种对象识别系统以及计算机程序。
【背景技术】
[0002]驾驶员辅助系统通常需要用于检测障碍物并且用于确定车辆周围环境中的自由面的传感器。此外，为此使用立体摄像机，其包括水平错开的两个视频摄像机。该装置导致:也在摄像机图像中水平错开地观察对象，其中，偏差、所谓的视差对于关于摄像机远的对象更小而对于关于摄像机近距离中的对象更大。因此，由视差可以对于每个对象确定其与观察者、在此也就是立体摄像机的距离。
[0003]由公开文献DE 2009 003 110 A1已知一种用于确定两个摄像机图像的视差、所谓的视差图的方法。
[0004]由公开文献EP 2 136 333 A2已知一种用于确定可行驶的区域和用于由视差图识别障碍物的方法。
【发明内容】
[0005]本发明所基于的任务可以在于，提供一种能够实现立体传感器系统的周围环境的对象的简单分类的方法。
[0006]本发明所基于的任务也可以在于，提供一种相应的设备。
[0007]本发明所基于的任务也可以在于，提供一种相应的对象识别系统。
[0008]本发明所基于的任务还可以在于，说明一种相应的计算机程序。
[0009]这些任务借助于独立权利要求的相应主题解决。有利的构型是各从属权利要求的主题。
[0010]根据一方面，提供一种用于处理或加工立体传感器系统的传感器数据的方法，所述立体传感器系统用于立体检测所述立体传感器系统的周围环境。在此基于立体传感器系统的传感器数据形成视差图。在此设置，确定视差图的以一相互间距形成的两个视差点之间的视差变化，其中，根据所述视差变化将所述两个视差点中的至少一个相应地分类给一个对象。
[0011]按照另一方面，提供一种用于加工或处理立体传感器系统的传感器数据的设备，所述立体传感器系统用于立体检测所述立体传感器系统的周围环境。所述设备包括用于基于所述立体传感器系统的传感器数据形成视差图的视差装置。此外设置用于确定视差图的以一相互间距形成的两个视差点之间的视差变化的确定装置。除此之外，该设备包括用于根据所述视差变化对所述两个视差点中的至少一个相应地分类给一个对象的分类装置。
[0012]根据又一其他方面，提供一种对象识别系统，该对象识别系统包括用于立体检测立体传感器系统的周围环境的立体传感器系统和用于加工或处理立体传感器系统的传感器数据的设备，该立体传感器系统用于立体检测立体传感器系统的周围环境。
[0013]根据又一其他方面，提供一种计算机程序，其包含程序代码，用于当在在计算机中执行所述计算机程序时实施用于加工或处理立体传感器系统的传感器数据的方法，该立体传感器系统用于立体检测所述立体传感器系统的周围环境。
[0014]通过设置如下分析处理视差图使得将视差图的第一视差值与第二视差值之间的差确定为视差图的两个视差点之间的视差变化的方式，有利地实现了不必作出关于立体传感器系统的周围环境的假设，以便对两个视差点中的至少一个相应地分类给一个对象。
[0015]通常在现有技术中是这样的，必须作出关于周围环境的假设，以便可以由视差图识别或分类对象。如果例如在车辆中使用立体传感器系统，则通常使用以下假设:车辆周围环境中的可行驶的面通过一个平面接近。在此，障碍物的突出之处在于与车道平面显著偏离的高度。但是这需要预先确定车道平面，例如通过视差图的按行的直方图，所谓的V视差。但是如果在平面估计中出现错误，则这通常直接导致错误探测的或未探测的对象。
[0016]此外，车辆周围环境中的平面的假设在实践或事实中通常仅仅对于非常小的距离是完全合理或正确的。
[0017]因此通过不必实施立体传感器系统的周围环境的平面假设，可以有利地降低相应的计算成本。因此，尤其不再需要的是，创建视差图的按行的直方图。而且这降低了计算成本。因此，对于相应的计算相比于现有技术需要更少的能量。此外可以有利地节省计算时间。这尤其导致驾驶员辅助系统的更快速的反应，所述驾驶员辅助系统包括按照本发明的实施方式，因为结果——所识别的对象是障碍物还是可行驶的面——更快速地可用。由此有利地还提高了安全性，不仅对于车辆、车辆乘客而且对于另外的交通参与者，例如行人。
[0018]此外，基于估计或假设而由系统决定的错误可以不再出现，因为这样的估计或假设不再必要并且也不再被使用。不必形成车道表面的模型。尤其不再存在对关于车道表面的点平面的走向的依赖性。这尤其导致实践中的显著提高的稳健性和可靠性。
[0019]此外可以可靠地针对对象分析关于立体传感器系统的更大的距离范围，所述对象随后相应地被分类。
[0020]此外本发明具有以下优点:本发明基本上不具有对周围环境中的对象的大小依赖性。对象仅仅应具有最小高度。
[0021]本发明的意义中的立体传感器系统尤其构造用于立体地检测立体传感器系统的周围环境。尤其也就是说，形成周围环境的两个传感器图像，其中，这两个传感器图像从相互水平错开的视角拍摄。这如一开始所提及的那样导致对象在两个传感器图像中的偏差。立体传感器系统的传感器数据相应于两个传感器图像的传感器数据。
[0022]因此，本发明的意义中的视差尤其表示产生的、第一传感器图像的图像点与第二传感器的对应图像点的偏差。在此，图像点相应于世界点(Weltpunkt)，所述世界点分配给立体传感器系统的周围环境中的真实对象。因此，图像点由世界点在立体传感器系统的一个或多个传感器上的成像形成。这些传感器尤其构造用于传感式地检测周围环境。例如可以设置红外传感器，所述红外传感器可以有利地在黑暗中也还检测周围环境。每个图像点和/或每个视差在此与世界点至立体传感器系统的相应距离成明确的关系。对象关于立体传感器系统越远地设置在周围环境中，相应的视差相比于与立体传感器系统更近地设置的对象就越小。因此，由视差可以对于每个对象确定其与立体传感器系统的距离。
[0023]一般地，传感器图像的图像点可以借助于笛卡尔坐标系统的X、Y坐标也称为图像坐标来描述。传感器图像行(也称为图像行或简称行)以坐标系统的横坐标(在此也就是X坐标)的方向限定。传感器图像列(也称为图像列或简称列)以坐标系统的纵坐标(在此也就是Y坐标)的方向限定。
[0024]视差在下面也可以以“d”缩写。两个传感器图像的所有视差d(X，Y)的集合形成视差图。
[0025]根据一个实施方式可以设置，立体传感器系统构成为立体视频摄像机。因此也就是说，构成两个相互水平错开地设置的视频摄像机。
[0026]在该实施方式中，视差可以涉及摄像机的焦点并且尤其作为与世界点对应的以图像坐标X、Y表示的图像点的偏差和摄像机焦点的商产生。视差在此优选是世界点与立体视频摄像机的参考位置一如参考点、参考面或参考表面一的距离的倒数并且可以在考虑摄像机相互间的基础宽度(Basisweite)、亦即摄像机的间距的情况下例如说明为以下关系:
[0027]视差和摄像机焦点的商相应于基础宽度与世界点的距离的商。
[0028]因此，视差d尤其限定为沿图像行方向的一维位移向量并且基于第一传感器图像中的图像点Xi给出第二传感器图像中的对应图像点Xj。即d(Xi，Y) = Xj-Xi。
[0029]因此，本发明的意义中的视差变化尤其表示第一图像点(XI，Y1)的第一视差值(也简称为视差)与具有坐标(X2，Y2)的第二图像点的第二视差值(也简称为视差)之间的差。就此而言，视差变化可以借助于以下数学公式描述:
[0030]h = d (XI，Yl) -d (X2, Y2)
[0031]视差值的分类根据h、视差变化来实施尤其意味着:设有预先确定的阈值、尤其多个预先确定的阈值，其中，分类尤其根据以下实施，即h是大于、等于、小于、大于等于还是小于等于预先确定的阈值、优选等于多个预先确定的阈值。因此例如可以设置，如果h小于阈值，则将视差点分类为第一对象，例如障碍物，而如果h大于阈值，则将视差点分类为第二对象，例如可行驶的面。
[0032]本发明的意义中的分类尤其表示将视差点或传感器图像中的相应于这些视差点的图像点分配给预先确定的对象类或对象。因此例如对象类可以是障碍物。另一对象类可以是自由面或可行驶的面。因此尤其也就是说，传感器图像的各个图像点例如如下分类，即是涉及障碍物还是涉及自由面或可行驶的面。
[0033]因为视差点基于传感器图像的图像点，所述视差点相应于世界点或分配有世界点，所以可以有利地分类立体传感器系统的周围环境中的真实对象。
[0034]具有坐标(XI，Y1)和(X2，Y2)的两个视差点之间的间距可以称为Λ ( Λ X，Λ Y)，其中，Χ2 = Χ1+ΛΧ并且Y2 = Υ1+ΛΥ。Λ X表示两个视差点之间的水平间距，也就是沿X方向。Λ Υ表示两个视差点之间的垂直间距，也就是沿Υ方向。
[0035]按照一个实施方式可以设置，根据两个视差点之一在视差图中的位置选择两个视差点之间的间距八。由此有利地实现了关于分类的敏感性调节。因此，在适合选择间距的情况下也可将更小的对象探测为障碍物。
[0036]根据另一实施方式，根据视差噪声、尤其根据所期望的视差噪声选择两个视差点之间的间距Λ。由此同样有利地实现了关于分类的敏感性调节，因为如此可以单独考虑视差图的有不同噪声的区域。
[0037]在另一实施方式中可以设置，根据所期望的对象、尤其障碍物的高度选择两个视差点之间的间距。
[0038]在另一实施方式中可以设置，可以对于视差图的每个视差点来不同地选择所述间距。由此可以有利地引起关于探测和分类的敏感性。
[0039]根据另一实施方式可以设置，可以对于视差图的所有视差点恒定地选择所述间距。由此有利地还进一步降低计算成本。
[0040]按照另一实施方式可以设置，沿水平方向和/或垂直方向、也就是沿列方向和/行方向对视差图进行平滑。由此有利地抑制视差图的观察噪声，这引起改善的信噪比。
[0041]在另一实施方式中可以设置，将所述两个视差点选择为视差图的仅仅相互垂直错开地设置的两个视差点。也就是说，ΛΧ = O。因此，两个视差点仅仅相互垂直错开地设置，而不再相互水平错开。因此优选地进行关于沿列方向的视差变化的垂直分析处理。因此，尤其逐列地分析处理视差图。考虑沿垂直方向的视差变化。
[0042]根据另一实施方式可以设置，如果第二视差点在第一视差点之上形成，则在负的视差变化的情况下将视差点分类为可在下面穿过的对象。因此可以有利地识别桥或类似的可在下面穿过的对象。就此而言，相应于桥的点具有比在桥之下的点更大的视差。就此而言，视差变化变为负的。
[0043]按照另一实施方式，视差装置可以形成为视差估计器，其构造用于基于传感器数据实施视差估计并且基于视差估计形成视差图。由此可以快速地、无过大计算耗费地并且高效地形成视差图。
[0044]在另一实施方式中可以设置，视差变化的确定相应于视差梯度的确定。因此尤其也就是说，视差变化相应于视差梯度。因此，尤其由第一视差点出发如此确定第一视差点的周围环境中的第二视差点，使得相应于视差图的一个斜度的相应视差变化最大。通过数学方式所述，在一个点——在此为标量场(在此为视差图)的第一视差点——上的梯度是向量，该向量由该点指向标量场的最大或最陡的上升方向，其中，梯度的长度是陡度或坡度的程度。优选确定垂直的视差梯度。因此尤其也就是说，基于第一视差点如此确定第二视差点，使得该第二视差点具有相同的X坐标但具有不同的Y坐标，其中，关于具有相同的Y坐标的视差点的集合的视差变化是最大的。尤其确定关于视差的沿相应向量场的Y方向的分量。
【专利附图】
【附图说明】
[0045]下面根据优选实施例进一步阐明本发明。其中:
[0046]图1:用于运行立体传感器系统的传感器数据的方法的流程图；
[0047]图2:用于加工或处理立体传感器系统的传感器数据的设备；
[0048]图3:对象识别系统；
[0049]图4:两个传感器图像；
[0050]图5:视差图；
[0051]图6:用于加工或处理立体传感器系统的传感器数据的另一方法的流程图。
[0052]下面对于相同的特征可以使用相同的参考标记。
【具体实施方式】
[0053]图1示出了一种用于加工或处理立体传感器系统的传感器数据的方法的流程图，该立体传感器系统用于立体检测立体传感器系统的周围环境。
[0054]按照步骤101，基于立体传感器系统的传感器数据形成视差图。在步骤103中确定视差图的以一相互间距形成的两个视差点之间的视差变化。按照步骤105，根据视差变化对两个视差点中的至少一个相应地分类给一个对象。因此，尤其也就是说对分配给该视差点的对象进行分类。因此，也就是说例如将该对象分类为障碍物或自由面或可行驶的面或可在下面穿过的对象，例如桥。
[0055]图2示出一种用于加工或处理立体传感器系统(未示出)的传感器数据的设备201，该立体传感器系统用于立体检测立体传感器系统的周围环境。
[0056]设备201包括用于基于传感器数据形成视差图的视差装置203，所述传感器数据借助于立体传感器系统提供。视差装置203可以优选地形成为视差估计器，其构造用于基于传感器数据实施视差估计并且基于视差估计形成视差图。
[0057]此外，设备201包括确定装置205，所述确定装置用于确定视差图的以一相互间距设置的两个视差点之间的视差变化。此外，设备201包括分类装置207，其用于根据视差变化将两个视差点中的至少一个相应地分类给一个对象。
[0058]图3示出对象识别系统301。
[0059]对象识别系统301包括用于立体检测立体传感器系统的周围环境的立体传感器系统303以及按照图2的设备201。
[0060]图4示出两个传感器图像401和403，它们借助于立体传感器系统形成。此外绘出笛卡尔X、Y、Z坐标系统405。此外，为了进行阐明，在传感器图像401中绘出具有坐标X1、Y的图像点407。在传感器图像403中与图像点407相应的图像点在传感器图像403中以参考标记409表示并且具有坐标Xj、Y。此外，传感器图像401的所投影的点407作为传感器图像403中的未填充的圆绘出。
[0061]现在以视差d表不两个点407和409之间的偏差。因此，尤其也就是说，视差d =Xj - Xi。
[0062]将具有d(X，Υ) = Xj - Xi的所有视差的集合表示为视差图。
[0063]那么，在笛卡尔坐标系统405中在Z轴上绘出各个视差值d。
[0064]图5示出了视差图501。
[0065]在视差图501中绘出两个区域503和509，它们分别表示具有不同的视差的区域，其中，在各个区域503和509中视差基本恒定或者仅仅相差可忽略的量值。例如区域505中的全部视差可以小于区域503中的视差。因此，尤其也就是说，基于区域505的世界点比基于区域503的世界点进一步远离。因此，尤其也就是说，相应于这些世界点的对象与立体传感器系统不同地远离。因此相应于区域505的对象关于立体传感器系统比相应于区域503的对象进一步远离。
[0066]此外，在视差图501中绘出三个视差点507、509、511和513，其中，视差点507位于区域503中。视差点509位于区域505中。视差点511位于两个区域503和505之外并且位于视差图501内。视差点513同样设置在两个区域503和505之外但设置在视差图501内。
[0067]两个视差点507与509之间的间距以Λ I表示。视差点507与视差点511之间的间距以Λ 2表示。视差点507与视差点513之间的间距以Λ 3表示。
[0068]在此，两个视差点507和505具有不同的X坐标但具有相同的Y坐标。两个视差点507和511具有相同的X坐标但具有不同的Y坐标。两个视差点507、513分别具有不同的X坐标和Y坐标。
[0069]两个视差点507和511之间的视差变化也可以称为垂直视差变化。在该情况下逐列地分析处理视差图501。因此，尤其也就是说，使用沿视差图501的列方向的视差变化作为分类的度量。
[0070]在该情况下可以如下描述视差变化h (X，Y):
[0071]h (X, Y) =(1仏￥)-(1(父，￥+八2)，其中，(1代表视差。
[0072]优选地设置预先确定的阈值，其中，根据h(X，Y)是小于或小于等于还是大于或大于等于预先确定的阈值来对相应的视差点并且继而间接对视差点所基于的、周围环境中的对象进行分类，例如分类为障碍物、自由面或可行驶的面或可在下面穿过的面，例如桥。
[0073]图6示出用于处理或加工立体传感器系统601的传感器数据的另一方法的流程图。
[0074]立体传感器系统601包括两个视频摄像机603和605，它们相互水平错开地设置。在步骤607中使用两个视频摄像机603、605的相应传感器数据——其分别相应于一个传感器图像，以便形成视差图609。在步骤611中设置，沿垂直方向和/或水平方向对视差图609进行平滑，以便有利地抑制视差图609中的观察噪声。
[0075]在步骤613中，确定视差图609的以一相互间距形成的两个视差点之间的视差变化。为此尤其确定沿视差图609的列方向的视差变化。
[0076]随后在步骤615中进行分类，以便分类所述视差点中的至少一个。尤其可以如下实施分类，使得将视差点所基于的对象分类为障碍物617或自由面619。
[0077]尤其根据按照步骤613的视差变化实施按照步骤615的分类。在此尤其设置阈值，其中，优选地在小于或小于等于预先确定阈值的视差变化的情况下将相应的视差点分类为自由面619。如果视差变化大于或大于等于预先确定的阈值，则将相应的视差点分类为障碍物 617。
[0078]因此，总而言之，本发明尤其包括以下构思:根据立体传感器系统的、尤其立体视频传感器系统的视差图识别障碍物并且确定可行驶的自由面。在此，在立体传感器系统的周围环境中的平面假设是不必要的，从而本发明也可用于相对于立体传感器系统的大的距离范围。
【权利要求】
1.一种用于处理立体传感器系统(303)的传感器数据的方法，所述立体传感器系统用于立体检测所述立体传感器系统(303)的周围环境，其中，基于所述传感器数据形成(101)视差图(501),其特征在于，确定(103)所述视差图(501)的以一相互间距(八1、八2、八3)形成的两个视差点(507401511513)之间的视差变化，其中，根据所述视差变化对所述两个视差点(507,501511513)中的至少一个相应地分类(105)给一个对象(617,619)。
2.根据权利要求1所述的方法，其中，根据所述两个视差点(507401511513)之一在所述视差图(501)中的位置选择所述两个视差点(507401511513)之间的间距(八1、八2、厶3)。
3.根据权利要求1或2所述的方法，其中，根据视差噪声选择所述两个视差点〈507、509,511,513)之间的间距(厶1、厶2、厶3〉。
4.根据以上权利要求中任一项所述的方法，其中，对于所述视差图(501)的所有视差点(507,509,511,513)恒定地选择所述间距(厶1、厶2、厶3〉。
5.根据以上权利要求中任一项所述的方法，其中，沿水平方向和/或垂直方向对所述视差图(501)进行平滑(611)。
6.根据以上权利要求中任一项所述的方法，其中，将所述两个视差点(507401511513)选择为所述视差图(501)的仅仅相互垂直错开地设置的两个视差点(507411)0
7.根据权利要求6所述的方法，其中，如果第二视差点(511)在第一视差点(507)之上形成，则在负的视差变化的情况下将视差点(507)分类为可在下面穿过的对象。
8.一种用于处理立体传感器系统(303)的传感器数据的设备(201),所述立体传感器系统用于立体检测所述立体传感器系统(303)的周围环境，所述设备包括用于基于所述传感器数据形成视差图(501)的视差装置(203),用于确定所述视差图(501)的以一相互间距(八1^2^3)形成的两个视差点(507,509,511,513)之间的视差变化的确定装置(205),以及用于根据所述视差变化对所述两个视差点(507401511513)中的至少一个相应地分类(105)给一个对象(617,619)的分类装置(207)。
9.一种对象识别系统(301),其包括立体传感器系统(303)和根据权利要求8所述的设备(201)。
10.一种计算机程序，其包含程序代码，用于当在计算机中执行所述计算机程序时实施根据权利要求1至7中任一项所述的方法。
【文档编号】G06K9/00GK104364796SQ201380028624
【公开日】2015年2月18日 申请日期:2013年4月24日 优先权日:2012年6月1日
【发明者】L·比尔克勒, O·平克 申请人:罗伯特·博世有限公司