专利名称：用于确定机动车的自身运动的方法
技术领域：
本发明涉及一种根据权利要求1的前序部分的用于确定在一个环境中一个机动车的自身运动的方法及一种根据权利要求14的前序部分的用于实施确定在一个环境中一个机动车的自身运动的方法的装置。
背景技术：
用于确定一个机动车的自身运动的方法已是公知的。这种方法属于“有视力的汽车”的课题范畴，尽管该方法在原理上可用于各种不同的机动车类型。该方法的基础在于，借助图像产生方法来摄取机动车在其中运动的环境及通过计算对其进行处理。借助图像数据的分析可对环境及包括处于其中的物体在内进行评价，并且对机动车驾驶员提供附加的数据，这些数据例如涉及障碍物的出现或对其它的机动车的接近。为了可在对于驾驶员及其驾驶行为重要的这些信息方面对图像数据进行分析，另外有意义的是，对关于机动车瞬时行驶方向的图像数据进行分析。在此情况下定时地求得借助一个图像产生装置产生的瞬时摄像的机动车看来要驶向的一个点或一个区域。这个点或区域被称为扩展焦点(Focus of Expansion，FOE)。在此涉及摄像机的运动方向在图像平面上的投影。因为瞬时摄像仅示出环境的一部分，所以该扩展焦点未必一定位于该瞬时摄像的图像片断内。因此例如在旋转运动时该扩展焦点则位于相应的旋转运动方向上的无穷远。为了求得该扩展焦点，另外确定在时间上彼此间隔地摄取的两个瞬时摄像之间瞬时摄像的被选择的(或所有的)像点的光通量。简单地说，这意味着求得随着时间的推移这些像点在何方向上运动及运动了多少。因此一个像点的光通量可以按照一个运动矢量的意义来理解。在此情况下对于扩展焦点的确定重要的是所谓的静止点，即在相继的瞬时摄像中不运动的点或结构(图像特征)。这些点的光通量为零、接近零或低于一个确定的阈值。静止的点可这样地形成，即被观察的结构离图像产生装置如此地远，使得相对运动可被忽略(背景结构)。此外静止的点可以这样来得到一个被观察的物体相对摄像机不运动，例如机动车自身的多个部分或以相同行驶方向及速度向前行驶的机动车就是该情况。特别是在公路交通中很少有这些静止点在长时间上还真正作为静止的被提供，因为例如机动车会拐弯、至目前为止恒速向前行驶的机动车将加速或制动或一个定位在远处的静止点被一个驶入的机动车所遮挡。在这里根据现有技术的方法将使可靠且快速地求得机动车自身运动的愿望落空，尤其是在快速变化的环境中。
本发明的优点根据本发明对现有技术作了如下改进，即借助第一算法将多个新的参考点(多个静止点)动态地附加给观察集合，及借助第二算法从观察集合中动态地消除一些已有的参考点。这意味着，观察集合在所包含的参考点方面能持续地适配改变着的环境条件。借助第一算法这样地检查像点，即看它们是否满足一个静止点的判断标准，也就是说，它们是否应作为参考点被接收到观察集合中。借助第二算法来确定，是否一定的参考点不再满足一个静止点的判断标准并应从观察集合中消除。在此情况下这涉及一个动态的方法，即像点和参考点的检验以及观察集合的适配可连续地进行，使得即使在快速变化的环境中也始终可提供具有当前参考点的观察集合。鉴于所述的判断标准，在这里应该指出，判断标准的检验将定期地在考虑到统计学观点和/或引入阈值的情况下来进行。
有利地，第一算法包括用于求得其光通量为零或接近零的像点的步骤。在此情况下光通量的检验可涉及到所有的点或仅涉及被选择出的像点。如果求出具有的光通量为零或接近零的像点，则可认为，在此它是一个静止点。该像点则作为参考点被接收到观察集合中。在确定一个像点是否静止时优选使用一个阈值，由此不仅可识别出其光通量精确为零的像点，而且可识别出其光通量大致为零的像点。适合于相应的应用的阈值对于本领域技术人员来说可借助试验简易地找到。
在本发明的一个有利的构型中，第一算法包括用于求得其光通量相应于在多个参考点的情况下已被求得的光通量的像点的步骤。已经知道，一个静止点的存在的证据是一个像点具有一个光通量，该光通量相应于在多个参考点、即已求出的多个静止点情况下的光通量。由此也可在其中无具有零光通量的像点产生的困难情况下求得新的参考点。多个参考点-它们的光通量与该像点的光通量相比较-可用不同的方式来实现。因此根据本发明尤其提出，观察大量的在地点上相关地定位的参考点，将所需参考点的数目描述为全部参考点的百分比或借助数学方法、尤其是统计学的方法来确定重要的参考点或参考点的集。这里也并不需要被观察的像点的光通量与所选择的参考点的光通量精确地一致。相反，在统计学上显著地一致或达到预定容差以内就已足够了。这亦由本领域技术人员根据所要求的特性或窄或宽地确定其中光通量的一致性被肯定的范围。
有利地，第一算法包括借助一个卡尔曼(Kalman)滤波器对像点进行滤波的步骤。卡尔曼滤波器的工作原理及实现已由现有技术充分地公开，因此不予以详述。设置到卡尔曼滤波器中的边界条件优选为一个最大的光通量，及-如果对多个瞬时摄像进行分析的话-多个像点的一个最小的或最大的加速度。不满足预定条件的、即出于各种不同的原因可能不正确地代表环境的像点被卡尔曼滤波器衰减(gedmpft)或抑制掉。这改善了关于将新的参考点接收到观察集合中的结果。
优选地，第一算法包括用于由在地点上相关地定位的参考点来求得至少一个物体组的步骤。由此可以使包括参考点在内的分析得以改善及变得容易。通过产生物体组，例如不再需要对多个单独的点进行比较，而是使用一个形状比较，该形状比较例如由P.J.Besl及N.D.McKay描述在Iterative Closest Point Algorithm(迭代最接近点算法)中(一种记录三维形状的方法，PAMI，14(2)第239-256页，1992年2月)。也可使用用于集比较的公知方法，例如RANSAC(M.A.Fischler，R.C.BollesRandom Sample ConsensusA Paradigm forModel Fitting with Applications to Image Analysis and AutomatedCartography(随机采样一致性用于装有图像分析及自动化制图的应用程序的模型的一个范例)，Comm.of the ACM，第24卷第381-395页，1981年)。
有利地，第二算法包括用于求得持久存在的、其位置不改变的参考点的步骤。在长时间上或甚至始终不变的参考点仅有很小的或根本没有说服力，因为在此情况下经常涉及图像产生装置的视野中机动车自身的多个部分，或涉及图像产生装置的光学装置区域中的污物。如果已知前视场(Voffeld)中的一些可导致无信息内容的参考点的图像区域，则这些区域可基本上被从图像分析中除去。
有利地，第二算法包括用于相对少数参考点的至少一个第二光通量求得多数参考点的一个第一光通量的步骤。这里多数及少数的概念不应仅被理解为从数字方面看。而也可以是，借助一定区域中多个像点或属于一个物体组的多个参考点的更高加权，也可以考虑，从数字上看小数目的参考点被理解为多数的含义。所提出的分析是特别有利的。即如果在瞬时摄像的分析期间证实了大数目的参考点(或一定数目高加权的参考点)相对另一部分参考点不同地运动，例如当第一光通量大致为零及第二光通量明显大于零时，则可认为，具有第二光通量的参考点属于到目前为止相对于图像检测装置不运动的物体，并且不是真正静止的。被识别为自身运动的参考点被从观察集合中去除，并且只有仍然静止的参考点被继续跟踪。
在本发明的一个进一步构型中，第二算法包括借助卡尔曼滤波器对参考点进行滤波的步骤。这里对卡尔曼滤波器例如可在参考点的实际被期待的运动范围上预先给定边界条件。如果一个参考点的运动例如仅一次地或仅短时地超过一个预先给定的阈值，则可借助卡尔曼滤波器对它进行考察，并且避免轻率地由观察集合中清除该参考点。
有利地，在不同时刻上存储观察集合的参考点的至少一部分及由存储的数据来确定参考点的分布。由此例如可检验是否一个确定的点视其分类而定就光通量的值及方向来说处在一个所期待的范围中。被存储数据的分析也可被用来引起由观察集合中清除一个点(例如一个自身运动的物体)。在此情况下也可以将全部像点或选择的像点输入卡尔曼滤波器及然后用滤波器的结果来校正到目前为止的点集。接着则可继续处理所有一致的像点，即其通量具有在所设置的边界条件以内的期望值的像点。
有利地，由多数参考点的一个相同的光通量来计算图像产生装置或机动车的自身角运动。如果发生了观察集合中多数参考点的集体运动，则这可推断为图像产生装置或机动车的自身角运动。通过该集体运动的分析可得到角度分量，即俯仰角、偏航角及滚动角(Rollwinkel)。并且在这里提供以上所提出的方法，以便可以做出结论何时多数参考点相对其它的参考点运动并允许归结为自身角运动。根据原理，当图像产生装置自身角运动时应进行所有参考点的同样运动，但由于在实践中高的动态边界条件这通常不会出现。因此对于相应的应用合乎目的的且足够的是，确定出合适的阈值及用于求得多数参考点的合适的方法。
有利的是，借助一个数学方程组来描述图像产生装置或机动车的自身角运动，及通过在时域中对求得的观察集合的滤波求得用于计算自身角运动的系数。由此可取消各个点的分析和/或加权。这种自身角运动的确定尤其是可以通过卡尔曼滤波器来支持。
根据本发明的一个优选构型，所求得的自身角运动被输送给机动车的控制功能部分及由这些控制功能部分在确定和/或执行控制干预时对所述自身角运动进行考虑。这里对于“控制”的概念既可理解为无反馈的控制也可理解为有反馈的调节。属于机动车控制功能的尤其是制动功能、如防抱死系统或制动辅助，以及稳定功能、如电子稳定程序(Stabilittskontrolle)。通过考虑对于机动车的自身运动而求得的数据可以目标明确地投入涉及机动车驾驶行为的控制和/或调节干预。在此情况下尤其有利的是，将自身角运动传送给这些控制功能部分。
有利的是，在光通量分析时如下地考虑所求得的自身角运动，即消除光通量中基于自身角运动的分量，以便由此得到基本上由纯平移引起的光通量。对该平移视场(Feld)的偏离可归结于自身运动的物体。此外借助平移视场中的长度比较可以求得深度分级(Tiefenstafflungen)和/或具有相同运动方向并有相对速度的物体，如例如在一个超车的机动车的情况下所得到的。
本发明还涉及一种用于实施确定在一个环境中机动车的自身运动的方法的装置，该装置具有一个用于借助瞬时摄像来检测该环境的图像产生装置；一个用于借助瞬时摄像确定光通量的求值装置；一个用于存储多个参考点的观察集合的存储装置，这些参考点根据图像产生装置的观察看起来是静止的；一个实现第一算法的第一逻辑电路，用于确定待附加给观察集合的参考点；和一个实现第二算法的第二逻辑电路，用于确定待由观察集合中消除的参考点。
附图现在将借助实施例来详细描述本发明。图中示出
图1用于确定一个机动车的自身运动的一个方法，及图2用于实施确定一个机动车的自身运动的方法的一个装置。
实施例的说明图1示出用于确定机动车的自身运动的、尤其是确定机动车的自身角运动的一个方法。该方法，例如在该机动车投入使用时开始于点S。首先可以在一个可选择的初始化步骤10中进行环境数据的初始摄取。属于该初始化步骤的尤其是一个光通量的第一次计算、一个观察集合的参考点的第一次建立及这些参考点的集合通量的第一次确定。对于集合通量的概念应理解为对各个光通量的平均考察，借助它可描述所有的或至少多个参考点的一个普遍的共同的光通量。根据所需的应用，可采用不同的方法，例如平均值、中值，几何平均值、统计的和/或随机的分析。在此情况下起决定作用的尤其是，可以推导出这样的结论，即哪些像点或参考点是真正静止的及这些静止点具有什么样的光通量。该初始化步骤10不是强制性必需有的，因为尤其是参考点的接收及去除是一个动态的方法，该方法可仅借助以下所述的方法步骤来实现。
在步骤12中由两个瞬时摄像来计算一个光通量。用于确定光通量的方法已由许多方案公知并在现有技术中被详细地描述。对在步骤12中获得的光通量数据现在将优选地用两个不同的方式来分析。在此情况下具有步骤14，16和20以及比较步骤18的第一处理方法及具有步骤22，24和26的第二处理方法既可单独地也可交替地运用，并且在相应的预先措施的情况下也可组合地运用。
在第一处理方法中，在检验步骤14中首先进行关于参考点(静止点)的检验。也就是说，被识别为静止点的像点将作为参考点被接收到观察集合中；不再满足静止点的判断标准的参考点被从观察集合中取出。在该步骤中也可进行在地点上相关地定位的参考点的求得。在该检验步骤14后在步骤16中求得这些参考点的集合通量。该集合通量的结果在比较步骤18中与一个在先求得的集合通量相比较。如果对于在先求得的集合通量还未有任何数据，则新求得的集合通量与一个标准值、尤其是零相比较。如果确定出集合通量未改变，则该方法通过分支N继续地进行，及然后返回已知的步骤12。如果确定出集合通量有改变，也就是说摄像机及由此机动车已经进行了自身角运动，则该方法通过分支J分转到计算步骤20，在该计算步骤中借助直接的计算或一个卡尔曼滤波器计算一个新的自身角运动。然后该方法通过步骤12继续进行。
根据第二处理方法，对由步骤12获得的光通量在步骤22中借助一个卡尔曼滤波器进行处理。在此情况下将数据输入到卡尔曼滤波器中，这些数据模拟作为测量值来源的真实环境。这将示例地对于机动车的俯仰颠簸运动做出说明。对于确定的机动车在确定的环境中例如可以假定该俯仰颠簸运动通常不超过±2°的值及俯仰速度通常不超过±1°/秒的值。该信息被输入到卡尔曼滤波器中，使得在测量值超过该值的情况下、尤其是在显著超过的情况下，相应点的数据被衰减和/或被清除。刚才由第一处理方法已知的对参考点的检验，现在将在第二处理方法中，在步骤24中基于由根据步骤22的卡尔曼滤波得到的数据来进行。然后在步骤26中由步骤22的数据来计算新的自身角运动，当无机动车的自身角运动时该新的自身角运动等于零。第一和/或第二处理方法的所求得的新的自身角运动被传送给控制单元，这些控制单元被设置在机动车中或被配置给该机动车。
图2示出用于实施确定机动车32的自身运动的方法的一个装置30。该装置具有一个图像产生装置34，图像产生装置借助瞬时摄像来检测机动车32的环境的至少一部分。该机动车32的运动借助箭头来表示。这些图像数据通过数据线36被传送给一个求值装置38，在该求值装置中由瞬时摄像的图像数据求得至少所选择的像点的光通量。这些数据可被存储在一个存储装置40中。在此情况下该存储通常是暂时存储，暂时存储可以涉及瞬时摄像、各个图像片段、像点、参考点、点的组、光通量或涉及其它测量数据或被处理的数据。对求值装置38及存储装置40配置了一个第一逻辑电路42及一个第二逻辑电路44。借助第一逻辑电路42对图像数据这样地进行分析，即从瞬时摄像的图像数据中找出静止的点。第二逻辑电路主要用于针对可能将清除的参考点检查观察集合。在后置的分析装置46中针对自身运动、尤其是自身角运动对所获得的数据进行分析。对于数据的分析可参考前述说明。在该例中，由分析装置46求得的这些数据被输送给机动车32的一个控制装置48、例如一个电子稳定控制单元，及在调节干预的计算时由该稳定控制单元考虑。
权利要求
1.一种用于确定在一个环境中机动车的自身运动的方法，其中借助一个固定在机动车上的图像产生装置借助瞬时摄像来检测所述环境的至少一部分，对至少两个瞬时摄像进行分析，以确定多个像点的光通量，由这些光通量求得一些参考点，这些参考点根据图像产生装置的观察看起来是静止的，及将这些参考点收集在一个观察集合中，其特征在于，借助一个第一算法将新的参考点动态地附加给所述观察集合，及借助一个第二算法从所述观察集合中动态地消除一些已有的参考点。
2.根据以上权利要求中任一项的方法，其特征在于，所述第一算法包括用于求得其光通量为零或接近零的像点的步骤。
3.根据以上权利要求中任一项的方法，其特征在于，所述第一算法包括用于求得其光通量相应于在多个参考点的情况下已被求得的光通量的一些像点的步骤。
4.根据以上权利要求中任一项的方法，其特征在于，所述第一算法包括借助一个卡尔曼滤波器对这些像点进行滤波的步骤。
5.根据以上权利要求中任一项的方法，其特征在于，所述第一算法包括用于由一些在地点上相关地定位的参考点来求得至少一个物体组的步骤。
6.根据以上权利要求中任一项的方法，其特征在于，所述第二算法包括用于求得持久存在的、其位置不改变的参考点的步骤。
7.根据以上权利要求中任一项的方法，其特征在于，所述第二算法包括用于相对少数参考点的至少一个第二光通量求得多数参考点的一个第一光通量的步骤。
8.根据以上权利要求中任一项的方法，其特征在于，所述第二算法包括借助一个卡尔曼滤波器对这些参考点进行滤波的步骤。
9.根据以上权利要求中任一项的方法，其特征在于，在不同的时刻上存储所述观察集合的这些参考点的至少一部分，及由这些存储的数据来确定这些参考点的分布。
10.根据以上权利要求中任一项的方法，其特征在于，由多数参考点的一个相同的光通量来计算所述图像产生装置或所述机动车的自身角运动。
11.根据以上权利要求中任一项的方法，其特征在于，借助一个数学方程组来描述所述图像产生装置或所述机动车的自身角运动，及通过在时域中对求得的观察集合的滤波求得用于计算所述自身角运动的系数。
12.根据以上权利要求中任一项的方法，其特征在于，将求得的自身运动被传输给所述机动车的控制功能部分，及由这些控制功能部分在确定和/或执行控制干预时考虑所求得的自身运动。
13.根据以上权利要求中任一项的方法，其特征在于，在对这些光通量分析时如下地考虑求得的自身角运动，即清除光通量中基于所述自身角运动的部分，以便由此得到基本上由纯平移引起的光通量。
14.用于实施确定在一个环境中机动车(32)的自身运动的方法的、尤其是根据以上权利要求中任一项的方法的装置(30)，具有一个用于借助瞬时摄像检测该环境的图像产生装置(34)；一个借助所述瞬时摄像确定光通量的求值装置(38)；及一个用于存储多个参考点的观察集合的存储装置(40)，这些参考点根据所述图像产生装置的观察看起来是静止的，其特征在于，设有一个实现第一算法的第一逻辑电路(42)，用于确定待附加给所述观察集合的参考点，及设有一个实现第二算法的第二逻辑电路(44)，用于确定待由所述观察集合中去除的参考点。
全文摘要
本发明涉及一种用于确定在一个环境中机动车的自身运动的方法，其中借助一个固定在机动车上的图像产生装置借助瞬时摄像检测所述环境的至少一部分，对至少两个瞬时摄像进行分析，以确定多个像点的光通量，由这些光通量求得一些参考点，这些参考点根据所述图像产生装置的观察看起来是静止的，及将这些参考点收集在一个观察集合中，其中借助一个第一算法将新的参考点动态地附加给所述观察集合，及借助第二算法从所述观察集合中动态地消除某些已有的参考点。此外本发明还涉及用于实施相应的方法的装置(30)。
文档编号G06T7/20GK101095163SQ200580045875
公开日2007年12月26日 申请日期2005年12月23日 优先权日2005年1月4日
发明者A·维尔茨-韦塞尔, F·施泰因 申请人:罗伯特·博世有限公司