用于识别围绕机动车辆的区域中的对象的方法、驾驶员辅助系统和机动车辆与流程

本发明涉及一种用于将围绕机动车辆的区域中的对象识别为静止对象的方法，其中，在该方法中，围绕区域利用车辆侧部捕获装置在图像中被捕获，该对象利用图像处理装置在被捕获图像的至少一个中被检测。本发明另外涉及一种驾驶员辅助系统和机动车辆。

背景技术：

从现有技术中已知在机动车辆上安装捕获装置，例如摄像头，以由此在图像中捕获围绕机动车辆的区域。信息可例如通过利用图像处理装置在图像中认出对象而从所述图像中被抽取。de102008063328a1例如提出基于被捕获的对象确定机动车辆的俯仰角的变化。

所述信息可被提供给机动车辆的驾驶员辅助系统，例如自动全光束调节系统。从图像抽取的信息可被使用，例如以调节通过机动车辆发出的全光束，从而一方面，围绕机动车辆的区域、特别是机动车辆的道路被照亮，并且可行地，在另一方面，其他道路使用者(诸如前来车辆)没有被眩目。为此，在围绕机动车辆的区域中被捕获的对象初始地需要被分类或者被识别，从而例如前来车辆在一开始就被这样认出。

技术实现要素：

本发明的目的是能够可靠且简单地识别围绕机动车辆的区域中的对象。

该目的根据本发明通过具有根据专利独立权利要求特征的方法、驾驶员辅助系统和机动车辆来实现。

根据本发明的方法用于将围绕机动车辆的区域中的对象识别为静止对象。在该方法的过程中，围绕区域利用车辆侧部捕获装置在图像中被捕获，该对象利用图像处理装置在被捕获图像的至少一个中被识别。此外，对象在围绕区域中相对于机动车辆的第一位置基于至少一个第一被捕获图像被估计，在图像坐标中的对象的移动序列基于第一图像和至少一个第二被捕获图像确定，从由围绕区域中的第一估计位置出发，在图像坐标中表征静止对象的第一移动序列被确定，被捕获对象基于被捕获对象的移动序列与第一特征移动序列的比较而被识别为静止对象。

该方法因此用于在围绕区域中的对象是静止对象还是非静止对象之间进行区分。如果对象利用该方法被识别为非静止的，则假定该对象是动态对象。在该方法中，围绕区域——特别是沿驾驶方向位于机动车辆前方、特别是侧向前方的围绕区域——利用车辆侧部捕获装置在图像中被捕获，所述车辆侧部捕获装置例如包括至少一个摄像头。摄像头特别地在此被设计为二维地捕获围绕区域。图像处理装置被设计为，从所述至少一个被捕获图像的图像数据中在所述至少一个被捕获图像中认出对象的二维投影，且因此识别出在围绕区域中的对象。

根据本发明，设置为，对象(即，真实对象)在围绕区域中相对于机动车辆的第一位置基于第一被捕获图像被估计。第一图像可以是其中对象已经被图像处理装置识别出的图像。真实对象在围绕区域中的第一位置可基于对象在第一图像上的二维投影被估计，例如基于对象在图像上的二维几何测量。第一位置在此特别是在世界坐标系中被确定，且描述被捕获对象距机动车辆的第一可能距离。世界坐标系可以例如是车辆坐标系，其具有沿车辆侧向方向的第一轴线、沿车辆纵向方向的第二轴线和沿车辆高度方向的第三轴线。对象距机动车辆的距离由此特别地仅基于被捕获图像被确定。该距离特别地没有被直接测量。因此，摄像头可具有特别简单的设计，且例如不需要昂贵的飞行时间摄像头。

基于第一图像和至少第二图像，对象的移动序列(即，对象的投影)在图像坐标中被确定。图像坐标在此在二维图像坐标系中被确定，其具有第一图像轴线(例如水平的)和第二图像轴线(例如垂直的)。在图像坐标中的移动序列在此被确定为使得，在第一图像中，对象的第一位置(例如，对象的投影点的图像位置)在图像坐标中被确定，且在所述至少一个第二位置中，对象的图像位置(例如，在第二图像中的对象的投影点的图像位置)在图像坐标中被确定。在两个图像之间的对象的图像位置的变化在此给出对象的移动序列。对象的图像位置变化——即，在被记录图像中对象的投影移动——通过机动车辆在道路上行进而被获得。由于机动车辆行进，对象在图像中的图像位置变化，且由此，所述至少两个图像之间的对象的图像坐标变化。被捕获对象在图像坐标中的移动序列在此对应于对象投影在图像坐标中的瞬时移动序列(或真实移动序列)。在两个相继被记录的图像之间的时长可例如在50ms至80ms之间，特别是60ms。作为结果，对象的图像位置可例如每隔60ms被确定。

另外，现在确定在图像坐标中表征静止对象的第一移动序列。第一特征移动序列在此对应于如果该对象在第一估计位置处是静止对象的话对象投影所具有的第一预确定移动序列。为了确定第一特征移动序列，例如在第一估计位置处的规定静止参考对象的图像位置可对所述至少两个图像进行确定。被捕获对象的移动序列和第一特征移动序列可被分别确定为一个轨迹，且例如在其中一个被捕获图像中被表示。

为了将对象识别为静止对象，瞬时移动序列和第一预确定移动序列可然后被比较。为此，例如，轨迹之间的距离可在图像中被确定。如果例如瞬时移动序列与第一预确定移动序列一致，或如果瞬时移动序列从第一预确定移动序列偏离至多规定临界值，则被捕获对象可被识别为静止对象。但是，如果瞬时移动序列从第一预确定移动序列偏离多于规定临界值，则被捕获对象可被识别为动态对象。

根据本发明的方法可因此被用于以特别简单的方式从围绕区域的被捕获图像对围绕区域中的对象进行分类或识别。

另外，对象在围绕区域中相对于机动车辆的第二位置优选地基于所述至少一个第一被捕获图像且被估计，且从围绕区域中的第二估计位置出发，在图像坐标中表征静止对象的第二移动序列被确定，被捕获对象基于被捕获对象的移动序列与第二特征移动序列的比较而被识别。换句话说，除了对象距机动车辆的第一可能距离，对象距机动车辆的第二可能距离也被估计。第二距离也在世界坐标系中被确定。

本发明在此基于的发现是，基于由被捕获装置二维地捕获但可以特别地沿摄像头轴线变化的图像，不可能准确确定对象的距离。因此，对象距机动车辆的两个可能且合理的距离被估计。因此，除了图像坐标中的第一特征移动序列(在世界坐标中为在第一位置的参考对象确定)，图像坐标中的第二特征移动序列可以在世界坐标中为在第二位置的参考对象确定。第二特征移动序列在此对应于对象所具有的第二预确定移动序列，如果该对象在第二估计位置处是静止对象的话。第二特征移动序列可同样被确定为轨迹，且在被捕获图像中被表示。另外，瞬时移动序列与第二预确定移动序列被比较。如果瞬时移动序列与第二预确定移动序列一致，或从第二预确定移动序列偏离至多另一规定临界值，则被捕获对象可被识别为静止对象。通过确定第二预确定移动序列，且由于瞬时移动序列与两个预确定移动序列的比较，被捕获对象可特别可靠地被分类和识别为静止对象。

特别优选地，如果被捕获对象的移动序列在通过第一和第二特征移动序列形成的通道内，则被捕获对象被识别为静止对象。换句话说，第一和第二移动序列的图像坐标形成通道，即，移动区域，如果被捕获对象是静止对象的话，则被捕获对象在所述通道内移动。在此还可以将通道规定为通过容差区域延伸，结果是，被捕获的对象被识别为静止对象，即便被捕获对象的移动序列在通道之外，但是在容差区域内。通过将所有移动序列表示为其中一个图像中的轨迹，可以特别简单的方式确定被捕获对象的轨迹是否落入在通道内。

被证明有利的是，为被捕获对象规定作为静止对象特征的第一高度，在围绕区域中相对于机动车辆的第一位置基于所述至少一个第一图像且基于为该对象规定的第一高度被确定，以及为被捕获对象规定作为静止对象特征的第二高度，在围绕区域中相对于机动车辆的第二位置基于所述至少一个第二图像且基于为该对象规定的第二高度被确定。然后为了基于二维图像在世界坐标中合理地估计对象的位置，为对象规定两个不同的、合理高度。例如，第一高度在此对应于预确定静止参考对象可具有的最大高度，第二高度对应于预确定静止参考对象可具有的最小高度。例如，可为图像处理装置存储最小和最大高度，结果是，对象在世界坐标中的位置可基于所述至少一个被捕获的第一图像利用被存储的高度简单且快速地确定。因此，对象距机动车辆的距离可被合理且快速地确定，特别是不需要直接测量该距离。由此可以省去用于距离测量的单独的传感器装置，和/或作为飞行时间摄像头的摄像头构造。

可规定，机动车辆绕车辆高度轴线的车辆速度和/或角速率被捕获，以确定特征移动序列。基于车辆速度和/或角速率，由此可以在世界坐标系中的静止对象的情况下，从对于图像被捕获的每个时间点的第一估计位置和第二估计位置出发，确定对象的位置，也就是说例如参考对象在围绕区域中相对于机动车辆的位置；还可以将其转换为图像位置的在该时间点的图像的相应图像坐标。因而，可以为每个图像确定参考对象的图像位置和由此确定图像中的被捕获对象所具有的预确定图像位置，如果被捕获对象是静止的话。两个图像之间的预确定图像位置的变化提供预确定移动序列，也就是说，表征静止对象的移动序列。

另外，特征移动序列在机动车辆在平坦道路上行进的假定下被确定。平坦道路在此是既没有隆起也没有凹坑的道路。这意味着，假定机动车辆在行进期间不执行俯仰移动，即，绕车辆横向轴线没有旋转移动。换句话说，机动车辆的俯仰角在行进期间没有改变。作为结果，特征移动序列可被确定，而不需要捕获机动车辆的俯仰角的工作。

根据实施例，在被捕获对象的移动序列与特征移动序列的比较期间，仅预确定方向的图像坐标被比较。优选地，仅沿水平方向的图像坐标被相互比较。本发明在此基于的发现是，即便被捕获对象是静止对象，如果机动车辆在具有隆起的不平坦道路上行进时，被捕获对象的垂直图像坐标也将与特征移动序列的垂直图像坐标明显不同。由于不平坦道路，机动车辆在行进期间执行俯仰移动，其结果是，被捕获对象看起来是在图像中沿垂直方向移动。被捕获对象的图像坐标的该明显垂直移动可导致被捕获对象的移动序列——其基于对象投影的图像位置确定——在由两个特征移动序列形成的通道之外。特征移动序列特别地在机动车辆沿不具有隆起的平坦道路上行进的假设下确定。这意味着静止对象的看起来的垂直移动没有在特征移动序列中被反映。为此原因，在关于被捕获对象的移动序列是否在通道内的检查期间，仅沿水平方向的图像坐标被纳入考虑。沿垂直方向的图像坐标没有被纳入考虑。作为结果，对象可以被可靠地识别为静止对象，特别地不需要单独地捕获俯仰角，即便是在机动车辆例如由于凹坑而进行俯仰移动的道路上的情况下。

在本发明的改进中，被捕获对象的位置基于在当前时间点捕获的第一图像而被估计，被捕获对象的移动序列基于在当前时间点之前的时间点捕获的至少一个第二图像被确定。这意味着，对象的当前位置的世界坐标被估计，且从当前位置出发，被捕获对象的已经执行的移动被确定。换句话说，被捕获对象的移动序列被回溯地确定，即，基于图像坐标的被记录历史。特征移动序列在此已经被回溯地确定，即假如被捕获的对象是静止对象，该对象将会执行的移动。因此，对象可被特别快速地分类为静止对象或者动态对象。

作为静止、光反射对象的对象(特别是反光杆或路牌)优选地被识别为预确定对象。光反射对象在此被理解为是指具有反射光的活跃元件的对象。这样的元件可例如是反射器，其反射光，诸如例如猫眼。这样的对象可例如是反光杆或反射器杆，它们通常位于机动车辆的道路的侧部，且有助于机动车辆的驾驶员特别是在黑暗中或在晚上或在视线不好时识别方位。这样的对象还可以是路牌，其有效地反射光，用于改进的可见度。由于有效地反射光的对象，例如被机动车辆的头灯发出以照亮道路的光以有向或限定方式被该对象反射回到机动车辆，且可因此被图像处理装置错误地检测为前来车辆发出的光，特别是在晚上。利用根据本发明的可以将对象识别为静止或到动态的方法，有利地可以防止这样的混淆发生。

在此，如果已经基于所述至少一个被捕获第一图像和/或第二图像已经被检测出该被捕获对象以有向或限定方式沿机动车辆的方向发出光，且如果基于被捕获光发射对象的移动序列与表征静止对象的移动序列的比较已经检测出该被捕获对象是静止的，则对象可识别为静止的光反射对象，特别是识别为反光杆和/或路牌。换句话说，例如基于第一被检测图像，确定对象是否以有向方式沿机动车辆的方向发射光。还可以基于该图像估计对象的位置。接下来，被捕获的光发射对象的移动序列可被确定，且该对象可基于与特征移动序列的比较而识别为静止的。

优选地，如果对象被识别为活跃反射光的静止对象，被机动车辆头灯发出的用于照亮机动车辆道路的光的调节被阻止。换句话说，如果已经发现被捕获对象不是前来车辆但例如是反光杆或路牌的话，没有自动全光束调节(例如光的昏暗)被执行。由此可以防止自动全光束调节被不必要地执行。

本发明还涉及一种驾驶员辅助系统，特别地用于全光束调节，用于将在围绕机动车辆的区域中的对象识别为静止对象。驾驶员辅助系统包括用于在图像中捕获围绕区域的车辆侧部捕获装置，例如摄像头，和用于在至少一个被捕获图像中识别对象的图像处理装置。此外，图像处理装置被构造为，基于至少一个第一被捕获图像估计对象在围绕区域中相对于机动车辆的第一位置，基于第一图像和至少一个第二被捕获图像在图像坐标中确定对象的移动序列，由围绕区域中的第一估计位置出发而确定表征静止对象的第一移动序列的图像坐标，且基于被捕获对象的移动序列与第一特征移动序列的比较而将被捕获对象识别为静止对象。

根据本发明的机动车辆包括根据本发明的驾驶员辅助系统。机动车辆特别地被构造为客车。驾驶员辅助系统在此控制例如机动车辆的头灯，以调节被头灯发出的光。

关于根据本发明的方法介绍的优选实施例和其优势相应地应用于根据本发明的驾驶员辅助系统以及根据本发明的机动车辆。

术语“顶部”、“底部”、“前”、“后”、“水平”(a方向)、“垂直”(b方向)等基于对被捕获图像的适当观察来指示位置和取向。术语“内部”、“外部”、“侧向”、“右”、“左”、“顶部”、“底部”、“垂直高度轴线”(z方向)、“垂直纵向轴线”(y方向)、“车辆横向轴线”(x方向)等基于站在车辆前方沿车辆纵向方向观察的观察者来指示位置和取向。

本发明的进一步特征从权利要求、附图和附图的说明收集。前述说明书中提到的特征和特征组合以及在附图的描述中提到的和/或仅在附图中示出的特征和特征组合可以不仅用在每个情况下指出的组合中，也可以用在其他组合中或单独使用，而不偏离本发明。在附图中没有明确示出和解释但是可通过单独特征组合从所解释的构造中收集和实现的本发明构造也由此被视为被包含和披露。不具有原始措辞的独立权利要求的所有特征的构造和特征组合因此也应被视为是被披露的。

现在基于优选的示例性实施例以及参考附图在以下更详细地解释本发明。

附图说明

现在基于优选的示例性实施例以及参考附图在以下更详细地解释本发明。

在附图中：

图1是示出根据本发明的机动车辆的实施例的示意图；

图2a、2b、2c示出被车辆侧部捕获装置记录的图像的示意图；和

图3示出用于确定被捕获对象的位置的实施例的示意图。

具体实施方式

相同元件和/或具有相同功能的元件在图中被提供相同的附图标记。

图1示出具有驾驶员辅助系统2的机动车辆1。驾驶员辅助系统2包括车辆侧部捕获装置3，其可包括至少一个摄像头。捕获装置3用于在二维图像12、14中捕获机动车辆1的围绕区域4(见图2a、2b、2c)。捕获装置特别地捕获围绕区域4的图像12、14，当机动车辆1在道路9上行进时，所述围绕区域沿行进方向(y方向)定位在机动车辆1的前方和侧向前方。

驾驶员辅助系统2附加地包括图像处理装置5，其被构造为处理被捕获装置3捕获的围绕区域4的图像12、14，且例如从被捕获图像12、14抽取信息。驾驶员辅助系统2——特别地用于全光束调节——可基于从图像12、14抽取的信息控制机动车辆1的头灯11，以便调节或影响由头灯11发出的光。另外，驾驶员辅助系统2可具有速度传感器6，用于捕获在道路9上行进的机动车辆1的速度，和角速率传感器7，用于捕获机动车辆1绕机动车辆1的车辆高度轴线(z方向)的角速率。

图像处理装置5被构造用于在被捕获装置3捕获的图像12、14的至少一个中认出对象8。对象8在围绕区域4中相对于机动车辆1具有位置p(x,y,z)。位置p在此是世界坐标系x,y,z中的位置，其在此被定义为车辆坐标系。世界坐标系的x轴线在此沿车辆横向延伸，y轴线沿车辆纵向方向延伸，z轴线沿车辆高度方向延伸。

图像处理装置5被构造为对对象8分类，即，识别对象8是在围绕区域4中位置固定的静止对象，还是动态对象。如果被捕获对象8是动态对象，例如为前来车辆的形式，则驾驶员辅助系统2的控制装置10可例如控制机动车辆1的头灯11，以使头灯11发出的光变昏暗，且由此防止前来车辆的驾驶员眩目。但是，如果图像处理装置5已经检测出该对象8是静止对象，例如为反光杆(delineatorpost)13或路牌的形式，则应阻止以此方式调节通过头灯11发出的光。

将参考图2a、图2b和图2c解释将对象8识别为静止对象，特别地为反光杆13。图2a示出通过捕获装置3在第一时间点记录的围绕区域4的图像12。第一图像12在第一时间点(特别是当前时间)将围绕区域4’示出为围绕区域4的二维投影，道路9’为道路9的二维投影，对象8’为对象8的二维投影。对象8’的图像位置p’利用二维图像坐标系的图像坐标a,b指示。对象8’在图像12中具有第一图像位置p’(a1,b1)。基于二维的第一图像12，真实对象8(见图3)相对于机动车辆1的第一位置p1(x1,y1,z1)，也就是说，对象8距机动车辆1的第一可能距离，以及真实对象8相对于机动车辆1的第二位置p2(x2,y2,z2)，也就是说，对象8距机动车辆1的第二可能距离被估计。位置p1、p2在此在世界坐标系(x,y,z)中确定。

为了确定第一位置p1，用于对象8的第一最大高度h1被规定或假定，如图3所示。为了确定第二位置p2，用于对象8的第二最小高度h2被规定或假定。真实对象8的可能位置p1、p2然后基于图像12和高度h1、h2被确定。对象8的实际位置p(x,y,z)在此沿摄像头轴线20在两个位置p1、p2之间定位。高度h1、h2在此例如是反光杆13的典型规定最大高度和典型规定最小高度。

为了将被捕获对象8识别为静止对象，首先，以图像坐标a,b确定对象8’、8”的移动序列15(见图2c)——即，被捕获对象8的投影的移动序列15。为此，例如可确定在第一图像12中的对象8’的图像位置p’和在第二时间点记录的在第二图像14中的对象8”的图像位置p”(a2,b2)。第二图像14在第二时间点将围绕区域4”示出为围绕区域4的二维投影，道路9”为道路9的二维投影，对象8”为对象8的二维投影。第二时间点在此特别地在第一当前时间点之前发生。图像位置p’、p”中的变化可作为以移动序列15为特征的轨迹被确定，且例如在第一图像12中示出(见图2c)。

另外，从第一估计位置p1和第二估计位置p2出发，静止对象特征的移动序列16、17在图像坐标a,b中被确定。第一特征移动序列16在此是静止对象在第一估计位置p1的特征，第二特征移动序列17是静止对象在第二估计位置p2的特征。特征移动序列16、17例如通过确定图像坐标a,b中静止参考对象在图像12、14中的图像位置而被确定。为此，对于静止参考对象在第一图像12中的图像位置，第一位置p1和第二位置p2被转换为图像坐标a,b。为了确定静止参考对象在第二图像14中的图像位置，静止参考对象的进一步第一位置的世界坐标x,y,z和静止参考对象的进一步第二位置的世界坐标x,y,z(参考对象在第二时间点所具有的)被转换为图像坐标a,b。进一步的第一位置和进一步的第二位置可例如基于机动车辆1的速度和/或角速率确定，其利用速度传感器6和/或利用角速率传感器7被捕获。另外，特征移动序列16、17是在道路9——机动车辆1行驶在其上——例如是平坦且没有凹坑或隆起的假设下确定的。移动序列16、17——其可同样被表示为第一图像12中的轨迹(见图2c)——形成通道18。如果被捕获的对象8’、8”的移动序列15落入在通道18内，则被捕获的对象8则被识别为静止对象。

图2c示出移动序列15的水平坐标a定位在通道18内，而不是移动序列15的垂直坐标b。移动序列15在此示出当机动车辆行驶在具有隆起的道路9上时用于机动车辆1的对象8’、8”的移动序列。由于这些隆起，机动车辆1执行绕车辆横向轴线的俯仰移动，即，沿z轴线的俯仰移动。由于所述俯仰移动，对象8’、8”看起来沿高度方向(b方向)在图像坐标a,b中移动。为了能够将被捕获对象8识别为静止对象而不管俯仰移动且不是必须捕获俯仰移动，在关于移动序列15是否落入通道18内的检查期间，仅水平图像坐标a被考虑或纳入考虑。垂直图像坐标b没有被纳入考虑。

基于移动序列15与特征移动序列16、17的比较，被捕获的对象8可识别为静止对象。为了将识别8识别为反光杆13，额外可以检查对象8是否沿机动车辆1的方向积极地反射光。为了积极地反射光，反光杆13具有反射器19。图像处理装置5可例如基于第一图像12检测对象8’、8”沿机动车辆1的方向发射光。最后，图像处理装置5可基于移动序列15、16、17捕获作为静止对象的对象8，且由此将对象8正确地识别为反光杆13。一旦对象8已经被识别为反光杆13，控制装置10可以防止头灯11不必要地被控制以调节全光束。