用于车辆的被改进的姿势识别的制作方法

本发明涉及方法和设备，以便为了激活车辆的确定的功能（例如为了操纵车辆的闭合元件（例如车门或后备箱））而检测姿势。

背景技术：

de112013000590t5描述了一种借助于光学成像的三维对象检测、跟踪和特性化（charakterisierung）。

us8660300b2和us8363894b2公开了一种利用光学系统的姿势识别。

根据现有技术公知的是，通过实施确定的姿势来激活车辆的确定的功能。例如存在如下车辆，在所述车辆中，后备箱可以通过实施用脚的所谓的踢打姿势来打开或关闭。

技术实现要素：

本发明提出了如下任务：改进对这种用于控制车辆的姿势的检测。

按照本发明，该任务通过根据权利要求1或权利要求6所述的用于检测针对车辆的姿势的方法、通过根据权利要求12或13所述的设备并且通过根据权利要求15所述的车辆来解决。从属权利要求限定了本发明的优选的和有利的实施方式。

在本发明的范围内，提供了一种用于检测针对车辆的姿势的方法。在此，按照本发明的方法包括如下步骤：

•利用二维传感器检测对象的运动。在此，二维传感器尤其被理解为摄像机，所述摄像机（至少在二维模式下）不检测距离信息。

•根据所检测到的运动来激活测距传感器，利用所述测距传感器尤其可以检测关于所述对象的距离信息。换句话说，检查所述对象的所检测到的运行是否满足确定的条件。如果这是这种情况，那么激活测距传感器，以便依据所述测距传感器来检测关于所述对象或所述对象的运动的其它信息。

•借助于被激活的测距传感器来检测姿势。因此，应该用来激活车辆的确定的功能的姿势不仅借助于二维传感器而且借助于测距传感器来检测。由此，可以依据所述对象的运动的三维信息来检测或确定姿势。

通常，测距传感器的能耗高于二维传感器或（二维的或在二维模式下运行的）摄像机的能耗。通过只有当所述对象的之前被检测到的运动满足预先确定的条件时才激活测距传感器，可以避免对测距传感器的不必要的激活，由此可以在整体上降低按照本发明的用于检测姿势的方法的能耗。

在此，利用二维传感器对对象的运动的检测尤其包括对对象的大小和/或形状的检测。在这种情况下，只有当对象的大小在预先确定的阈值之内（也就是说小于预先确定的最大尺寸阈值并且大于预先确定的最小尺寸阈值）时而且只有当形状基本上对应于多个预先确定的样本形状之一时，才激活测距传感器。

如果所要检测的姿势例如应由操作人员（也就是说人类）的脚或由操作人员（也就是说人类）的手来实施，那么在由二维传感器检测到的图像中搜索可对应于脚或手的对象。只有当这种对象在图像中被找到时，才激活测距传感器，以便也借助于所述测距传感器来检测姿势。

此外，利用二维传感器对对象的运动的检测尤其也包括对运动的方向的检测。在此，只有当所述对象的所检测到的运动在如下位置结束或者对准所述如下位置时，才激活所述测距传感器，所述位置具有相对车辆的预先确定的方位。

如果例如车辆的车门应该借助于手势来打开，那么按照本发明检查所检测到的对象是否是手并且检测所述手是否（或者所述手的所有者是否）朝相对应的车门运动。只有当两个条件都满足时，才激活测距传感器，以便借助于所述测距传感器来检测对于打开车门所需的手势。在按照本发明地检测用于操纵车辆的后备箱的脚姿势的情况下，可以以类似的方式采取行动。在这种情况下，按照本发明检查：所检测到的对象是否是脚而且所述脚或所述脚的所有者从车辆向外看是否运动到后备箱后面。如果所述两个条件都满足，那么激活测距传感器，以便检测对于操纵后备箱所需的脚姿势或站姿。

尤其是，在本发明中使用三维摄像机，所述三维摄像机也作为飞行时间摄像机（time-of-flight-kamera）公知。换句话说，所述三维摄像机不仅包括二维传感器而且包括测距传感器。因此，事先提到的二维传感器对应于在二维模式下运行的三维摄像机。在所述二维模式下，激活所述三维摄像机的在下文描述的测距功能。在三维摄像机中，事先提到的测距传感器通过三维摄像机的确定的像素来实现，所述确定的像素有能力测量由所述三维摄像机发射的光的渡越时间，所述光由所述对象反射并且由所述确定的像素来检测。接着，依据所述渡越时间可以确定在三维摄像机与对象之间的距离。因此，所述确定的像素的渡越时间测量根据所述对象的所检测到的运动来激活。

更准确地说，从光由摄像机发出开始，预先确定的第一时间区间长地测量经反射并且由相应的像素检测的光量q1。类似地，在所述第一时间区间之后紧接着第二时间区间长地测量经反射并且由相应的像素检测的光量q2。在此，第一时间区间和第二时间区间一样长。接着，依据如下等式（1）可以计算距每个像素的区域的距离d，相应的像素检测到的光由所述区域反射。

在此，c对应于光速，而ttrig对应于如下时间区间，在所述时间区间内，光由摄像机射出。ttrig的时长通常也对应于第一和第二时间区间的时长。

因此，在所述三维摄像机中，至少确定的像素不仅检测灰度值或色值，而且依据射入到相应的像素上的光具有的渡越时间来测量距离。不过，在此只有当对象的之前依据像素的灰度值或色值来检测的运动满足确定的条件时，才激活确定的像素的测距功能。

按照本发明，在作为变型方案将三维摄像机用作测距传感器的情况下可能的是，首先（也就是说当满足确定的条件时）仅仅在一些像素中（而且不是在具有所述测距功能的所有像素中）激活所述测距功能，以便附加地依据有限的测距信息（进一步）分析对象的运动。只有当所述对象的依据像素的灰度值或色值并且附加地依据有限的测距信息检测的运动满足另一确定的条件时，才激活三维摄像机的具有测距功能的其它或所有像素，以便检测姿势。

在该变型方案中，在第一次激活测距功能时例如可以在仅仅一些像素中仅仅激活摄像机的确定的像素区域或确定的像素组，以便进一步分析对象的运动。对像素的测距功能的所述逐级的激活（第一级仅仅一些像素；下一级其它或所有像素）的优点在于节约能量，因为三维摄像机的能耗在每次激活在像素中的测距功能时都升高。

按照一个优选的按照本发明的实施方式，利用二维传感器（例如依据三维摄像机的像素的灰度值或色值）对对象的运动的检测包括对所述对象的确定区域的反射特性的检测或确定。接着，在紧接着用被激活的测距传感器（例如在三维模式下的三维摄像机）进行测距时，可以考虑所述之前确定的反射特性。

有利地，通过考虑对象的反射特性，可以避免由于所述反射特性引起的对测距的干扰。因而，所述对象的具有不同的反射特性的区域并不负面地影响测距。

例如，所述对象的具有不同的反射特性的区域可以被分段，而且所述区域的反射特性可以依据由相应的像素检测到的光强来确定。在此适用：相对应的区域越强烈地反射光（也就是说相对应的区域的反射特性越大），由相应的像素检测到的光强就越大。接着，尤其是为了测距而依据之前确定的反射特性对像素进行校准，其方式是例如使所述像素的灵敏度适配。例如，如下那个区域（相应的像素检测所述区域的光）的反射特性越大，所述像素的灵敏度例如就被调节得越小。

通过考虑所述反射特性，即使所要跟踪的对象例如是带鞋带、带经制革的皮革或带装饰的鞋或者即使要跟踪的是被具有不同反射特性的裤子或裙子遮盖的腿，也可以准确地确定距离。

在本发明的范围内，也提供了用于检测针对车辆的姿势的另一方法。所述另一方法包括如下步骤：

•检测车辆的周围环境的状态，在所述状态下，车辆的传感器基本上只看到或检测所述车辆所处的机动车道。

•在周围环境的所述状态存在期间对所述传感器进行校准。在使用摄像机的情况下，如果假定机动车道具有均匀的色调，那么似乎每个像素在所述状态存在时基本上都必须检测相同的机动车道。

•利用经校准的传感器来检测姿势。

因此，有利地，不断地搜索如下相对应的周围环境状态，在所述周围环境状态下可以对所述传感器进行校准（而且接着所述传感器也被校准）。由此，有利地保证了分别利用刚刚校准的传感器来执行对姿势的检测。

例如，当车辆以高于预先确定的速度阈值的速度行驶时，所述周围环境的其中传感器基本上只检测机动车道的状态才存在。在各种情况下或至少平均来说，如果车辆行驶，那么出发点应该是在车辆的紧挨着的周围环境中不存在对象。此外，当车辆向前停车而传感器处在车辆的后侧以便例如检测用于操纵后备箱的姿势时，才存在所述周围环境的上述状态。

如果假定传感器的安装高度（也就是说传感器以所述安装高度固定在车辆上）公知，那么可以对所述传感器进行校准，使得所述传感器在校准之后测量距机动车道的距离，所述距离根据所述安装高度以及必要时根据其它确定的特性（例如所述传感器相对垂直于机动车道的直线倾斜的倾斜角）来确定。

换言之，在所述周围环境的事先描述的状态存在的情况下，在将测距传感器用于姿势识别时确定所述传感器要检测哪个距离。因而，对测距传感器（例如三维摄像机的像素的测距特性）的校准可以在所述周围环境状态下非常简单并且有效地来执行。

在按照本发明的校准的情况下，也可以测量一个或多个影响传感器的影响因素。接着，可以确定差值，所述差值根据由传感器在检测机动车道时紧接在校准之前所测量的值（例如距离或灰度值或色值）与要通过校准达到的额定值来得到。接着，如果例如在检测周围环境时测量到所述一个或多个干扰因素的值，那么分别由传感器测量到的测量值可以被修正如下差值，所述差值依据所述一个或多个影响因素的值来确定。

例如可以考虑周围环境温度和/或车辆的电源的当前的电压值，作为影响因素。为此，所述传感器附加地可以有能力测量温度。

通常，测距受确定的影响因素（例如温度）影响。现在，有利地，通过按照本发明分别确定和存储在校准时的影响因素的影响，影响因素的所述影响接着可以在实际测量时被考虑，以便由此消除所述影响因素的影响。

对传感器的校准可包括所谓的“平场（flatfield）”修正，作为另一可能性。如果检测到如下周围环境状态，在所述周围环境状态下，传感器（例如三维摄像机）基本上只检测机动车道，那么每个像素至少平均来说都应该检测相同的测量值。如果这不是这种情况，那么像素相对应地被校准，使得所述像素在校准或“平场”修正之后检测到相同的测量值。此外，可以使用一个或者可以使用多个数字滤波器，以便屏蔽干扰效果。

按照本发明，按照本发明的另一方法可以利用按照本发明的方法来实现。

所要校准的传感器例如可以是事先已经描述的三维摄像机，所述三维摄像机也被称作飞行时间摄像机。有利地，将红外光用于测距，使得测距传感器（尤其是飞行时间摄像机（time-of-flight-kamera））发射红外光而且依据经反射的红外光来确定距离。

在本发明的范围内，也提供了一种用于检测针对车辆的姿势的设备。在此，按照本发明的设备包括控制装置、二维传感器和测距传感器。所述控制装置被设计用于借助于所述二维传感器来检测对象的运动，以便根据所检测到的运动来激活测距传感器并且借助于所述测距传感器来检测姿势。

按照本发明的设备的优点基本上对应于按照本发明的方法的优点，所述按照本发明的方法的优点事先详细地被解释，使得这里省去了重复。

在本发明的范围内，也提供了用于检测针对车辆的姿势的另一设备。所述另一设备包括控制装置和传感器。控制装置被设计用来检测车辆的周围环境的状态，在所述状态下，传感器基本上只检测所述车辆所处的机动车道。所述设备被设计用来在所述状态期间校准所述传感器并且利用经校准的传感器来检测所述姿势。

按照本发明的所述另一设备的优点基本上对应于按照本发明的所述另一方法的优点，按照本发明的所述另一方法的优点事先详细地被解释，使得这里省去了重复。

最后，在本发明的范围内，提供了一种车辆，所述车辆包括按照本发明的设备和/或按照本发明的另一设备。

本发明尤其适合于在机动车中使用，以便例如操纵（例如打开或关闭）机动车的闭合元件（例如车门、行李舱盖、（汽车）后备箱、车窗）。当然，本发明并不限于所述优选的应用领域，因为本发明例如也能在舰艇或飞机以及有轨车辆或轨道运输车辆中使用。此外，即使在用于操纵闭合元件的静止的对象（例如建筑物）的情况下使用本发明也是可能的。

附图说明

在下文，本发明依据优选的实施方式参考附图详细地予以描述。

在图1中示出了二维传感器在未经校准的状态下的测量值。

在图2中示出了在图1中使用的二维传感器在经校准的状态下的测量值。

在图3中示出了三维传感器在未经校准的状态下的测量值。

在图4中示出了在图3中使用的三维传感器在经校准的状态下的测量值。

在图5中示出了按照本发明的方法的流程图。

图6示意性地示出了按照本发明的具有按照本发明的设备的车辆。

具体实施方式

在图1中示出了未经校准的二维传感器的测量结果。所使用的二维传感器包括30×30个像素，针对所述30×30个像素，在图1中分别示出了每个像素检测到的沿着z轴的光强。所述二维传感器是三维摄像机，所述三维摄像机也被称作飞行时间摄像机，而且在所述三维摄像机中停用像素的测距功能（也就是说摄像机在二维模式下运行）。

在图2中，示出了也在图1中使用的在这种情况下经校准的传感器的测量结果。不仅图1而且图2都示出了同一情景的测量结果，其中在灰色织网前面的手5分别由传感器来检测。在图2中识别出：尤其是背景（灰色织网）显得均匀得多，由此使所述对象或所述手5的分段变得容易。利用这样校准的传感器，可以准确得多地跟踪对象和所述对象的运动。

在图3中，针对与在图1和2中相同的情景示出了未经校准的三维摄像机的测量结果。在这种情况下，在z轴上示出了由三维摄像机的每个像素所检测到的距离。

在图4中，示出了也在图3中使用的三维摄像机的测量结果。与在图1和2中类似地，图3和4的测量结果涉及同一情景，其中在灰色织网前面的手5分别由摄像机来检测。在这种情况下，所述摄像机的重现灰色织网的像素的测量值或距离值在经校准的情况下（图4）比在未经校准的情况下（图3）也均匀得多。由此，对象（手5）可以好得多地被分段或检测，使得所述手5的运动、尤其是朝三维摄像机的方向或者从三维摄像机远离的方向的运动可以比在未经校准的情况下（图3）准确得多地被跟踪。

在图5中示出了按照本发明的方法的流程图。

在步骤s1中，检测周围环境状态（也就是说所述车辆的在所述车辆的当前位置的周围环境呈现的状态）。如果所述在步骤s1中检测到的周围环境状态对应于预先确定的周围环境状态（这在步骤s2中被检查），那么三维摄像机在步骤s3中被校准。在此，例如当车辆行驶时，才存在所述预先确定的周围环境状态，因为在这种情况下出发点可以是所述三维摄像机（尤其是当所述三维摄像机布置在车辆的车尾时）基本上只检测车辆当前行驶的机动车道。因而，摄像机在这种情况下可以非常良好地被校准，因为在了解摄像机的安装高度和倾斜角的情况下，距机动车道的距离是已知的。

如果在步骤s2中识别出预先确定的周围环境状态不存在，那么分岔到步骤s4，在所述步骤s4中，三维摄像机在二维模式下工作。在所述二维模式下，摄像机的像素只检测灰度值或色值，但是不检测距离信息（也就是说渡越时间测量被停用）。在接下来的步骤s5中，检查在步骤4中是否已经检测到满足确定的条件的对象。例如，如果依据所检测到的对象的大小和形状识别出所述对象是人类或者是人类的确定的身体部分（例如脚或手），那么这些条件可以满足。如果所检测到的对象满足所述预先确定的条件，那么附加地检查所检测到的对象的运动是否同样满足确定的条件。例如，当所述对象以预先确定的速度（也就是说所述对象的速度必须高于最小速度阈值并且低于最大速度阈值）运动到在三维摄像机前面的预先确定的位置时，才满足这些条件。

如果由步骤s5检查的条件满足，那么在接下来的步骤s6中，激活摄像机的三维模式，并且利用所述摄像机来检测对象的其它运动。在所述三维模式下，摄像机的每个像素不仅测量灰度值或色值，而且附加地依据渡越时间测量来测量距如下那个区域的距离，相应的像素接收所述区域的光。由此，依据在三维模式下运行的摄像机来检测关于所述对象和所述对象的运动的三维信息。在步骤s7中，检查所述对象的利用在三维模式下工作的摄像机来检测的运动是否对应于预先确定的姿势。如果这是这种情况，那么在步骤s8中实施车辆的确定的功能（例如打开或关闭车辆的后备箱）。

在图6中示意性地示出了按照本发明的车辆10，所述车辆10包括按照本发明的设备20。在此，按照本发明的设备20本身除了三维摄像机1之外还包括控制装置2和存储器3。在存储器3中，尤其存放有所要跟踪的对象的预先确定的姿势或预先确定的形状。按照本发明的设备20被设计用于检测在车辆10的车尾区域内的确定的姿势，以便根据此来操纵车辆10的后备箱4。

附图标记列表

13d摄像机

2控制装置

3存储器

4后备箱

5对象或手

10车辆

20设备

s1-s8方法步骤