用于运行输入设备的方法、输入设备、机动车与流程

本发明涉及一种用于运行输入设备、尤其是机动车的输入设备的方法，所述输入设备具有至少一个、用于无接触地检测使用者的手的至少一个手指的位置和/或位置变化的传感器，其中，根据被检测到的位置和/或位置变化识别出输入并且实施这个输入。

此外，本发明还涉及一种具有无接触地工作的传感器的、相应的输入设备，以及一种机动车。

背景技术：

在当今的机动车中使用这样的操纵概念：就所述操纵概念而言，输入设备和显示设备彼此靠近地布置。通常，对此设置所谓的接触灵敏的屏幕和所谓的触摸屏，在所述屏幕和触摸屏上，操纵和显示在相同的位置上进行。显示设备通常被安装在该机动车的操纵面板或者仪表板的上部区域中，以便驾驶员不必为了读取而将其视线过于强烈地从路况上移开。在其他的车辆中，触摸板、即接触灵敏的传感器位于该驾驶员的手臂支撑部的区域中，并且显示设备位于在该仪表板的区域中的、惯常的位置处。在此，在操纵该传感器时给所述驾驶员的视觉上的反馈能够以被勾画出的透明的手的形式实现，所述手通过所述显示设备被示出。由此，所述驾驶员能够方便地操纵所述输入设备，而此外所述显示以有利的视角被呈现给所述驾驶员。在这种情况下也能够考虑，将所述显示设备不构造为屏幕，而构造为平视显示器。传统的接触灵敏的传感器或者触摸板需要通过所述使用者的接触来对其进行操纵，然而也公开了无接触地识别或者记录输入的输入设备。在此，在空间中的使用者的手、手指和/或手臂的位置例如借助于深度传感器被识别并且为了手势操纵而被评估。对于手指手势而言，高分辨率是必需的，所述高分辨率能够利用传感器、例如飞行时间传感器，利用立体摄影机、结构化的光或者相似物被实现。对于手部姿势或者身体姿势而言，也能够使用具有较低分辨率的传感器，例如雷达传感器。通过一个或者多个传感器检测使用者的手的位置或者位置变化，其中，根据被检测到的位置和/或位置变化识别出输入并且执行这个输入。因此，所述使用者用他的手的运动或者用他的手的至少一个手指告知所述输入设备，他想要进行何种输入。所述输入设备根据所述手指运动识别所期望的输入并且以下述方式实施这个输入，即所述输入设备实施通过所述运动被预先给定的指令，并且例如改变该机动车的运行参数。所以例如根据该使用者的手指的位置和位置变化能够识别出“增加音量”的输入，并且由所述输入设备以下述方式实施所述输入，即所述输入设备增加音量、例如该机动车的娱乐系统的音量。

技术实现要素：

具有权利要求1的特征的、根据本发明的方法具有下述优点，即所述使用者通过简单的手势能够特别快速地调用所期望的功能。通过所述根据本发明的方法向所述使用者提供“快捷”手势，所述使用者借助于所述“快捷”手势能够通过所述输入设备快速地并且目标明确地触发某种功能。所以对于所述使用者来说例如可能的是，通过执行该快捷手势将收音机调到静音、挂断电话或者中断导航系统的目标指引或者中断目标指引的声音提示。根据本发明为此设置，当检测到两个首先相互接触、然后彼此分开的指尖时，识别出所述输入，其中，所述指尖的运动轨迹相互交叉。在下述情况下识别出所述快捷手势：所述使用者在该传感器的检测区域中用他的两个指尖执行位置变化，所述位置变化表现为所述指尖首先相互接触、然后彼此分开，也就是说这样表现，使得所述指尖的运动轨迹至少从所述接触开始相互交叉。当两个指尖相互接触时，所述手指的重心还相互间隔开。为了使得所述指尖的运动轨迹在所述接触之后相互交叉，所述指尖必须被引导经过彼此。这样的运动尤其在下述情况下进行：所述使用者在该传感器的检测区域中弹指，并且所述手在此这样被定向，使得弹指运动、即所述接触和随后带有交叉的运动轨迹的彼此分开能够通过所述传感器、尤其是摄像机传感器被检测。因此，所述使用者能够通过简单的弹指借助于所述输入设备以简单的方式和方法进行输入。于是，预先确定的功能、例如前文已经提到的静音切换配属于所述输入。特别优选的是，不同的功能根据情境配属于所述输入。例如如果所述收音机被开启，则该快捷手势的识别导致该收音机的静音切换。反过来，如果该机动车的导航系统的目标指引被激活并且收音机被关闭，则在检测该快捷手势时，例如所述目标指引被中断。

根据本发明的一种优选的改型方案设置的是，当所述指尖彼此分开的速度大于所述指尖的在所述接触之前的速度时，识别出所述输入。当在该传感器的检测区域中引起所述指尖的接触时，识别出所述快捷手势。在此，所述指尖彼此相向运动，直到它们相互接触。然后，将彼此相向运动的速度与所述手指彼此分开的速度进行比较。如果所述分开的速度大于导致所述接触的运动的速度，则识别出所述输入。如果所述速度同样大或者如果在所述指尖彼此分开时的速度大于在用于使所述指尖的接触的运动时的速度，那么所述运动不被认定为预先给定的运动，并且就这点而言不识别也不实施所述输入。由此，当所述使用者在该传感器的检测区域中例如引导手指经过拇指而没有弹指时，避免发生该输入设备的错误操纵。

此外优选设置，只有当在所述运动轨迹相互交叉之前，所述指尖的彼此的相对运动速度尤其突然减小时，才识别出所述指尖的接触。通过这种实施方式保证了，所述指尖的彼此接触被可靠地识别。该相对运动速度的突然减小表明，所述手指碰上了彼此并且就这点而言相互制动。

此外优选设置，只有当在所述运动轨迹相互交叉之前，所述指尖的彼此的相对运动速度减小到零时，才识别出所述指尖的接触。因此，只有当所述指尖确实碰上彼此并且由此所述运动被停住时，才识别出所述指尖的接触。

此外优选设置，所述输入设备具有至少一个声学传感器、尤其是至少一个麦克风，并且只有当除了所述指尖的位置变化以外，拍手声或者弹指声被检测到时，才识别出所述输入。因此，通过最先被提到的传感器检测到的、所述指尖的位置变化通过声学的监控被验证。由此能够确保，所述驾驶员确实弹指了。弹指手势的识别由此被简化，其中，例如能够放弃考虑在所述指尖的接触时的减小的速度。其中，显而易见，只有当所述弹指声比环境噪音、尤其是在所述机动车中的环境噪音大时，所述声学的验证才起作用。就这点而言，如在上述实施方式中所描述的、位置变化的监控优选也继续被实施。

根据本发明的一种有利的改型方案设置的是，根据被检测到的声音的频率、音量和/或持续时间识别所述拍手声或者弹指声。因此，根据频率、音量和/或持续时间，从被所述声学传感器检测到的声音中过滤出并且识别所述拍手声或者弹指声。

优选地，当所述音量超过能预先给定的最小音量时和/或当所述持续时间未超过能预先给定的最大持续时间时，识别出所述拍手声或者弹指声。由此，该拍手声和/或弹指声的简单的和快速的识别是可能的。对被所述声学传感器检测到的频率模式的准确的分析不一定是必不可少的，因为所述声音仅仅被考虑用于验证该弹指手势。在此优选考虑被检测到的手势与被检测到的声音在时间上的密切程度，以便确保所述被检测到的声音属于所述手势，或者是通过所述手势引起的。

具有权利要求8的特征的、根据本发明的输入设备的特征在于，其执行所述根据本发明的方法。由此得到已经提到的优点。其他特征和优点从前文的描述以及从权利要求中得出。

根据本发明的机动车的特征在于所述根据本发明的输入设备，其中，在这里得到已经提到的、对于该机动车的使用者而言的优点。其他特征和优点从前文的描述以及从权利要求中得出。

下面应当根据附图进一步阐释本发明。为此示出：

图1具有有利的输入设备的机动车的内部空间，和

图2用于操纵该输入设备的弹指手势的简化示意图。

图1示出了在这里未被详细示出的机动车1的内部空间的示意图，所述机动车1具有用于无接触地输入控制指令的输入设备2。所述输入设备2对此具有无接触地工作的传感器3以及显示单元4。所述显示单元4被安装进该机动车1的仪表板或者操纵台中。所述显示单元4被构造为屏幕、尤其是显示器，并且能够例如是该机动车1的导航系统或者娱乐系统的组成部分。也能够考虑的是，所述显示单元4替代地或者附加地被构造为平视显示器（hud）。所述无接触地工作的传感器3被构造为二维工作的摄影机或者摄像机装置，所述摄像机装置具有用虚线7示出的检测区域。所述摄影机在此优选这样被定向，使得其指向该机动车1的中间手臂支撑部5的前侧端部。所述手臂支撑部5本身不具有下述实际的输入表面：在所述输入表面上，驾驶员能够借助于在这里只示意性地被示出的手6通过触摸该输入表面输入指令。

所述输入设备2取而代之被构造用于，在所述空间中检测该手6的至少一个手指的位置和/或位置变化，并且据此识别出输入并且实施这个输入。

此外，所述输入设备2具有声学传感器8，借助于所述声学传感器监控并且检测在该机动车1的内部空间中的声音。

所述输入设备2被构造用于，根据该使用者的手6的至少一个手指的位置和/或位置变化识别出输入并且实施这个输入，以便例如在识别出所期望的输入时将在所述机动车1中的收音机或者其他声学事件调到静音。在此设置，当通过所述输入设备2检测到所述使用者用他的手6弹指时，识别出所述输入。在此，过程如下：

所述使用者必须首先将他的手6引入到该传感器3的检测区域中，从而使得所述手6被所述传感器3光学地检测到。图2示出了对此在一个实施例中被所述摄像机传感器3检测到的、具有位于该传感器3的检测区域中的手6的图像。

借助于所述输入设备2或者借助于所述传感器3和被所述传感器3检测到的图像的评估，检测该手6的拇指和中指的指尖9和10，并且追踪所述指尖的运动轨迹/轨线。在此，监控所述指尖9，10的运动，看所述指尖是否首先相互接触、然后彼此分开，其中，它们的运动轨迹相互交叉。在图2中将此简化地示出，通过作为起始位置用虚线勾画的中指和在下述位置中带有实线的中指：在该位置中，拇指和中指的指尖9，10相互接触。在此，还画出了运动箭头，借助所述运动箭头应该阐述所述手指的运动。第一、虚线勾画的运动箭头11示出该中指11朝向所述拇指方向的运动方向。所述手指在此通常以第一速度v1运动，直到其碰上所述拇指9。在所述瞬间，在拇指与手指之间的相对速度等于零。然后，在所述弹指运动时，所述中指在当前的实施例中在所述拇指的下方拉过，如箭头12所示。在此，所述指尖10以第二速度v2继续运动，直到它碰到手内面，并且在那里在足够的运动速度的情况下造成通常的弹指声。该拇指的指尖9的运动轨迹通过另外一个箭头13被示出。通常，在所述指尖9，10相互接触之后，所述指尖9，10的运动轨迹相互交叉。

所述输入设备2借助于所述传感器3监控，是否前文所描述的、所述指尖9，10的位置变化被检测到。为此检验，所述指尖是否首先以第一速度v1相向运动、然后相互接触并且随后再彼此分开，其中，在这里运动轨迹根据箭头13和12相互交叉。在此，所述指尖9，10的接触以下述方式被检测：所述指尖9，10的彼此的相对速度在接触点等于零或者几乎等于零。在任何情况下检验，所述速度v1是否小于所述速度v2。如果是这种情况，那么就识别出，所述指尖9，10相互接触了并且弹指运动被执行了。就这点而言，当所述手指首先相互接触、然后以更高的速度彼此分开时，所述弹指手势被识别，其中，所述手指的运动轨迹相互交叉。

借助于所述声学传感器8，所述弹指手势在声学上被验证，所述声学传感器8尤其被构造为麦克风，并且能够例如也是该机动车1的免提通话装置的部件。为此监控在执行该弹指手势时出现的声音，看它们是否超过能预先给定的音量和是否未超过能预先给定的最大持续时间。如有必要，也监控和评估频率响应，以便鉴别所述弹指声或者拍手声。如果通过这种检验确定了与光学检测到的弹指手势在时间上一致的弹指声，那么就可靠地识别出，所述使用者在该传感器3的检测区域中用所述手6弹指了。其结果是所期望的输入、尤其是所述娱乐装置的静音切换、尤其是所述收音机的静音切换通过所述输入装置2来执行。

现在，通过合并该传感器3和该声学传感器8的不同信号来源，可能实现的是，待识别的事件的发生概率被理解为有条件的概率，其中，所述弹指手势必须被两个传感器探测到，以便推断所述待识别的事件。由此能够得到对识别准确性的定量结论，并且能够减小相对于只利用传感器3或者8的识别的不确定性。下面应当详细地阐述所描述的指尖运动的求取：

首先对通过所述传感器3检测到的图像进行根据zivkovic,zoran（zivkovic,zoran:"improvedadaptivegaussianmixturemodelforbackgroundsubstration",icpr,2004）的背景建模。由此，所述背景和前景被彼此分开。在此，在所述机动车中静态的或者说不发生变化的、被所述传感器3检测到的图像被理解为背景。所述静态的图像作为参考图像，所述参考图像在图像序列的任何时刻被从当前被检测到的图像中减除，从而使得只有下述图像元素或者像素在得到的差异图像中被标记，所述图像元素与之前被定义/被检测到的静态的背景图像不同。所述前景是使用者在该传感器3的检测区域中运动的手6，如该手在图1中示例性示出的那样。

对于所述背景建模替代地或者附加地设置的是，执行根据dadgostar和sarrafzadeh（dadgostar,farhadundsarrafzadeh,abdolhossein:"anadaptivereal-timeskindetectorbasedonhuethresholding:acomparisonontwomotiontrackingmethods"patternrecognitionletters,2006,1342-1352）的前景建模，在所述前景建模时，对于手的识别重要的前景区域通过专门的肤色模型进行检测，其中，基于在所述手与所述背景之间的颜色差别识别所述手。

在通过所述前景建模和/或背景建模所获得的数据的基础上，求取该手6的手轮廓，并且尤其也计算手轮廓重心。有利的是，为此执行根据suzuki和abe（suzuki,s.undabe,k.:topologicalstructuralanalysisofdigitizedbinaryimagesbyborderfollowing."cvgip,1985,32-46）的手轮廓分段。随后，该手6的指尖并且因此单个的手指被识别。这优选根据该手轮廓的、被检测到的曲率进行，如例如malik（malik,shahzad:"real-timehandtrackingandfingertrackingforinteraction",toronto:csc2503fprojectreport,universityoftoronto,2003）所描述的那样。替代地，也能够执行手建模，如liu和lovell（liu,nianjunandlovell,brianc.“handgestureextractionbyactiveshapemodels”,proceedingsofthedigitalimagecomputingontechniquesandapplications,2005）所描述的那样，以便既探测所述手也探测它的手指和指尖（lee,j.undkunii,t.l.:"model-basedanalysisofhandposture",ieeecomputergraphicsandapplications,1995,77-86）。在这样被确定的指尖9，10的基础上，计算再次被闭合的轮廓，其中，所述轮廓的重心中心代表最后的指尖的位置。如果通过过分段探测到多个错误的指尖，则根据几何启发法和至所述手轮廓重心的距离摒弃这些错误的指尖。由此能够以简单的方式和方法求取该手6的单个的指尖。

整个手6和其指尖9，10均能够用已知的追踪方法被追踪，如例如do，asfour和dillmann（do,martin;asfour,tamim;anddillmann,rüldiger:"particlefilter-basedfingertiptrackingwithcircularhoughtransformfeatures",mva,2011）所描述的那样。能够通过标准的分类方法并且独立于序列的每个图像地进行静态的指示手势的识别，如lockton和fitzgibbon（lockton,r.undfizgibbon,a.w.:“real-timegesturerecognitionusingdeterministicboosting”,bmvc,2002）或者nagi（nagi,jawadetal."max-poolingconvolutionalneuralnetworksforvision-basedhandgesturerecognition"icsipa,2011,342-347）所描述的那样。概率序列建模方法不仅允许简单的静态的手部手势的识别（dreuw,philippe;keysers,daniel;deselaers,thomasundney,hermann:"gesturerecognitionusingimagecomparisionmethods",internationalworkshopongestureinhuman-computerinteractionandsimulation,2005,124-128）还允许复杂的动态的手部手势的识别（dreuw,philippe;rybach,david;deselaers,thomas;zahedi,mortezaundney,hermann:"speechrecognitiontechniquesforasignlanguagerecognitionsystem",interspeech,antwerp,belgium,2007,2513-2516），所述概率序列建模方法不一定期望已经被分段的手轮廓作为输入，而是借助于基于现象的特征在整个图像上工作。相似的、也能够被运用的方法基于对光流的分析（culter,r.undturk,m.:"view-basedinterpretationonreal-timeopticalflowforgesturerecognition",ieeeinternationalconferenceonautomaticfaceandgesturerecognition,nara,japan,1998）。