用于显示车辆操作元件的操作者的手的方法和装置与流程

本发明涉及用于在车辆的显示装置上显示车辆操作元件的操作者的手的方法和装置。

背景技术：
车辆的操作元件必须设置在驾驶员能触及的范围内；具体地，可以被手操作的操作元件必须能够使驾驶员的手容易触及。另一方面，显示装置应尽可能靠近驾驶员朝向前方道路场景的视角方向设置，以使驾驶员的注视不集中在道路场景以认知显示装置上的显示的时间尽可能短。此外，显示装置不应与驾驶员设置得过近，以便驾驶员的眼睛从无限远或从道路场景聚焦到显示装置上所需的时间同样尽可能短。这些要求会导致矛盾，特别是当操作元件设计为可以用于操作不同功能的操作区、例如触摸板或触摸屏形式的触感输入区时。这种操作区一般设置在仪表板的下部或中央控制台中，以使驾驶员的手能够容易地触及。然而，为了操作这种操作区或触摸屏，需要视觉显示装置用相应的虚拟按钮来识别分别显示的操作菜单并执行必要的操作，例如以便通过轻微接触来移动显示的图形元素或者通过按压一次或两次来驱动按钮。因此，为了显示菜单并监控操作，常常在较高和朝向前方的位置上提供显示装置，例如屏幕，而操作区则设置在仪表板的下部或中央控制台中。使用这种操作区和显示装置的分开布置，将已经执行的操作动作和显示装置上的显示以尽可能简单且直观可理解的方式互相连接起来是比较理想的。因此，已经提出了在显示装置上以对应于手相对于操作区的实际位置的方式显示操作元件的操作者的手。DE102005056458A1号德国专利文献公开了一种使用传感器单元来获取操作者的手的实施方式，即驱动操作元件、通过图像识别来确定关于所获取的手的位置数据以及将所述数据传递至光学显示单元以显示所获取的驱动操作元件的手。根据DE102009057739A1号德国专利文献，用户用于驱动操作元件的一根或多根手指由摄像机获取，并且操作屏幕被添加到用户的手的视频图像上。对于用户来讲，这允许了类似于对触摸屏直接在视觉上观察的操作的操作。然而，这与因需要摄像机以及可能的为了在不同情境和不同照明条件下获取手或手指的图像分析而引起的相对大量的努力以及相应成本关联。

技术实现要素：
本发明的目的在于提供一种用于在车辆的显示装置上显示车辆操作区的操作者的手的方法和装置，上述缺点得到避免。该目的通过以下技术方案来实现：本发明提供了一种用于在车辆的显示装置上显示车辆操作元件的操作者的手的方法，该方法检测操作元件的操作区与操作者的手之间的接触并确定接触点的位置、识别操作者、确定手的方位并且在显示装置上以手指的指尖对应于接触点的位置的方式显示相应方位的虚拟手16、18的图像。进一步地，上述方法通过至少一个座椅占用传感器来识别操作者。进一步地，上述方法通过闭合经过操作者的手的电路来识别操作者。进一步地，在上述方法中，操作区设置在车辆的中央控制台2中，并且通过设置在操作区侧面的用于检测操作者的手和/或胳臂9的传感器来识别操作者。进一步地，上述方法获取操作者的就坐位置。进一步地，在上述方法中，就坐位置通过获取操作者的座椅7的至少一个调节元件的位置来获取。进一步地，在上述方法中，手的方位和/或手大小借助于操作者的模型和/或表由就坐位置确定。进一步地，在上述方法中，接触点显示在显示装置上。进一步地，上述方法考虑所确定的手的方位来确定接触点的位置。本发明还提供了一种用于显示车辆操作元件的操作者的手的装置，该装置包含：含有操作区或采用这种操作区的形式的操作元件，操作区设计为检测操作者的手的接触并确定接触点，还包含用于识别操作元件的操作者的第一传感器装置、用于获取操作者的就坐位置的第二传感器装置、基于来自第一和第二传感器装置的信号确定手的方位的存储器以及处理器装置，以及用于将虚拟手16、18的图像显示在相对于接触点的正确的位置上的显示装置。在根据本发明的用于显示用手操作车辆操作元件的人的手的方法中，操作元件包含触摸感应操作区或操作元件就是这种操作区的形式，操作区与操作者的手之间的接触被检测，并且手与操作区指间的接触点的位置被确定。在这种情况下，例如，使用手指进行接触，特别是使用指尖，但是也可以例如同时使用手掌根和/或一根或多根手指来作用。接触点可以特别定义为所确定的具有近似指尖大小的接触区的质心。接触以公知的方式检测，例如通过操作区可以采用的触摸板或触摸屏的电容和/或电阻式传感器系统。电容式接触检测具有可以检测多个点的优势，而接触的力可以通过电阻式接触检测来检测。因此，可以有利地提供同时进行电容式接触检测和电阻式接触检测。依照根据本发明的方法，操作者被识别，也就是说，确定用手触摸操作元件的操作区的那个人是驾驶员、前排乘客还是车辆的其他乘客。触摸操作区时手的位置可以由此得到推测。这还在总体上揭示了操作者正在用他的右手还是左手触摸操作区。例如，在左侧驾驶的车辆中，驾驶员将使用他的右手触摸设置在车辆的中央控制台中的操作区，而前排乘客为达到该目的则使用他的左手。以类似的方式，如果确定操作者坐在后排右侧座椅上，则可以假设操作者将使用他的左手来触摸操作区。由于操作者被识别，因此确定操作操作元件的手相对于操作区的方位，在本发明的范围内，术语“方位”包含手相对于操作区的角度位置以及右手与左手之间的区别，假设手掌朝向操作区。基于以这种方式所确定的手的方位，根据本发明生成手的图像并以所确定的方位将其显示在显示装置上。具体地，这种模拟或虚拟手的图像基于说明手相对于操作区的角度位置的参数并考虑是操作者的右手还是左手的认识生成。此外，操作者的手的图像以这种方式显示在显示装置上：手的手指指尖对应于所确定的接触点的位置。在这种情况下，可以预先确定是哪根手指的指尖对应于接触点。这一般为食指，但还可以例如为中指。可以具体是屏幕或投影装置的显示装置优选靠近驾驶员相对于道路的视角方向设置，因此驾驶员只须将他的注视从前方的道路场景移开很短的时间以便将显示记录在显示装置上。然而，还可以提供为了车辆的前排乘客或其他乘客感知或多个人同时感知而设置的显示装置。此外，显示装置的多个屏幕可以有利地用于为驾驶员、前排乘客和/或其他乘客提供显示。由于用手触摸操作元件的操作区的人被识别，所以可以以特别简单的方式来确定用于操作操作元件的手相对于操作区的方位并在显示装置上以所确定的方位显示虚拟手的图像。具体地，这使在显示装置上以足够精确的方式显示模拟或虚拟手以操作操作元件而不需要复杂的图像获取和图像评估成为可能。由于操作者的手以指尖对应于操作区上的接触点的方式显示，所以还可以产生在很大程度上对应于操作区上的输入的直接观察的视觉图像。例如，可以通过触摸或在显示的接触点上施加压力来选择菜单项的操作菜单可以显示在显示装置的屏幕上。显示在显示装置的屏幕上的含有操作者的模拟或虚拟手的图像因此可以例如当操作触摸屏时对应于视觉印象。这使以特别简单且直观的方式操作操作元件成为可能。在这种情况下，所显示的操作菜单还可以在手“下面”保持可识别，这是由于手以例如透明或半透明的方式显示。根据本发明的一个优选实施例，基于来自至少一个座椅占用传感器的信号来识别操作者。这种座椅占用传感器出现在很多车辆中，例如，用于在座椅被占用但没有佩戴相应的座椅安全带时触发警报信号。例如，如果前排乘客座椅未被占用且车辆中的后排座椅也未被占用，则可以推断是驾驶员正在用他的手触摸操作元件的操作区。另一方面，例如，如果仅仅后排右侧座椅被占用，则可以假设坐在该座椅上的乘客为操作者。这使在多种操作情境下清楚地识别操作者成为可能。根据本发明的另一优选实施例，利用人体的电导率识别操作者。在这种情况下，当操作区被触摸时，经操作者的座椅经过操作者的身体经手到达操作区的电路闭合。根据是否存在经驾驶员的座椅或经前排乘客座椅或经车辆内另一座椅与操作区的电接触可知是驾驶员、前排乘客还是另一乘客正在触摸操作区。此外，依赖座椅而不同的识别密码可以通过电路传递。这使以特别可靠的方式来识别操作者成为可能。根据本发明的另一优选实施例，操作区设置在车辆的中央控制台中，因此驾驶员和前排乘客以及可能的车辆另外的乘客都可以触及。至少一个用于从其座位检测触摸操作区的人的手或胳臂的传感器设置在操作区的侧面。具体地，至少一个传感器采用存在传感器的形式并具有可以检测操作者身体部分存在的在朝向上方的检测区。例如，如果这种传感器从车辆的行驶方向观察时设置在操作区的左侧、操作区的右侧和后侧，则操作者操控操作区的方向可以以这种方式检测。这还使以简单的方式确定是驾驶员、前排乘客还是另一乘客正在操作操作元件成为可能。对于要获取被识别的操作者的就坐位置来说其也是优选的，因此对例如操作者的体型大小和胳臂位置，特别是当驱动操作元件时对操作者的相关胳臂和手的角度位置做出推论是可能的。此外，操作者手的大小可以由从就坐位置确定的体型大小来推断。这使在显示装置上以特别精确的方式显示操作者的虚拟手成为可能。操作者的就坐位置优选通过获取至少一个与被识别的操作者关联的座椅的调节元件的位置来获取。例如，操作者的就坐位置由所选择的座椅在车辆的纵向方向上的位置生成。特别地，这与操作者的体型大小有关。此外，可以估算与被识别的操作者有关的座椅的另外的调节元件的位置，例如靠背角度、座椅垫角度和/或座椅高度，以便以更精确的方式获取操作者的就坐位置。还可以估算反光镜和/或方向盘的调节位置以便如果操作者是驾驶员时确定操作者的就坐位置。出于获取调节元件位置的目的，可以提供相应的位移传感器。在具有可基于人而预定的座椅设置的车辆中，预设的座椅设置参数可以直接估算以便确定操作者的就坐位置。可以以特别精确的方式通过借助于至少一个调节元件的位置来获取就坐位置而容易地确定操作者的就坐位置。操作者的简化模型优选用于确定操作者的手的方位。该模型表达了预定的就坐位置与表示操作者触摸操作元件的操作区的手的方位的参数之间的关系，例如手相对于操作区的角度位置。可选地，确定手的方位的参数可以由借助于可预定义且储存的特性曲线族或可能的多维表（查找表）所确定的操作者的就坐位置来推断。具体地，操作者的座椅在车辆的纵向方向上的位置允许做出操作者体型大小的推论，因而胳臂角度和手的角度位置可以转而被计算。这使以特别简单的方式确定参数成为可能，其使在显示装置上显示操作者的虚拟手成为可能。操作者的手角度和/或手大小优选由被识别的操作者的就坐位置来确定。具体地，手大小由操作者的体型大小来确定，其中操作者的体型大小可以借助于操作者的座椅在车辆的纵向方向上的位置来确定。手角度也主要与操作者的座椅的纵向位置关联，但还在较小程度上受就坐位置的其他调节参数、例如高度和靠背角度的影响。手角度和/或手大小的认识使在显示装置上以特别精确的方式显示对应于操作者的手的虚拟手成为可能。根据本发明的一个特别优选的实施例，操作区上的手的接触点的位置显示在显示装置上。因此，接触点连同操作者的虚拟手一起显示在显示装置上，手的手指指尖对应于所显示的接触点。因此，例如，当操作传统触摸屏时，显示在显示装置的屏幕上的含有操作者的模拟或虚拟手的图像可以更好的对应于视觉印象。这进一步改进了操作元件的可操作性。考虑所确定的手的方位来确定手的接触点在操作区上的位置也是优选的。即使在操作者不只在一点触摸操作区，而是例如用多根手指和/或拳头（ballofthehand）的情况下，这也使确定这种操作者用可预定的手指的指尖来触摸操作区的接触点成为可能。例如，如果驾驶员已经被识别为左侧驾驶车辆中的操作者，则在有多个检测到的接触点的情况下，可以基于例如所确定的手角度假定一般用于在操作区上进行输入的食指的指尖对应于设置在左侧前部区域中最远的接触点，或者如果平面接触包含比检测到的手指更大的面积，其设置在接触区的左侧前部区域中。这使得在多点触摸操作区时可靠地识别操作者一般用于操作操作元件的指尖的位置成为可能，例如，该情况可以发生在短暂操作过程中或颠簸的旅途过程中。根据本发明的装置包含含有操作区或采用这种操作区的形式的操作元件，操作区具体采用触摸板或触摸屏的形式，并且其能够设置在中央控制台中或车辆的仪表板的下部。该装置还包含用于识别操作元件的操作者的第一传感器装置以及用于获取操作者的就坐位置的第二传感器装置。第一传感器装置可以是例如座椅占用传感器、用于检测经过座椅和操作者到达操作区的电路闭合的电接触传感器，和/或用于检测触及操作区的操作者的胳臂的存在传感器；该存在传感器可以采用例如光学或电容式传感器的形式。第二传感器装置具体可以是耦接至座椅调节器的位移传感器或用于获取座椅调节输入的传感器装置，其还可以用于设置基于人预定的就坐位置。根据本发明的装置还包含设计为基于来自传感器装置的信号并基于所储存的操作者的模型或所储存的表来确定操作者触摸操作元件的操作区的手的方位的存储器和处理器装置。存储器和处理器装置可以形成控制装置或可以与这种控制装置关联。根据本发明的装置还包含显示装置，该显示装置具体包含可以靠近车辆中的驾驶员的视角方向设置的屏幕，优选地在仪表板的上部。显示器设计为用以显示在确定的相对于操作区的位置中的手的图像，即在确定的方位上且在手的可预定的手指、如食指的指尖对应于接触点的位置上。根据本发明的装置使在显示装置上以特别简单的方式显示操作者的模拟或虚拟手成为可能，该特别简单的方式涉及以对应于触摸板或触摸屏上操作者的手的视觉观察的方式的操作菜单。这改进了操作元件的可操作性。显示装置优选具有与操作区相同的纵横比，并且具体地，具有相同的大小。这进一步改进了操作元件的直观可操作性。根据本发明的装置特别设计为用以执行上文所述的方法。附图说明本发明使用附图通过下面的实例来详细说明，其中：图1显示了设有根据本发明的装置的汽车的驾驶舱以及这种装置的基本电路图；图2显示了根据本发明的方法的简化流程图；图3显示了识别操作者的简化示意图；图4显示了用于操作操作菜单的简化流程图；图5显示了屏幕上的接触点以及操作者的模拟手的示意图。具体实施方式如图1的右侧部分中所示，多个操作元件设置在机动车辆，特别是汽车的仪表板1上以及中央控制台2上。根据一个示例性实施例，触摸板3设置在中央控制台上以便驾驶员可以用他的右手轻易触摸触摸板3的触摸感应表面。可以由驾驶员通过将他的视角方向从朝向前方道路的视角方向做出相对轻微的改变而感知的屏幕4也放置在仪表板的上部。可选地，屏幕还可以采用平视显示器的形式（这里未示出），也就是说内容显示在驾驶员的视角方向上的挡风玻璃上。触摸板3也可以由前排乘客轻易触及，确切地讲是使用他的左手。在图1中所示的布置中，屏幕4也可以被前排乘客看见。可以由驾驶员不用将他的手离开方向盘而驱动的另外的触摸板6也设置在方向盘5的区域中。可以用手指触摸触摸板3以便选择并激活例如操作菜单内的特定菜单项，例如以便操作车辆的无线电系统。如在图1的左侧部分中象征性所示，由操作者引起的输入和触摸板3的驱动动作由驱动屏幕4显示对应于操作者的手的虚拟手和操作菜单的控制装置来估算。可以同样用于控制可以用触摸板3操作的某些或全部功能的方向盘5上另外的触摸板6，具有优于中央控制台中的触摸板3的优先级。因此驾驶员可以不考虑中央控制台2中的触摸板3的驱动在方向盘5的区域中的触摸板6上控制相关的操作功能。当说明根据本发明的方法时，下文假设另外的触摸板6未被驱动。尽管触摸板3可以用驾驶员的右手轻易触及，但驾驶员不能轻而易举地识别进行输入的触摸板3的位置。出于这个目的，驾驶员不得不在很大程度上改变他的视角方向以便能够看见触摸板3和他的操作触摸板3的手；聚焦于相对较短的距离也是必要的。为了促进触摸板3的操作，因此操作菜单以及操作者的模拟的手连同可以通过用手指按压做出输入的接触点一起显示在屏幕4上，其中模拟的手处于对应于手相对于触摸板3的位置和方位上。出于该目的，根据本发明的一个示例性实施例，如图2中示意性所示，在检测到与触摸板3(见图1)的接触之后，首先确定可能是车辆的哪个乘员正在操作触摸板。这种情境在图3中示意性示出。根据图3，经座椅7以及驾驶员的身体8和胳臂9以及手（未详细示出）经皮肤与触摸板3连接的电路闭合，因此可以确定驾驶员是否正在触摸触摸板3。驾驶员不易察觉到的由座椅7至触摸板3的弱电流在图3中用虚线表示。以类似的方式，经座椅10、前排乘客的身体11和胳臂12相应的电路可以用于确定前排乘客是否正在触摸触摸板3。在图3中所示的情境中，前排乘客未触摸触摸板3，因此相应的电路未闭合。此外，操作者特有的代码可以通过各自的电路传递以便以特别可靠的方式来识别操作者。如果现在已经确定了是车辆的哪位乘员正在操作触摸板3，则根据图2中所示的本发明的方法的示例性实施例，读取与被识别的操作者关联的座椅的纵向调节的位置，其中被识别的操作者在图3中所示情境中为驾驶员。操作者可能的体型大小以及操作者用以操作触摸板的胳臂可能的方位通过模型由此来确定；例如，这些参数也可以从表格读取。具体地，实时执行相应的计算操作。此外，预定的可能的操作手势用于确定操作者用以操作触摸板3的手相对于接触点的位置，其中接触点已经由来自触摸板的信号确定。例如，如果已经预先确定车辆的驾驶员使用他右手的食指进行输入，则可以用检测到的触摸板3上的接触点来识别右手食指的指尖。结合由所确定的体型大小所估算的手的大小，以及预先确定的操作者用以操作触摸板3的胳臂的位置，因此得知所有用于在触摸板上显示大小正确的操作者的手和其相对于接触点的位置的参数。这种模拟或虚拟手的显示产生在屏幕4（见图1）上，因此操作者可以一直追踪他在触摸板3上的操作菜单中执行的动作或者将要执行的动作。在这种情况下，显示对应于操作者就像操作他可以直接观察到的触摸屏时本应的显示。此外，下层操作菜单的改进的可视度可以通过以透明或半透明的方式显示模拟或虚拟手来获得。图4示意性示出了操作触摸板3的顺序。如果检测到与触摸板3的接触，则首先确定这是由低于还是高于阈值的力产生的。接触点在相对较低的力的情况下以“被动”模式显示，并且在相对较高的力的情况下以“输入”模式显示。在后一种情况下，另外执行检查以便确定接触点的位置是否对应于在相关时间激活的输入栏，并且如果是这种情况，则例如以对应于传统触摸屏的操作的方式执行对应于输入栏的动作。因此，例如相对较高的力的短按选择菜单或菜单项，并且长按访问子菜单等等。一种在屏幕4上显示的可能方法在图5a至5f中示出。在这种情况下，上面的一列图像（图5a至5c）对应于被动模式，并且图5d至5f中的图像对应于输入模式。在操作者将他的手放在视野中的操作过程中，传统触摸屏的显示在左侧图像（图5a和5d）中示出。在这种情况下，接触点，即接触点处于其中央的区域或代表接触点的区域，可以以不同的方式显示，这依赖于涉及被动模式还是输入模式；图5a示出了被动模式中的接触点14，并且图5d示出了输入模式中的接触点15。在被动模式中，菜单项例如可以通过移动手指而移动，而菜单项可以在输入模式中激活。在屏幕4上显示的接触点14、15对应于触摸板3上的实际接触点。为了清晰，图5a至5f中没有示出操作菜单。在此情况下，由于操作者，尤其如果他是驾驶员，视野中不具有操作区或视野中不是一直具有操作区，因此操作者的虚拟手16、18与将要操作的菜单一起显示在显示装置（屏幕4，见图1）上。当驾驶员已经被识别为操作者时，这种显示在图5b和5e中示出。基于如上文所述确定的参数，操作者的手象征性地显示为虚拟手16、18，食指的指尖显示在所确定的接触点的位置上。因此根据图5b，无需特别标记接触点。图5e示出了接触点17已经在输入模式中被标记。图5b和5e示出了驾驶员的虚拟手16，即在左侧驾驶车辆的情况下的右手，驾驶员用他的食指进行输入。根据图5c和5f，如果前排乘客已经被识别为操作者，则所显示的虚拟手18为前排乘客的手。与虚拟手16、18一起，还显示操作者的胳臂的一部分，如图5b、5c、5e和5f中所示。虚拟手16、18和操作者的胳臂可以以透明或半透明的方式显示。