使用在三维空间中实施的手势操作在车辆的显示单元上显示的功能的方法和装置、以及 ...的制作方法
【专利摘要】本发明涉及一种使用在三维空间中实施的手势操作在车辆的显示单元上显示的功能的方法。该方法具有以下步骤：检测(S100)在三维空间内实施的第一手势，确定(S200)检测到的第一手势是否是被指定激活功能操作的手势，如果确定检测到的第一手势是被指定激活功能操作的手势，激活(S300)该功能，检测(S500)在三维空间中实施的第二手势，确定(S600)检测到的第二手势是否是被指定功能操作的手势，如果确定检测到的第一手势为被指定激活功能操作的手势，且如果确定检测到的第二手势为被指定功能操作的手势，则操作(S900)功能。本发明还涉及相应的装置和相应的计算机程序产品。
【专利说明】使用在三维空间中实施的手势操作在车辆的显示单元上显示的功能的方法和装置、以及相应的计算机程序产品
【技术领域】
[0001]本发明涉及一种使用在三维空间中实施的手势操作在车辆的显示单元上显示的功能的方法和装置、以及相应的计算机程序产品。
【背景技术】
[0002]在W02011/003947A1中公开了一种使用三维空间中实施的手势操作车辆的显示单元上显示的功能的方法和装置，其中确定是否检测到在三维空间中实施的手势；确定检测到的手势是否是被指定功能操作的手势；如果确定检测到的手势为被指定功能操作的手势，则对功能进行操作。
[0003]因为直接确定检测到的手势是否是被指定功能操作的手势，因此在手势检测装置的检测区实施的、未打算操作功能的用户的手指或者手的动作可能被错误地确定为被指定功能操作的手势。因此，在该情况下会错误地或者无意地执行功能。
【发明内容】
[0004]本发明的目的在于，创造一种允许在车辆中以简单可靠的方式基于手势操作功能的方法、装置和相关的计算机程序产品。
[0005]该目的通过在独立权利要求中规定的特征进行解决。
[0006]本发明的其他有利实施例是从属权利要求的主题。
[0007]根据第一方面，一种使用在三维空间中实施的手势操作在车辆的显示单元上显示的功能的方法包含:a)确定是否检测到在三维空间中实施的第一手势，b)如果确定已经检测到第一手势，则确定第一手势是否是被指定激活功能操作的手势，c)如果确定检测到的第一手势是被指定激活功能操作的手势，则激活功能操作，d)确定是否检测到在三维空间中实施的第二手势，e)如果确定已检测到第二手势，则确定检测到的第二手势是否是被指定功能操作的手势，f)如果确定检测到的第一手势是被指定激活功能操作的手势，且确定检测到的第二手势是被指定功能操作的手势，则操作功能。
[0008]根据一实施例，步骤d)至f)直接相继在实施步骤a)至c)后重复实施。
[0009]根据另一实施例，如果检测到的第一手势是第一预定手势，该第一预定手势在三维空间的第一预定区域持续第一预定时长的静态，则在步骤b)中确定检测到的第一手势是被指定激活功能操作的手势。
[0010]根据另一实施例，如果检测到的第二手势是第二预定手势，该第二预定手势在三维空间的第二预定区域是动态的，则在步骤e)中确定检测到的第二手势是被指定功能操作的手势。
[0011]根据另一实施例，在步骤f)中，通过实施第二手势的方向确定和设定功能操作的方向。
[0012]根据另一实施例，如果步骤d)至f)直接相继在实施步骤a)至c)后重复实施，保持功能操作方向的设定。
[0013]根据另一实施例，该方法具有:g)确定是否检测到在三维空间中实施的第三手势，h)如果确定检测到第三手势，则确定第三手势是否是被指定对功能操作方向进行重置的手势，i)如果确定检测到的第三手势是被指定对功能操作方向进行重置的手势，则对功能操作方向进行重置。
[0014]根据另一实施例，如果确定检测到的第三手势是第三预定手势，该第三预定手势在三维空间的第三预定区域持续第三预定时长的静态，则在步骤h)中确定检测到的第三手势是被指定对功能操作方向进行重置的手势。
[0015]根据另一实施例，在步骤c)中，显示功能激活的显示元件在显示单元上进行显
/Jn ο
[0016]根据另一实施例，显示功能激活的显示元件在未检测到手势的第四个预定时长后不再在显示单元上显示。
[0017]根据第二方面，使用在三维空间中实施的手势操作在车辆的显示单元上显示的功能的装置，该装置具有被设计为执行上述方法或其实施例的设备。
[0018]根据一实施例，该设备具有红外检测装置检测在三维空间中实施的手势。
[0019]根据另一实施例，红外检测装置具有多个排成一行或者多行的红外传感器。
[0020]根据第三个方面，使用在三维空间中实施的手势操作在车辆的显示单元上显示的功能的计算机程序产品被设计为结合计算机或者计算机系统直接地或者在执行预定程序后间接地实施上述方法或其实施例。
[0021]根据第一至第三方面和其实施例，避免了将例如不打算操作功能的用户的手指或者手的动作错误确定为被指定功能操作的手势，因为在检测被指定功能操作的手势前必须检测被指定激活功能操作的手势，借助该手势激活功能操作。
[0022]本发明在下文中借助示例性实施例参考附图进行更详细的说明。
【专利附图】
【附图说明】
[0023]在图中示出:
[0024]图1是根据本发明的示例性实施例的基本操作方案的示意图；
[0025]图2是根据本发明的示例性实施例的基本操作方案的另一示意图；
[0026]图3是根据本发明的示例性实施例的显示单元和检测装置的结构示意图；
[0027]图4是根据本发明的示例性实施例的使用三维空间中实施的手势操作显示单元上所显示的功能的方法的流程图。
【具体实施方式】
[0028]下文将对本发明的一个示例性实施例进行说明。
[0029]需要注意的是，以下应该理解，显示单元优选是车辆，尤其是机动车辆的中央显示器，以及在车辆中使用三维空间中实施的手势操作显示单元上所显示的功能的方法。
[0030]此外，以下描述的手势是这样的手势:车辆用户通过其手或者手指在三维空间实施的，无需接触显示器(例如触摸屏)或者操作元件(例如触摸板)。
[0031]图1显示的是本发明示例性实施例的基本操作方案的示意图。[0032]在图1中，附图标记10表示显示单元，附图标记20表示检测装置的检测区域，附图标记30表不第一窗口，附图标记40表用户的手。
[0033]基本的操作方案为，借助由用户的手40或者手指在三维空间实施的第一手势激活操作显示单元10上所显示的功能的手势操作。如果在检测区域20中检测到第一手势，该第一手势为第一预定手势，则在显示单元10上显示第一窗口，该窗口显示检测到第一预定手势。该窗口显示要操作的功能的可能控制方向。
[0034]第一预定手势是静态手势，该手势在三维空间的第一预定区域保持第一预定时长的静态。如图1中显示，第一预定手势例如为一静态手势，该手势这样实施:通过移动用户的手40或者手指至检测区域20的“中间”部分，接着用户的手40或者手指在检测区域20的“中间”部分优选临时停留第一预定时长。与之类似，第一预定手势为一静态手势，该手势这样实施:通过移动用户的手40或者手指至检测区域20的“左侧”部分，接着用户的手40或者手指在检测区域20的“左侧”部分优选临时停留第一预定时长，或者该手势这样实施:通过移动用户的手40或者手指至检测区域20的“右侧”部分，接着用户的手40或者手指在检测区域20的“右侧”部分优选临时停留第一预定时长。
[0035]图2显示的是根据本发明示例性实施例的基本操作方案的另一示意图。
[0036]在图2中，与图1相同的附图标记表不相同的兀件，附图标记50表不第二窗口。
[0037]如果在检测到第一手势后首次检测第二手势(该第二手势为被指定功能操作的第二预定手势)，根据第二预定手势设定要操作的功能的控制方向，并在设定的控制方向上操作要操作的功能。
[0038]第二预定手势为动态手势，该手势在三维空间第二预定区域处于动态状态。如图2中箭头所示，第二预定手势例如为动态手势，该手势这样实施:通过将用户的手40或者手指从检测区域20的“中间”部分移动至检测区域20的“右侧”部分。与之类似，第二预定手势为一动态手势，该手势这样实施:通过将用户的手40或者手指从检测区域20的“左侧”部分移动至检测区域20的“中间”部分，或通过将用户的手40或者手指从检测区域20的“中间”部分移动至检测区域20的“左侧”部分，或通过将用户的手40或者手指从检测区域20的“右侧”部分移动至检测区域20的“中间”部分，或通过将用户的手40或者手指从检测区域20的“左侧”部分经过检测区域20的中间部分移动至检测区域20的“右侧”部分，或者通过将用户的手40或者手指从检测区域20的“右侧”部分经过检测区域20的中间部分移动至检测区域20的“左侧”部分。
[0039]第二预定手势是用户的手40或者手指的扫拭移动。要操作的功能的控制方向根据第二预定手势第一次实施的方向进行设定。例如，在图2中，如果第二预定手势沿手40附近的箭头方向进行实施，则控制方向沿图2中第二窗口 50中箭头所示的方向进行设定。
[0040]在通过第一次检测到第二预定手势而设定要操作的功能的控制方向后，随后重新检测第二预定手势(必要时快速连续重复实施)可沿设定的控制方向对要操作的功能进行可靠的操作。
[0041]通过在检测区域20处实施的第三预定手势可以对设定的控制方向进行重置。与第一预定手势类似，第三预定手势可为静态手势，该三预定手势在三维空间的第三预定区域保持第三预定时长的静态状态。第一和第三预定手势的预定的第一和第三时长可以相同或者互不相同，第一和第三个预定手势的在三维空间区域的预定的第一和第三区域可以相同或者互不相同。
[0042]在通过第三预定手势对控制方向进行重置后，可以通过重新首次检测第二预定手势对控制方向进行设定，并通过随后重新检测第二预定手势(必要时快速连续重复实施)可对要沿设定的控制方向操作的功能进行可靠的操作。
[0043]此外，第一窗口 30或者第二窗口 50的显示在出现预定的取消标准而结束，例如第四预定时长结束，但未检测到其他手势等情况。
[0044]图3显示的是根据本发明的示例性实施例的显示单元和检测装置的结构示意图。
[0045]在图3中，附图标记10表示显示单元，附图标记60表示检测装置，附图标记70表示区别车辆驾驶员或者乘客的控制过程的检测区域，附图标记80表示检测各手势的检测区域，附图标记90表示限制操作区域的检测区域。
[0046]检测装置60为红外检测装置，该装置具有多个安排在一行或者多行内的红外传感器，用于无接触地检测三维空间内实施的手势。
[0047]借助多个红外传感器可以设定不同的检测区域70至90。传感器行优选具有大约6mm的高度，不同的检测区域70至90优选具有10至40cm的长度，优选为大约30cm。也就是说，红外传感器的检测范围优选为10至40cm，优选大约为30cm。
[0048]如图3左下角的俯视图所示，限制操作过程的检测区域90设定了各手势可被检测为有效手势的区域，检测区域70设定了区分各个检测到的手势是驾驶员还是乘客实施的区域。例如，在左侧驾驶车辆的情况下，左侧检测区域70内实施的手势被检测为驾驶员实施的手势，与之相反，在右侧检测区域70内实施的手势被检测为乘客实施的手势。
[0049]这样区分手势是驾驶员还是乘客实施的，在所谓的分屏显示器中具有特别的优点，该显示器可以同时为驾驶员和乘客显示不同的信息。同样，区分手势是驾驶员还是乘客实施的，在驾驶员或者乘客的人体工学操作方面具有优势。
[0050]以下假定检测到的手势既可以是驾驶员实施的手势，也可以是乘客实施的手势。
[0051]进一步，如图3左下角的俯视图所示，用于检测各手势的检测区域80设定这样的区域:通过其，手势可被检测并且被静态和动态地区分。
[0052]每一个红外传感器具有发送器和接收器。红外光由各自的发送器发出，被物体(例如用户的手或者手指)反射，并被指定给该发送器的相应的接收器进行接收。各个红外传感器的输出信号取决于反射物体的距离、反射物体的尺寸和反射物体表面的反射率。红外传感器不提供关于反射物体的任何明确的位置和距离信息，但其优点在于，传感器配置灵活，且红外传感器的范围相对较大。
[0053]重要的是，红外传感器的输出信号是状态为“O”或者“I”的光栅信号，其中，“O”和“I”状态中的一种显示红外传感器的检测区域中存在物体，“O”和“I”状态中的另一种显示红外传感器的检测区域中不存在物体。
[0054]在限制操作区域的检测区域90检测到的由用户的手或者手指实施的手势在检测各手势的检测区域80内基于参考图1和2所述的基本操作方案进行检测，并被实施为对各手势所对应的处理操作的反应，例如激活、操作或者取消。
[0055]需要说明的是，红外传感器的排列和数量并不局限于图3所示的结构。而且，只要图1和2所示的基本方案可以借助各自排列和数量的红外传感器进行实施，则可以使用任意排列和数量的红外传感器。不需要以这样的方式设定检测区域的数量:即，同图1和2所示一样存在中间检测区域以及左侧和右侧检测区域。只需要存在足够多的检测区域即可，以便通过检测区域可以对动态手势及其方向和静态手势可靠地加以区分。在最简单的情况下存在两个检测区域即可。
[0056]图4显示了根据本发明的示例性实施例的使用三维空间内实施的手势操作显示单元上所显示的功能的方法的流程图。
[0057]需要说明的是，图4中流程图的处理流程在起始点后(例如在接通车辆的点火开关后)开始，重复循环执行直至到达结束点(例如关断车辆的点火开关)。起始点例如可以是启动车辆发动机的时间点和/或结束点可以是关闭车辆发动机的时间点。根据本申请，其他的起始点和结束点同样是可能的。
[0058]而且，需要说明的是，在上述区分驾驶员手势和乘客手势的情况下，图4中流程图的方法既适用于驾驶员方，也适用于乘客方。在图4中的流程图的各个步骤中，借助检测区域70可以确定哪个手势是被指定给哪一方的。通过该方式，对于每一方，图4中所示的处理过程可以并行、串行或者交错的方式方便地实施。
[0059]在步骤SlOO中确定是否检测到第一手势。如果第一手势未被检测到(对应于步骤SlOO中的回答“否”)，处理过程返回步骤S100。如果检测到第一手势(对应于步骤SlOO中的回答“是”)，处理过程前进至步骤S200。
[0060]在步骤S200中，确定检测到的第一手势是否是被指定激活功能操作的手势。如果第一手势并非是被指定激活功能操作的手势(对应于步骤S200中的回答“否”)，处理过程返回步骤S100。如果第一手势为激活功能操作的手势(对应于步骤S200中的回答“是”)，处理过程前进至步骤S300。
[0061]被指定激活功能操作的手势是第一预定手势，该手势在三维空间的第一预定区域保持第一预定时长的静态状态。正如以上参考图1至3所描述的，检测第一预定手势。
[0062]在步骤S300中激活功能操作。在步骤S300后，处理过程前进至步骤S400。
[0063]在激活功能操作时,在显示单元上显示一显示元件,该显示元件对功能激活进行显示，例如，如图1所示。
[0064]在步骤S400中，确定是否满足预定的取消条件。如果满足预定的取消条件(对应于步骤S400中的回答“是”)，处理过程返回步骤S100。如果未满足取消条件(对应于步骤S400中的回答“否”)，处理过程前进至步骤S500。
[0065]预定的取消条件例如包括持续第四预定时长未检测到手势。如果步骤S400满足取消条件，显示功能激活的显示元件不再在显示单元上进行显示。
[0066]在步骤S500中确定是否检测到第二手势。如果未检测到第二手势(对应于步骤S500中的回答“否”)，处理过程返回步骤S500。如果检测到第二手势(对应于步骤S500中的回答“是”)，处理过程前进至步骤S600。
[0067]在步骤S600中确定检测到的第二手势是否是被指定功能操作的手势。如果第二手势并非是被指定功能操作的手势(对应于步骤S600中回答“否”)，处理过程返回步骤S500。如果第二手势为被指定功能操作的手势(对应于步骤S600中的回答“是”)，处理过程前进至步骤S700。
[0068]被指定功能操作的手势为第二预定手势，该手势在三维空间的第二预定区域为动态状态。正如以上参考图1至3所描述的，检测第二预定手势。[0069]在步骤S700中确定是否首次检测到第二预定手势。如果第二预定手势并非首次检测到(对应于步骤S700中的回答“否”)，处理过程前进至步骤S900。如果第二预定手势为首次检测到(对应于步骤S700中的回答“是”)，处理过程前进至步骤S800。
[0070]在步骤S800中将要操作的功能的控制方向设定为与实施第二预定手势方向相同的方向。这意味着，如下文所述，进一步实施第二预定手势时，仅将其实施方向为设定的控制方向的手势检测为有效的第二预定手势。在步骤S800后，处理过程前进至步骤S900。
[0071]在步骤S900中对功能进行操作。在步骤S900后，处理过程前进至步骤S1000。
[0072]在对功能进行操作时,在显示单元上显示一显示元件,该元件对功能操作进行显示，例如，如图2所示。
[0073]在步骤S1000中确定是否满足预定的取消条件。如果满足预定的取消条件(对应于步骤S1000中的回答“是”)，处理过程返回步骤S100。如果不满足取消条件(对应于步骤S1000中的回答“否”)，处理过程前进至步骤SI 100。
[0074]预定的取消条件例如包括持续第四预定时长未检测到手势。如果在步骤S1000中满足预定的取消条件，显示功能操作的显示元件不再在显示单元上进行显示。
[0075]在步骤SllOO中确定是否检测到第三手势。如果未检测到第三手势(对应于步骤SllOO中的回答“否”)，处理过程返回步骤S500。如果检测到第三手势(对应于步骤SllOO中的回答“是”)，处理过程前进至步骤S1200。
[0076]在步骤S1200中确定检测到的第三手势是否是被指定对功能操作方向进行重置的手势。如果第三手势并非是被指定对功能操作方向进行重置的手势(对应于步骤S1200中的回答“否”)，处理过程返回步骤S500。如果第三手势是被指定对功能操作方向进行重置的手势(对应于步骤S1200中的回答“是”)，处理过程前进至步骤S1300。
[0077]在步骤S1300中对功能操作方向进行重置。在步骤S1300后，处理过程返回步骤S500。
[0078]被指定对功能操作方向进行重置的手势是第三预定手势，该手势在三维空间的第三预定区域保持第三预定时长的静态状态。如以上参考图1至3所述，检测第三预定手势。
[0079]上述方法可以借助装置进行实现，该装置为控制车辆的显示单元上所显示功能的设备。显示单元优选为车辆的中央显示器，优选机动车的中央显示器。
[0080]上述实施例的一个应用例如是，可以借助手势(例如水平实施的手势，即用户的手或者手指移动)在车辆的中央远程信息处理单元上，在不接触显示器(例如触摸屏)或者操作元件(例如触摸板)的情况下，操作或者向后和向前切换无线电台或者介质(例如CD)的菜单(例如主菜单)。
[0081]用户的学习过程可以通过手势操作过程中的光学和/或声学反馈提供支持，由此，在用户的学习过程后允许用户进行盲操作。用户可以手动关闭这一类的光学和/或声学反馈，也可以在识别例如持续预定时长的由用户执行的正确手势操作后自动关闭这一类的光学和/或声学反馈。
[0082]尽管在图1至3中显示，各个红外传感器布置在显示单元的下方，但各个红外传感器也可以布置在其他地方，例如显示单元的上方、显示单元的侧面、其他有利的地方或者这些地方的有利组合。
[0083]通过上述基于图像的手势控制可以实现简单且快速的操作，从而提高用户的操作舒适度、操作灵活性和操作体验。
[0084]上述示例性实施例可以实现为计算机程序产品(例如存储介质)，其被设计为结合一台计算机或者多台计算机(即计算机系统)或者其他处理单元执行根据上述实施例的方法。该计算机程序产品被设计为，使得该方法仅在执行预定的程序(例如安装程序)后才可以实施。
[0085]尽管本发明已经根据示例性实施例作了说明，但应该理解，在不脱离所附权利要求书定义的本发明范围的情况下，可以实施不同的实施方式和变更。
[0086]本发明的其他特征和优点详见附图。
【权利要求】
1.使用在三维空间中实施的手势操作在车辆的显示单元上显示的功能的方法，该方法包含: a)确定是否检测到在三维空间中实施的第一手势； b)如果确定已经检测到第一手势，则确定第一手势是否是被指定激活功能操作的手势； c)如果确定检测到的第一手势是被指定激活功能操作的手势，则激活功能操作； d)确定是否检测到在三维空间中实施的第二手势； e)如果确定已检测到第二手势，则确定检测到的第二手势是否是被指定功能操作的手势； f)如果确定检测到的第一手势是被指定激活功能操作的手势，且确定检测到的第二手势是被指定功能操作的手势，则操作功能。
2.根据权利要求1的 方法，其特征在于，步骤d)至f)直接相继在实施步骤a)至c)后重复实施。
3.根据权利要求1或2的方法，其特征在于，如果检测到的第一手势是第一预定手势，该第一预定手势在三维空间的第一预定区域持续第一预定时长的静态，则在步骤b)中确定检测到的第一手势是被指定激活功能操作的手势。
4.根据权利要求1至3中一项的方法，其特征在于，如果检测到的第二手势是第二预定手势，该第二预定手势在三维空间的第二预定区域是动态的，则在步骤e)中确定检测到的第二手势是被指定功能操作的手势。
5.根据权利要求1至4中一项的方法，其特征在于，在步骤f)中，通过实施第二手势的方向确定和设定功能操作的方向。
6.根据权利要求5的方法，其特征在于，如果步骤d)至f)直接相继在实施步骤a)至c)后重复实施，保持功能操作方向的设定。
7.根据权利要求6的方法,其特征在于: g)确定是否检测到在二维空间中实施的第二手势； h)如果确定检测到第三手势，则确定第三手势是否是被指定对功能操作方向进行重置的手势； i)如果确定检测到的第三手势是被指定对功能操作方向进行重置的手势，则对功能操作方向进行重置。
8.根据权利要求7的方法，其特征在于，如果确定检测到的第三手势是第三预定手势，该第三预定手势在三维空间的第三预定区域持续第三预定时长的静态，则在步骤h)中确定检测到的第三手势是被指定对功能操作方向进行重置的手势。
9.根据权利要求1至8中一项的方法，其特征在于，在步骤c)中，显示功能激活的显示元件在显示单元上进行显示。
10.根据权利要求9的方法，其特征在于，显示功能激活的显示元件在未检测到手势的第四个预定时长后不再在显示单元上显示。
11.使用在三维空间中实施的手势操作在车辆的显示单元上显示的功能的装置，该装置具有被设计为执行根据权利要求1至10中一项的方法的设备。
12.根据权利要求11的装置，其特征在于，通过红外检测装置检测在三维空间中实施的手势。
13.根据权利要求12的装置，其特征在于，红外检测装置具有多个排成一行或者多行的红外传感器。
14.使用在三维空间中实施的手势操作在车辆的显示单元上显示的功能的计算机程序产品，该产品被设计为结合计算机或者计算机系统直接地或者在执行预定程序后间接地实施根据权利要求1至 10中一项的方法。
【文档编号】B60K37/06GK104039582SQ201280066504
【公开日】2014年9月10日 申请日期:2012年12月8日 优先权日:2012年1月9日
【发明者】V·恩滕曼, S·马特斯, J·赖辛格, T·张-徐 申请人:戴姆勒股份公司