虚拟触摸交互方法和虚拟触摸交互设备的制作方法
【专利摘要】公开了一种用于投影屏幕的虚拟触摸交互方法和虚拟触摸交互设备。所述方法包括：跟踪在投影屏幕前的投影区域中移动的用户肢体的位置；基于用户肢体的位置，确定用户肢体是否进入交互区域；响应于用户肢体进入交互区域，将光标投影到用户肢体上；以及根据用户肢体对于投影屏幕的动作改变所述光标的形态。利用上述方法和设备，可以以较高的精度检测用户对于投影屏幕的触摸操作，并且对用户给出清晰的反馈，同时不会对显示在投影屏幕上的图像造成干扰。
【专利说明】虚拟触摸交互方法和虚拟触摸交互设备
【技术领域】
[0001]本发明涉及计算机和数字图像处理领域的用户交互技术，更具体地涉及一种用于投影屏幕的虚拟触摸交互方法和虚拟处理交互设备。
【背景技术】
[0002]目前，触摸控制技术已经被广泛地应用于诸如手持设备和个人电脑之类的各种设备上以进行人机交互。这种技术使用带有触摸传感器的触摸屏，用户可以通过触摸该触摸屏来与设备交互，从而控制该设备执行各种操作。触摸控制技术可以使用户方便有效地操作设备，从而获得良好的用户体验。
[0003]近年来，又提出了虚拟触摸交互技术，其目的在于对不具备触摸传感器的屏幕执行与传统触摸交互类似的交互(即，虚拟触摸交互)。例如，在将虚拟触摸交互技术应用于普通的投影屏幕的情况下，可以根据用户的手对投影屏幕的触摸操作来执行各种交互操作。相对于传统的触摸控制技术，虚拟触摸交互技术不需要设置触摸屏，因此应用起来更加灵活。然而，在虚拟触摸交互技术中，如何向用户提供更自然更优秀的交互体验始终是一个巨大的挑战。在现有的虚拟触摸交互技术中，无法在交互过程中针对用户的动作向用户提供清晰的反馈。具体地，在进行虚拟触摸交互时，用户通常想知道:(1)他的触摸操作是否被检测到；(2)他触摸的位置在哪里。然而，现有的虚拟触摸技术并不能针对这些内容向用户提供清晰的反馈。
[0004]另一方面，在使用传统的触摸设备来实现人机交互接口的方面，已经有很多成功的例子。例如苹果公司设计的触摸设备使用了以下人机交互接口原则:(1)反馈，即响应用户的动作，并且使用户确信他们的请求正在被处理；(2)直接操作，即用户可以通过执行触摸动作而直接操作屏幕中的对象；(3)隐喻，即当应用中的对象和操作是由现实世界映射过来时，用户能快速地掌握如何使用这个应用；(4)整体之美，即应用的外观与功能完美地结合；(5)—致性，即允许用户将关于一个应用的知识和技能延续到其他应用上，然而，目前的虚拟触摸交互技术不能很好地遵循上述原则。
[0005]此外，在现有的虚拟触摸交互系统中，为了能够检测出用户的触摸动作，往往需要向投影屏幕上投影尺寸较大的易于识别的图案，这种图案被叠加在显示于投影屏幕上的画面上，不仅画面本身变得难看，画面上的内容也可能会被遮挡住，这导致较差的用户体验。
[0006]因此，需要一种虚拟触摸交互方法和虚拟触摸交互设备，其能够针对用户对例如投影屏幕的触摸操作提供清晰的反馈，并且不会对投影屏幕上显示的图像造成干扰，从而提供改善的用户体验。
【发明内容】
[0007]鉴于现有技术中的上述问题，提出了本发明。本发明的一个目的是提供一种虚拟触摸交互方法和虚拟触摸交互设备，其能够针对用户在例如投影屏幕上的触摸操作而向用户提供清晰的反馈。本发明的另一目的是提供一种虚拟触摸交互方法和虚拟触摸交互设备，其能够以较高的精度检测用户的触摸操作，而不会对投影屏幕上显示的图像造成干扰。
[0008]根据本发明的一个方面，提供了一种用于投影屏幕的虚拟触摸交互方法，包括:跟踪在投影屏幕前的投影区域中移动的用户肢体的位置；基于用户肢体的位置，确定用户肢体是否进入交互区域；响应于用户肢体进入交互区域，将光标投影到用户肢体上；以及根据用户肢体对于投影屏幕的动作改变所述光标的形态。
[0009]根据本发明的上述方面，可以通过用户肢体在建立于投影区域中的空间坐标系中的坐标来表示用户肢体的位置。
[0010]根据本发明的上述方面，确定用户肢体是否进入交互区域的步骤可以包括:基于用户肢体的坐标，利用投影区域的深度图确定用户肢体的深度值；通过将该深度值与定义交互区域的深度阈值进行比较，确定用户肢体是否进入交互区域。
[0011]根据本发明的上述方面，所述光标的尺寸可以不大于用户肢体的尺寸。
[0012]根据本发明的上述方面，当用户肢体在投影区域中移动时，可以相应地改变所述光标的投影位置，使得所述光标始终覆盖在用户肢体上。
[0013]根据本发明的上述方面，根据用户肢体对于投影屏幕的动作改变所述光标的形态的步骤可以包括:检测用户肢体相对于投影屏幕的触摸状态，所述触摸状态包括以下至少一个:触摸就绪状态，用户肢体已经进入交互区域，但是尚未触摸到投影屏幕；触摸按下状态，用户肢体已经触摸到投影屏幕；触摸移动状态，用户肢体已经触摸到投影屏幕并且在投影屏幕上移动；以及触摸抬起状态，用户肢体已经离开投影屏幕；以及根据所检测的触摸状态来改变所述光标的形态。
[0014]根据本发明的上述方面，改变所述光标的形态可以包括改变所述光标的图案、颜色、大小、形状和透明度中的至少一种。
[0015]根据本发明的另一方面，提供了一种用于投影屏幕的虚拟触摸交互设备，包括:跟踪装置，被配置为跟踪在投影屏幕前的投影区域中移动的用户肢体的位置；检测装置，被配置为基于用户肢体的位置，检测用户肢体是否进入交互区域；以及交互装置，响应于用户肢体进入交互区域，将光标投影到用户肢体上，并且根据用户肢体对于投影屏幕的动作改变所述光标的形态。
[0016]根据本发明的上述方面，所述光标的尺寸可以不大于用户肢体的尺寸。
[0017]根据本发明的上述方面，当用户肢体在投影区域中移动时，交互装置可以相应地改变所述光标的投影位置，使得所述光标始终覆盖在用户肢体上。
[0018]利用根据本发明上述方面的虚拟触摸交互方法和虚拟触摸交互设备，当用户对例如投影屏幕进行触摸操作时，可以获得清楚的反馈，使得用户知晓他的触摸操作是否被检测到以及具体的触摸位置在哪里。此外，当利用根据本发明上述方面的虚拟触摸交互方法和虚拟触摸交互设备进行虚拟交互时，可以以较高的精度检测用户的触摸操作，并且不会对投影屏幕上显示的图像造成明显的干扰，从而改善用户体验。
【专利附图】
【附图说明】
[0019]通过结合附图对本发明的实施例进行详细描述，本发明的上述和其它目的、特征和优点将会变得更加清楚，其中:
[0020]图1示意性地示出了本发明实施例的应用环境；[0021]图2示出了根据本发明实施例的用于投影屏幕的虚拟触摸交互方法的流程图；
[0022]图3示意性地示出了在投影区域中建立的空间坐标系；
[0023]图4示意性地示出了根据本发明实施例的利用深度阈值定义的交互区域；
[0024]图5示意性地示出了确定用户的手是否进入交互区域时的过程；
[0025]图6示意性地示出了投影到用户手上的光标的图案示例；
[0026]图7示意性地示出了当用户的手移动时投影的光标的形态；
[0027]图8示意性地示出了当用户的手移动时投影的光标的另一形态；
[0028]图9示意性地示出了当两只手进行触摸操作时投影的光标的形态；
[0029]图10示出了当用户的手在屏幕上移动时绘制的手的轨迹；
[0030]图11示出了根据本发明实施例的用于投影屏幕的虚拟触摸交互设备的框图；
[0031]图12示出了图11所示的检测装置的详细结构的框图；
[0032]图13示出了图11所示的交互装置的详细结构的框图；
[0033]图14示意性地示出了根据本发明另一实施例的利用深度阈值定义的交互区域。
【具体实施方式】
[0034]为了使本领域技术人员更好地理解本发明，下面结合附图和【具体实施方式】对本发明作进一步详细说明。
[0035]首先，参照图1来描述本发明实施例的应用环境。如图1所示，根据本发明实施例的交互式投影仪将图像投影到投影屏幕上。用户通过在交互式投影仪和投影屏幕之间的投影区域内移动其肢体、触摸投影屏幕的不同位置(换言之，触摸显示在投影屏幕上的画面的不同位置)、和/或在投影屏幕上滑动其肢体而进行虚拟触摸交互。这里的虚拟触摸交互例如指的是通过对不具备像传统的触摸屏上使用的那种触摸传感设备的投影屏幕进行触摸操作而与系统(例如交互式投影仪和/或与之相关联的计算机等设备)进行的交互。上文所述的用户肢体可以是用户的手、手指或者其他肢体，在下文中，为方便起见，以用户的手作为用户肢体的示例来进行描述。
[0036]下面，将结合图1并且参照图2来描述根据本发明实施例的用于投影屏幕的虚拟触摸交互方法。
[0037]如图2所示，在步骤S201中，跟踪在投影屏幕前的投影区域中移动的用户的手的位置。
[0038]具体地，用户可以通过在投影区域内移动他的手以执行各种期望的操作。因此，需要跟踪手的位置。为此，可以在投影区域中建立空间坐标系，并且通过手在空间坐标系中的坐标来表示手的位置。如图3所示，该空间坐标系的原点位于投影屏幕的一角，X轴(横坐标轴)为投影屏幕的长度方向，Y轴(纵坐标轴)为投影屏幕的高度方向，Z轴为垂直于投影屏幕向外(朝向投影仪)的方向。应当注意，尽管建立了三维坐标系，但是下面描述的实施例中，可以仅利用手的X坐标和I坐标作为手的坐标来表示手的位置，在这种情况下，手的位置实际上是手在XY平面(平行于投影屏幕的平面)内的位置。
[0039]当手在投影区域内移动时，可以使用本领域公知的方法来跟踪手并且确定手的X坐标和y坐标。例如，可以拍摄投影区域的图像并且使用连续自适应平均值平移(Continuously Adaptive Mean-SHIFT)算法和Kalman滤波器来跟踪手并且确定手的x坐标和y坐标。或者，可以采用以下方法来跟踪手并且确定其X坐标和y坐标:当手在投影区域内移动时，对整个投影区域拍摄彩色RGB图像，然后利用模式识别技术从所拍摄的RGB图像中识别出手，从而确定在所拍摄的图像上手相对于投影屏幕的位置(或者手相对于投影屏幕的充当原点的角的位置)；由于坐标系是基于投影屏幕建立的，因此可以基于上述位置而确定X坐标和I坐标。在三维坐标系的情况下，手的z坐标可以通过投影屏幕的深度值与手的深度值(稍后描述)之差来计算。应当注意，由于用户的手不是一个点，而是具有一定的尺寸，因此，可以使用手上的某个点(例如手掌的重心)的坐标作为手的坐标，或者可以使用手上的所有点(能够从投影仪看到的点)的坐标的平均值作为手的坐标。
[0040]接下来，在步骤S202中，基于手的位置检测用户的手是否进入交互区域。
[0041]在本发明的实施例中，可以在投影屏幕之前设置交互区域。如图4所示，该交互区域可以用深度阈值tl和t2来定义，其中深度阈值tl和t2为从投影仪(未示出)向投影屏幕看时的深度值，即距投影仪的距离，tl〈t2。交互区域被定义为深度值介于tl和t2之间的空间区域，即由深度阈值tl定义的与投影屏幕所在的平面平行的虚拟平面与由深度阈值t2定义的与投影屏幕所在的平面平行的虚拟平面之间的区域。
[0042]可以通过将手的深度值与tl和t2进行比较来检测手是否进入交互区域。简单地说，如果手的深度值介于tl和t2之间，则可以检测出手进入交互区域。
[0043]为此，首先，基于手的坐标，利用投影区域的深度图来确定手的深度值。如本领域公知的，深度图包含图上每个点的深度值，即距照相机的距离，在本发明的实施例中，照相机与投影仪位置相同，因此深度图上的深度值可以视为距投影仪的距离。可以利用本领域公知的方法获得投影区域的深度图。例如，可以利用双目照相机拍摄投影区域的左右图像，然后利用该左右图像计算出显示在图像上的投影区域的各个点的视差，然后根据视差计算各个点的深度值，从而形成投影区域的深度图。可替换地，可以使用深度照相机直接拍摄投影区域的深度图。根据手的坐标(X坐标和y坐标)，可以在深度图上找到与该坐标对应的点，进而从深度图上读出该点的深度值作为手的深度值。为了提高从深度图获得的手的深度值的可靠性，优选地，在深度图中以手的坐标所对应的点为中心设置一圆形区域，并且计算该圆形区域内所有像素点的深度值的平均值，作为手的深度值。该圆形区域的大小(或半径)可以预先定义，并且可以是固定的或者可以在用户交互期间被动态地调整。当然，除了圆形区域以外，也可以设置其他形状的区域。
[0044]然后，将手的深度值与深度阈值tl和t2进行比较，以确定该深度值是否介于tl和t2之间。如果不是，则手尚未进入交互区域，该过程返回步骤S201。反之，如果手的深度值在tl和t2之间，如图5所示，则可以检测出手进入交互区域，该过程前进到步骤S203。
[0045]在步骤S203中，响应于用户的手进入交互区域，将光标投影到用户的手上。
[0046]具体地，当用户的手进入投影区域时，除了将画面投影到投影屏幕上以外，还通过例如投影仪将光标(或称为模式光标)投影到由手的坐标确定的点的方向上。由于用户的手位于所述坐标处，因此所投影的光标实际上将被投影到用户的手上。这样，当用户看到手上的光标时，他可以知晓系统已经检测到他的手进入交互区域。
[0047]可以根据实际需要设定投影到用户手上的光标的尺寸。然而，为了避免所投影的光标未被手遮挡住而被投影到投影屏幕上，导致干扰投影屏幕上显示的正常画面，优选地，使投影到手上的光标的尺寸不超过手的大小(即，从投影仪看时的手的表面尺寸)。此外，可以自由地选择所投影的光标的图案。优选地，所述光标具有易于识别的图案，例如纹理图案、条纹图案或者如图6所示的同心圆的图案。该图案可以被预先存储在存储器(未示出)中，并且当投影仪初始化时或者在确定用户的手进入交互区域时从该存储器中读出。
[0048]在用户的手进入交互区域之后，随着手的移动，可以持续跟踪手的位置，并且相应地改变光标的投影位置，使得所述光标始终被投影到用户的手上。应当注意，在这种情况下，优选地利用投影到手上的光标来跟踪手的位置以及获得手的深度值。由于光标具有易于识别的图案，例如带有边缘的条纹图案，因此相对于手更易于被跟踪设备检测到，使得手的跟踪精度以及所获得的手的深度值的精度更高。
[0049]接下来，在步骤S204中，根据用户的手对于投影屏幕的动作改变所述光标的形态。
[0050]如上所述，当用户的手进入投影区域并且继续移动时，可以持续地跟踪手的位置，并且检测/更新手的触摸状态(即例如手是否触摸/离开投影屏幕以及手是否在投影屏幕上移动)，并且根据触摸状态来改变光标的形态。
[0051]具体地，首先，可以检测手是否触摸到投影屏幕。例如可以通过比较手的深度值和投影屏幕的深度值是否相等来进行该检测。如果手的深度值小于投影屏幕的深度值，则手没有触摸到投影屏幕，此时手的触摸状态为触摸就绪状态，即，用户的手已经进入交互区域，但是尚未触摸投影屏幕。对于这一状态，可以将光标的形态设置为第一形态，以便向用户表示该触摸状态。例如，第一形态可以是光标的颜色被设置为黑色。当手的深度值等于投影屏幕的深度值时，手已经触摸到投影屏幕，此时手的触摸状态为触摸按下状态，即，用户的手已经触摸到投影屏幕。对于这一状态，可以将光标的形态设置为第二形态。该第二形态与第一形态不同，以便将触摸按下状态与触摸就绪状态区分开。例如，第二形态可以是光标的颜色被设置为绿色。当看到第二形态的光标时，用户可以知晓他对于投影屏幕的触摸已经被检测到，并且可以获知他的触摸位置。
[0052]在检测到触摸按下状态之后，可以继续检测手的深度值以确定手是否仍然触摸投影屏幕，并且还附加地检测手的坐标值(可以仅X坐标和I坐标)，以确定用户的手是否在投影屏幕上移动。如上文所述，在检测手的深度值时，优选地利用投影到手上的光标以提高检测精度。此外，可以按照上文所述的方式来检测手的X坐标和y坐标。当检测到手的深度值小于投影屏幕的深度值时，用户的触摸状态为触摸抬起状态，即用户的手已经离开投影屏幕。此时，可以将光标的形态设置为第三形态。该第三形态与第一形态和第二形态不同，以便与触摸就绪状态和触摸按下状态区分开。例如，第三形态可以是光标的颜色被设置为红色。可替换地，也可以将第三形态设置为与第一形态相同，以便向用户表明手的触摸状态已经返回触摸就绪状态。
[0053]另一方面，如果手的深度值等于投影屏幕的深度值，并且手的X坐标和I坐标发生变化，这表明手在屏幕上移动，此时用户的触摸状态为触摸移动状态。此时，可以根据手的具体移动方式，将处于触摸移动状态下的光标的形态设置为更多种不同的形态，这些形态最好不同于上述第一到第三形态。例如，可以根据手的X坐标和I坐标的变化，确定手的移动方向和/或移动速度等。当确定用户的手向右上方移动时，可以将光标的图案从图6所示的同心圆图案改变为左下侧带有拖尾的同心圆图案，如图7所示，并且可选地可以改变光标的颜色，以便向用户表明手的移动动作及其移动方向已经被检测到。反之，当确定手向左下方移动时，可以将光标的图案从图6所示的同心圆图案改变为右上侧带有拖尾的同心圆图案，如图8所示，并且可选地可以改变光标的颜色。此外，还可以根据手的不同移动速度而使光标呈现不同的形态，例如当手的移动速度快时，可以使所述拖尾更长。应当注意，上文所述的光标的各种形态只是示例性的，而不是限制性的，可以根据用户的偏好或其他因素来灵活地选择各种触摸状态和/或具体移动方式所对应的光标形态。对于不同的触摸状态和/或移动方式，例如可以通过改变光标的图案、颜色、大小、形状和透明度中的至少一种来改变光标的形态。在某些情况下，还可以通过显示或隐藏所述光标来向用户给出反馈。
[0054]这样，通过根据本发明实施例的虚拟触摸交互方法，尽管投影屏幕并不具备传统的触摸屏那样的触摸传感设备，仍然可以检测到用户对于投影屏幕的触摸操作，并且向用户给出相应的反馈。此外，由于投影到用户手上的光标具有易于识别的图案，因此可以利用这种光标提高手的跟踪精度和手的深度值的精度。而且，由于这种光标被投影到用户的手上而不是投影屏幕上，因此不会干扰投影屏幕上的画面显示。
[0055]应当认识到，除了检测单只手的触摸操作以外，利用根据本发明实施例的上述方法，也可以同时检测两只手或更多手的触摸动作，即“多点触摸”。在这种情况下，只需要对每只手重复参照图4描述的操作即可。图9示出了当两只手执行触摸操作时分别投影到这两只手上的光标的形态。
[0056]利用上述方法，随着用户的手在屏幕上移动，也可以在投影屏幕上绘制出手的移动轨迹。具体地，由于在手移动时始终跟踪手的位置并且获得了手的X坐标和I坐标，因此可以根据这些坐标确定手经过的点并且将这些点连接起来，从而形成手的轨迹曲线，如图10所示。在这种情况下，在用户的手(图中未示出)上，可以根据手的移动方式投影相应形态的光标，以向用户给出反馈。
[0057]—旦识别出用户的各种触摸操作，就可以相应地执行与触摸操作相关联的对于例如投影仪的控制动作。具体地，用户可以控制投影仪在投影屏幕上变换显示不同的图像，然后通过对显示在投影屏幕上的图像执行触摸操作来执行各种动作。例如，当用户浏览Google地图时，投影仪将Google地图页面投影到投影屏幕上。用户可以通过触摸操作来改变Google地图的视图。可以利用上述方法检测用户的触摸动作。作为一个示例，当检测到用户的手触摸到屏幕然后向某个方向移动时，可以控制投影仪将显示在投影屏幕上的地图相应地移动以供用户观看。作为另一示例，当检测到用户用两只手同时触摸投影屏幕，并且如图9所示的那样向相反方向移动两只手时，可以控制投影仪放大或缩小显示在投影屏幕上的地图。作为再一示例，当检测到用户触摸投影上的某个位置并且该位置对应于地图上的某个兴趣点(POI)时，可以控制投影仪显示与该POI有关的详细信息。
[0058]下面，将参照图11来描述根据本发明实施例的用于投影屏幕的虚拟触摸交互设备。该交互设备可以被包括在如图1所示的交互式投影仪中，从而形成根据本发明实施例的交互式投影仪。
[0059]如图11所示，该虚拟触摸交互设备100包括跟踪装置101、检测装置102和交互装置 103。
[0060]跟踪装置101跟踪在投影屏幕前的投影区域中移动的手的位置。具体地，跟踪装置101可以在投影区域中建立空间坐标系，并且使用参照图2描述的方法来跟踪手并且确定手的X坐标和y坐标，从而能够使用手的坐标来表示手的位置。如上文所述，可以使用手上的某个点的坐标作为手的坐标，也可以使用手上的所有点的坐标的平均值作为手的坐标。随着用户在交互区域内移动手，跟踪装置101可以持续跟踪手的位置，并且确定手的坐标。
[0061]检测装置102基于手的位置，检测用户的手是否进入交互区域。可以按照上文所述的方式，使用深度阈值tl和t2来定义投影区域，在这里不再赘述。检测装置102可以通过将手的深度值与tl和t2进行比较，来确定手是否进入交互区域。
[0062]图12示出了检测装置102的详细结构。如图12所示，检测装置102包括深度值获取单元1021和比较单元1022。深度值获取单元1021基于手的坐标，利用投影区域的深度图来确定手的深度值。具体地，深度值获取单元1021可以按照上文所述的方式获取投影区域的深度图，然后根据手的坐标(X坐标和I坐标)在深度图上找到与该坐标对应的点，进而从深度图上读出该点的深度值作为手的深度值。如上文所述，优选地，深度值获取单元1021在深度图中以手的坐标所对应的点为中心设置一区域，并且计算该区域内所有像素点的深度值的平均值，作为手的深度值。该区域的大小可以由用户预先定义，并且可以是固定的或可变的。比较单元1022将手的深度值与深度阈值tl和t2进行比较，以确定该深度值是否介于tl和t2之间，从而确定手是否进入交互区域。
[0063]返回图11，交互装置103响应于用户的手进入交互区域而将光标投影到用户的手上，并且还根据用户的手对于投影屏幕的动作而改变投影到手上的光标的形态。
[0064]图13示出了交互装置103的详细结构。如图13所示，交互装置103包括交互控制单元1031和投影单元1032。投影单元1032可以将各种画面投影到投影屏幕上。此外，当检测装置102确定用户的手进入交互区域时，交互控制单元1031可以控制投影单元1032将光标投影到由手的坐标确定的方向上，从而将光标投影到用户的手上，以便向用户表明系统已经检测到他的手进入交互区域。如上文所述，投影到用户手上的光标的尺寸可以根据实际需要设定，但是优选地不超过手的大小。此外，所投影的光标的图案可以自由地选择，但是优选地是易于识别的图案，例如纹理图案、条纹图案或者如图6所示的同心圆的图案等。该图案可以被预先存储在设备100内部或外部的存储器(未示出)中，并且当设备100初始化时或者检测装置102在确定用户的手进入交互区域时从该存储器中读出。交互装置103 (具体地，交互控制单元1031)根据跟踪装置101对于手的位置的持续跟踪结果，相应地改变光标的投影位置，使得所述光标始终被投影到用户的手上。如上文所述，当用户的手进入交互区域之后，跟踪装置101优选地利用投影到手上的光标来跟踪手的位置以及获得手的深度值，以提闻跟踪和检测精度。
[0065]此外，当用户的手进入投影区域并且继续移动时，跟踪装置101持续地跟踪手的位置，检测装置102相应地持续检测手的触摸状态(即，手是否触摸/离开投影屏幕以及手是否在投影屏幕上移动)和触摸移动状态下的具体移动方式。然后，交互控制单元1031根据手的触摸状态和/或移动方式，控制投影单元1032改变投影到手上的光标的形态，从而向用户给出清晰的反馈。根据手的触摸状态和/或移动方式来改变光标形态的方法与在上文中参照图2-10描述的方法相同，在这里不再赘述。
[0066]这样，通过跟踪用户的手的位置，向手投影光标，并且根据手的不同动作而给光标赋予不同的形态，可以向用户给出清晰的反馈。此外，在跟踪手的位置时，可以利用所投影的易于识别的光标，因此可以提闻跟踪精度。
[0067]在上文中描述了本发明的实施例，这些实施例只是说明性的，而非限制性的，本领域技术人员可以对其做出各种改变，而不背离本发明的范围。
[0068]例如，在上文中以用户的手为例描述了本发明的实施例，但是应当认识到，本发明也可以应用于用户的其他肢体，例如手指等。
[0069]此外，在上述实施例中，利用深度阈值tl和t2来定义交互区域，并且当手的深度值处于tl和t2之间时确定手进入交互区域。可替换地，也可以只定义一个深度阈值tl，将投影区域中位于投影屏幕之前并且深度值(即，距投影仪的距离)大于tl的区域定义为交互区域，如图14所示。在这种情况下，当手的深度值大于tl时，可以确定手进入交互区域。
[0070]此外，在上述实施例中，基于手的深度值来确定手是否进入交互区域。可替换地，也可以利用手的z坐标来进行这一确定。具体地，如上文所述，空间坐标系是在投影屏幕上建立的，因此，可以通过将投影屏幕的深度值减去手的深度值，获得手的z坐标。在这种情况下，利用距屏幕的距离阈值tl’和t2’定义交互区域，使得当手的z坐标介于tl’和t2’之间时，确定手进入深度区域。或者，如上文所述，可以只利用距屏幕的距离阈值tl’来定义交互区域，并且当手的z坐标小于tl’时，确定手进入深度区域。相应地，可以通过手的z坐标是否为O来判断手是否触摸到屏幕或者离开屏幕。
[0071]此外，在上述实施例中，通过检测手的深度值与投影屏幕的深度值是否相等来确定手是否触摸到屏幕。可替换地，也可以在手距投影屏幕足够近时，例如手与投影屏幕之间的距离小于某一阈值to时，认为手触摸到投影屏幕。例如，当如图4所示利用深度阈值tl和t2来定义交互区域时，可以将t2设置为距投影屏幕的距离小于上述阈值t0，使得当手的深度值大于t2时，认为手触摸到投影屏幕。
[0072]以上结合具体实施例描述了本发明的基本原理，但是，需要指出的是，对本领域的普通技术人员而言，能够理解本发明的方法和设备的全部或者任何步骤或者部件，可以在任何计算装置(包括处理器、存储介质等)或者计算装置的网络中，以硬件、固件、软件或者它们的组合加以实现，这是本领域普通技术人员在阅读了本发明的说明的情况下运用他们的基本编程技能就能实现的。
[0073]本发明的目的还可以通过在任何计算装置上运行一个程序或者一组程序来实现。所述计算装置可以是公知的通用装置。因此，本发明的目的也可以仅仅通过提供包含实现所述方法或者设备的程序代码的程序产品来实现。也就是说，这样的程序产品也构成本发明，并且存储有这样的程序产品的存储介质也构成本发明。显然，所述存储介质可以是任何公知的存储介质或者将来所开发出来的任何存储介质。
[0074]还需要指出的是，在本发明的设备和方法中，显然，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行。某些步骤可以并行或彼此独立地执行。
[0075]上述【具体实施方式】，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。
【权利要求】
1.一种用于投影屏幕的虚拟触摸交互方法，包括: 跟踪在投影屏幕前的投影区域中移动的用户肢体的位置； 基于用户肢体的位置，检测用户肢体是否进入交互区域； 响应于用户肢体进入交互区域，将光标投影到用户肢体上；以及 根据用户肢体对于投影屏幕的动作改变所述光标的形态。
2.如权利要求1所述的方法，其中，通过用户肢体在建立于投影区域中的空间坐标系中的坐标来表示用户肢体的位置。
3.如权利要求2所述的方法，其中，检测用户肢体是否进入交互区域的步骤包括: 基于用户肢体的坐标，利用投影区域的深度图确定用户肢体的深度值； 通过将该深度值与定义交互区域的深度阈值进行比较，确定用户肢体是否进入交互区域。
4.如权利要求1所述的方法，其中，所述光标的尺寸不大于用户肢体的尺寸。
5.如权利要求1或4所述的方法，其中，当用户肢体在投影区域中移动时，相应地改变所述光标的投影位置，使得所述光标始终覆盖在用户肢体上。
6.如权利要求1或3所述的方法，其中，根据用户肢体对于投影屏幕的动作改变所述光标的形态的步骤包括: 检测用户肢体相对于投影屏幕的触摸状态，所述触摸状态包括以下至少一个:触摸就绪状态，用户肢体已经进入交互区域，但是尚未触摸到投影屏幕；触摸按下状态，用户肢体已经触摸到投影屏幕；触摸移动状态，用户肢体已经触摸到投影屏幕并且在投影屏幕上移动；以及触摸抬起状态，用户肢体已经离开投影屏幕；以及根据所检测的触摸状态来改变所述光标的形态。
7.如权利要求1所述的方法，其中，改变所述光标的形态包括改变所述光标的图案、颜色、大小、形状和透明度中的至少一种。
8.一种用于投影屏幕的虚拟触摸交互设备，包括: 跟踪装置，被配置为跟踪在投影屏幕前的投影区域中移动的用户肢体的位置； 检测装置，被配置为基于用户肢体的位置，检测用户肢体是否进入交互区域；以及交互装置，响应于用户肢体进入交互区域，将光标投影到用户肢体上，并且根据用户肢体对于投影屏幕的动作改变所述光标的形态。
9.如权利要求8所述的设备，其中，所述光标的尺寸不大于用户肢体的尺寸。
10.如权利要求8或9所述的设备，其中，当用户肢体在投影区域中移动时，交互装置相应地改变所述光标的投影位置，使得所述光标始终覆盖在用户肢体上。
【文档编号】G06F3/0487GK103677240SQ201210359026
【公开日】2014年3月26日 申请日期:2012年9月24日 优先权日:2012年9月24日
【发明者】张文波, 宫卫涛, 李磊 申请人:株式会社理光