计算机装置的远程控制的制作方法

专利名称：计算机装置的远程控制的制作方法
技术领域：
本发明涉及计算机装置的控制，更具体但非排他地，涉及用于计算机装置远程控制的系统和方法。
背景技术：
当前，存在着用于远程控制计算机装置的各种方法。某些当前使用的方法使计算机用户能够使用一个或多个身体部位(诸如用户的手臂或腿)以预定姿势来控制计算机装置。采用目前使用的方法，存在已定义的一组分立的姿势。一旦用户的身体部位看似与预定位置对齐，就检测到姿势。从而，该计算机装置执行预定功能。采用现有方法，各姿势一旦被检测到，便激活针对特定姿势预先定义的计算机操作。现有的方法通常包括初始设置阶段。在该设置阶段中，存在被定义的一组分立的姿势以及针对该组中的各特定姿势的计算机功能。该姿势可通过各种目前使用的方法来检测。例如，一些现有方法包括对数字视频流的常规图像分析。分析该视频图像以检测主要身体部位的定位和位置。若身体部位与预定位置对齐，则由计算机装置执行预定功能。采用常规的图像分析方法，对身体部位的检测是通过分析视频图像中的各个像素来进行的。通过在某像素的颜色值与接近该像素的其他像素的值之间进行比较来分析该像素。也就是说，常规的图像分析方法依赖于身体部位与背景对象之间在颜色上的显著差异。其他当前使用的方法是基于三维深度图的计算量很大的计算。深度图是以下图像其在每个像素中保留距置于深度摄像机前的对象的一部分的距离。采用三维深度图，可以证明对用户的手的位置的提取是相对容易的，原因在于手通常放置在用户身体的其他部位的前面。因此，可以将三维图中所处的距离超过一定距离的那部分丢弃。可使用各种方法来计算深度图。例如，在立体视觉方法中，用两个以上的摄像机来捕捉用户身体的图像。比较并分析由摄像机捕捉的对象的图像，以产生用户身体表面上各点的深度位置的三维数据，从而生成深度图。在阴影恢复形状方法中，从几个方向照亮用户的身体。比较并分析身体的阴影，以产生用户身体表面上各点的位置的三维数据，从而生成深度图。

发明内容
根据本发明的第一方面，提供了一种用于计算机装置的远程手控的设备，该设备包括手跟踪器，被配置为跟踪计算机装置的用户的手的运动；图像呈现器(imagepresenter)，与手跟踪器相关，该图像呈现器被配置为向用户呈现代表手的第一图像和第二图像，并与所跟踪的运动一致地移动第一图像；以及计算机控制器，与图像呈现器相关并被配置为根据第一图像与第二图像之间的交互来控制计算机装置，从而允许用户通过移动手以使第一图像和第二图像产生交互，来控制计算机装置。
根据本发明的第二方面，提供了一种用于计算机装置的远程手控的计算机实现方法，该方法包括对计算机装置编程以执行包括以下各项的步骤跟踪计算机装置的用户的手的运动，向用户呈现代表手的第一图像和第二图像，并与所跟踪的运动一致地移动第一图像，以及根据第一图像与第二图像之间的交互来控制计算机装置，从而允许用户通过移动手以使第一图像和第二图像产生交互，来控制计算机装置。根据本发明的第三方面，提供了一种存储计算机可执行指令的计算机可读介质，该计算机可执行指令用于执行计算机装置的远程手控的步骤，该步骤包括跟踪计算机装置的用户的手的运动，向用户呈现代表手的第一图像和第二图像，并与所跟踪的运动一致地移动第一图像，以及根据第一图像与第二图像之间的交互来控制计算机装置，从而允许用户通过移动手以使第一图像和第二图像产生交互，来控制计算机装置。除非另有定义，否则本文使用的所有科技术语均具有与本发明所属领域的普通技术人员通常理解的相同含义。本文提供的材料、方法以及实例仅是示例性的，且并不旨在进行限定。本发明的方法和系统的实现涉及手动、自动或其结合来执行或完成一定的所选任务或步骤。而且，根据本发明的方法和系统的优选实施方式的实际仪器和设备，数个所选步骤可通过硬件或通过在任何固件的任何操作系统上的软件或其结合来执行。例如，作为硬件，本发明的所选步骤可作为芯片或电路来实现。作为软件，本发明的所选步骤可作为由使用任何合适的操作系统的计算机执行的多个软件指令来实现。无论何种情况，本发明的方法和系统的所选步骤均可被描述为由数据处理器(诸如用于执行多个指令的计算平台)来执行。


参照附图，本文仅以示例的方式描述本发明。现在详细地对附图进行具体参考，需要强调的是，所示细节仅作为示例且仅用于对本发明的优选实施方式进行示例性讨论，以及是为了提供被认为是本发明的原理和概念方面的最有用且最易理解的描述而被提出的。该描述结合附图使得在实际中可以如何体现本发明的多种形式对于本领域技术人员来说是显而易见的。附图中图I是示意性示出根据本发明示例性实施方式的用于计算机装置的远程手控的设备的框图。图2是示出根据本发明示例性实施方式的用于计算机装置的远程手控的方法的流程图。图3是示意性示出根据本发明示例性实施方式的存储计算机可执行指令的计算机可读介质的框图，其中，该可执行指令用于执行计算机装置的远程手控的步骤。图4示意性示出了根据本发明示例性实施方式的用光图案投射的手。图5示意性示出了根据本发明示例性实施方式的用具有强度记号的光图案投射的手。图6是示意性示出根据本发明示例性实施方式的使用计算机键盘的图像的计算机装置的远程手控的框图。图7是示意性示出根据本发明示例性实施方式的用于计算机装置的远程手控的第一姿势的框图。图8是示意性示出根据本发明示例性实施方式的用于计算机装置的远程手控的第二姿势的框图。图9是示意性示出根据本发明示例性实施方式的用于计算机装置的远程手控的第三姿势的框图。图10是示意性示出根据本发明示例性实施方式的用于计算机装置的远程手控的第四姿势的框图。
图11是示意性示出根据本发明示例性实施方式的用于计算机装置的远程手控的系统的框图。
具体实施例方式本实施方式包括用于计算机装置的远程手控的设备及方法。根据本发明的示例性实施方式，连续跟踪计算机装置的用户的手的运动。向用户呈现代表手的第一图像以及第二图像。第一图像可以是呈现在屏幕上的、用户的手的完整且精确的动态图像。可替换地，第一图像还可由代表手指尖位置的五个光标组成。第一图像还可具有任何给出与第二图像关联的、有关指头(即，手指、拇指或二者)位置的用户信息的其他可视外观，如下文更详细描述的。当用户移动他的手(或仅他的手指或拇指)时，第一图像与所跟踪的运动一致地运动。也就是说，第一图像的运动与用户的手的运动相关。若用户向左移动他的手，则第一图像向左移动。若用户弯曲他的一个手指，则第一图像也弯曲该手指(或因此移动代表该手指尖位置的光标)等。作为选择，第二图像是计算机应用程序的图形用户界面(GUI)，诸如微软公司的具有按钮和菜单选项的Excel电子制表软件，具有超链接、按钮等的网页。根据第一图像与第二图像之间的交互来控制计算机装置，就好像第一图像是用户自己的手，而且第二图像是呈现在触摸屏上的⑶I，其允许用户通过用他自己的手指触摸该触摸屏来与⑶I的菜单、按钮等交互。也就是说，允许用户通过移动用户的手或手指以使第一图像和第二图像产生交互来控制计算机装置。作为选择，第二图像还可以是代表计算机输入装置(比如说本领域已知的计算机键盘、计算机鼠标、操纵杆等)的图像。根据第一图像与第二图像之间的交互来控制计算机装置，就好像图像中的手是用户自己的手，并且第二图像是连接至计算机装置的真实的计算机输入装置，例如任何标准计算机外围设备(比如说键盘、操纵杆等)。因此，允许用户通过移动用户的手以使第一图像和第二图像产生交互来控制计算机装置。
因此，利用用户的手的运动的计算机装置的远程控制是基于连续的用户界面(continuous user interface),而不是基于局限于预定的一组特定姿势的界面(尽管也可定义特定姿势)。在一种实例中，若用户移动他的手，则第一图像在计算机键盘的图像上方移动，并且若用户以打字运动方式移动他的手指，则计算机装置进行响应，就好像用户使用真实的键盘打字一样，如下文更详细描述。参照附图和附带的描述可更好地理解根据本发明示例性实施方式的设备和方法的原理和操作。在详细说明本发明的至少一个实施方式之前，需要理解的是，本发明在其应用方面不限于以下描述中所阐述的或在附图中所示出的部件的结构和配置的细节。本发明可以包括其他实施方式或能够以各种方式被实施或执行。同时，需要理解 的是，本文采用的措辞和术语是为了描述的目的，且不应被看作限定。现参照图1，其是示意性示出根据本发明示例性实施方式的用于计算机装置的远程手控的设备的框图。设备1000可在计算机装置上实现，该计算机装置可以是桌上型计算机、笔记本计算机、蜂窝电话等。设备1000还可以在可连接至计算机装置的某装置上(比如说在与计算机装置通信的具有计算机处理器的单元上)实现。而且，设备1000可作为软件、作为硬件或作为软件和硬件的结合来实现。设备1000包括手跟踪器110。手跟踪器110，比如说使用以针对跟踪手指和拇指的精细运动有用的图案所构造的光所投射的手的图像，来跟踪计算机装置的用户的手的运动，如下文更详细描述。作为选择，手跟踪器110远离计算机装置，如下文更详细描述。设备1000还包括与手跟踪器110通信的图像呈现器120。图像呈现器120呈现代表手的第一图像以及第二图像。作为选择，第二图像是计算机应用程序的图形用户界面(GUI)，诸如微软公司的具有按钮和菜单选项的Excel电子制表软件，具有超链接、按钮等的网页。作为选择，第二图像还可以代表诸如计算机鼠标或计算机键盘的计算机输入装置，如下文更详细描述。作为选择，第二图像是另一图形对象、图片等。第一图像可以是呈现在屏幕上的、用户的手的完整且精确的动态图像。可替换地，第一图像还可由代表手指尖位置的五个光标组成。第一图像还可具有任何给出与第二图像相关的、关于指头(即，手指、拇指或二者)位置的用户信息的其他可视外观。图像呈现器120还将第一图像与手跟踪器110跟踪的用户的手的运动一致地移动，如下文更详细描述。设备1000还包括与图像呈现器120通信的计算机控制器130。作为选择，计算机控制器130是桌上型计算机、笔记本计算机等的一部分，如下文更详细描述。作为选择，计算机控制器130是安装在车内的装置的一部分，如下文更详细描述。作为选择，计算机控制器130是蜂窝电话(比如说智能电话)的一部分，如下文更详细描述。计算机控制器130根据第一图像与第二图像之间的交互来控制计算机装置。因此，计算机控制器130允许用户通过移动手以使第一图像和第二图像产生交互来控制计算机装置，如下文更详细描述。
在一种实例中，若用户移动他的手，则图像呈现器120在计算机键盘的图像上方移动第一图像。若用户以打字运动方式移动他的手指，则计算机控制器130控制计算机装置，使该计算机装置进行响应，就好像用户使用真实的键盘打字一样，如下文更详细描述。在第二实例中，若用户移动他的手，则图像呈现器120在计算机鼠标的图像上方移动第一图像。若用户以单击运动方式移动他的手指，则第一图像的手指以与手的动作的运动精确相关的单击运动方式来运动。因此，计算机装置根据第一图像关于计算机鼠标图像的位置(即，第一图像的手指置于在该图像中的计算机鼠标的按键上方)，进行响应，就好像用户单击真实的计算机鼠标的某个按钮一样。在第三实例中，第二图像是计算机应用程序的图形用户界面(GUI)，诸如微软公司的具有按钮和菜单选项的Excel电子制表软件，具有超链接、按钮等的网页。计算机控制器130根据第一图像与第二图像之间的交互来控制计算机装置。控制计算机装置，就好像第一图像是用户自己的手，而且第二图像是呈现在触摸屏上的⑶I，其允许用户通过用他的手指触摸该触摸屏来与GUI的菜单、按钮等交互。作为选择，手跟踪器110使用用于跟踪手的运动的二维视频数据，比如说从连接至手跟踪器110的摄像机连续输出的二维视频图像，如下文更详细描述。作为选择，手跟踪器110通过检测在投射到手上的光图案中的连续特征的分段(即，分割段)来跟踪运动。光图案具有在第一方向上的连续特征，并且在与第一方向基本垂直的方向上具有不连续(比如说周期性)特征，如下文更详细描述。在一种实施方式中，光图案包括相互平行(或接近平行)排列的若干条纹。手跟踪器110可在光图案中识别出由手的指头(即，手指或拇指)分割条纹而产生的一簇(cluster)以上的一个或多个条纹分段，如下文更详细描述。手跟踪器110通过跟踪由指头分割条纹而产生的条纹分段簇，或通过跟踪分段簇中的至少一个，来跟踪指头的运动。作为选择，手跟踪器110还在光图案中识别出由手掌分割条纹而产生的一簇以上的一个或多个条纹分段。手跟踪器110通过跟踪由手掌分割条纹而产生的条纹分段簇，或通过跟踪分段簇中的至少一个，来跟踪手的运动。作为选择，手跟踪器110还可检测在投射到手上的光图案中沿着连续特征的记号的位置的移位。手跟踪器110使用在手的跟踪中所检测到的移位，如下文更详细描述。作为选择，手跟踪器110还识别指头的深度运动(比如说类似于单击或触摸屏幕等操作的运动)，如下文更详细描述。作为选择，在检测到由手指头和手掌产生的条纹分段簇之后，只跟踪手掌和指头的条纹分段簇，从而跟踪手的运动。因此，可去除该条纹分段簇之外的视频数据部分，诸如背景条纹分段和附加图像信息等。从而，可大大减少用于跟踪运动的计算量和处理时间。作为选择，设备1000还包括与手跟踪器110通信的光投影机和摄像机，如下文更详细描述。在一种实例中，光投影机、摄像机或这二者远离计算机装置，如下文更详细描述。作为选择，光投影机包括如本领域已知的光源和微结构元件。光源可以是如本领域已知的激光二极管、发光二极管(LED)以及任何发出光束的其他元件。由光源发出的光束通过微结构元件传播至用户的手。微结构元件改变光束以产生投射到用户的手上的光图案，如下文更详细描述。作为选择，该微结构元件将光束转换成截面强度分布可变的光束。从而，截面强度分布沿光束变化，因此提供了表示对象(比如说用户的一个指头)离光源的距离的信息，如下文更详细描述。作为选择，光投影机将在第一方向上具有连续特征并在基本垂直第一方向的方向上具有非连续特征的光图案投射到手上，如下文更详细描述。作为选择，如本领域已知的，微结构单元是衍射光学元件。如本领域已知的，衍射光学元件可利用将光束分成具有一维或二维空间布置的离散数量的点的周期性微结构来获得。作为选择，诸如柱面微透镜阵列或附加衍射元件的附加元件被用于从各点产生条纹。作为选择，条纹用定位在沿着条纹的彼此相隔固定距离的相位记号来标记，如下文更详细描述。 如本领域已知的，使用诸如柱面微透镜阵列的附加微结构元件的可能优势在于附加元件可分散光束(诸如激光束)的零阶光束。零阶是从衍射元件输出的光斑的中心，并且可以由相对高的能量来表征。将零阶分散为诸如条纹的光结构，可以让激光束的强度增大，但不会超越眼睛的安全极限。作为选择，光投影机还包括附加衍射元件，其相对于距反射该投射条纹的对象的距离来改变光图案中各条纹的截面强度分布。截面强度分布是垂直于投射光的传播方向的强度分布。作为选择，强度分布变化是当投射光传播至对象并被该对象的表面反射回来时，沿着投射光经过的距离逐渐进行的、从高斯截面强度分布到TopHat截面强度分布的渐变。作为选择，如本领域已知的，强度分布变化是从具有单个峰值的强度分布向具有两个以上峰值的强度分布等的渐变。沿着从具有光图案的光投射的对象所反射的光经过的距离，强度分布的变化可有助于在不同范围的不同对象所反射的条纹之间进行区分，因此更有助于克服分段一致(segment unification)问题，如下文更详细讨论。而且，强度分布的改变还可被用于直接测量到对象(比如说用户的手、手指和拇指)的距离。
摄像机可以是定位在光投影机附近的视频摄像机，诸如网络摄像头或蜂窝电话的摄像机。摄像机捕捉用光图案投射的手的一幅或多幅图像，并将所捕捉的图像传送至手跟踪器110。手跟踪器110用捕捉到的图像来跟踪手的运动，如下文更详细描述。
作为选择，设备1000还包括与手跟踪器110通信的姿势识别器。姿势识别器在跟踪到的手的运动中检测由设备1000的管理员预先定义的姿势。在检测到该姿势时，计算机控制器130按照针对检测到的姿势预先定义的方式来控制计算机装置，如下文更详细描述。作为选择，一旦检测到预先定义的特定姿势，图像呈现器120就将第一图像对齐到预定位置。在一种实例中，若用户摆动他的手，则图像呈现器120将第一图像对齐到第二图像(比如说计算机键盘图像)上方的中心位置。作为选择，一旦检测到预先定义的特定姿势，图像呈现器120调整第一图像(SP，手的图像)的大小，如下文更详细描述。现参照图2，其示出根据本发明示例性实施方式的用于计算机装置的远程手控的方法的流程图。 根据本发明的示例性实施方式的示例性方法可以在计算机装置上实现，该计算机装置是桌上型计算机、笔记本计算机、蜂窝电话等。该示例性方法还可在连接至计算机装置的某装置上实现，比如说在与该计算机装置通信的具有计算机处理器的单元上，如上文更详细描述。在该示例性方法中，对于计算机装置的用户的手的运动进行跟踪(210)，比如说使用以用于跟踪手指和拇指的精细运动的图案而构造的光投射的手的图像，如下文更详细描述。作为选择，是用手跟踪器110来跟踪该运动，如上文更详细描述。同时，比如说在计算机装置的屏幕上，向用户呈现(220)代表手的第一图像和第二图像。作为选择，第二图像和第一图像通过图像呈现器120而被呈现给用户，如上文更详细描述。作为选择，第二图像是计算机应用程序的图形用户界面(GUI)，诸如微软公司的具有按钮和菜单选项的Excel电子制表软件，具有超链接、按钮等的网页。作为选择，第二图像还可代表计算机输入装置，比如说键盘或计算机鼠标，如下文更详细描述。作为选择，第二图像是另一图形对象、图片等。第一图像可以是在屏幕上呈现的、用户的手的完整且精确的动态图像。可替换地，第一图像还可由表示手指尖位置的五个光标组成。第一图像还可具有给出与第二图像相关的、关于指头(即，手指和拇指)位置的用户信息的其他可视外观。第一图像与手跟踪器110跟踪(210)的用户的手的运动一致地运动，如下文更详细描述。比如说，计算机控制器130根据第一图像与第二图像之间的交互来控制(230)计
算机装置。因此，允许用户通过移动手以使第一图像和第二图像产生交互来控制计算机装置，如下文更详细描述。在一种实例中，若用户移动他的手，则第一图像在计算机键盘的图像上方移动。若用户以打字运动方式移动他的手指，则控制(230)计算机装置，以使计算机装置进行响应，就好像用户使用连接至计算机装置的真实的键盘打字一样，如下文更详细描述。在第二实例中，若用户移动他的手，则第一图像在计算机鼠标的图像上方移动。
若用户以单击运动方式移动他的手指，则第一图像的手指以与手的移动的运动方式精确相关的单击运动来移动。因此，计算机装置根据第一图像相对于计算机鼠标图像的位置(即，利用放置在第二图像中的计算机鼠标的按键上方的第一图像的手指)，作出响应，就好像用户单击真实的计算机鼠标的某个按钮一样。在第三实例中，第二图像是计算机应用程序的图形用户界面(GUI)，诸如微软公司的具有按钮和菜单选项的Excel电子制表软件，具有超链接、按钮等的网页。根据图像之间的交互，比如说由计算机控制器130来控制(230)计算机装置。计算机装置被控制(230)，就好像第一图像是用户自己的手，而且第二图像是呈现在触摸屏上的GUI，其允许用户通过用他的手指触摸该触摸屏来与GUI的菜单、按钮等交互。作为选择，使用二维视频数据(比如说从连接至手跟踪器110的摄像机连续输出的二维视频图像)执行对手的运动的跟踪(210)，如上文更详细描述。
作为选择，通过检测投射到手上的光图案中的连续特征的分段(B卩，分割段)来跟踪(210)运动。该光图案在第一方向上具有连续特征，并在基本垂直第一方向的方向上具有不连续(比如说周期性)特征，如下文更详细描述。在一种实例中，光图案包括互相平行(或近似平行)排列的若干条纹。作为选择，在光图案中可以识别由手的指头(B卩，手指或拇指)分割条纹而产生的一簇以上的一个或多个条纹分段，如下文更详细描述。因此，通过跟踪由指头分割条纹而产生的条纹分段簇，或通过跟踪分段簇中的至少一个，来跟踪(210)指头的运动。作为选择，还有比如说通过检测在所跟踪的簇中的分段数目的变化来识别指头的深度运动(比如说类似于单击或触摸屏幕等操作的运动)，如下文更详细描述。作为选择，在光图案中还有识别由手掌分割条纹而产生的一簇以上的一个或多个条纹分段。因此，通过跟踪由手掌分割条纹而产生的条纹分段簇，或通过跟踪分段簇中的至少一个，来跟踪(210 )手的运动。作为选择，在投射到手上的光图案中检测沿着连续特征的记号的位置的移位。比如说，由手跟踪器110对手进行跟踪(210)时使用检测到的移位，如下文更详细描述。作为选择，示例性方法还包括在所跟踪(210)的手的运动中，检测由设备1000的管理员预先定义的姿势。一旦检测到该姿势，就以针对该检测到的姿势预先定义的方式匕如说通过计算机控制器130)来控制(230)计算机装置，如下文更详细描述。作为选择，一旦检测到预定姿势，就将第一图像对齐至预定位置。在一种实例中，若用户摆动他的手，则图像呈现器120将第一图像对齐至第二图像(比如说计算机键盘图像或⑶I)上方的中心位置。作为选择，一旦检测到预定姿势，就(比如说由图像呈现器120)调整第一图像的大小，如下文更详细描述。现参照图3，其是示意性示出根据本发明示例性实施方式的存储计算机可执行指令的计算机可读介质的框图，其中，该计算机可执行指令用于执行计算机装置的远程手控的步骤。根据本发明的示例性实施方式，提供了诸如CD-ROM、USB存储器、便携式硬盘、磁盘等的计算机可读介质3000。根据本发明的示例性实施方式，计算机可读介质3000存储用于执行计算机装置的远程手控的步骤的计算机可执行指令。计算机可执行指令包括以下步骤比如说，通过使用以针对跟踪手指和拇指的精细运动有用的图案 构造的光所投射的手的图像，来跟踪(310)计算机装置的用户的手的运动，如下文更详细描述。计算机可执行指令还包括以下步骤比如说在计算机装置的屏幕上向用户呈现(320)代表手的第一图像和第二图像，如上文更详细描述。在步骤320中，第一图像还与所跟踪(310)的用户的手的运动一致地运动，如下文更详细描述。作为选择，第二图像是计算机应用程序的图形用户界面(GUI)，诸如微软公司的具有按钮和菜单选项的Excel电子制表软件，具有超链接、按钮等的网页。作为选择，第二图像还可代表计算机输入装置，比如说键盘或计算机鼠标，如下文更详细描述。作为选择，第二图像是另一图形对象、图片等。第一图像可以是在屏幕上呈现的、用户的手的完整且精确的动态图像。可替换地，第一图像还可由表示手指尖位置的五个光标组成。第一图像还可具有给出与第二图像相关的、关于指头(即，手指、拇指或二者)位置的用户信息的其他可视外观。计算机可执行指令还包括以下步骤根据第一图像与第二图像之间的交互来控制(330)计算机装置。因此，允许用户通过移动手以使得第一图像和第二图像产生交互来控制计算机装置，如下文更详细描述。在一种实例中，若用户移动他的手，则第一图像在计算机键盘图像的上方移动。若用户以打字运动方式移动他的手指，则控制(330)计算机装置，以使计算机装置作出响应，就好像用户使用真实键盘打字一样，如下文更详细描述。在第二实例中，若用户移动他的手，则第一图像在计算机鼠标的图像上方移动。若用户以单击运动方式移动他的手指，则第一图像的手指以与手的动作的运动方式精确相关的单击运动来移动。因此，计算机装置根据第一图像相对于计算机鼠标的图像的位置(即，用放置在第二图像中鼠标的按钮上方的第一图像的手指)，作出响应，就好像用户单击真实的计算机鼠标的某个按钮一样。在第三实例中，第二图像是计算机应用程序的图形用户界面(GUI)，诸如微软公司的具有按钮和菜单选项的Excel电子制表软件，具有超链接、按钮等的网页。根据图像之间的交互来控制计算机装置，就好像第一图像是用户自己的手，而第二图像是呈现在触摸屏上的GUI，其允许用户通过用他的手指触摸该触摸屏来与GUI的菜单、按钮等交互。作为选择，使用二维视频数据(比如说从摄像机连续输出的二维视频图像)进行对手的运动的跟踪(310)，如上文更详细描述。作为选择，通过检测投射到手上的光图案中的连续特征的分段(即，分割段)来跟踪(310)运动。该光图案在第一方向上具有连续特征，并在与第一方向基本垂直的方向上具有非连续特征，如下文更详细描述。在一种实例中，光图案包括相互平行(或近似平行)排列的若干条纹。
作为选择，这些指令还包括在光图案中识别由手的指头(B卩，手指或拇指)分割条纹而产生的一簇以上的一个或多个条纹分段，如下文更详细描述。因此，可通过跟踪由指头分割条纹而产生的条纹分段簇，或通过跟踪分段簇中的至少一个，来跟踪(310)指头的运动。作为选择，这些指令还包括比如说通过检测在所跟踪的簇中的分段数量的改变来识别指头的深度运动，如下文更详细描述。作为选择，这些指令还包括在光图案中识别由手掌分割条纹而产生的一簇以上的一个或多个条纹分段。因此，可通过跟踪手掌分割(即，分开)条纹而产生的条纹分段簇，或通过跟踪分段簇中的至少一个，来跟踪(310)手的运动。作为选择，这些指令还包括在投射到手上的光图案中检测沿着连续特征的标号的位置的移位。所检测到的移位被用于对手进行跟踪(310)，如下文更详细描述。
作为选择，这些指令还包括在所跟踪(310)的手的运动中，检测由管理员预先定义的姿势。一旦检测到姿势，就按照针对所检测到的姿势预先定义的方式来控制(330)计算机装置，如下文更详细描述。作为选择，这些指令还包括以下步骤一旦检测到预定姿势，将第一图像对齐至预定位置。在一种实例中，若用户摆动他的手，则将第一图像对齐至第二图像(比如说计算机键盘图像或⑶I)上方的中心位置。作为选择，这些指令还包括以下步骤一旦检测到预定姿势，就调整第一图像的大小，如下文更详细描述。现参照图4，其示意性示出了根据本发明示例性实施方式的用光图案投射的手。根据示例性实施方式，使用被设计成能检测手的运动的光图案，执行对手的运动(诸如手指和姆指的精细运动)的跟踪。特别设计的光图案允许即使在二维视频数据中也能对运动进行跟踪，其中，二维视频数据不同于三维深度图，它不提供根据距离将手与身体的其他部位很容易分离的功能，如上文更详细描述。作为选择，光图案被特别设计为在二维视频数据(比如说从常规视频摄像机中连续输出的视频图像)中跟踪手指头的运动。更具体地，光图案可被设计为能根据由指头产生的图案变形在二维视频数据中检测并跟踪指头(即，手指和拇指)以及手掌，如下文更详细描述。作为选择，光图案在第一方向(比如说X轴)上具有连续特征，并在与第一方向基本垂直的方向(比如说Y轴)上具有不连续(比如说周期性)特征。在针对这种图案的一种实例中，光图案包括相互平行(或近似平行)排列的若干条纹，如用图4示意性所示。在将条纹图案投射到手410和背景420(比如说手搁置其上的桌子、墙壁等的表面)上的光投影机上方，在一定的Y轴距离处放置摄像机。选择摄像机的位置，使得在摄像机、光投影机以及从用户的手410和背景420反射回来的光之间产生三角效应(triangulationeffect),正如本领域已知那样。三角效应在图案中会引起沿着与用光图案投射的对象存在显著深度移位的条纹的点处的不连续性。
不连续性将条纹分割(B卩，划分)成两个以上的条纹分段，比如说位于手上的分段431、位于手左侧的分段432以及位于手右侧的分段433。这些产生深度移位的条纹分段可位于用户的手掌或手指头(其置于摄像机与用户身体之间)的等值线上。也就是说，用户的指头或手掌将条纹分割成两个以上的条纹分段。一旦检测到这种条纹分段，就很容易随该条纹分段到达该条纹分段的末端。因此，手跟踪器110可分析二维视频数据(比如说从摄像机向手跟踪器110传送的视频流)，以产生条纹分段簇。例如，手跟踪器110可在光图案中识别由手的指头分割条纹而产生的的一个或多个条纹分段的簇，比如说由手的中指反射的簇441的四个分段。因此，手跟踪器110通过跟踪指头分割条纹而产生的条纹分段簇，或通过跟踪分段簇中的至少一个，来跟踪指头的运动。由指头分割(B卩，划分)条纹而产生的条纹分段簇包括在X轴上具有覆盖部分的条纹分段。作为选择，条纹分段簇中还具有相似长度(源自手指厚度)或相对接近的Y轴坐标。在X轴上，分段针对竖直放置的指头可具有完全重叠部分，或针对在X-Y平面中倾斜放置的指头可具有部分重叠部分。作为选择，手跟踪器110比如说还通过检测在所跟踪的簇中的分段数目的改变来识别指头的深度运动。例如，若用户伸展用户的中指，则该指头与光投影机和摄像机的平面(X-Y平面)之间的角度发生改变。因此，簇441中的分段数目从四条减少到三条。作为选择，手跟踪器110还在光图案中识别由手掌分割条纹而产生的一簇以上的一个或多个条纹分段。因此，通过跟踪手掌分割条纹而产生的条纹分段簇，或通过跟踪分段簇中的至少一个，来跟踪(210)手的运动。手掌分割条纹而产生的条纹分段簇包括在X轴上与用户的手指条纹分段簇重叠的上部条纹分段431。上部条纹分段431在X轴上与四个手指簇重叠，但未超过四个手指簇的底部分段的最小和最大X值。手掌分割条纹而产生的条纹分段簇还包括恰好在分段431下方的、与条纹分段431明显重叠的一些条纹分段。手掌分割条纹而产生的条纹分段簇还包括延伸至用户拇指的条纹分段簇451的底部的更长的条纹分段。指头和手掌簇的取向可随具体的手的位置和转动而不同。现参照图5，其示意性示出了根据本发明示例性实施方式的、用具有强度记号的光图案投射的手。
采用上文所示光图案的一个问题是条纹分段一致性问题。在一定情况下，由手的背景反射的条纹分段可能与手反射的条纹分段混合。因此，可能无法找到手掌和指头的条纹分段簇，进而无法对手进行跟踪。可以有助于克服条纹分段一致性问题的一种方式是通过引入沿着各条纹的周期性记号，如图5所示。作为选择，该标记是光强度320的形式，其沿着条纹变化，或在沿着条纹的恒定距离处出现特定形状，诸如短垂线而且，对于周期性记号的引入，将摄像机放置成相对于光投影机在X轴上具有某一间隙，以及在Y轴上具有上文较详细讨论过的间隙。X轴上的间隙产生相对于对象的距离的、沿着条纹的记号位置的相位位移。因此，在由手反射的条纹分段与由背景反射的条纹分段混合的情况下，这些分段仍具有不同相位的周期性记号。作为选择，谨慎选取摄像机与光投影机之间的纵横距离比，使得当这些分段混合时这些分段之间的记号的相位位移最大化。可以证实有助于克服混合分段问题的第二方式是通过改变摄像机和光投影机的设置，使得它们的Z轴位置也不同。可通过将摄像机和光投影机物理地定位在不同的Z轴位置处或者通过在所投射的图案前方一定距离处布置负的或正的透镜来使摄像机与光投影机之间的Z轴定位产生差异。因此，由对象反射的光图案的条纹分段在不同对象距离处具有不同周期。从而，即使手反射的某个条纹分段与背景反射的条纹分段混合，相邻的线由于不同的周期也不会混
口 ο可以证实有助于克服混合分段问题的第三方式是使用微结构元件，其中，微结构元件将光束转换成横截面强度分布变化的光束，如上文更详细描述。横截面强度分布根据对光图案进行反射的对象距光投影机的距离而变化。因此，手反射的条纹分段的横截面强度分布不同于背景反射的条纹分段的横截面强度分布，如上文更详细描述。根据本发明示例性实施方式的方法还可包括，通过检测指头分割条纹而产生的条纹分段簇的垂直运动、条纹分段上记号的水平运动或这两者，来跟踪手指头的深度运动。作为选择，通过检测指头分割条纹而产生的条纹分段簇的最高分段的垂直运动，来执行对指头的深度运动的跟踪。最高分段代表在Z-Y平面中进行指头的最显著运动的指尖。作为选择，通过检测在所跟踪的簇中的分段数目的变化来执行对深度运动的跟踪。也就是说，手指的深度运动(即，Z轴上的运动)可引起某个所跟踪的指头的条纹分段向上运动乃至消失、引起新的条纹分段出现等。现参照图6，其是示意性示出根据本发明示例性实施方式的使用计算机键盘图像的、计算机装置的远程手控的框图。根据本发明的示例性实施方式，连续跟踪计算机装置(比如说桌上计算机)的用户的手610的运动。正如本领域已知的，在屏幕上向用户呈现代表手的第一图像620和代表诸如计算机键盘、计算机鼠标、操纵杆等的计算机输入装置的第二图像。第一图像620可以是在屏幕上呈现的、用户的手的完整且精确的动态图像。可替换地，第一图像620可由代表手610的指尖位置的五个光标组成。第一图像620还可具有给出相对于也在屏幕上显示的计算机输入装置的、关于指头(即，手指和拇指)位置的用户信息的其他可视外观。当用户移动他的手610 (或仅移动他的手指或拇指)时，第一图像620与所跟踪的运动一致地运动。也就是说，第一图像620的运动与用户自己的手610的运动相关。若用户向左移动他的手610，则第一图像620向左移动。若用户弯曲他的一个手指，则第一图像620也弯曲该手指等。根据第一图像620与第二图像之间的交互来控制计算机装置，就好像图像620中的手是用户自己的手610，且输入装置就像是连接至计算机装置的真实的计算机输入装置。该计算机输入装置可包括但不限于诸如键盘、操纵杆、计算机鼠标等的标准外围计算机装置。因此，允许用户通过移动用户的手610以使第一图像620和第二图像产生交互来远程控制计算机装置。从而，通过用户的手610的运动的计算机装置的远程控制是基于连续的用户界面，而不是基于局限至预先定义的一组特定姿势的界面(尽管也可定义特定姿势)。
在一种实例中，若用户移动他的手610，则第一图像620在计算机键盘的图像上方移动，并且若用户以打字运动方式移动他的手指，则计算机装置进行响应，就好像用户使用真实的键盘打字一样，如下文更详细描述。在一种实例中，第一图像620的第二手指恰好在计算机键盘的图像上的字母“C”上方。当用户用他的手610的第二手指做出按下动作时，第一图像620的第二手指同时移动，并按下在屏幕上呈现的键盘图像的字母‘C’。从而，计算机装置进行响应，就好像用户使用用户自己的手指按下了连线到计算机装置的真实键盘的字母“C” 一样。在该实例中，用户的手在三维空间中的绝对位置并不重要，而仅需跟踪用户手指的运动。第一图像620的运动尽管与用户自己的手610的运动精确相关，但它能够以不同的比例来执行。也就是说，第一图像620的大小可以不同于用户真实的手610的大小。作为选择，设备1000的姿势识别器还允许用户调整第一图像620的大小，如下文更详细描述。现参照图7，其是示意性示出根据本发明示例性实施方式的用于计算机装置的远程手控的第一姿势的框图。根据本发明示例性实施方式的设备可包括姿势识别器，如上文更详细描述。根据本发明示例性实施方式的第一示例性姿势是复位姿势，其中，用户在摄像机前摆动他的手710 (比如说在横向运动上快速小幅摇摆手指和手)。一旦检测到复位姿势，在屏幕上呈现的第一图像移动至第二图像上方的预定位置，比如说移至第二图像中呈现的计算机输入装置上方的预定位置，或移至类似于在屏幕上呈现的图形用户界面的电子表格的第一条线上方的位置。在一种实例中，一旦检测到该示例性复位姿势，图像呈现器120就将第一图像移动至所显示的计算机键盘的中央上方的位置，如上文更详细描述。示例性复位姿势还使得对指头位置的检测变得容易，因为示例性复位姿势包括各指头的单独运动。现参照图8，其是示意性示出根据本发明示例性实施方式的用于计算机装置的远程手控的第二姿势的框图。第二示例性姿势是调整大小姿势，比如说用户以预定方向转动他的手的姿势。
作为选择，一旦检测到示例性调整大小姿势，图像呈现器120就改变在屏幕上显示的第一图像的大小，而并不按照大小或缩放水平来改变第二图像。例如，与全屏模式显示的键盘图像进行交互的用户可能想使用更大的第一图像(比如说手的图像)，以便通过他的真实的手的相对较小的移动来完成从键盘的一侧到达另一侧(因为移动的幅度取决于手的图像的大小)。然而，用户可能需要更小的第一图像(比如说手的图像)，以选择在他的网页浏览器上具有较小字体的文本。可替换地，第一图像(B卩，手的图像)的大小保持恒定，而图像呈现器120还可调整第二图像(比如说键盘)的大小，使其收缩、扩大、放大或缩小，从而改变第一图像与第二图像之间的大小比例。
现参照图9，其是示意性示出根据本发明示例性实施方式的用于计算机装置的远程手控的第三姿势的框图。第三示例性姿势是单击(或双击)姿势，比如说用户使用其手的一根或两根手指进行单击910的姿势。作为选择，一旦检测到示例性单击(或双击)姿势，图像呈现器120就按照与用户手指的运动精确一致的单击运动方式来移动第一图像的手指。例如，可向用户呈现计算机鼠标图像，并允许用户将第一图像移动至该第二图像中计算机鼠标上方的位置。当用户以单击运动方式移动他自己的手指时，第一图像的手指单击计算机鼠标图像，进而计算机控制器130使计算机装置作出响应，就好像用户利用其自己的手指单击真实的计算机鼠标一样。现参照图10，其是示意性示出根据本发明示例性实施方式的用于计算机装置的远程手控的第四姿势的框图。第四示例性姿势是缩放姿势，诸如用户比如说通过以拉运动的方式移动用户的手1010，或通过将用户的两根手指彼此分开(类似于在智能电话的触摸屏上手指彼此分开的运动)的姿势，来拉近或简单放大在计算机装置的屏幕上呈现的图像。在一种实例中，一旦检测到手指彼此分开的运动，图像呈现器120与用户手指的运动同步，使第一图像的两根手指彼此分开。计算机控制器130控制计算机装置(比如说蜂窝智能电话)，以拉近或放大计算机装置的屏幕上呈现的图像，从而向用户提供类似于触摸屏的功能，而不必让用户触摸真实的触摸屏。本发明的示例性实施方式提供了多种其他用户姿势，比如说用户弯下其手指的向下滚屏姿势，或用户以相反方向移动其手指的向上滚屏姿势。这些姿势可用一只或两只手、一根或两根手指、手和指头等完成。然而，采用本发明的示例性实施方式，通过用户的手的运动的计算机装置的远程控制是基于连续用户界面，而不是基于局限至预先定义的一组特定姿势的界面(尽管也可定义特定姿势)。例如，计算机装置的远程控制可基于用户与计算机装置的屏幕上呈现的计算机键盘图像的连续交互。允许用户在空中移动他的手，从而在键盘的上方移动第一图像，以打字运动方式移动用户的指头，从而用第一图像的手指在键盘上打字等，如上文更详细描述。在另一实例中，用户移动他的手，以通过交互来移动第一图像，其中，第一图像握住屏幕上呈现的计算机鼠标、拖拽鼠标等。计算机装置在屏幕上移动光标，就好像用户用他自己的手拖拽真实鼠标一样。作为选择，在该实例中，还允许用户通过单个小幅的中指运动，让鼠标自动移动。因此，鼠标从屏幕的一侧自动移动到另一侧，甚至该鼠标移动经过预定距离或时间(比如说
二秒)。在又一实例中，在计算机装置的屏幕上向用户呈现计算机应用程序的图形用户界面(GUI)，诸如微软公司的具有按钮和菜单选项的Excel电子制表软件，具有超链接、按钮等的网页。根据与用户自己的手和手指的运动一致运动的手的图像与⑶I的菜单、按钮等之间的连续交互来控制计算机装置，就好像用户用其自己的手指触摸呈现给用户的GUI的触
摸屏一样。 现参照图11，其是示意性示出根据本发明示例性实施方式的用于计算机装置的远程手控的系统的框图。用于计算机装置的远程手控的示例性系统包括设备1000的部件，如上文更详细描述。作为选择，设备1000的一个以上的部件(比如说摄像机和光投影机)被安装在移动单元1110上。该移动单元1110与设备1000的其他部件、与计算机装置1120(比如说与屏幕结合在一起的计算机，像苹果公司的iMac计算机、带有计算机处理器的电视机等)或这二者无线连接。用户将移动单元1110放置在桌子上。随后，用户可坐在靠近该桌子的椅子上，移动他的手，从而控制计算机装置1120。用户通过第一图像(代表用户的手)与在计算机装置1120的屏幕上呈现的计算机键盘图像交互，来控制计算机装置1120，如上文更详细描述。本发明的示例性方法和设备可被用于其他应用。例如，在蜂窝电话上，设备1000使得用户能够滚屏、键入文本、缩放和单击，而无需触摸蜂窝电话。从而，蜂窝电话可以很小，但仍可允许与蜂窝电话进行交互，就好像该蜂窝电话具有完整大小的计算机键盘一样。作为选择，该蜂窝电话具有投影机，它可将图像投射到墙壁上。使用设备1000，用户可移动投射在蜂窝电话控制器的图像附近的第一图像，该控制器是常规的蜂窝电话按键或触摸屏。因此，用户可以让第一图像(比如说手的图像)与电话的控制器的图像交互，从而根据该交互来操作电话，就好像用户直接用他自己的手来操作真实的电话控制器一样。在另一实例中，该计算机装置是安装在车内的计算机装置(比如说GPS单元或电话单元)。在驾驶的同时，利用由这些装置(B卩，小型按键或触摸屏)通常提供的界面本质来操作计算机装置是危险的，因为驾驶员必须向旁边看以便操作该计算机装置，而不是通过车的前窗观察道路。本实施方式的设备1000可被安装在汽车的计算机装置上(或与汽车的计算机装置通信)。
手跟踪器110可跟踪驾驶员的手和手指的运动，从而能使驾驶员控制计算机装置(比如说GPS或电话单元)，而不必使驾驶员的视线从路上转移至操作该单元的小按钮的手指上。作为选择，在安装在汽车前窗上的小屏幕上向驾驶员呈现手的图像和GPS或电话单元的按键的图像，而不明显阻碍透过该窗的视线。驾驶员自己的手的实际且精确的位置可以改变。也就是说，驾驶员可在他觉得方便的地方单击，从而实际拨打号码或在GPS单元的导航系统中选择他的目的地。因此，驾驶员可在通过安装了屏幕的前窗进行观看并将他的视线保持在路上的同时，用他在驾驶方向盘的任意区域的手来控制GPS或电话单元。而且，驾驶员能够以复位运动方式摆动他的手，如上文更详细描述。因此，第一图像被定位在呈现在屏幕上的车载电话号码或车载GPS单元的触摸屏按键的图像的中央。设备1000还可被安装在乐器上，比如说合成器、DJ转台或由用户的手的运动指挥的其他乐器，如上文更详细描述。可以期待，在本专利的有效期内，将开发出许多相关装置和系统，而且本文的术语的范围，尤其是“计算机”、“CD_R0M”、“USB存储器”、“硬盘”、“摄像机”、“衍射光学元件”、“激光二极管”以及“LED”等术语意在包括所有这种现有的新技术。需要理解的是，为清楚起见而在单独实施方式的上下文中描述的本发明的某些特征也可以在与单个实施方式的组合中提供。相反，为简洁起见而在单个实施方式的上下文中描述的本发明的各种特征，也可分别提供或以任何合适的子组合来提供。尽管已结合其具体实施方式
对本发明进行了描述，但很明显，本领域技术人员显然可以进行多种替代、修改和变更。因此，它意在涵盖落入所附权利要求的精神和广义范围内的所有这些替代、修改和变更。本说明书中所提及的所有出版物、专利和专利申请均通过引用结合于此说明书，与就像具体并单独地指出各个出版物、专利或专利申请文件通过引用结合于此具有同样的程度。此外，本说明书中任何文献的引用或证实不应被解释为是对这些文献可有效作为本发明的现有技术的认可。更一般性讨论某些方法包括对数字视频流的常规图像分析。从而，分析视频图像以检测感兴趣的特定区域，通常是诸如手、面部、臂等身体部位。在检测到身体部位的位置和定位之后，可检测身体姿势并进行转换以控制在计算机屏幕或TV上显示的媒介。对诸如用户的手和手指的身体部位的检测首先需要根据其颜色值来分析图像中的各像素，并在其环境中将其与其他像素比较。这种方法可能面临很高的计算耗时并且面临相对高百分比的错误和误读。一个主要困难来自需要被检测的手后面的背景。例如，该方法可能难以检测穿颜色接近于他的皮肤颜色或带有其他复杂图案的衬衫的用户的手。室内照明也影响检测性能。在该方法中，手朝向摄像机的角度也可能是一 个难题。手的形态随着它的转动而改变，并且指尖可能与朝向摄像机的手的其他部位在同一轴线上，因而不可通过颜色差异进行检测。
用于手的检测和姿势识别的其他方法包括使用3D深度图。深度图是在每个像素中保留与置于深度摄像机前的对象的一部分的距离(用该像素来表示)的一种图像。深度解决了在常规2D视频分析中存在的许多问题。对于手的位置的提取是相对容易的，因为手通常被放置在身体的前方，因此，可通过切去图像中超过特定距离的那部分而将其分离出来。采用这类方法，手以相同方式朝向摄像机的角度不再重要。可仅通过距离来检测手或身体的最靠近的部分，而不必考虑背景颜色。然而，获取全3D深度图需要相对复杂的硬件和计
禅且昇里。人体的完整深度图可能对于诸如比赛等的特定的姿势识别应用是重要的。例如，在网球比赛应用中，如果他的手向后伸展准备击球或向前伸展来拦截接近球网的球，那么如何精确定位用户是很重要的。然而，诸如姿势驱动的虚拟键盘或鼠标的其他应用可不必为了控制该应用而对于手和手指进行完整的3D深度绘图。 因此，如上文更详细教导，可以证明直接从光图案图像中提取姿势而不必获取全3D深度图作为中间步骤的方法是有利的。基于图像比较的解决方案可使用诸如网格图案的结构化光图案，以便直接检测姿势。基于比较的解决方案检测网格图案中的变形，并将该变形与预先定义的一组代表特定姿势的网格图案的变形进行比较。一旦被检测到，该姿势便激活了关联于各姿势的计算机动作。尽管基于图像比较的解决方案直接对所捕捉的光图案图像提取手的姿势，但它们被限制为一组不连续的预定姿势，并且无法提供对用户的手和手指的灵活跟踪和表示，以及通过连续用户界面对计算机装置的控制，如上文更详细描述。
权利要求
1.一种用于计算机装置的远程手控的设备，所述设备包括 手跟踪器，被配置为跟踪所述计算机装置的用户的手的运动； 图像呈现器，与所述手跟踪器关联，被配置为向所述用户呈现代表所述手的第一图像和第二图像，并与跟踪的所述运动一致地移动所述第一图像；以及 计算机控制器，与所述图像呈现器关联，并且所述计算机控制器被配置为根据所述第一图像与所述第二图像之间的交互来控制所述计算机装置，从而允许所述用户通过移动所述手以使所述第一图像和所述第二图像产生所述交互，来控制所述计算机装置。
2.根据权利要求I所述的设备，其中，所述手跟踪器还被配置为使用二维视频数据，以跟踪所述手的所述运动。
3.根据权利要求I所述的设备，其中，所述手跟踪器还被配置为通过检测投射到所述手的光图案中的连续特征的分段来跟踪所述运动，所述光图案在第一方向上具有所述连续特征，并在与所述第一方向基本垂直的方向上具有非连续特征。
4.根据权利要求3所述的设备，其中，所述光图案包括基本上相互平行排列的多个条纹，所述手跟踪器还被配置为在所述光图案中识别由所述手的相应指头分割条纹而产生的至少一个条纹分段簇，并通过跟踪由所述指头分割条纹而产生的所述条纹分段簇来跟踪所述指头的运动。
5.根据权利要求4所述的设备，其中，所述手跟踪器还被配置为通过检测在跟踪的所述簇中的条纹分段数目的变化，来识别所述指头的深度运动。
6.根据权利要求3所述的设备，其中，所述光图案包括基本上相互平行排列的多个条纹，而且所述手跟踪器还被配置为在所述光图案中识别由所述手的手掌分割条纹而产生的至少一个条纹分段簇，并通过跟踪由所述手掌分割条纹而产生的所述条纹分段簇来跟踪所述手的运动。
7.根据权利要求I所述的设备，其中，所述手跟踪器还被配置为通过在投射到所述手上的光图案中检测沿着连续特征的标号的位置的位移来跟踪所述运动。
8.根据权利要求I所述的设备，还包括光投影机，被配置为将在第一方向上具有连续特征并在与所述第一方向基本垂直的方向上具有非连续特征的光图案投射到所述手；以及摄像机，与所述手跟踪器关联，并且所述摄像机被配置为通过捕捉用所述光图案投射的所述手的图像来获取所述第一图像。
9.根据权利要求8所述的设备，其中，所述光投影机远离所述计算机装置。
10.根据权利要求8所述的设备，其中，所述摄像机远离所述计算机装置。
11.根据权利要求8所述的设备，其中，所述光投影机包括光源，被配置为发出光束；以及微结构元件，被配置为改变所述光束从而产生所述光图案。
12.根据权利要求11所述的设备，其中，所述微结构元件还被配置为将所述光束转换成横截面强度分布沿所述光束变化的光束。
13.根据权利要求I所述的设备，还包括姿势识别器，与所述手跟踪器关联，所述姿势识别器被配置为在所跟踪的所述手的运动中，检测预定姿势，其中，所述计算机控制器还被配置为按照针对检测到的所述姿势预先定义的方式来控制所述计算机装置。
14.根据权利要求13所述的设备，其中，所述图像呈现器还被配置为 在检测到所述预定姿势时，将所述第一图像对齐至预定位置。
15.根据权利要求13所述的设备，其中，所述图像呈现器还被配置为 在检测到所述预定姿势时，调整所述第一图像的大小。
16.根据权利要求13所述的设备，其中，所述图像呈现器还被配置为 在检测到所述预定姿势时，调整所述第二图像的大小。
17.根据权利要求I所述的设备，其中，所述计算机控制器是移动电话的一部分。
18.根据权利要求I所述的设备，其中，所述计算机控制器是安装在车辆上的装置的一部分。
19.根据权利要求I所述的设备，其中，所述计算机控制器是乐器的一部分。
20.根据权利要求I所述的设备，其中，所述手跟踪器远离所述计算机装置。
21.根据权利要求I所述的设备，其中，所述第二图像代表计算机输入装置。
22.一种用于计算机装置的远程手控的计算机实现方法，所述方法包括对所述计算机装置编程以执行包括以下各项的步骤 a)跟踪所述计算机装置的用户的手的运动； b)向所述用户呈现代表所述手的第一图像和第二图像，并与跟踪的所述运动一致地移动所述第一图像；以及 c)根据所述第一图像与所述第二图像之间的交互来控制所述计算机装置，从而允许所述用户通过移动所述手以使所述第一图像和所述第二图像产生所述交互，来控制所述计算机装置。
23.根据权利要求22所述的方法，其中，所述跟踪手的运动是使用二维视频数据来执行的。
24.根据权利要求22所述的方法，其中，所述跟踪手的运动还包括检测在投射到所述手的光图案中的连续特征的分段，所述光图案在第一方向上具有所述连续特征，并在与所述第一方向基本垂直的方向上具有非连续特征。
25.根据权利要求24所述的方法，其中，所述光图案包括大致相互平行排列的多个条纹，所述方法还包括在所述光图案中识别由所述手的相应指头分割条纹而产生的至少一个条纹分段簇，并通过跟踪由所述指头分割条纹而产生的所述条纹分段簇来跟踪所述指头的运动。
26.根据权利要求25所述的方法，还包括通过检测在跟踪的所述簇中的条纹分段数目的变化，来识别所述指头的深度运动。
27.根据权利要求24所述的方法，其中，所述光图案包括大致相互平行排列的多个条纹，所述方法还包括在所述光图案中识别由所述手的手掌分割条纹而产生的至少一个条纹分段簇，并通过跟踪由所述手掌分割条纹而产生的所述条纹分段簇来跟踪所述手的运动。
28.根据权利要求22所述的方法，其中，所述跟踪手的运动还包括在投射到所述手的光图案中检测沿着连续特征的标号的位置的位移。
29.根据权利要求22所述的方法，还包括在跟踪所述手的运动中，检测预定姿势，以及按照针对检测到的所述姿势预先定义的方式来控制所述计算机装置。
30.根据权利要求29所述的方法，还包括在检测到所述预定姿势时，将所述第一图像对齐至预定位置。
31.根据权利要求29所述的方法，还包括在检测到所述预定姿势时，调整所述第一图像的大小。
32.根据权利要求29所述的方法，还包括在检测到所述预定姿势时，调整所述第二图像的大小。
33.根据权利要求22所述的方法，其中，所述第二图像代表计算机输入装置。
34.一种存储用于执行计算机装置的远程手控的步骤的计算机可执行指令的计算机可读介质，所述步骤包括 a)跟踪所述计算机装置的用户的手的运动； b)向所述用户呈现代表所述手的第一图像和第二图像，并与跟踪的所述运动一致地移动所述第一图像；以及 c)根据所述第一图像与所述第二图像之间的交互来控制所述计算机装置，从而允许所述用户通过移动所述手以使所述第一图像和所述第二图像产生所述交互，来控制所述计算机装置。
全文摘要
一种用于计算机装置的远程手控的设备，该设备包括手跟踪器，其被配置为跟踪计算机装置的用户的手的运动；图像呈现器，其与手跟踪器相关，被配置为向用户呈现代表手的第一图像和第二图像，并与所跟踪的运动一致地移动第一图像；以及计算机控制器，其与图像呈现器相关，并被配置为根据第一图像与第二图像之间的交互来控制计算机装置，从而允许用户通过移动手以使第一图像和第二图像产生交互，来控制计算机装置。
文档编号G06F3/033GK102656543SQ201080052855
公开日2012年9月5日 申请日期2010年9月19日 优先权日2009年9月22日
发明者伊斯雷尔·格罗辛格, 尼他耶·罗曼诺, 纳道维·格罗辛格 申请人:泊布欧斯技术有限公司