用户界面设备的制作方法
【专利摘要】一种用户界面设备(105)，包括相机(110、205)和处理器(210、230)，该相机(110、205)拍摄用户(115)的面部和手指(125)的图像，该处理器(210、230)使用所拍摄的图像确定用户(115)的面部特征(120)和手指(125)的空间位置，其中该处理器(210、230)进一步确定用户(115)正在观看用户界面设备(105)的屏幕(130)上的哪里，并且其中该处理器(210、230)监视用户(115)的面部特征(120)和手指(125)以获得用户界面设备(105)的屏幕上内容的操纵指示。
【专利说明】用户界面设备
【背景技术】
[0001]用户界面对通过屏幕上内容的操纵访问信息的用户提供便利。用户可以实施例如鼠标或跟踪板来促动在用户界面上显示的屏幕上内容。在如此做时，用户可以操纵与屏幕上内容关联的任何数据。用户还可以通过触摸屏设备来与用户界面交互，以实现类似任务。然而，实施这些设备的用户可能在操作它们方面有困难。例如，用他或她的手指操纵屏幕上内容的用户在触摸屏幕时遇到屏幕上各种对象的阻塞或覆盖。此外，选择屏幕上的小对象是困难的，尤其如果用户的手指相对地大于该用户界面设备被设计用于的平均用户手指。此外，由于触摸或不触摸被操纵的屏幕上对象的二元功能，关于用户可以对该屏幕上对象做什么存在限制。
[0002]随着用户界面也变得更多样和独特，在它们之间操纵或传输数据变得进一步困难。实际上，由于各种用户界面的多样性和独特性，用户不得不对每个用户界面使用或实现多种控制。此外，用户界面可能缺少用来在它们之间操纵数据的支持。
【专利附图】
【附图说明】
[0003]附图图示本文描述的原理的各示例，并且是本说明书的一部分。示例不限制权利要求的范围。
[0004]图1是根据本文描述的原理的一个示例的用户界面系统的图。
[0005]图2是根据本文描述的原理的一个示例的用户界面设备的框图。
[0006]图3是示出根据本文描述的原理的一个示例的操纵用户界面设备的屏幕上内容的方法的流程图。
[0007]在图中，相同的附图标记代表相似但不一定相同的要素。
【具体实施方式】
[0008]本系统、产品和方法公开一种用户界面，该用户界面实现相机跟踪用户眼睛和手指相对于该用户界面的位置。用户可以被允许通过例如将打开按压(open-pinch)设置中的他们的食指和拇指保持距用户界面的屏幕一距离，在任何屏幕上移动光标。光标在屏幕上的位置由线或向量确定，该线或向量由通过用户的眼睛和手指限定的两个空间点产生。因此，相机可以确定用户的眼睛存在的空间点，确定用户的手指或多个手指存在的空间点，并且确定或计算由这两个点产生的线或向量，以确定用户尝试与用户界面的屏幕上的哪个位置交互。
[0009]如上面简要介绍的，触摸屏系统的使用具有多种劣势。具体地，像平板和智能电话之类的手持设备允许用户直接与二维用户界面交互，以绘出各种屏幕上内容。手指以及有时的尖笔可以用来操纵该屏幕上内容。然而，当与用户界面上的屏幕表面直接交互时，用户可能覆盖或阻挡其它屏幕上内容或该屏幕上可操纵的其它对象。这直接地影响用户与屏幕上内容容易地交互的能力。
[0010]此外，用户准确地选择或操纵用户界面的屏幕上的对象可能是困难的。此问题在屏幕尺寸相对小、屏幕上的对象相对小、如果用户手指相对大或这些组合的时可能发生。当此发生时，用户界面可能不能够区分屏幕上的对象中的哪个(如果有的话)要被操纵。
[0011]进一步，触摸屏用户界面是二元的，这可能限制用户的交互表达性。具体地，除非用户物理地触摸屏幕，触摸屏上的对象可能不能被操纵。因此，屏幕可能仅感应所选择的或未选择的屏幕上对象。这进一步限制用户发起屏幕上内容的犹豫状态或临时选择状态的能力。具有临时地选择触摸屏上的屏幕上内容的能力的期望，已经导致不灵活的时间模式被用来确定用户界面上所选择的对象是否已经选择足够长时间以有资格作为临时选择的对象。
[0012]更进一步，触摸屏的使用可能被证明是不希望的，尤其如果触摸屏要被用于公共设置。使用单个设备的各种人可能导致细菌和病毒的传播。结果，这可能有碍于用户触摸触摸屏，从而引起由触摸屏提供的服务的使用减少。
[0013]用户界面还以各种形式出现，这些形式中的一些可能彼此不完全兼容。用户界面的许多不同形式的使用可能导致用户实现与每个用户界面的不同交互方法。例如，用户可能需要致动一个设备上的多个按键、使用另一设备上的远程控制、触摸又一设备上的屏幕以及使用另一设备的外部硬件设备(如鼠标)。这可能导致对使用这些不同类型的输入方法的用户困惑和不满意。此外，可能不存在允许用户在各种显示器之间操纵数据的交互支持。例如，浏览移动设备上的图像的用户可能希望将与该图像关联的数据移动至另一设备，以便在另一设备上观察该图像。因此，第一设备可通信地耦接至另一设备，并且将数据转移至另一设备。这种信息的传递通常是通过这两个设备之间的物理线缆或通过无线连接实现的。
[0014]在下面的描述中，为了进行说明，阐述大量特定细节，以便提供对本发明的系统和方法的全面理解。然而，对本领域技术人员将显而易见的是，本发明的装置、系统和方法可以在没有这些特定细节的情况下实践。在本说明书中，对“示例”或类似语言的引用表明关于该示例描述的特定特征、结构或特性如所描述的那样被包括，但是可能不包括在其它示例中。
[0015]在本说明书和在所附权利要求中，术语“用户界面”意味着被宽泛地理解为使用户能与系统、程序或设备交互的任何硬件或硬件和软件的组合。在本说明书的一个示例中，用户界面可以包括屏幕。在另一示例中，用户界面可以包括屏幕和相机。在又一示例中，用户界面可以包括被集成到诸如平板计算机、智能电话、个人数字助理(PDA)、膝上型计算机或台式计算机、电视和打印机等之类的移动设备内的屏幕和相机。
[0016]此外，在本说明书和在所附权利要求中，术语“用户界面设备”意味着被宽泛地理解为使用户能通过任何硬件或硬件和软件的组合与系统、程序或设备交互的任何设备。在一个示例中，用户界面设备可以包括移动设备，如平板计算机、智能电话、个人数字助理(PDA)、膝上型计算机或台式计算机、电视机和打印机等。
[0017]进一步，在本说明书和所附权利要求书中，术语“屏幕上内容”意味着被宽泛地理解为，代表在与诸如平板计算机、智能电话、个人数字助理(PDA)、膝上型计算机或台式计算机、电视机和打印机等之类的移动设备关联的二维屏幕上显示的数据的任何数据或符号。
[0018]图1是根据本文描述的原理的一个示例的用户界面系统(100)的图。系统(100)可以包括用户界面设备(105)和相机(110)。如上面简要描述的，用户界面系统(100)检测用户(115)的眼睛(120)和手指(125)的空间位置。然后，系统(100)可以确定用户(115)的面部特征或眼睛(120)和用户的手指(125)的x、y、z坐标或空间位置。系统还可以使用此信息计算用户(115)正注视用户界面设备(105)的屏幕(130)上的哪里。
[0019]如上面描述的，用户界面设备(105)可以是平板计算机、智能电话、个人数字助理(PDA)、膝上型计算机、台式计算机、电视机和打印机等。如下面将描述的，用户界面设备(105)可以包含硬件或硬件和软件的组合，该硬件或硬件和软件的组合至少实现确定用户(115)的眼睛(12)和手指(125)的空间位置以及通过使用这两个空间位置的线或向量
(135)确定用户界面设备(105)的屏幕(13)上的位置的功能。
[0020]相机(110)可以是在特定时间帧内拍摄多个连续帧的任何类型的相机。在一个示例中，相机可以具有多达30帧每秒的帧速率。在另一示例中，帧速率可能大于30帧每秒。在另一示例中，用户(115)可以被允许调整相机(110)的帧速率。这可以进行，使得相机
(110)可以充分地确定用户(115)的面部特征或眼睛(12)和手指(125)的空间位置，同时在产生和分析图像时增加或减少图像的处理时间。
[0021]相机(110)可以进一步确定对象相对于用户界面设备(105)的屏幕(130)的距离。在一个示例中，相机可以是确定对象距相机(110)的距离的范围成像相机。然后可以处理由相机(Iio)拍摄的图像，以确定用户(115)的眼睛(120)和手指(125)的空间位置。此外，处理器可以与相机(110) —起用来识别人面部的面部特征以及用户(115)的手指
(125)。相机(110)可以进一步拍摄具有足够分辨率的用户(115)的面部图像，以确定用户(115)的面部、眼窝、眼球、瞳孔或它们的组合的位置。图像的分辨率可以增加，以更准确地确定用户(115)正在注视屏幕(130)上的哪里。
[0022]在一个示例中，处理器可以进一步用来跟踪用户的主要眼睛(120)并且忽视另一眼睛。在此示例中，用户可以通过将信息输入到用户界面设备(105)内来识别他或她的主要眼睛(120)。
[0023]在一个示例中，相机是三维成像相机，其使用各自同时拍摄图像的多个镜头并且将此图像合并以形成三维图像。根据此三维图像，系统(100)可以能够确定用户(115)的眼睛(120)和手指(125)的空间位置并且计算用户(115)正注视的屏幕(130)上的位置。如前面介绍的，利用例如大约30帧每秒的帧速率，系统(100)可以确定用户(115)是否正在调整他或她的手指(135)之间的距离至特定距离，从而确定用户是否正在选择用户界面设备(105)的屏幕(130)上的任何屏幕上内容。
[0024]图2是根据本文描述的原理的一个示例的用户界面设备(105)的框图。用户界面设备(105)可以包括使用户(图1，115)能够操纵用户界面设备(105)的屏幕(图1的130)上的对象或数据的硬件或硬件和软件。用户界面设备(105)可以包括相机(205)、图像处理器(210)、多个输出设备(215)、输入设备(220)、处理器(230)和数据存储设备(234)，数据存储设备(234)可以包括随机存取存储器(RAM) (250)、只读存储器(ROM) (255)、硬盘驱动器(HDD)存储器(240)和闪存(245)等等。现在将更详细地描述这些中的每个。
[0025]相机(205)可以是在特定时间帧内拍摄多个连续帧的任何类型的相机。相机
(205)可以形成用户界面设备(105)的一部分，或者可以是通过例如外围设备适配器(260)通信地联接至用户界面设备(105)的外围设备。如上面提到的，相机可以拍摄和处理用户(图1，115)的眼睛(图1，120)和手指(图1，125)的多个连续图像，使得可以以充分高的速率确定用户(图1，115)的眼睛(图1，120)和手指(图1，125)的位置。例如，相机(105)可以拍摄用户(图1，115)的眼睛(图1，120)和手指(图1，125)的多个连续图像，此多个连续图像足以确定用户是否正在移动他或她的眼睛(图1，120)和/或手指(图1，125)，这代表用户(图1，115)尝试与用户界面设备(105)的屏幕(图1，130)上的屏幕上内容交互。在一个示例中，帧速率可以小于或等于约每秒30帧。在另一示例中，帧速率可能超过每秒30帧。
[0026]用户界面设备(105)还可以包括图像处理器(210)。图像处理器(210)可以包括硬件体系结构，该硬件体系结构从数据存储设备(235)获得可执行代码并且执行该可执行代码。该可执行代码在由图像处理器(210)执行时，可以导致图像处理器(210)至少实现确定用户(图1，115)的眼睛(图1，120)和手指(图1，125)的空间位置的功能。该可执行代码在由图像处理器(210)执行时，还可以导致图像处理器基于用户(图1，115)的眼睛(图1，120)和手指(图1，125)的空间位置确定用户界面设备(105)的屏幕(图1，130)上的位置。图像处理器(210)可以针对由相机(205)拍摄的每个帧这样做。
[0027]用户界面设备(105)可以进一步包括多个输出设备(215)。在一个示例中，输出设备(215)是屏幕(图1，130)。如上面描述的，屏幕(图130)可以图形地表示可以由用户(图1，115)操纵的数据。屏幕(130)上的数据的图形表示可以由处理器(230)控制。处理器(230)还可以包括硬件体系结构，该硬件体系结构从数据存储设备(235)获得可执行代码并且执行该可执行代码。该可执行代码在由处理器(230)执行时，可以导致处理器(230)至少实现在屏幕(图1，130)上显示屏幕上内容的功能。
[0028]在另一实例中，多个输出设备可以包括像振动电机或其它致动器这样的用来产生触觉反馈的设备、扬声器等等。这些其它输出设备(215)可以与屏幕(图1，130)协同工作，使得屏幕(图1，130)上的视觉变化可以被用户(图1的115)感觉到或听到。
[0029]用户界面设备(105)可以进一步包括数据存储设备(235)和外围设备适配器(260)。数据存储设备(235)可以数字地存储从与用户界面设备(105)关联的处理器(210、230)接收的或由处理器(210、230)产生的数据。数据存储设备(235)可以包括随机存取存储器(RAM) (250)、只读存储器(ROM) (255)、闪存(245)和硬盘驱动器(HDD)存储器(240)。许多其它类型的存储器是可用的，并且本说明书构思使用可以适合本文描述的原理的特定应用的任何类型数据存储设备(235)的使用。在特定示例中，数据存储设备(235)中的不同类型的存储器可以用于不同的数据存储需求。
[0030]外围设备适配器(260)可以提供用户界面设备(105)和相机(205)之间的接口。外围设备适配器(260)从而可以使与所拍摄的图像相关的数据传输能够被提供给用户界面设备(105)以及更具体地被提供给图像处理器(210)。
[0031]输入设备(230)还可以包含在用户界面设备(105)中。在一个示例中，用户界面设备(220)可以包括输入设备(220)，如麦克风、软键字母数字键盘和硬件字母数字键盘等
坐寸ο
[0032]在用户界面设备(105)的操作期间，用户(图1，115)可以通过将两个手指(如食指和拇指)保持在用户(图1，115)的眼睛(图1，120)和用户界面设备(105)的屏幕(图1，130)之间的打开按压位置，操纵屏幕上内容。如上面描述的，相机(205)可以以预定的帧速率拍摄多个连续图片并且将那些图像提供给图像处理器(210)。除确定用户(图1，115)的眼睛(图1，120)和手指(图1，125)的空间位置以及确定用户(图1，115)正在注视屏幕(图1，130)上哪里以外，用户界面设备(105)可以进一步确定用户(图1，115)是否正在用他或她的手指执行表示任何屏幕上内容的选择或操纵的动作。
[0033]在一个示例中，用户(图1，115)可以拉近他或她的手指(图1，125)之间的距离，这可以由用户界面设备(105)解释为用户正在观看的屏幕上内容的选择。用户(图1，115)在选择该屏幕上内容以后可以然后将该屏幕上内容拖拽至屏幕上的其它位置，拖拽离开屏幕，或拖拽到临时文件(如用于已经删除的数据的回收站)内，或者进一步通过打开与屏幕上内容关联的文件操纵屏幕上内容。
[0034]在另一示例中，用户(图1，115)在选择屏幕上内容以后可以将屏幕上内容拖拽到屏幕(图1，130)以外，这形成内容正被从用户界面设备(105)中移除的暗示。如下面将介绍的，用户(图1，115)然后可以将该信息拖拽到另一用户界面设备的屏幕上。
[0035]在又一示例中，用户(图1，115)在选择屏幕上内容以后可以将他或她的手指(图1，125)更接近屏幕(图1，130)或离屏幕(图1，130)更远，以进一步操纵被选择的对象。例如，当用户(图1，115)将他或她的手指(图1，125)离屏幕(图1，130)更远时，所选择的对象可以增加尺寸。此外，当用户(图1，115)将他或她的手指(图1，125)离屏幕(图1,130)更近时，所选择的对象可以减小尺寸。
[0036]在另一示例中，用户(图1，115)可以使用单个手指(图1，125)来操纵屏幕上内容。在此示例中，相机(图2，205)可以拍摄用户(图1，115)的眼睛(图1，120)和手指(图1，125)的图像。然后，处理器(图2，210、230)可以确定用户(图1，115)的眼睛(图1，120)和手指(图1，125)的空间位置，并且进一步确定用户(图1，115)正在观看屏幕(图1，130)上的哪里。
[0037]在又一示例中，用户(图1，115)可以使用与用户界面设备(105)关联的其它输入设备(220)来进一步操纵所选择的屏幕上内容。例如，用户(图1，115)在选择屏幕上内容以后可以使用与用户界面设备通信地联接的麦克风(270)，以例如通过说词“打开”来打开所选择的内容。类似的动作可以通过此方法实现，本说明书构思使用附加命令来进一步操纵屏幕上内容。
[0038]在再一示例中，用户界面设备(105)以及更具体地图像处理器(210)可以检测用户(图1，115)的眨眼睛。在检测眨眼睛以后，图像处理器(210)可以将该眨眼睛解释为例如项目打开命令，并且可以导致由用户(图1，115)选择的屏幕上内容被打开。此外，类似动作可以通过此方法实现，本说明书构思使用眨眼睛来代表附加的或不同的命令，以便进
一步操纵屏幕上内容。
[0039]如前面提到的，用户(图1，115)可以以将信息传递或复制到分离的用户界面设备上的方式操纵屏幕上内容。因此，用户界面设备(105)可以通信地联接至另一用户界面设备，使得第一用户界面设备(105)的相机(205)可以跟踪用户(图1，115)的眼睛(图1，120)和手指(图1，125)离开第一用户界面设备(105)的屏幕(图1，130)并到第二第一用户界面设备的屏幕上。在一个示例中，第二用户界面设备还可以包括与第一用户界面设备(105)的相机类似的相机，以类似地跟踪用户(图1，115)的眼睛(图1，120)和手指(图1，125)从第一用户界面设备(105)到第二用户界面设备。因此，用户(图1，115)可以虚拟地将屏幕上内容从一个用户界面设备(105)拖拽到另一个。处理器(210、230)可以用来在分离的用户界面设备之间协调，以虚拟地在用户界面设备之间传递信息和数据。此夕卜，处理器(210、230)可以执行代码，该代码引起第一用户界面设备(105)通过网络适配器(265)将与所选择的屏幕上内容关联的数据发送给第二用户界面设备。因此，数据可以从一个用户界面设备向另一个虚拟地和电子地转移或复制。
[0040]用户界面设备(105)可以进一步允许用户(图1，115)使用任意多个手指或任意多组手指选择多个屏幕上对象。在一个示例中，用户(图1，115)可以使用两个手上的两组拇指和食指来选择多个屏幕上对象。特别地，相机可以拍摄用户(图1，115)的眼睛(图1，120)和两个手上的手指(图1，125)的图像并且将该图像提供给图像处理器(210)。如上面描述的，图像处理器可以确定用户(图1，115)的眼睛(图1，120)和两个手上的手指(图1，125)的位置并且确定用户正在观看的屏幕(图1，130)上的位置。图像处理器(210)可以确定用户(图1，115)正在观看的屏幕(图1，130)上的第一位置，确定用户(图1，115)是否正在选择该屏幕上内容，并且允许选择该项目。当选择屏幕上内容时，用户(图1，115)可以观看其它屏幕上内容并且用其它组手指(图1，125)选择该内容。
[0041]在另一示例中，用户界面设备(105)可以允许用户(图1，115)使用单组手指选择屏幕(图1，130)上的多个对象。在一个示例中，与上面描述的类似，用户(图1，115)可以使用多个单独的手指来选择屏幕(130)上的多个对象。在此示例中，图像处理器(210)可以确定用户(图1，115)的眼睛(图1，120)的位置以及多个用户(图1，115)手指(图1，125)。然后，用户界面设备(105)可以在用户(图1，115)朝向屏幕(图1，130)移动手指时检测屏幕上内容的选择。在另一示例中，用户(图1，115)可以使用处于打开按压设置中的他或她的食指和拇指，使得多个屏幕上内容对象表现为位于用户(图1，115)的拇指和食指之间。如上面描述的，然后用户可以通过例如眨眼或可听见地表示选择命令，致动此屏幕上内容的选择。在此示例中，用户(图1，115)可以通过增大或减小用户(图1，115)的拇指和食指之间的空间来增大屏幕(图1，130)上的可选择区域的大小。
[0042]现在转向图3，示出描绘根据本文描述的原理的一个示例的操纵用户界面设备的屏幕上内容的方法的流程图。该方法可以开始于相机(图2，205)拍摄(框305)用户(图1，115)的眼睛(图1，120)和手指(图1，125)的图像。如上面提到的，相机可以是三维相机并且可以每秒拍摄任意多个顺序帧。
[0043]在相机(图2，205)拍摄(框305)用户(图1，115)的眼睛(图1, 120)和手指(图1，125)的图像以后，图像处理器(图2，210)可以确定(框310)用户(图1，115)的眼睛(图1，120)和手指(图1，125)的x、y、z空间位置。如上面介绍的，这可以通过处理器(图1，210,230)执行代码使得确定(框310)这些空间位置来实现。
[0044]然后，处理器(图2，210、230)可以确定(框315)用户(图1，115)正在观看用户界面设备(图2，105)的屏幕(图1，130)上的哪里。这可以使用早前确定(框310)的用户(图1，115)的眼睛(图1，120)和手指(图1，125)的空间位置来确定。
[0045]在已经确定(框315)用户(图1，115)正在观看屏幕(图1，130)上的哪里以后，用户界面设备(图2，105)可以监视(框320)用户(图1，115)的眼睛(图1，120)和手指(图1，125)以获得屏幕上内容的操纵指示。如上面描述的，用户可以以多种方式操纵屏幕上内容，如通过眨眼、通过说可听见的命令或者通过增大或减小他或她的手指(图1，125)之间的距离。[0046]当用户(图1，115)已经指示要操纵屏幕上内容时，用户界面设备(图2，105)可以基于这些指示操纵(框325)屏幕上内容。因此，屏幕上内容将基于上面描述的用户(图1，115)的眼睛(图1，120)和手指(图1，125)的位置变化而变化。
[0047]在整个过程中，相机(图2，205)可以继续拍摄用户(图1，115)的眼睛(图1，120)和手指(图1，125)的第二多个图像。然后，分析每个帧以确定(框310)用户(图1，115)的眼睛(图1，120)和手指(图1，125)的空间位置以及确定(框3150)用户正观看用户界面设备(图2，105)的屏幕(图1，130)上的哪里。每个所拍摄(框205)的图像可以用来监视(框320)用户(图1，115)的眼睛(图1，120)和手指(图1，125)以获得屏幕上内容的操纵指示。
[0048]上面描述的方法可以结合包括非瞬态计算机可读介质的计算机程序产品实现，该非瞬态计算机可读介质具有随其一起包含的计算机可用程序代码，当该计算机可用程序代码由处理器执行时执行上面的过程和方法。具体地，该计算机程序产品可以包括在其内包含的计算机可用程序代码，当该计算机可用程序代码由处理器执行时从相机(图1，110)接收所拍摄的图像并且确定(图3，框310)用户(图1，115)的眼睛(图1，120)和手指(图1,125)的空间位置。该计算机程序产品可以进一步包括在其内包含的计算机可用程序代码，该计算机可用程序代码在由处理器执行时基于用户(图1，115)的眼睛(图1，125)和手指(图1，125)的空间位置确定(图3，315)用户(图1，115)正观看用户界面设备(图1，105)的屏幕(图1，130)上的哪里。该计算机程序产品可以更进一步地包括在其内包含的计算机可用程序代码，该计算机可用程序代码在由处理器执行时监视(图3，框320)用户(图1，115)的眼睛(图1，120)和手指(图1，125)以获得屏幕上内容的操纵指示。该计算机程序产品可以再进一步包括在其内包含的计算机可用程序代码，该计算机可用程序代码在由处理器执行时基于用户(图1，115)的屏幕上内容的操纵指示来操纵(图3，325)屏眷上内容。
[0049]本说明书和附图描述了用户界面设备。该用户界面设备包括相机和处理器。该处理器可以从相机接收图像并且确定用户的面部特征和手指的空间位置，并且使用此信息来确定用户如果观看屏幕上内容则观看屏幕上哪里。该用户界面设备可以具有多种优势，包括在不触摸屏幕或使用鼠标或跟踪板的情况下操纵屏幕上内容。此外，该用户界面设备允许用户将屏幕上内容从用户界面设备的屏幕拖拽至另一用户界面设备的另一屏幕。更进一步，本说明书的用户界面设备允许用户在不用例如手指阻挡屏幕上内容观看的情况下选择屏眷上内容。
[0050]已经呈现前面的描述，来说明和描述所描述的原理的示例。该描述不旨在是详尽的或将这些原理局限于所公开的任何精确形式。鉴于上面的教导，许多修改和变化是可能的。
【权利要求】
1.一种用户界面设备(105)，包括: 相机(110、205)，拍摄用户(115)的面部和手指(125)的图像；以及 处理器(210、230)，使用所拍摄的图像确定所述用户(115)的面部特征(120)和手指(125)的空间位置； 其中所述处理器(210、230)进一步确定所述用户(115)正在观看所述用户界面设备(105)的屏幕(130)上的哪里；并且 其中所述处理器(210、230)监视所述用户(115)的面部特征(120)和手指(125)以获得所述用户界面设备(105)的屏幕上内容的操纵指示。
2.根据权利要求1所述的用户界面设备(105)，其中所述相机(110、205)是三维相机。
3.根据权利要求1所述的用户界面设备(105)，其中所述处理器(210、230)通过确定所述用户(115)的眼窝、眼球、瞳孔或眼窝、眼球、瞳孔的组合的位置，确定所述用户(115)的面部特征(120)的空间位置。
4.根据权利要求1所述的用户界面设备，其中所述处理器(210、230)通过计算由所述用户(115)的面部特征(120)和手指(125)的空间位置组成的向量，确定所述用户(115)正在观看所述用户界面设备(105)的所述屏幕(130)上的哪里。
5.根据权利要求1所述的用户界面设备(105)，其中所述处理器(210、230)在所述处理器(210、230)已经检测到屏幕上内容的操纵指示以后改变所述用户界面设备(105)的所述屏幕上内容。
6.根据权利要求1所述的用户界面设备(105)，其中所述用户界面设备(105)的屏幕上内容的操纵指示包括:所述眼睛(120)的眨动、所述用户(115)的手指(125)中的两个之间的距离增大、所述用户(115)的手指(125)中的两个之间的距离减小、所述用户(115)的手指(125)和所述屏幕(130)之间的距离增大、所述用户(115)的手指(125)和所述屏幕(130)之间的距离减小、用户(115)的手指(125)的空间位置改变，或者这些的组合。
7.根据权利要求1所述的用户界面设备(105)，其中所述处理器(210、230)进一步监视来自所述用户(115)的可听提示以获得所述用户界面设备(105)的屏幕上内容的操纵指/Jn ο
8.根据权利要求1所述的用户界面设备(105)，其中所述相机(110、205)以每秒三十帧或更高的帧速率拍摄用户(115)的面部特征(120)和手指(125)的多个顺序图像。
9.一种操纵用户界面设备(105)上的屏幕上内容的方法，包括: 用相机(110、205)拍摄用户(115)的眼睛(120)和手指(125)的图像； 用处理器(210、230)确定所述用户(115)的眼睛(120)和手指(125)的空间位置； 用所述处理器(210、230)，使用所述用户(115)的眼睛(120)和手指(125)的所述空间位置，确定所述用户(115)正在观看所述用户界面设备(105)的屏幕上(130)上的哪里； 监视所述用户(115)的眼睛(120)和手指(125)以获得屏幕上内容的操纵指示；以及 基于所述用户(115)的屏幕上内容的操纵指示，操纵所述屏幕上内容。
10.根据权利要求9所述的方法，其中所述相机(110、205)是三维相机。
11.根据权利要求9所 述的方法，其中确定所述用户(105)正在观看所述用户界面设备(105)的所述屏幕上的哪里，是通过计算由所述用户(115)的眼睛(120)和手指(125)的空间位置组成的向量实现的。
12.根据权利要求9所述的方法，进一步包括当所述处理器(210、230)已经检测到屏幕上内容的操纵指示时改变所述用户界面设备(105)的所述屏幕上内容。
13.根据权利要求9所述的方法，其中所述处理器(210、230)进一步监视来自所述用户(115)的可听提示以获得所述用户界面设备(105)的屏幕上内容的操纵指示。
14.一种用于操纵用户界面设备(105)的屏幕上内容的计算机程序产品，所述计算机程序产品包括: 非瞬态计算机可用存储介质(240、245、250、255)，具有与其一起包含的计算机可用程序代码，所述计算机可用程序代码包括: 使用由相机(110、205)拍摄的用户(115)的面部特征(120)和手指(125)的图像来确定所述用户(115)的眼睛(120)和手指(125)的空间位置的计算机可用程序代码； 使用所述用户(115)的面部特征(120)和手指(125)的所述空间位置确定所述用户(115)正在观看所述用户界面设备(105)的屏幕(130)上的哪里的计算机可用程序代码；监视所述用户(115)的面部特征(120)和手指(125)以获得屏幕上内容的操纵指示的计算机可用程序代码；以及 基于所述用户(115)的屏幕上内容的操纵指示来操纵所述屏幕上内容的计算机可用程序代码。
15.根据权利要求14 所述的计算机程序产品，其中所述相机(110、205)是三维相机。
【文档编号】G06F3/01GK104040461SQ201180076209
【公开日】2014年9月10日 申请日期:2011年12月27日 优先权日:2011年12月27日
【发明者】安迪·科伯恩, 马克·比林赫斯特, 迪内希·曼陀罗普 申请人:惠普发展公司，有限责任合伙企业