与近眼显示器的多模交互的制作方法
【专利摘要】本发明涉及一种方法，包括采用第一摄像机跟踪用户眼睛的凝视，其中，该凝视的位置确定光标在近眼显示器(NED)屏幕上的地方，其中，该凝视的移动被配置为移动该屏幕上的光标并且当检测到凝视的移动是静止的或仅轻微移动时，采用第二摄像机观察用户的一只手的姿势，并且如果检测到该手的至少一个姿势则执行进一步的操作。本发明进一步涉及被配置为执行该方法的装置和计算机程序产品。
【专利说明】与近眼显示器的多模交互
【技术领域】
[0001]本申请大体涉及用于结合了手势检测器和凝视跟踪器的近眼显示器的多模交互系统。
【背景技术】
[0002]头戴式显示器即近眼(near-to-eye)显示器设备，尤其是移动设备眼睛佩戴物(eyewear)，使得个人能够看到自然的或电子产生的图像，并同时允许该个人通过该显示看到真实世界。另外，头戴式显示设备可以包括允许该个人和显示设备交互，即控制该设备的技术。现有的控制机制可以包括，例如动作传感器、凝视跟踪系统、或触摸传感器。然而，现有的控制机制经常使用起来费力、不方便或困难。
【发明内容】
[0003]现在，已经发明了一种改进的方法和实施该方法的技术设备，本发明的各个方面包括一种方法、一种装置以及一种计算机程序，其特征在于独立权利要求所声明的内容。本发明示例的各个方面在权利要求中提出。
[0004]根据本发明的第一方面，提供了一种方法，包括:采用第一摄像机跟踪用户眼睛的凝视，其中，凝视的位置确定光标在近眼显示器(NED)屏幕上的地方，其中，该凝视的移动被配置为移动屏幕上的光标并且当检测到该凝视的移动是静止的或仅轻微移动时，采用第二摄像机观察用户的一只手的姿势，并且如果检测到该手的至少一个姿势则执行进一步的操作。
[0005]根据一个实施例，该进一步的操作取决于检测到的姿势。根据一个实施例，该检测到的姿势是拳头的移动、手掌的晃动或者远离或向着该第二摄像机的手掌的移动。根据一个实施例，该进一步的操作进一步取决于该光标在该近眼显示器屏幕上的位置。根据一个实施例，该进一步的操作是:如果该光标在屏幕上显示的菜单选项或者功能图标的区域之夕卜，基于该手的相对移动调整光标在近眼显示器屏幕上的位置。根据一个实施例，该进一步的操作是:如果光标在菜单选项或者功能图标上，选择显示在近眼显示器屏幕上的菜单选项或者功能图标。根据一个实施例，该进一步的操作是:放大或缩小近眼显示器屏幕的视野。根据一个实施例，该进一步的操作是:返回、移动或删除。根据一个实施例，该方法进一步包括:如果没有检测到手的姿势，并且如果光标在屏幕上显示的菜单选项或者功能图标的区域上，则观察用户眼睛的眨眼，以及如果检测到用户眼睛的眨眼，选择该菜单选项或者该功能图标。
[0006]根据本发明的第二方面，提供了一种装置，包括至少一个处理器，包括用于一个或多个程序单元的计算机程序代码的至少一个存储器，该至少一个存储器和计算机程序代码被配置为利用该处理器使该装置执行至少以下步骤:采用第一摄像机跟踪用户眼睛的凝视，其中，该凝视的位置确定光标在装置的近眼显示器(NED)屏幕上的地方，其中，凝视的移动被配置为移动该屏幕上的光标并且当检测到该凝视的移动是静止的或仅轻微移动时，采用第二摄像机观察用户的一只手的姿势，并且如果检测到该手的至少一个姿势则执行进一步的操作。
[0007]根据一个实施例，该进一步的操作取决于检测到的姿势。根据一个实施例，该检测到的姿势可以是拳头的移动、手掌的晃动或者远离或向着该第二摄像机的手掌的移动。根据一个实施例，该进一步的操作进一步取决于该光标在该近眼显示器屏幕上的位置。根据一个实施例，该进一步的操作是:如果光标在屏幕上显示的菜单选项或者功能图标的区域之外，则基于该手的相对移动调整该光标在该近眼显示器屏幕上的位置。根据一个实施例，进一步的操作是，如果该光标在菜单选项或者功能图标上，选择显示在该近眼显示器屏幕上的该菜单选项或者功能图标。根据一个实施例，进一步的操作是:放大或缩小该近眼显示器屏幕的视野。根据一个实施例，该进一步的操作是返回、移动或删除。根据一个实施例，该计算机程序代码被进一步配置为利用该处理器使该装置执行:如果没有检测到手的姿势并且如果光标在屏幕上显示的菜单选项或者功能图标的区域上，观察用户眼睛的眨眼，并且，如果检测到用户眼睛的眨眼，选择该光标在该近眼显示器屏幕上的该菜单选项或者功能图标。根据一个实施例，所述装置是近眼显示器(NED)设备。根据一个实施例，所述近眼显示器设备是移动电话。根据一个实施例，该近眼显示器设备是移动电话的终端设备。
[0008]根据一个实施例，一种计算机程序产品，包含一个或多个指令的一个或多个序列，当其被一个或多个处理器执行时，使装置执行至少步骤:采用第一摄像机跟踪用户眼睛的凝视，其中，该凝视的位置确定光标在该装置的近眼显示器(NED)屏幕上的地方，其中，该凝视的移动被配置为移动该屏幕上的光标并且当检测到该凝视的移动是静止的或仅轻微移动时，采用第二摄像机观察用户的一只手的姿势，并且如果检测到该手的至少一个姿势则执行进一步的操作。
[0009]根据一个实施例，该进一步的操作取决于检测到的姿势。根据一个实施例，该检测到的姿势是拳头的移动、手掌的晃动或者远离或向着该第二摄像机的手掌的移动。根据一个实施例，该进一步的操作进一步取决于该光标在该近眼显示器屏幕上的位置。根据一个实施例，该进一步的操作是:如果该光标在屏幕上显示的菜单选项或者功能图标的区域之夕卜，则基于该手的相对移动调整该光标在近眼显示器屏幕上的位置。根据一个实施例，该进一步的操作是:如果该光标在菜单选项或者功能图标上，则选择显示在该近眼显示器屏幕上的该菜单选项或者功能图标。根据一个实施例，该进一步的操作是:放大或缩小该近眼显示器屏幕的视野。根据一个实施例，该进一步的操作是:返回、移动或删除。根据一个实施例，该计算机程序代码被进一步配置为利用该处理器使该装置执行:如果没有检测到手的姿势并且如果光标在屏幕上显示的菜单选项或者功能图标的区域上，则观察用户眼睛的眨眼，并且如果检测到用户眼睛的眨眼，则选择该菜单选项或者该功能图标。根据一个实施例，该装置是近眼显示器(NED)设备。根据一个实施例，该近眼显示器设备是移动电话。根据一个实施例，该近眼显示器设备是移动电话的终端设备。
[0010]根据第三方面，提供了一种计算机程序，包括一个或多个指令，当其被一个或多个处理器执行时，使装置执行:
[0011]根据一个实施例，一种装置，包括:采用第一摄像机跟踪用户眼睛的凝视，其中，该凝视的位置确定光标在近眼显示器(NED)屏幕上的地方，其中，该凝视的移动被配置为移动该屏幕上的光标并且当检测到该凝视的移动是静止的或仅轻微移动时，采用第二摄像机观察用户的一只手的姿势，并且如果检测到该手的至少一个姿势则执行进一步的操作。
【专利附图】
【附图说明】
[0012]为了更完整地理解本发明示例的实施例，现在将结合附图参考以下描述，在附图中:
[0013]图1示出了根据一个实施例的与近眼显示器设备交互的方法的流程图；
[0014]图2示出了执行本发明的实施例的适当装置；
[0015]图3示出了根据一个实施例的用于控制NED设备的用户界面的方法的流程图；
[0016]图4示出了根据一个实施例的产生用于控制光标在NED设备的屏幕上的位置的命令的方法的流程图；以及
[0017]图5示出了根据一个实施例的产生用于控制NED设备的用户界面控制系统的命令的方法的流程图。
【具体实施方式】
[0018]用于实现本发明实施例的近眼显示器(NED)设备控制系统可以包括至少两个异构摄像机。第一摄像机可以是可以跟踪该NED的用户的一只眼睛的凝视的内视红外视频摄像机。光标被布置于眼睛在透视(see-through)屏幕上的视点上，其中屏幕是NED的至少一个镜片的至少一部分。基于眼睛的位置和/或移动以及该视点，光标在透视屏幕上同步定位和移动；换言之，光标的定位和移动能够被凝视跟踪所控制。当检测到该视点(凝视)正在移动时，光标跟踪该视点。
[0019]当视点(凝视)移动得足够慢时，即该凝视的移动如此慢以至于该光标仅轻微移动，或者凝视基本上静止，第二摄像机可以被激活。第二摄像机可以是可对准用户的手的任意视频摄像机；换言之，第二摄像机可以是观察该手的姿势的所谓的侧下视摄像机(sidedown-looking camera)。当第二摄像机被激活以后检测到至少一个姿势时，第二摄像机可以通知用户界面(UI)软件已经检测到手势，并且手势控制将被激活。因此，当第二摄像机检测该手时，手动控制接管该凝视控制。并且另一方面，当该手从第二摄像机的视野内消失时，该凝视重新接管该Π的控制。
[0020]UI软件基于所检测到的手势产生用于处理器的命令。该命令的类型可以取决于该手势，但是也取决于光标在屏幕上的位置。如果该光标在菜单选项、功能图标或者在屏幕上显示的任意其他可选择的点的区域之外，控制系统可以利用手势检测器来调整光标的位置，例如，通过计算手掌的移动来调整到功能图标上。因此，该光标可以基于手的移动重新定位。
[0021]然而，当手势检测器检测到手的姿势时，如果光标位于功能图标、菜单选项、或任意其他可选择的点之上，该姿势能够被用于选择或确认该菜单选项或任意其他可选择的点。例如，如果检测到手的抓取姿势，可以产生选择或确认命令以选择光标位于其上的图标。然而，如果手势检测器没有检测到任何手势，并且光标位于功能图标、菜单选项、或任意其他可选择的点上，也可能为了选择或确认命令而利用第一摄像机、凝视跟踪器。那么，凝视跟踪器所检测到的超过特定阈值时间(眼睛应该闭合足够久)的眼睛的眨眼或者眼睛的特定移动，以及或加速传感器所检测到的诸如用户点头的头部姿势和麦克风或EMG传感器所检测到的牙齿咬合，能够被用作该选择或确认命令。此外，口语命令也可以被用于选择或确认。
[0022]另外，通过除了抓取之外的其他手部姿势，可能产生用于Π控制的任意类型的命令。那些命令可以是在普通的用户界面中采用的任意类型的命令，例如删除、拖拽或取消命令。代表了命令的姿势的类型不以任何形式限制，例如可能手的抓取姿势意味着缩放而不是选择或确认，等等。
[0023]本发明的示例性实施例及其潜在优势通过参照附图中的图1至附图5而得以理解。
[0024]图1示出了根据一个实施例的与近眼显示器设备交互的方法的流程图。在步骤110中，近眼显示器(NED)设备中的适于产生视频流的凝视跟踪器即第一摄像机，一个红外摄像机，跟踪NED设备的用户的凝视。凝视的位置确定了光标在该近眼显示器屏幕上的位置；换言之，光标被布置在眼睛在该NED的透视屏幕的视点处。凝视和视点的移动使得屏幕上的光标移动。在步骤120中，在凝视跟踪器已经观察到该凝视保持静止或仅轻微移动后，手势检测器观察用户手的一个或多个姿势，其中手势检测器可以是该NED设备的第二摄像机，例如适于产生用户的手的视频流的摄像机。当由第二摄像机检测到至少一个姿势时，第二摄像机可以通知用户界面(UI)软件已经检测到的手势，并且手势控制将被激活，并且手动控制接管该凝视控制。基于手势检测器的检测，该设备可以继续进一步的方法步骤。
[0025]图2示出了用于执行本发明实施例的适当装置。装置200可以例如是用于移动设备的终端设备即近眼显示器(NED)，或者作为移动电话或智能电话的NED设备。如图2中所示，装置200包括存储器201、至少一个处理器202和203、和存在于存储器201中的用于实现例如诸如操作系统或浏览器的用户界面等软件应用的功能的计算机程序代码204。装置200包括至少两个摄像机205和206用于捕获例如视频流的图像数据。摄像机205可以是内视型的、即看向该设备的用户并且被布置用于凝视跟踪的红外摄像机。摄像机206可以是侧下视型的、其瞄准用户的一只手并且被布置用于手势跟踪。装置200还可以包括屏幕即显示屏207，例如透视屏幕，以用于查看图形化用户界面。近眼装置200的镜片可以作为透视屏幕。也可能仅仅一个镜片的一部分用作屏幕或者仅一个镜片用作屏幕。装置200还可以包括一个或多个无线或有线麦克风，或者与其连接的可以是数字或模拟信号输入的任意合适的音频输入。另外，装置200也可以包括可再充电的电池(未示出)或另一合适的移动能量设备，诸如太阳能电池、燃料电池或发条发电机(clockwork generator) ο装置200可以进一步包括用于与其他设备进行短程视线通信的红外端口。该红外端口可以被用于获得即接收将被标记的媒体内容。在另一个实施例中，装置200可以进一步包括任意合适的短程通信解决方案，诸如例如蓝牙或蓝牙智能无线连接或USB/火线有线连接。另外，当NED作为移动设备的显示器时，该NED和移动设备之间可以是有线或无线连接。
[0026]装置200可以通过诸如因特网或局域网之类的固定网络，或诸如全球移动通信系统(GSM)网络、第3代(3G)网络、第3.5代(3.5G)网络、第4代(4G)网络、无线局域网络(WLAN)、蓝牙等移动通信网络，或其他当代和将来的网络与其他设备相连。不同的网络可以借助于通信接口彼此互连。该网络包括诸如用于处理数据的路由器和交换机(未示出)等的网络单元和诸如基站等的通信接口，以便向不同设备提供网络接入，以及该基站本身可以通过固定连接或无线连接而连接到移动网络。
[0027]图3示出了用于根据一个实施例的控制NED的用户界面的方法的流程图。在步骤300中，内视型摄像机即凝视跟踪器跟踪用户的凝视，并且凝视跟踪软件控制NED屏幕上的视点，使得该屏幕上的光标位置将主要涉及视点。在步骤310中，检测到该凝视仅轻微移动或基本保持静止之后，通过侧下视摄像机即手势检测器观察手的姿势。在步骤315中，由手势检测软件确定是否检测到手势，即该用户的手是否移动。如果在步骤315中确定出没有检测到手势，凝视跟踪器继续跟踪该凝视，并且在步骤320中光标将继续跟随视的视点。然而，如果在步骤315中确定出检测到了手势，在步骤330中该手势被记录到该NED设备的存储器中。在步骤340中，由NED的UI软件获得并记录光标的位置V (x0, y0)。在步骤345中确定该光标是否在任意功能图标、菜单选项或任意其他可选择的点上。如果在步骤345中确定光标不在任意功能图标或菜单选项上，在步骤350中该方法继续光标定位方法。该光标定位方法在图4的情境中被公开。然而，如果在步骤345中确定出该光标在某个功能图标或菜单选项上，在步骤360中该方法继续命令产生方法。该命令产生方法在图5的情境中被公开。
[0028]图4示出了根据一个实施例的产生用于控制光标在NED设备的屏幕上的位置的命令的方法的流程图。在该实施例中，在该光标没有位于任意功能图标或菜单选项之上、也即在光标的当前位置处任意功能图标或菜单选项都不可选的情况下，基于检测到的手势执行该定位。该视点的位置、即光标的位置V(x0，y0)在图3的步骤340中被获得并记录进NED设备的存储器中。记录检测到的手势(图3的步骤330)。在步骤410中，获得并记录手势中手掌的第一位置P(xl，yl)。在步骤420中，获得并记录手势中手掌的第二位置P(x2，y2)。在步骤430中，基于手掌的第一位置和第二位置计算手势中该手掌的相对移动Ρ(ΛΧ，ΔΥ),其中Δχ = x2-xl且Ay = y2-ylo在步骤440中，基于手掌的相对移动Ρ(Δχ, Δ y)在屏幕上定位该光标。因而，该光标的新位置是V(x, y)，其中X = χΟ+Δχ且y = yO+Ay。然而，应注意的是，当光标的位置没有改变时，Λχ和/或Ay可以是0。因此，当凝视被跟踪为无运动或仅轻微移动时，通过手掌的移动可能使得光标的位置移动。然而，也可能基于其他姿势而非该手掌的移动确定该光标的新位置，例如，基于拇指的移动。
[0029]图5示出了根据一个实施例的产生用于NED设备的用户界面控制系统的命令的方法的流程图。在该实施例中，在该光标位于功能图标或菜单选项上、即在光标的当前位置处任意功能图标或菜单选项可选的情况下，基于检测到的手势或眨眼执行命令的产生。在步骤510中，侧下视视频摄像机正在检测手的姿势。在步骤515中，确定该侧下视摄像机是否检测到手势。如果在步骤515中检测到手势，在步骤520中该NED的软件基于该手势产生选择/确认命令。然而，如果在步骤515中确定没有检测到手势，在步骤530中凝视跟踪器继续凝视跟踪。在步骤535中确定凝视跟踪器是否检测到超过阈值时间的眨眼。如果在步骤535中凝视跟踪器检测到眨眼，在步骤540中该NED设备的软件产生选择/确认命令。如果在步骤535中该凝视跟踪器没有检测到眨眼，该凝视跟踪器设备可以继续跟踪该凝视。然而，在步骤530中也可能激活一些除了凝视跟踪器之外的其他传感器，例如麦克风、加速传感器或EMG传感器，并且基于它们的输入为NED设备产生命令。
[0030]因此，该控制近眼设备的UI系统的方法是一种结合了手势检测器和凝视跟踪器的多模交互系统。屏幕光标的定位和移动能够通过内视摄像机由凝视跟踪作为主导形式控制，而选择/确认命令主要通过侧下视摄像机由手的抓取姿势产生。在产生应用于交互的任意Π命令之前，该系统将选择交互的主导形式。
[0031]在该多模交互系统的实现中，确保可靠的手检测器和凝视跟踪器是重要的。下面将更详细地介绍如何使用用于手和凝视跟踪的HOG和SVM的概述:
[0032]用于手或凝视的处理可以分离为两个单独的部分:手检测器训练和手跟踪，或者凝视检测器训练和凝视跟踪。
[0033]手检测器训练可以包括:收集作为训练数据的大规模的手的样本和背景；H0G被应用到该数据上以提取用于样本描述的特征；并且所有HOG特征被输入到SVM学习机中以学习手检测器。
[0034]手跟踪可以包括如下步骤:对于每一视频帧，采用金字塔扫描产生图像尺度空间的检测窗口池；并且从每一检测窗口提取HOG特征然后推入手检测器以确认当前检测窗口是否是手。
[0035]凝视的处理可以以与手的处理相同的方式进行工作。然而，在凝视的处理中有另外的最后步骤，其中在定位的凝视区域内检测凝视椭圆(ellipse gaze)和两个最亮的反射点，然后，凝视椭圆和两个最亮的反射点二者都被用于定位该NED屏幕上的视点。
[0036]总之，在手和凝视跟踪框架中有两个步骤，即基于HOG特征的提取和基于SVM的分类。
[0037]基于HOG特征的提取
[0038]在手或凝视跟踪中，从图像提取区别特征以在手或凝视与背景之间进行区分。与其他特征提取方法不同，HOG统计了本地图像区域内的梯度方向的事件，以便能够宏观边缘提取，并且支持几何和光度变换的不变性。考虑到人手和凝视都具有明显的轮廓结构，HOG自适应于它们的特征。下面公开了根据一个实施例的从手或凝视图像中提取特征的HOG方法，该方法可以包括以下步骤:
[0039]-计算手或凝视图像中的每个图像像素的梯度大小及其方向；
[0040]-针对每个像素点使用以其梯度大小加权的线性插值将梯度方向量化为9个仓(bin)；
[0041]-通过使得块窗口滑过整个图像而将该图像分为12X12的块，其中一个块覆盖了两个相邻块之间的半个窗口尺寸；
[0042]-将每个块分解为四个6*6单元，并且对于每个单元，基于单元内每个像素的量化方向以及像素位置和单元中心之间的距离、利用9个仓计算方向直方图，以形成针对每个块的36个仓的HOG特征向量。
[0043]-使用正常值归一化该36个仓的向量，并且连接从所有图像块中提取的所有HOG特征向量，以形成该36*n维的最终HOG表示形式。
[0044]从手图像提取特征的该方法主要采用了对本地图像区域的加权直方图统计的机制。
[0045]基于SVM的分类。
[0046]为了在多模交互中实现可靠的手或凝视跟踪，从大规模的训练样本中学习统计模型以区分手或凝视对象与其他背景对象可能是有利的。具体的，基于H0G+SVM的手和凝视跟踪器的学习可以包括以下步骤:
[0047]-从作为训练数据的包括手/非手或凝视/非凝视图像的训练中提取HOG特征；
[0048]-随机选择超过20，000张手或凝视图像作为正训练集合，以及超过40，000张非手或非凝视图像作为初始负集合；
[0049]-初步的手或凝视检测器由SVM训练，然后从训练集合收集错误报警作为“难例(hard example)，，；
[0050]-最终的手或凝视检测器能够通过将SVM再次应用于相同的正训练集合和通过包含初始负集合得到的增强负集合而得到，并且基于手和凝视的移动分析建立“难例”，因此性能依赖于可靠的手检测和凝视跟踪，以使用户在用户交互时感觉舒适。可能利用例如方向梯度直方图(HOG)和支持向量机(SVM)方法从安装在NED上的摄像机捕获的视频流定位手和凝视。
[0051]配置完手和凝视检测器以后，在与NED进行多模交互时，通过应用他们以从视频流中查找手或凝视的精确位置，使得实时的手或凝视检测和跟踪成为可能。可以通过使得检测窗口滑过图形帧而采用标准目标检测框架。对于每一个滑动窗口，可以从中提取HOG特征，然后输入到经学习的SVM检测器以确认在当前滑动窗口是否包含手或凝视。
[0052]然而，也可能采用除了 HOG和SVM之外的一些其他方法来检测手和凝视跟踪。
[0053]在通过多模的用户交互中，基于检测到的眼睛凝视和手的运动分析，该系统将选择用于交互的主导形式以便例如重新定位光标或产生命令。在多模交互系统中，如果眼睛凝视的视点正在移动，该屏幕光标将跟随该视点并且该交互系统检测手的抓取姿势。采用这些操作，有可能使用用户的Π命令为NED实现灵活的多模交互环境。
[0054]本发明的各种实施例能够利用驻留在存储器中并且使相关的装置执行本发明的计算机程序代码实现。例如，NED装置可以包括用于处理、接收和传输数据的电路和电子器件、存储器中的计算机程序代码，以及当运行该计算机程序代码时使该NED设备执行实施例的特征的处理器。又进一步，网络设备可以包括用于处理、接收和传输数据的电路和电子器件、存储器中的计算机程序代码，以及当运行该计算机程序代码时使该网络设备执行实施例的特征的处理器。
[0055]显然，本发明并不仅限于上述提出的实施例，而能够在随附的权利要求的范围内进行修改。
【权利要求】
1.一种方法，包括: 采用第一摄像机跟踪用户眼睛的凝视，其中所述凝视的位置确定光标在近眼显示器(NED)的屏幕上的地方，其中所述凝视的移动被配置为使得所述屏幕上的所述光标移动，并且当检测到所述凝视的移动是静止的或仅轻微移动时， 采用第二摄像机观察所述用户的一只手的姿势，并且 如果检测到所述手的至少一个姿势，则执行进一步的操作。
2.根据权利要求1所述的方法，其中所述进一步的操作取决于所述检测到的姿势。
3.根据权利要求1或2所述的方法，其中所述检测到的姿势是拳头的移动、手掌的晃动或者手掌远离或向着所述第二摄像机的移动。
4.根据权利要求1、2或3所述的方法，其中所述进一步的操作进一步取决于所述光标在所述近眼显示器的所述屏幕上的位置。
5.根据权利要求1至4中任一项所述的方法，其中所述进一步的操作是: 如果所述光标在所述屏幕上显示的菜单选项或者功能图标的区域之外，则基于所述手的相对移动调整所述光标在所述近眼显示器的所述屏幕上的位置。
6.根据权利要求1至4中任一项所述的方法，其中所述进一步的操作是: 如果所述光标在菜单选项或者功能图标上，则选择显示在所述近眼显示器的所述屏幕上的所述菜单选项或者功能图标。
7.根据权利要求1至4中任一项所述的方法，其中所述进一步的操作是: 放大或缩小所述近眼显示器的所述屏幕的视野。
8.根据权利要求1至4中任一项所述的方法，其中所述进一步的操作是: 返回、移动或删除。
9.根据权利要求1所述的方法，进一步包括: 如果没有检测到手的姿势，并且如果所述光标在所述屏幕上显示的菜单选项或者功能图标的区域上，则观察所述用户的所述眼睛的眨眼，以及， 如果检测到所述用户的所述眼睛的眨眼，则选择所述菜单选项或者所述功能图标。
10.一种装置，包括至少一个处理器、包括用于一个或多个程序单元的计算机程序代码的至少一个存储器，所述至少一个存储器和所述计算机程序代码被配置为利用所述处理器使所述装置执行至少如下步骤: 采用第一摄像机跟踪用户的一只眼睛的凝视，其中所述凝视的位置确定光标在所述装置的近眼显示器(NED)的屏幕上的地方，其中所述凝视的移动被配置为移动所述屏幕上的所述光标，并且当检测到所述凝视的移动是静止的或仅轻微移动时， 采用第二摄像机观察所述用户的一只手的姿势，并且 如果检测到所述手的至少一个姿势，则执行进一步的操作。
11.根据权利要求10所述的装置，其中所述进一步的操作取决于所述检测到的姿势。
12.根据权利要求10或11所述的装置，其中所述检测到的姿势可以是拳头的移动、手掌的晃动以及手掌远离或向着所述第二摄像机的移动。
13.根据权利要求10、11或12所述的装置，其中所述进一步的操作进一步取决于所述光标在所述近眼显示器的所述屏幕上的位置。
14.根据权利要求10至14中任一项所述的装置，其中所述进一步的操作是: 如果所述光标在所述屏幕上显示的菜单选项或者功能图标的区域之外，则基于所述手的相对移动调整所述光标在所述近眼显示器的所述屏幕上的位置。
15.根据权利要求10至14中任一项所述的装置，其中所述进一步的操作是: 如果所述光标在菜单选项或者功能图标上，则选择显示在所述近眼显示器的所述屏幕上的所述菜单选项或者功能图标。
16.根据权利要求10至14中任一项所述的装置，其中所述进一步的操作是: 放大或缩小所述近眼显示器的所述屏幕的视野。
17.根据权利要求10至14中任一项所述的装置，其中所述进一步的操作是: 返回、移动或删除。
18.根据权利要求10所述的装置，其中所述计算机程序代码被进一步配置为利用所述处理器使所述装置执行: 如果没有检测到手的姿势，并且如果所述光标在所述屏幕上显示的菜单选项或者功能图标的区域上，则观察所述用户的所述眼睛的眨眼，以及， 如果检测到所述用户的所述眼睛的眨眼，则选择所述光标在所述近眼显示器的所述屏幕上的所述菜单选项或者功能图标。
19.根据权利要求10至18中任一项所述的装置，其中所述装置是近眼显示器(NED)设备。
20.根据权利要求19所述的装置，其中所述近眼显示器设备是移动电话。
21.根据权利要求19所述的装置，其中所述近眼显示器设备是移动电话的终端设备。
22.—种计算机程序产品，包含一个或多个指令的一个或多个序列，当其被一个或多个处理器执行时，使得装置执行至少以下步骤: 采用第一摄像机跟踪用户眼睛的凝视，其中所述凝视的位置确定所述光标在近眼显示器(NED)的屏幕上的地方，其中所述凝视的移动被配置为移动所述屏幕上的所述光标，并且当检测到所述凝视的移动是静止的或仅轻微移动时， 采用第二摄像机观察所述用户的一只手的姿势，并且 如果检测到所述手的至少一个姿势，则执行进一步的操作。
23.根据权利要求22所述的计算机程序产品，其中所述进一步的操作取决于所述检测到的姿势。
24.根据权利要求22或23所述的计算机程序产品，其中所述检测到的姿势可以是拳头的移动、手掌的晃动或者手掌远离或向着所述第二摄像机的移动。
25.根据权利要求22、23或24所述的计算机程序产品，其中所述进一步的操作进一步取决于所述光标在所述近眼显示器的所述屏幕上的位置。
26.根据权利要求22至25中任一项所述的计算机程序产品，其中所述进一步的操作是: 如果所述光标在所述屏幕上显示的菜单选项或者功能图标的区域之外，则基于所述手的相对移动调整所述光标在所述近眼显示器的所述屏幕上的位置。
27.根据权利要求22至25中任一项所述的计算机程序产品，其中所述进一步的操作是: 如果所述光标在菜单选项或者功能图标上，则选择显示在所述近眼显示器的所述屏幕上的所述菜单选项或者功能图标。
28.根据权利要求22至25中任一项所述的计算机程序产品，其中所述进一步的操作是: 放大或缩小所述近眼显示器的所述屏幕的视野。
29.根据权利要求22至25中任一项所述的计算机程序产品，其中所述进一步的操作是: 返回、移动或删除。
30.根据权利要求22所述的计算机程序产品，其中所述计算机程序代码被进一步配置为利用所述处理器使所述装置执行: 如果没有检测到手的姿势，并且如果所述光标在所述屏幕上显示的菜单选项或者功能图标的区域上，则观察所述用户的所述眼睛的眨眼，以及， 如果检测到所述用户的所述眼睛的眨眼，则选择所述菜单选项或者所述功能图标。
31.根据权利要求22至30中任一项所述的计算机程序产品，其中所述装置是近眼显示器(NED)设备。
32.根据权利要求31所述的计算机程序产品，其中所述近眼显示器设备是移动电话。
33.根据权利要求31所述的计算机程序产品，其中所述近眼显示器设备是移动电话的终端设备。
34.一种装置，包括: 采用第一摄像机跟踪用户的一只眼睛的凝视，其中所述凝视的位置确定光标在近眼显示器(NED)的屏幕上的地方，其中所述凝视的移动被配置为移动所述屏幕上的所述光标，并且当检测到所述凝视的移动是静止的或仅轻微移动时， 采用第二摄像机观察所述用户的一只手的姿势，并且， 如果检测到所述手的至少一个姿势，则执行进一步的操作。
【文档编号】G06F3/01GK104428732SQ201280074696
【公开日】2015年3月18日 申请日期:2012年7月27日 优先权日:2012年7月27日
【发明者】汪孔桥, V·兰茨, 李江伟, 徐磊, J·于奥帕尼米 申请人:诺基亚公司