与自然用户界面的双手交互的制作方法
【专利说明】与自然用户界面的双手交互
[0001 ]
[0002]已经开发了为用户提供控制用户界面的直观机制的自然用户界面。自然用户界面可利用一个或多个传感器来监视输入，诸如被转换成用户界面控制的手/手臂姿势和/或语音命令。
[0003]挺述
[0004]揭示了有关与自然用户界面的双手交互的各实施例。例如，一个实施例提供了一种方法，该方法包括:通过由计算设备接收的图像数据来检测由用户的第一只手做出的上下文设置输入，并向显示器发送基于虚拟交互坐标系统定位的用户界面，该虚拟坐标系统基于用户的第一只手的位置来定位。该方法还包括通过由该计算设备接收的图像数据来检测由该用户的第二只手执行的动作输入，该动作输入在该用户的第一只手正在做出上下文设置输入时执行，并基于该上下文设置输入以及在该动作输入和该虚拟交互坐标系统之间的交互来向显示器发送响应。
[0005]提供本概述以便以简化形式介绍将在以下详细描述中进一步描述的一些概念。本概述并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。而且，所要求保护的主题不限于解决该公开的任一部分中所注的任何或全部缺点的实现方式。
[0006]附图简述
[0007]图1示意性地示出根据本公开的一实施例的查看增强现实用户界面的用户。
[0008]图2是说明根据本公开的一实施例的用于控制用户界面的方法的流程图。
[0009]图3是说明根据本公开的一实施例的在与用户界面交互时做出的示例手势序列。
[0010]图4是说明根据本公开的一实施例的在与用户界面交互时做出的另一示例手势序列。
[0011]图5是说明根据本公开的另一实施例的用于控制用户界面的方法的流程图。
[0012]图6是说明根据本公开的一实施例的被做出以控制用户界面的另一示例手势序列。
[0013 ]图7示意性地示出计算系统的一示例实施例。
[0014]详细描述
[0015]如上所述，自然用户界面可由计算设备利用来接收用户输入。自然用户界面可允许用户在使用环境中通过经由传感器检测到的诸如身体姿势/姿态之类的动作和语音命令来与计算设备交互。这样的传感器的示例包括，但不限于，图像传感器(包括深度相机和二维图像传感器)、声学传感器、和/或运动传感器。然而，确定检测到的姿势、语音段、和/或由用户执行的其它动作是否旨在控制界面可能成为挑战，因为对应于用户界面命令的各动作也可能对应于在用户界面上下文之外执行的各动作。
[0016]此外，某些类型的自然用户界面可能成为附加的挑战。例如，增强现实显示设备(诸如透视头戴式显示器)的自然用户界面可利用显示为位于用户的视野中的立体图像的用户界面元素。当用户试图与这样的用户界面元素进行交互时，各用户界面元素相对于用户身体的表观位置有时可能是用户难以精确感知的。这对于与该用户界面的用户交互而言可能成为挑战。
[0017]因此，在此揭示有关与自然用户界面的交互的各实施例，其可有助于表明与用户界面进行交互的用户意图，并且还可促成对相对于用户界面元素的用户姿势的空间感知。简言之，所揭示的各实施例利用双手交互，其中一只手做出定义由另一只手做出的动态动作姿势的上下文的上下文设置姿势。上下文设置姿势可发出用户的执行用户界面交互的意图以及潜在地针对交互的特定上下文的信号，并且还可提供用于定位用于显示用户界面并作出动态动作姿势的坐标系统的基准位置。
[0018]图1示出根据本公开的一实施例的用户102的第一人称视角，该用户102在查看显示在近眼显示设备104上的增强现实用户界面100。图1的增强现实用户界面100包括全息电视108和多个控件元素110，每个控件元素110被配置来控制在全息电视108上的媒体的回放的一个或多个方面。所描绘的控件元素110包括播放按钮、停止按钮、暂停按钮、快进按钮、和后退按钮，但将理解这样的用户界面可包括任何合适的控件。进一步，当图1示出虚拟对象时，在某些实施例中，用户102还可经由透视近眼显示设备连同虚拟对象一起查看现实世界对象。将理解，所描绘的全息电视108是作为向用户102显示的增强现实用户界面100的示例来提供的，且任何其它合适的用户界面可被显示。各示例包括，但是不限于，其它娱乐相关的用户界面(例如，游戏界面和音频播放器)、浏览器(web、文件等)、生产力软件相关的界面、通信界面、操作系统/固件/硬件控件界面等。
[0019]来自用户102的姿势输入可被用于控制近眼显示设备104的一个或多个方面。例如，近眼显示设备104可接收来自(以下描述的)一个或多个传感器的图像信息，并在这样的图像和/或音频信息中标识用于控制近眼显示设备104的身体姿势(包括姿态)。尽管在近眼显示设备的上下文中进行描述，但是将理解在此描述的用户界面交互可以与配置用于通过图像传感器接收输入的任何其它计算系统一起使用。各实施例包括，但不限于，桌面计算机、膝上计算机、平板计算机、智能电话、和其它可穿戴计算系统。
[0020]用户102做出的姿势可通过从一个或多个图像传感器(诸如位于近眼显示设备104上的深度相机)接收的图像信息来检测。这样的姿势可被用于控制一个或多个计算机程序。为指示用户102试图控制的一功能性(程序、程序上下文等)，用户102可用第一只手做出上下文设置姿势。作为一个示例，在图1中，用户102以伸展的张开手掌形状举起左手112，其中用户的手掌朝向背离用户且四指和大拇指分开。这个上下文设置姿势可触发，例如，光标控制模式，其中用户102用所显示的光标116来控制用户界面的一个或多个方面。用户的另一只手接着可被用来控制光标，如以下更详细地描述的。
[0021]一旦检测到上下文设置输入，近眼显示设备104就可基于用户的上下文设置输入手(例如，第一只手)来定位虚拟交互坐标系统。虚拟交互坐标系统可包括空间区域，其中用户的第二只手可做出动态动作姿势来控制显示给用户的用户界面的一个或多个方面。也可基于虚拟交互坐标系统来显示用户界面元素，并且因此可基于上下文设置输入手的位置来定位。以此方式，上下文设置输入手可提供现实世界基准位置来帮助用户用另一只手作出动态动作姿势。
[0022]将理解，其它传感器也可以与近眼显示设备104—起使用。例如，近眼显示设备104可包括一个或多个运动传感器，以在用户正戴着显示系统时检测用户头的移动。运动数据可以潜在地与眼睛跟踪数据和面向外的图像数据一起被使用来用于注视跟踪以及用于图像稳定化，以帮助校正来自面向外图像传感器的图像中的模糊。近眼显示设备104还可包括声学传感器，诸如话筒。将理解，各传感器是出于示例的目的而描述的，且不旨在以任何方式进行限制，因为可以使用任何其他合适的传感器和/或传感器的组合。
[0023]近眼显示设备104还包括具有与各传感器和显示子系统通信的逻辑机和数据保持机的计算设备。数据保持机包括存储于其上的指令，所述指令可例如由逻辑机执行，以接收和解释来自各传感器的输入、确定用户做出的姿势、并向透视近眼显示子系统发送对所检测到的姿势的响应。示例硬件配置在以下更详细地描述。
[0024]图2示出了通过双手交互来控制用户界面的方法200ο方法200可以由任何合适的计算设备来执行，包括但不限于近眼显示设备104。在202，方法200包括从一个或多个图像传感器接收图像信息。图像传感器包括一个或多个深度相机和/或一个或多个二维相机。
[0025]方法200还包