介质(例如，电磁信号、光学信号等)传播。
[0065]逻辑机702和存储机704的各方面可以被一起集成到一个或多个硬件逻辑组件中。这种硬件逻辑组件可以包括例如场可编程门阵列(FPGA)、程序和应用专用集成电路(PASIC/ASIC)、程序和应用专用标准产品(PSSP/ASSP)、片上系统(SOC)以及复杂可编程逻辑器件(CPLD)。
[0066]术语“程序”可用于描述被实现来执行特定功能的计算系统700的一方面。在某些情况下，或可经由执行存储机704所保持的指令的逻辑机702来实例化程序。将理解，可以从同一应用、服务、代码块、对象、库、例程、AP1、函数等实例化不同的程序。同样，可以由不同的应用程序、服务、代码块、对象、例程、AP1、函数等实例化同一模块和/或程序。术语“程序”可涵盖单个或成组的可执行文件、数据文件、库、驱动程序、脚本、数据库记录等。
[0067]在包括显示子系统706时，显示子系统706可用于呈现由存储机704所保持的数据的视觉表示。该视觉表示可以采用图形用户界面(GUI)的形式。由于此处描述的方法和过程改变了存储机所保持的数据、且因子转换了存储机的状态，因此显示子系统706的状态可同样地被转换以视觉地表示底层数据中的变化。显示子系统706可以包括使用实质上任何类型的技术的一个或多个显示设备。可将此类显示设备与逻辑机702和/或存储机704组合在共享封装中，或者此类显示设备可以是外围显示设备。
[0068]当被包括时，输入子系统708可包括诸如键盘、鼠标、触摸屏或游戏控制器等一个或多个用户输入设备或者与这些用户输入设备对接。在一些实施例中，输入子系统可以包括或相接于所选择的自然用户输入(NUI)部件。这种元件部分可以是集成的或外围的，输入动作的转导和/或处理可以在板上或板外被处理。NUI部件的示例可包括用于语言和/或语音识别的话筒；用于机器视觉和/或姿势识别的红外、色彩、立体显示和/或深度相机；用于运动检测和/或意图识别的头部跟踪器、眼睛跟踪器、加速计和/或陀螺仪；以及用于评估脑部活动的电场感测部件。
[0069]在包括通信子系统710时，通信子系统710可以被配置成将计算系统700与一个或多个其他计算设备通信耦合。通信子系统710可以包括与一个或多个不同通信协议兼容的有线和/或无线通信设备。作为非限制性示例，通信子系统可以被配置用于经由无线电话网络、或者有线或无线局域网或广域网来通信。在一些实施例中，通信子系统可允许计算系统700经由诸如因特网这样的网络将消息发送至其他设备以及/或者从其他设备接收消息。
[0070]将会理解，此处描述的配置和/或方法本质是示例性的，这些具体实施例或示例不应被视为限制性的，因为许多变体是可能的。此处描述的具体例程或方法可以表示任何数量的处理策略中的一个或多个。如此，所示和/或所述的各种动作可以以所示和/或所述顺序、以其他顺序、并行地执行，或者被省略。同样，上述过程的次序可以改变。
[0071]将会理解，此处描述的配置和/或方法本质是示例性的，这些具体实施例或示例不应被视为限制性的，因为许多变体是可能的。此处描述的具体例程或方法可以表示任何数量的处理策略中的一个或多个。如此，所示和/或所述的各种动作可以以所示和/或所述顺序、以其他顺序、并行地执行，或者被省略。同样，上述过程的次序可以改变。
[0072]本公开的主题包括各种过程、系统和配置以及此处公开的其他特征、功能、动作和/或属性、以及它们的任一和全部等价物的所有新颖且非显而易见的组合和子组合。
【主权项】
1.在计算设备上，一种方法包括: 通过由所述计算设备接收到的图像数据来检测由用户的第一只手做出的上下文设置输入； 向显示器发送基于虚拟交互坐标系统定位的用户界面，所述虚拟交互坐标系统基于所述用户的所述第一只手的位置来定位； 通过由所述计算设备接收到的图像数据来检测由所述用户的第二只手做出的动作输入，所述动作输入在所述用户的所述第一只手正在做出所述上下文设置输入时做出；以及基于所述上下文设置输入以及所述动作输入和所述虚拟交互坐标系统之间的交互向所述显示器发送响应。2.如权利要求1所述的方法，其特征在于，检测动作输入包括检测所述第二只手从所述用户的视角而言从在所述虚拟交互坐标系统的平面的一侧上的位置到在所述平面的另一侧上的位置横跨所述平面的移动。3.如权利要求2所述的方法，其特征在于，检测横跨所述平面的所述第二只手触发经由相机的图像捕捉过程。4.如权利要求1所述的方法，其特征在于，还包括检测所述第一只手的姿态的改变，并且作为响应，触发所述动作输入的结束。5.如权利要求4所述的方法，其特征在于，所述第一只手的姿态的改变触发由所述第二只手对所述用户界面的标记的结束。6.—种近眼显示系统，包括: 透视近眼显示器； 一个或多个图像传感器； 逻辑机；以及 存储机，所述存储机包括能够由所述逻辑机执行以进行以下操作的指令: 检测触发光标控制模式的上下文设置输入，所述上下文设置输入由用户的第一只手做出； 响应于检测所述上下文设置输入，定义包括基于所述第一只手的位置定位的空间区域的虚拟交互坐标系统； 向所述透视近眼显示器发送包括能通过光标选择的一个或多个元素的增强现实用户界面，所述增强现实用户界面基于所述第一只手的位置来定位； 检测包括所述用户的第二只手横跨所述虚拟交互坐标系统内的平面的移动的光标发起输入;以及 响应于检测到所述光标发起输入，向所述透视近眼显示器发送所述光标。7.如权利要求6所述的近眼显示系统，其特征在于，所述光标发起输入包括所述用户的所述第二只手从所述近眼显示设备的视角而言从在延伸自所述第一只手的平面前面的位置到在所述平面的后面的位置横跨所述平面。8.如权利要求7所述的近眼显示系统，其特征在于，所述指令还可被执行以: 检测包括所述第二只手在所述平面后面的的横向移动的光标移动输入； 响应于检测到所述横向输入，与所述第二只手在所述平面后面的移动相对应地移动所述光标的所述图像。9.如权利要求8所述的近眼显示系统，其特征在于，所述指令还可被执行以在所述光标的移动与所述增强现实用户界面的元素相交时突出显示所述元素。10.如权利要求9所述的近眼显示系统，其特征在于，指令还可被执行以: 检测光标选择输入，所述光标选择输入包括所述第二只手从所述平面后面到所述平面前面的移动；以及 响应于检测到所述光标选择输入，选择所述增强现实用户界面的经突出显示的元素。
【专利摘要】揭示了与自然用户界面的双手交互。例如，一个实施例提供了一种方法，该方法包括：通过由计算设备接收的图像数据来检测由用户的第一只手做出的上下文设置输入，并向显示器发送基于虚拟交互坐标系统定位的用户界面，该虚拟坐标系统基于用户的第一只手的位置来定位。该方法还包括通过由计算设备接收的图像数据检测由用户的第二只手做出的动作输入，该动作输入在用户的第一只手正做出上下文设置输入时做出，并且基于该上下文设置输入以及动作输入和虚拟交互坐标系统之间的交互来向显示器发送响应。
【IPC分类】G06F3/03, G06F3/0481, G06F3/01
【公开号】CN105518575
【申请号】CN201480044766
【发明人】A·巴兰, M·J·菲诺齐奥, K·D·李
【申请人】微软技术许可有限责任公司
【公开日】2016年4月20日
【申请日】2014年8月1日
【公告号】EP3030953A1, US20150040040, WO2015020888A1