起集成到一个或多个硬件逻辑部件中。这样的硬件逻辑部件可包括例如现场可编程门阵列(FPGA)、程序特定集成电路和应用特定集成电路(PASIC/ASIC)、程序特定标准产品和应用特定标准产品(PSSP/ASSP)、片上系统(S0C)和复杂可编程逻辑器件(CPLD )。
[0081]术语“模块”、“程序”和“引擎”可用于描述被实施为执行特殊功能的计算系统800的方面。在一些情况下，可经由执行由存储机804保存的指令的逻辑机802来例示模块、程序或引擎。将理解，可从相同的应用、服务、代码块、对象、库、例程、AP1、函数等例示不同的模块、程序和/或引擎。同样，可通过不同的应用、服务、代码块、对象、例程、AP1、函数等例示相同的模块、程序和/或引擎。术语“模块”、“程序”和“引擎”可涵盖单独或数组可执行文件、数据文件、库、驱动、脚本、数据库记录等。
[0082]将认识到，如在本文使用的“服务”是在多个用户会话当中可执行的应用程序。月艮务可以是一个或多个系统部件、程序和/或其它服务可用的。在一些实施方式中，服务可在一个或多个服务器计算设备上运行。
[0083]当被包括时，显示子系统806可用于呈现由存储机804保存的数据的视觉表示。这个视觉表示可采取图形用户界面(GUI)的形式。随着本文描述的方法和过程改变由存储机保存的数据，并因而转换存储机的状态，显示子系统806的状态可同样被转换以视觉地表示在基本数据中的变化。显示子系统806可包括利用实质上任何类型的技术的一个或多个显示设备。这样的显示设备可在共享外壳中的与逻辑机802和/或存储机804组合，或这样的显示设备可以是外围显示设备。
[0084]当被包括时，输入子系统808可包括一个或多个用户输入设备或与一个或多个用户输入设备通过接口连接，一个或多个用户输入设备例如是键盘、鼠标、触摸屏或游戏控制器。在一些实施例中，输入子系统可包括选定的自然用户输入(NUI)部件或与选定的自然用户输入(NUI)部件通过接口连接。这样的部件可以是集成的或外围的，且输入行动的转换和/或处理可在板上或板外处置。示例NUI部件可包括用于言语和/或语音辨识的麦克风；用于机器视觉和/或手势辨识的红外、彩色、立体和/或深度相机；用于运动检测和/或意图辨识的头跟踪仪、眼跟踪仪、加速计和/或陀螺仪；以及用于评估脑活动的电场感测部件。
[0085]当被包括时，通信子系统810可配置成将计算系统800与一个或多个其它计算设备通信地耦合。通信子系统810可包括与一个或多个不同的通信协议兼容的有线和/或无线通信设备。作为非限制性的例子，通信子系统可配置成经由无线电话网络或有线或无线局域或广域网进行通信。在一些实施例中，通信子系统可允许计算系统800经由网络(例如互联网)将消息发送到其它设备和/或从其它设备接收消息。
[0086]此外，计算系统800可包括配置成从深度相机820 (下面描述)接收成像信息并识别和/或解析由用户执行的一个或多个姿势和手势的骨架模拟模块812。计算系统800还可包括语音辨识模块814以识别和/或解析由用户发出的经由麦克风(耦合到计算系统800或深度相机)检测到的一个或多个语音命令。虽然骨架模拟模块812和表示模块814被描绘为集成在计算系统800内，在一些实施例中，该模块中的一个或两个可相反被包括在深度相机820中。
[0087]计算系统800可操作性地耦合到深度相机820。深度相机820可包括配置成获取包括一个或多个人受试者的场景的视频的红外灯822和深度相机824 (也被称为红外光相机)。视频可包括适合于本文陈述的目的的空间分辨率和帧率的图像的时间分辨序列。如上面关于图1和2描述的，深度相机和/或协作计算系统(例如计算系统800)可配置成处理所获取的视频以识别用户的一个或多个姿势和/或手势并将这样的姿势和/或手势解析为配置成控制计算系统800的各种方面的设备命令，例如可滚动用户界面的滚动。
[0088]深度相机820可包括配置成将深度相机820与一个或多个其它计算设备通信地耦合的通信模块826。通信模块826可包括与一个或多个不同的通信协议兼容的有线和/或无线通信设备。在一个实施例中，通信模块826可包括成像接口 828以将成像信息(例如所获取的视频)发送到计算系统800。附加地或替代地，通信模块826可包括控制接口 830以从计算系统800接收指令。控制和成像接口可被设置为单独的接口，或它们可以是相同的接口。在一个例子中，控制接口 830和成像接口 828可包括通用串行总线。
[0089]相机的性质和数量可在与本公开的范围一致的各种深度相机中是不同。通常，一个或多个相机可配置成提供视频，经由下游处理从该视频得到三维深度图的时间分辨序列。如在本文使用的，术语‘深度图’指代与所成像的场景的对应区配准的像素的阵列，每个像素的深度值指示由该像素成像的表面的深度。‘深度’被定义为平行于深度相机的光轴的坐标，其随着离深度相机的距离的增大而增大。
[0090]在一些实施例中，深度相机820可包括右和左立体相机。来自这两个相机的时间分辨图像可与彼此配准并组合以产生深度分辨视频。
[0091]在一些实施例中，“结构化光”深度相机可配置成投射包括很多分立的特征(例如线或点)的结构红外化光照。相机可配置成对从场景反射的结构化光照进行成像。基于在所成像的场景的各种区中的相邻特征之间的间隔，可构造场景的深度图。
[0092]在一些实施例中，“飞行时间”深度相机可包括配置成将脉冲红外光照投射到场景上的光源。两个相机可配置成检测从场景反射的脉冲光照。相机可包括与脉冲光照同步的电子快门，但相机的积分时间可不同，使得从在两个相机的对应像素中接收到的光的相对量可辨别从光源到场景并接着到相机的脉冲光照的像素分辨的渡越时间。
[0093]深度相机820可包括可见光相机832 (例如彩色)。来自彩色和深度相机的时间分辨图像可与彼此配准并组合以产生深度分辨的彩色视频。深度相机820和/或计算系统800还可包括一个或多个麦克风834。
[0094]虽然深度相机820和计算系统800在图8中被描绘为单独的设备，在一些实施例中深度相机820和计算系统800可包括在单个设备中。因此，深度相机820可以可选地包括计算系统800。
[0095]将理解，本文描述的配置和/或方法在本质上是示例性的，以及这些特定的实施例或例子并不在限制性的意义上被考虑，因为很多变化是可能的。本文描述的特定例程或方法可代表任何数量的处理策略中的一个或多个。因此，所图示和/或所述的各种行动可以按所图示和/或所述的顺序、以其它顺序、并行地执行或被省略。同样，上述过程的顺序可改变。
[0096]本公开的主题包括各种过程、系统和配置、本文公开的其它特征、功能、行动和/或属性以及其任何和所有等效形式的所有新颖和不显而易见的组合和子组合。
【主权项】
1.一种接收用户输入的方法，所述方法包括: 基于虚拟骨架的关节的位置移动在用户界面中的光标，所述虚拟骨架模拟利用深度相机成像的人受试者，所述用户界面包括在按压模式中可按压但在靶向模式中不可按压的对象； 如果光标位置接合所述对象且在模式测试周期内的所有紧接在前的光标位置位于以该光标位置为中心的定时边界内，则在所述按压模式中操作； 如果当在所述按压模式中时光标位置保持在约束形状内并超过阈值Z距离，则激活所述对象；以及 如果当在所述按压模式中时所述光标位置在超过所述阈值z距离之前离开所述约束形状，则在所述靶向模式中操作。2.如权利要求1所述的方法，其中移动所述光标还包括: 当在所述靶向模式中时基于第一函数移动所述光标；以及 当在所述按压模式中时基于第二函数移动所述光标。3.如权利要求2所述的方法，其中基于所述第二函数移动所述光标包括当所述光标位置的z距离增大而超过阈值偏置距离时将所述光标向着所述对象的中心偏置。4.如权利要求1所述的方法，其中所述约束形状包括具有根据z距离增大的半径的截锥。5.如权利要求4所述的方法，其中所述截锥从所述定时边界延伸。6.如权利要求1所述的方法，其中所述关节是手关节，且其中当从所述靶向模式转变到所述按压模式时基于所述手关节的位置来动态地设置所述阈值z距离。7.如权利要求1所述的方法，其中基于手关节相对于肩关节的位置来动态地设置所述阈值z距离。8.如权利要求1所述的方法，其中所述阈值z距离是固定值。9.如权利要求1所述的方法，还包括如果所述光标位置的z距离未能在按压测试周期内增大则从所述按压模式转变到所述靶向模式。10.如权利要求1所述的方法，还包括: 如果当在所述按压模式中时所述光标位置的Z距离减小，则重置所述阈值Z距离。
【专利摘要】基于模拟人受试者的虚拟骨架的关节的位置在用户界面中移动光标。如果光标位置接合在用户界面中的对象且在模式测试周期内的所有紧接在前的光标位置位于以该光标位置为中心的定时边界内，则在按压模式中的操作开始。如果在按压模式中时光标位置保持在约束形状内并超过阈值z距离，则对象被激活。
【IPC分类】G06F3/0481, G06F3/0482, G06F3/01, G06F3/0484, G06F3/03
【公开号】CN104969145
【申请号】CN201380065328
【发明人】M.施维辛格, D.巴斯蒂恩, O.穆里洛, O.科斯洛夫斯基, R.拜利, J.施瓦斯
【申请人】微软技术许可有限责任公司
【公开日】2015年10月7日
【申请日】2013年12月11日
【公告号】EP2932359A1, US20140173524, WO2014093458A1