靶向和按压自然用户输入的制作方法
【专利说明】
【背景技术】
[0001]经由自然用户输入在图形用户界面中选择和激活对象是困难的。用户自然倾向于通过执行按压手势来选择对象，但常常在非故意的方向上意外地按压。这可导致无意的脱离和/或错误的选择。
【发明内容】
[0002]这个
【发明内容】
被提供来以简化的形式介绍下文在详细描述中进一步描述的一系列概念。这个
【发明内容】
并不打算标识所主张的主题的关键特征或必要特征，它也不打算用于限制所主张的主题的范围。此外，所主张的主题并不限于解决在本公开的任何部分中提到的任何或所有缺点的实施方式。
[0003]提出了用于经由自然用户输入在图形用户界面中靶向并选择对象的实施例。在一个实施例中，虚拟骨架模拟由深度相机成像的人受试者。基于虚拟骨架的关节的位置来移动在用户界面中的光标。用户界面包括在按压模式中可按压但在靶向模式中不可按压的对象。如果光标位置接合对象，且在模式测试周期内的所有紧接在前的光标位置都位于以该光标位置为中心的定时边界内，则操作转变到按压模式。如果光标位置接合对象，但在模式测试周期内的一个或多个紧接在前的光标位置位于定时边界之外，则操作继续处于靶向模式。
【附图说明】
[0004]图1示意性示出控制环境的非限制性例子。
[0005]图2示意性示出深度分析系统的简化骨架跟踪流水线的例子。
[0006]图3示出用于接收按压手势并将按压手势解析为自然用户输入的方法。
[0007]图4示意性示出其中操作模式被确定的情形的例子。
[0008]图5示意性示出根据本公开的实施例的约束形状的例子。
[0009]图6示意性示出根据本公开的实施例的图5的约束形状的修改例子。
[0010]图7示意性示出根据本公开的实施例的图形用户界面的例子。
[0011]图8示意性示出根据本公开的用于接收并解析按压输入的计算系统的非限制性例子。
【具体实施方式】
[0012]本公开针对在自然用户界面中的对象的靶向和按压。如下面更详细描述的，自然用户输入手势可被分支为靶向和按压操作模式。用户按压对象的意图被评估为用户在开始按压手势之前短暂地犹豫。一旦这个意图被辨识出，操作模式就从靶向模式转变到按压模式，且采取措施以帮助用户完成按压而不从对象滑出。
[0013]图1示出控制环境100的非限制性例子。特别是，图1示出可用于玩各种不同的游戏、播放一个或多个不同的媒体类型和/或控制或操纵非游戏应用和/或操作系统的娱乐系统102。图1还示出显示设备104，例如电视机或计算机监视器，其可用于向用户呈现媒体内容、游戏画面等。作为一个例子，显示设备104可用于视觉地呈现由娱乐系统102接收的媒体内容。在图1中图示的例子中，显示设备104正显示从娱乐系统102接收的可按压用户界面105。在图示的例子中，可按压用户界面105呈现关于由娱乐系统102接收的媒体内容的可选择的信息。控制环境100可包括捕获设备，例如视觉地监控或跟踪在所观察的场景内的对象和用户的深度相机106。
[0014]显示设备104可经由娱乐系统的显示输出操作地连接到娱乐系统102。例如，娱乐系统102可包括HDMI或其它适当的有线或无线显示输出。显示设备104可从娱乐系统102接收视频内容，和/或它可包括配置成直接从内容提供者接收视频内容的单独接收机。
[0015]深度相机106可经由一个或多个接口操作地连接到娱乐系统102。作为非限制性的例子，娱乐系统102可包括深度相机106可连接到的通用串行总线。深度相机106可用于辨识、分析和/或跟踪在物理空间内的一个或多个人受试者和/或对象，例如用户108。深度相机106可包括红外灯以将红外光投影到物理空间和配置成接收红外光的深度相机上。
[0016]娱乐系统102可配置成与未在图1中示出的一个或多个远程计算设备通信。例如，娱乐系统102可直接从广播电台、第三方媒体分发服务或其它内容提供者接收视频内容。娱乐系统102也可经由互联网或另一网络与一个或多个远程服务通信，例如以便分析从深度相机106接收的图像信息。
[0017]虽然在图1中描绘的实施例将娱乐系统102、显示设备104和深度相机106示为单独的元件，在一些实施例中，该元件中的一个或多个可集成到公共设备中。
[0018]可经由无线或有线控制设备来控制娱乐系统102和/或显示设备104的一个或多个方面。例如，可基于从远程控制设备、计算设备(例如移动计算设备)、手持游戏控制器等接收的输入来选择由娱乐系统102输出到显示设备104的媒体内容。此外，在下面详细说明的实施例中，可基于自然用户输入，例如由用户执行并由娱乐系统102基于从深度相机106接收的图像信息解析的手势命令来控制娱乐系统102和/或显示设备104的一个或多个方面。
[0019]图1示出一种情形，其中深度相机106跟踪用户108，使得用户108的运动可被娱乐系统102解析。特别是，用户108的运动被解析为可用于控制显示在显示设备104上的作为可按压用户界面105的部分的光标110的控制。除了使用他的运动来控制光标运动以夕卜，用户108还可例如通过激活对象112来选择呈现在可按压用户界面105中的信息。
[0020]图2用图形示出可用于跟踪并解析用户108的运动的深度分析系统的简化骨架跟踪流水线200。为了解释的简单，参考图1的娱乐系统102和深度相机106来描述骨架跟踪流水线200。然而，可在任何适当的计算系统上实施骨架跟踪流水线200，而不偏离本公开的范围。例如，可在图8的计算系统800上实施骨架跟踪流水线200。此外，可使用不同于骨架跟踪流水线200的骨架跟踪流水线，而不偏离本公开的范围。
[0021]在202，图2从跟踪设备的观点示出用户108。跟踪设备例如深度相机106可包括配置成观察人受试者(例如用户108)的一个或多个传感器。
[0022]在204，图2示出由跟踪设备(例如深度相机106)收集的观察数据的示意性表示206。所收集的观察数据的类型将根据包括在跟踪设备中的传感器的数量和类型来改变。在图示例子中，跟踪设备包括深度相机、可见光(例如彩色)相机和麦克风。
[0023]深度相机可针对深度相机的每个像素确定在所观察的场景中的表面相对于深度相机的深度。可针对深度相机的每个像素记录三维x/y/z坐标。图2示意性示出针对深度相机的DPixel [v, h]观察的三维x/y/z坐标208。可针对深度相机的每个像素记录类似的三维x/y/z坐标。所有像素的三维x/y/z坐标共同构成深度图。可以用任何适当的方式确定三维x/y/z坐标，而不偏离本公开的范围。参考图8更详细讨论示例的测深技术。
[0024]可见光相机可针对可见光相机的每个像素确定在一个或多个光通道(例如红、绿、蓝、灰度级等)的所观察的场景中的表面的相对光强度。图2示意性示出对可见光相机的V-LPixel [v, h]观察的红/绿/蓝色值210。可针对可见光相机的每个像素记录红/绿/蓝色值。所有像素的红/绿/蓝色值共同构成数字彩色图像。可以用任何适当的方式确定红/绿/蓝色值，而不偏离本公开的范围。参考图8更详细讨论示例的颜色成像技术。
[0025]深度相机和可见光相机可具有相同的分辨率，虽然这并不是要求的。不管相机是具有相同还是不同的分辨率，可见光相机的像素都可与深度相机的像素配准。以这种方式，可通过考虑来自可见光相机和深度相机的已配准像素(例如V-LPixel [v, h]和DPixel [v, h])来针对所观察的场景的每个部分确定颜色和深度信息两者。
[0026]一个或多个麦克风可确定来自用户108和/或其它源的定向和/或非定向声音。图2示意性示出由麦克风记录的音频数据212。音频数据可由深度相机106的麦克风记录。可以用任何适当的方式确定这样的音频数据，而不偏离本公开的范围。参考图8更详细讨论示例的声音记录技术。
[0027]所收集的数据可采取实质上任何适当的数据结构的形式，包括但不限于包括由深度相机成像的每个像素的三维x/y/z坐标、由可见光相机成像的每个像素的红/绿/蓝色值和/或时间分辨的数字音频数据的一个或多个矩阵。用户108可被连续地观察和模拟(例如以每秒30帧)。相应地，可针对每个这样观察的帧收集数据。所收集的数据可经由一个或多个应用编程接口(API)变得可用和/或如下所述被进一步分析。
[0028]深度相机106、娱乐系统102和/或远程服务可分析深度图以在所观察的深度图中将待跟踪的人受试者和/或其它目标从非目标元素区分开。深度图的每个像素可被分配用户指数214，用户指数214将该像素识别为对特定的目标或非目标元素进行成像。作为例子，对应于第一用户的像素可被分配等于一的用户指数，对应于第二用户的像素可被分配等于二的用户指数，以及不对应于目标用户的像素可被分配等于零的用户指数。可以用任何适当的方式确定、分配和保存这样的用户指数，而不偏离本公开的范围。
[0029]深度相机106、娱乐系统102和/或远程服务可选地可以进一步分析用户108的深度图的像素，以便确定每个这样的像素可能对用户身体的什么部位进行成像。具有适当的用户指数的深度图的每个像素可被分配身体部位指数216。身体部位指数可包括分立标识符、置信值和/或指示该像素可能成像的一个或多个身体部位的身体部位概率分布。可以用任何适当的方式确定、分配和保存身体部位指数，而不偏离本公开的范围。
[0030]在218，图2示出用作用户108的机器可读表示的虚拟骨架220的示意性表示。虚拟骨架220包括二十个虚拟关节