自然用户接口滚动和瞄准的制作方法
【专利说明】
【背景技术】
[0001]用户接口通常采用键盘、鼠标、轨迹垫、和其他外围装置控制。近来，已经研发了由人类姿势控制的自然用户接口以提供更自然的用户体验。
【发明内容】
[0002]提供该
【发明内容】
以便以简化的形式引入在以下的【具体实施方式】中进一步描的概念的选择。该
【发明内容】
并非意在标识请求保护的主题的关键特征或必要特征，也并非意在用于限制所请求保护主题的范围。此外，请求保护的主题不限于解决在该公开内容的任意部分中所述的任何或所有的缺点的实施方式。
[0003]用户接口输出至显示装置。如果人主体的元素处于第一形态，则用户接口响应于元素的移动而滚动。如果元素处于不同于第一形态的第二形态，则响应于元素的移动瞄准用户接口的目标而不滚动用户接口。
【附图说明】
[0004]图1示意性示出了控制环境的非限制性示例。
[0005]图2示意性示出了骨骼追踪流水线的示例。
[0006]图3是图示根据本公开内容的实施例的用于导航可滚动用户接口的方法的流程图。
[0007]图4A示意性示出根据本公开内容的实施例的采用随时间变化的多个位置的虚拟骨骼。
[0008]图4B-图4D示出了响应于图4A的虚拟骨骼的手关节位置的用户接口。
[0009]图5A示出根据本公开内容的实施例的采用随时间变化的多个位置的虚拟骨骼。
[0010]图5B-图K)示出了响应于图5A的虚拟骨骼的手关节位置的用户接口。
[0011]图6是图示根据本公开内容的实施例的用于导航可滚动用户接口的方法的流程图。
[0012]图7A示出根据本公开内容的实施例的采用随时间变化的多个位置的虚拟骨骼。
[0013]图7B-图7D示出响应于图7A的虚拟骨骼的手关节位置的用户接口。
[0014]图8A示出了根据本公开内容的实施例的采用随时间变化的多个位置的虚拟骨骼。
[0015]图8B-图8D示出了响应于图8A的虚拟骨骼的手关节位置的用户接口。
[0016]图9A示出了根据本公开内容的实施例的采用随时间变化的多个位置的虚拟骨骼。
[0017]图9B-图9E示出了响应于图9A的虚拟骨骼的手关节位置的用户接口。
[0018]图1OA示出了根据本公开内容的实施例的采用随时间变化的多个位置的虚拟骨骼。
[0019]图1OB-图1OD示出了响应于图1OA的虚拟骨骼的手关节位置的用户接口。
[0020]图11示意性示出了根据本公开内容的实施例的计算系统。
【具体实施方式】
[0021]图1示出了控制环境100的非限制性示例。特别地，图1示出了可以用于播放各种不同游戏、播放一个或多个不同媒体类型、和/或控制或操纵非游戏应用程序和/或操作系统的娱乐系统102。图1也示出了诸如电视机或计算机监视器的显示装置104，其可以用于向用户展示媒体内容、游戏图像等。作为一个示例，显示装置104可以用于可视化地展示由娱乐系统102接收的媒体内容。在图1中所图示的示例中，显示装置104正显示从娱乐系统102接收的可滚动用户接口 110，其在一个示例中展示关于由娱乐系统102所接收的媒体内容的可选择信息。控制环境100可以包括捕捉装置，诸如在所观测场景内可视化地监控或追踪目标和用户的深度相机106。
[0022]显示装置104可以经由娱乐系统的显示输出而操作地连接至娱乐系统102。例如，娱乐系统102可以包括HDMI或其他合适的有线或无线显示输出。显示装置104可以从娱乐系统102接收视频内容，和/或其可以包括配置用于直接从内容提供者接收视频内容的单独接收器。
[0023]深度相机106可以经由一个或多个接口而操作地连接至娱乐系统102。作为非限制性示例，娱乐系统102可以包括深度相机106可以连接至其的通用串行总线。深度相机106可以用于识别、分析和/或追踪物理空间内的一个或多个人主体和/或目标，诸如用户108。深度相机106可以包括红外光以将红外光投射至物理空间上以及配置用于接收红外光的深度相机。
[0024]娱乐系统102可以配置用于与图1中未示出的一个或多个远程计算装置通信。例如，娱乐系统102可以从广播、第三方媒体输送服务、或其他内容提供者直接地接收视频内容。娱乐系统102也可以经由互联网或另一网络与一个或多个远程服务通信，例如以便于分析从深度相机106接收到的图像信息。
[0025]尽管图1中描绘的实施例示出了作为单独的元件的娱乐系统102、显示装置104和深度相机106，但是在一些实施例中，元件中的一个或多个可以集成至共同的装置中。
[0026]娱乐系统102和/或显示装置104的一个或多个方面可以经由无线或有线控制装置而被控制。例如，可以基于从远程控制装置、计算装置(诸如移动计算装置)、手持游戏控制器等接收到的输入而选择由娱乐系统102向显示装置104输出的媒体内容。此外，在以下详述的实施例中，可以基于自然用户输入(诸如由用户执行并且由娱乐系统102基于从深度相机106接收到的图像信息而解释的姿势命令)而控制娱乐系统102和/或显示装置104的一个或多个方面。
[0027]图1示出了其中深度相机106追踪用户108以使得可以由娱乐系统102解释用户108的移动的场景。在一些实施例中，用户108的移动被解释为控制，该控制可以用于控制作为可滚动用户接口 110—部分的显示在显示装置104上显示的虚拟指针112。换言之，用户108可以使用他的移动来控制在可滚动用户接口 110中展示的信息的选择。此外，尽管图1中未示出，但是其他输入装置也可以用于控制虚拟指针112的位置，诸如远程控制装置或触摸敏感输入装置。
[0028]图2用图像示出了可以用于追踪并解释用户108的移动的深度分析系统的简化的骨骼追踪流水线26。为了解释的简便性，参照图1的娱乐系统102和深度相机106描述了骨骼追踪流水线26。然而，骨骼追踪流水线26可以被实施在任何合适的计算系统上，而不脱离本公开内容的范围。例如，骨骼追踪流水线26可以实施在图11的计算系统1100上。此外，可以使用不同于骨骼追踪流水线26的骨骼追踪流水线而并未脱离本公开内容的范围。
[0029]在28处，图2从追踪装置的角度示出了用户108。诸如深度相机106的追踪装置可以包括配置用于观测诸如用户108的人主体的一个或多个传感器。
[0030]在30处，图2示出了由诸如深度相机106的追踪装置收集到的观测数据的示意性表达32。所收集到的观测数据的类型将取决于在追踪装置中所包括的传感器的数目和种类而变化。在所图示的示例中，追踪装置包括深度相机、可见光(例如彩色)相机以及扩音器。
[0031]深度相机可以对于深度相机的每个像素确定所观测场景中的表面相对于深度相机的深度。可以对深度相机的每个像素记录三维x/y/z坐标。图2示意性示出对于深度相机的DPixel [v, h]观测的三维x/y/z坐标34。可以对于深度相机的每个像素记录类似的三维x/y/z坐标。对于所有像素的三维x/y/z坐标共同地构成了深度图。可以以不脱离本公开内容的范围的任何合适的方式确定三维x/y/z坐标。
[0032]可见光相机可以对于可见光相机的每个像素确定对于一个或多个光通道(例如红、绿、蓝、灰度等)的所观测场景中的表面的相对光强度。图2示意性示出了对于可见光相机的V-LPixel [v, h]观测的红/绿/蓝颜色值36。可以对可见光相机的每个像素记录红/绿/蓝颜色值。对于所有像素的红/绿/蓝颜色值共同地构成了数字颜色图像。可以以不脱离本公开内容的范围的任何合适的方式确定红/绿/蓝颜色值。
[0033]深度相机和可见光相机可以具有相同的分辨率，尽管这并非必需的。不论相机是具有相同还是不同的分辨率，可见光相机的像素可以被注册(register)至深度相机的像素。这样，可以通过考虑来自可见光相机和深度相机的注册的像素(例如V-LPixel[V，h]和DPixel [V, h])而对于所观测场景的每个部分确定颜色和深度信息。
[0034]—个或多个扩音器可以确定来自用户108和/或其他源的定向和/或非定向声音。图2示意性示出由扩音器所记录的音频数据37。音频数据可以由深度相机106的扩音器记录。可以以不脱离本公开内容的范围的任何合适的方式确定这样的音频数据。
[0035]收集到的数据可以采取虚拟的任何合适的(多个)数据结构的形式，包括但不限于一个或多个矩阵，其包括针对由深度相机所成像的每个像素的三维x/y/z坐标，针对由可见光相机成像的每个像素的红/绿/蓝颜色值，和/或时间分辨的数字音频数据。用户108可以连续地被观测并建模(例如以每秒30帧)。相应地，可以对于每个这样的观测帧而收集数据。收集到的数据可以经由一个或多个应用程序编程接口(API)而可用和/或如下面描述的那样被进一步分析。
[0036]深度相机106、娱乐系统102和/或远程服务可选地可以分析深度图以区分将要追踪的人主体和/或其他目标与观测的深度图中的非目标元素。深度图的每个像素可以分配用户指数38，其将该像素识别为对特定的目标或非目标元素进行成像。作为示例，对应于第一用户的像素可以被分配等于一用户指数，对应于第二用户的像素可以分配等于二的用户指数，以及并未对应于目标用户的像素可以被分配等于零的用户指数。可以以不脱离该公开内容的范围的任何合适的方式确定、分配并保存这样的用户指数。
[0037]深度相机106、娱乐系统102和/或远程服务可选地可以进一步分析用户108的深度图的像素以便于确定每个这样的像素可能要对用户的身体的什么部位成像。各种不同的身体部位分配技术可以用于评估特定的像素可能要对用户身体的哪个部位成像。具有适当的用户指数的深度图的每个像素可以被分配身体部位指数40ο身体部位指数可以包括离散的标识符、坐标值和/或指示该像素可能要对哪个、哪些身体部位成像的身体部位可能性分布。身体部位指数可以以不脱离本公开内容的范围的任何合适的方式而被确定、分配和保存。
[0038]在42处，图2示出用作用户108的机器可读表达的虚拟骨骼44的示意性表达。虚拟骨骼44包括二十个虚拟关节一{头，肩中心，脊，髋中心，右肩，右肘，右腕，右手，左肩，左肘，左腕，左手，右髋，右膝，右踝，右足，左髋，左膝，左踝，以及左