专利名称：界面控件的按压个性化的制作方法
技术领域：
本申请涉及界面控件的按压个性化。
背景技术：
计算机技术已进展到使人类能够以各种方式与计算机交互。一种这样的交互可发生在人类与游戏系统之间。例如，某些游戏系统可对玩家的物理移动作出响应。然而，由于每个人的自然移动方式(例如，按压按钮的方式)的大不相同，游戏系统对玩家的物理移动的解释可易于出错，从而使游戏体验不令人满意
发明内容
公开了界面控件的按压个性化。一个示例实施例包括接收包括人类目标的世界空间场景的一个或多个深度图像，并且使用虚拟桌面变换将人类目标的手的世界空间位置转换成用户界面的屏幕空间光标位置。该虚拟桌面变换可通过该人类目标所执行的按钮按压动作的历史动态地调节。提供本发明内容以便以简化形式介绍将在以下具体实施方式
中进一步描述的一些概念。本发明内容并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。此外，所请求保护的主题不限于解决在本公开的任一部分中提及的任何或所有缺点的实现。
图I根据本发明的一实施例示出查看所观察的场景的深度图像分析系统。图2示意性地示出在所观察的场景中的用示例骨架数据来建模的人类目标。图3示出与世界空间中的手的移动相关的按压向量的示例，其中所述世界空间中的手的移动导致屏幕空间中的光标的按压移动。图4示出与人类目标所执行的多个按钮按压动作相对应的多个按压向量的示例。图5示出根据本发明的一实施例的计算系统。
具体实施例方式图I示出了深度图像分析系统10的非限制性示例。具体而言，图I示出了游戏系统12，该游戏系统12可以用于玩各种不同的游戏、播放一个或多个不同的媒体类型、和/或控制或操纵非游戏应用和/或操作系统。图I还示出了可用于向游戏玩家呈现游戏视觉的显示设备14(诸如电视机或计算机监视器)。作为一个示例，显示设备14可用于在视觉上呈现人类目标18用其移动来控制的虚拟化身16。深度图像分析系统10可包括捕捉设备，诸如在视觉上监视或跟踪所观察的场景24内的人类目标18的深度相机22。参考图5更详细地讨论深度相机22。深度相机22可经由外围输入(诸如通用串行总线)连接到游戏系统12。
人类目标18在此被示为所观察的场景24内的游戏玩家。人类目标18由深度相机22来跟踪，使得人类目标18在世界空间40中的移动可被游戏系统12解释成控制，该控制可用于影响游戏系统12正在执行的游戏。换言之，人类目标18可使用他或她的移动来控制游戏。人类目标18的移动可以被解释成基本上任何类型的游戏控制。人类目标18的某些移动可被解释成用于除控制虚拟化身16以外目的的控制。作为非限制性示例，人类目标18的移动可被解释成用户界面控制，诸如用于按压显示设备14所显示的虚拟用户界面的虚拟按钮的控制。显示设备14可经由显示输出(诸如高清晰度多媒体接口)连接到游戏系统12。可随着时间跟踪人类目标18在虚拟界面空间26中的移动，其随着该人类目标在世界空间40中的到处移动而移动。虚拟界面空间26的位置和定向可基于人类目标的位置和定向。作为非限制性示例，虚拟界面空间26的位置和定向可以基于人类目标的头部的相对位置，以使虚拟界面空间26的位置和定向随着人类目标的头部的位置的改变而被调整。然而，在替代实施例中，虚拟界面空间26的位置和定向可随着人类目标的一个或多个替代身体部位(诸如，胸部或肩部)的相对位置而改变。因此，当人类目标在世界空间内到处移动(例如，向前迈步、向后迈步、左转、右转)时，虚拟界面空间26被相应地相对于人类目标 而重新对齐。虚拟界面空间26可具有虚拟形状28 (在此处由虚线示出)。如此，虚拟界面空间26可以被配置为基本上任何形状。作为非限制性示例，虚拟界面空间26在图I中被示出为弯曲的虚拟界面空间。在一替代示例中，虚拟界面空间26可被配置为相对于人类目标在固定位置的两个弯曲表面(例如，中心在人类目标的一部分(诸如头部或肩部)附近)。如下面详述的，虚拟界面空间26的形状可以基于人类目标18所执行的按钮按压动作的历史而被调整。例如，弯曲的虚拟界面空间的曲率可以基于按钮按压动作的历史而被动态调整。虚拟界面空间26的位置和定向也可以基于按钮按压动作的历史被进一步调整。通过基于人类目标的自然移动方式而为用户校准虚拟界面空间26，游戏系统12可以能够更好地解释人类目标在虚拟界面空间26中的移动。深度相机22还可用于将目标移动解释成游戏领域之外的操作系统和/或应用控制。操作系统和/或应用的基本上任何可控方面都可以由人类目标18的移动来控制。图I中所示出的场景是作为示例来提供的，但并不意味着以任何方式进行限制。相反，所示出的场景旨在展示可以在不背离本公开的范围的情况下应用于各种各样不同的应用的一般概念。此处描述的方法和过程可以结合到各种不同类型的计算系统。图I示出了游戏系统12、显示设备14和深度相机22形式的非限制性示例。一般而言，深度图像分析系统可包括图5中以简化形式示出的计算系统160，该计算系统160将在下文更详细地讨论。图2示出了简化的处理流水线，其中所观察的场景24中的人类目标18被建模成虚拟骨架38，该虚拟骨架38可被用于在显示设备14上绘制虚拟化身16和/或用作控制游戏、应用、和/或操作系统的其他方面的控制输入。可以理解，与图2中所描绘的那些步骤相比，处理流水线可包括附加的步骤和/或替代的步骤，而不背离本发明的范围。如图2所示，人类目标18和所观察的场景24中的其余部分可通过诸如深度相机22之类的捕捉设备来成像。深度相机可为每一像素确定在所观察的场景中的表面相对于深度相机的深度。在不背离本公开的范围的情况下，可以使用基本上任何深度寻找(depthfinding)技术。参考图5更详细地讨论了示例深度寻找技术。为每个像素确定的深度信息可用于生成深度图36。这样的深度图可采用基本上任何合适的数据结构的形式，包括但不限于包括所观察场景的每个像素的深度值的矩阵。在图2中，深度图36被示意性地示为人类目标18的轮廓的像素化网格。为便于理解，此图示是简化的。可以理解，深度图一般包括所有像素(不仅是对人类目标18进行成像的像素)的深度信息，并且深度相机22的视角不会得到图2中所描绘的轮廓。虚拟骨架38可从深度图36导出，以提供人类目标18的机器可读表示。换言之，从深度图36导出虚拟骨架38以对人类目标18建模。虚拟骨架38可以按任何合适的方式从深度图中导出。在某些实施例中，可将一个或多个骨架拟合算法应用于深度图。本发明与基本上任何骨架建模技术兼容。虚拟骨架38可包括多个关节，每一关节对应于人类目标的一部分。在图2中，虚 拟骨架38被示为十五个关节的线条画。为便于理解，此图示是简化的。根据本发明的虚拟骨架可包括基本上任何数量的关节，每个关节都可与基本上任何数量的参数(例如三维关节位置、关节旋转、对应身体部位的身体姿势(例如手张开、手合上等)等)相关联。应当理解，虚拟骨架可采取如下数据结构的形式该数据结构包括多个骨架关节中的每个关节的一个或多个参数(例如包含每个关节的X位置、y位置、z位置和旋转的关节矩阵)。在一些实施例中，可使用其他类型的虚拟骨架(例如线框、一组形状图元等等)。如图2所示，可将虚拟化身16作为虚拟骨架38的视觉表示呈现在显示设备14上。由于虚拟骨架38对人类目标18进行建模，并且对虚拟化身16的渲染是基于虚拟骨架38的，因此虚拟化身16用作人类目标18的可查看的数字表示。如此，虚拟化身16在显示设备14上的移动反映人类目标18的移动。在一些实施例中，虚拟化身中仅有部分将被呈现在显示设备14上。作为一个非限制性示例，显示设备14可呈现人类目标18的第一人称视角，并因此可呈现能通过虚拟化身的虚拟眼睛来查看的虚拟化身的各部分(例如握有方向盘的伸出的手、握有步枪的伸出的手臂、抓住三维虚拟世界中的虚拟物体的伸出的手等)。尽管将虚拟化身16用作可经由深度图的骨架建模由人类目标的移动来控制的游戏的一示例方面，但这并不旨在为限制性的。人类目标可以用虚拟骨架来建模，而虚拟骨架可用于控制除虚拟化身以外的游戏或其他应用的各方面。例如，即使虚拟化身没有被呈递到显示设备，人类目标的移动也可控制游戏或其他应用。可显示光标，而不是显示人类目标的化身。图3示出其中人类目标的手42在世界空间40中的位置被用于控制光标52在屏幕空间50中的位置的示例。基于从深度相机接收的一个或多个深度图像，可以跟踪人类目标的手42在虚拟界面空间26内的移动。然后所跟踪的手42的移动被转换成光标52在屏幕空间50中的相应移动。即，可将手42的世界空间位置46转换成由计算系统所显示的用户界面60的屏幕空间光标位置56。在所描绘的示例中，手42从初始手位置(以虚线描绘的手)到最终手位置(以实线描绘的手)的移动导致光标52从初始光标位置(以虚线描绘的光标)到最终光标位置(以实线描绘的光标)的相应移动。计算系统可以使用虚拟桌面变换将手42在虚拟界面空间26中的世界空间位置46转换成光标52在用户界面60上的屏幕空间光标位置56。虚拟桌面变换可包括例如用于将手的位置和移动变换成光标的相应位置和移动的各种变换矩阵和算法。在其中虚拟界面空间26具有弯曲的虚拟形状28的所示示例中，计算系统使用虚拟桌面变换将手在该弯曲的虚拟界面空间中的世界空间位置转换成非弯曲的屏幕空间的用户界面中的屏幕空间光标位置。用户界面60可包括一个或多个控件特征，该控件特征可以通过预先定义的手移动来致动或选择。这些特征可包括例如,旋钮、刻度盘、按钮、菜单等。在所示示例中,用户界面60包括可由按钮按压动作致动的按钮62。按钮按压动作可与光标52与屏幕空间50中的按钮62重叠时发生的指定的手的移动相对应。在本示例中，手42从初始位置到最终位置的所不移动可以被定义为按钮按压动作，其中按钮62由于光标52在与按钮62重叠时从初始位置到最终位置的相应移动而被致动。
在任何给定时间，手在虚拟界面空间26中的位置可通过x-y-z坐标来限定，其中X坐标指示手的水平位置，y坐标指示手的竖直位置，而z坐标指示手在虚拟界面空间26中的深度。同样，在任何给定时间，光标的位置也可通过x-y-z坐标来限定，其中X坐标指示光标的水平位置，y坐标指示光标的竖直位置，而z坐标指示光标在用户界面60中的深度。如果满足了预先定义的按钮按压准则，则与按钮按压动作相对应的手的移动被断定。按钮按压准则的一个示例包括手在世界空间中的、将光标位置沿着z轴改变至少一深度阈值的移动，而不管光标52的初始z轴位置。换言之，手在世界空间中的、将光标“按压”了至少该深度阈值的移动被认为是致动按钮62的按钮按压动作。按钮按压准则的另一示例包括手在世界空间中的、将光标速度沿z轴改变一阈值量的移动。在又一实施例中，可将光标速度的归一化后的z轴分量与归一化后的X轴和y轴分量进行比较以确定按钮按压动作是否已发生。换言之，手在世界空间中的、按压入虚拟界面空间中的速度大于跨越虚拟界面空间的移动速度的移动被认为是致动按钮62的按钮按压动作。其他按钮按压准则也是可能的。在每种情况下，基于按压的开始、继续的按压动作(在时间段上或距离上)、以及按压的结束来定义按钮按压动作。人类目标所执行的一个或多个按钮按压动作可被存储在按钮按压动作历史中，其中每个按钮按压动作是基于响应于手在世界空间中的移动的屏幕空间光标位置的指定变化来标识的。每个按钮按压动作可以进一步由按压向量表示。在所示示例中，与按钮按压动作相对应的手42的移动由按压向量46表示。因此，多个按压向量可被汇编到按钮按压动作历史中，其中每个按压向量对应于按钮按压动作。如此，不同人类目标具有与按钮按压动作相对应的执行手移动的不同样式。例如，不同的手的移动可以在其速度和/或接近角上有不同。作为一示例，某些用户可能趋向于使用长的、慢的按压来致动用户界面上的按钮，而其他用户可能使用短的、急促的“轻击”来致动按钮。因此，如果不为每个用户校准按压动作，则可能存在明显的“打滑(slippage)”，其中光标远离用户本想选择的屏幕区域。为了减少这样的“打滑”，计算系统可基于人类目标所执行的按钮按压动作历史来动态调整虚拟桌面变换。这可包括基于按钮按压动作历史来动态调整虚拟界面空间26的虚拟形状28。在其中虚拟界面空间是弯曲的的本示例中，弯曲的虚拟界面空间可具有从人类目标所执行的按钮按压动作的历史导出的虚拟聚焦点。
该按钮按压动作历史中的一个或多个按钮按压动作可包括隐式的按钮按压动作和/或显式的按钮按压动作。显式的按钮按压动作可包括在校准会话期间该人类目标(即，用户)所执行的多个按钮按压动作。在一个示例中，校准会话可在用户启动计算系统的操作(例如，通过打开游戏系统)时执行。在校准会话期间，可以请求用户按压-激活(press-active)屏幕空间的不同区域。例如，可以请求用户致动位于用户界面的不同区域处的各个按钮。人类目标的与每个按钮按压动作相对应的手的移动可以被存储为显式按钮按压动作并被用于调整虚拟界面空间的虚拟形状。在一个示例中，校准会话可在游戏会话之前，以便针对该游戏会话将虚拟界面动态调整和微调到该用户的按压样式。隐式按钮按压动作可包括用户在预定义时间段上(例如，在给定游戏会话期间)执行的多个按钮按压动作。此处，可以基于人类目标与计算系统的不断交互来自适应地学习按钮按压动作，并且可相应地动态调整虚拟界面空间。图4示出了多个按压向量80-84的示例。每个按压向量80_84与按钮按压动作历史中的按钮按压动作相对应。如此，可基于人类目标的手在虚拟界面空间26中的(相对于人类目标的头部的世界位置的)移动来绘制每个按压向量。 计算系统可以从多个按压向量80-84导出按钮按压原点90。为此，可将按压向量分组为一个或多个群集。每个群集可包括基于每个按压向量在虚拟界面空间26中的位置而选择的一个或多个按压向量。例如，虚拟界面空间26可包括网格片段的矩阵，而可基于每个按压向量在该网格片段的矩阵中的位置来为每个群集选择按压向量。接下来，针对该一个或多个群集中的每一个，可以计算平均按压向量。在计算平均按压向量时，可以不考虑明显不同的任何按压向量(例如，不同超过阈值幅度、方向和/或原点位置间的距离的离群的按压向量)。然后基于该一个或多个群集的每一个的平均按压向量来确定按钮按压原点90。在一个示例中，按钮按压原点90是所有平均按压向量之间的最短距离的连线的中心点的平均值。作为非限制性示例，虚拟界面空间可包括跨3x3网格布局的9网格片段矩阵。基于它们在3x3网格中的位置，按钮按压动作历史中的一个或多个按压向量可被包括在与这9个网格片段相对应的9个群集之一中。然后针对这9个群集计算出9个平均按压向量。然后这9个平均按压向量向后朝用户延伸(即，远离深度相机)，并将所有向量之间的最可能相交的点确定为按钮按压原点。然后基于按钮按压原点90来调整虚拟界面空间26的虚拟形状28。在一个示例中，弯曲的虚拟界面的曲率可具有从按钮按压原点导出的虚拟聚焦点。在一些实施例中，虚拟聚焦点和按钮按压原点可以重叠。替代地，弯曲的虚拟界面空间的曲率可以是基于虚拟聚焦点相关于人类目标的位置的位置的。例如，虚拟聚焦点可以从按钮按压原点相关于人类目标的头部的位置的位置导出。虚拟界面空间的虚拟位置和定向也可以基于按钮按压原点的位置被进一步调整。例如，该虚拟位置和定向可以基于按钮按压原点相关于人类目标的头部的位置的位置被调
難
iF. O按钮按压动作，以及虚拟界面空间调整可以受人类目标使用哪只手(或其他身体部位)来执行按钮按压动作、以及用户的用手习惯(handedness)(例如，该用户是左撇子还是右撇子)的影响。用户的用手习惯可以影响例如人类目标的手接近或按压用户界面上的按钮的倾斜(tilt)和定向(orientation)。为了减少右撇子和左撇子的差异所导致的“打滑”，计算系统可以基于为该人类目标所执行的按钮按压动作的历史中的每个左手按钮按压动作生成的按压向量来导出该虚拟界面空间的左手虚拟聚焦点。同样，可以基于为该人类目标所执行的按钮按压动作的历史中的每个右手按钮按压动作生成的按压向量来导出该虚拟界面空间的右手虚拟聚焦点。弯曲的虚拟界面空间可基于响应于该人类目标的左手在世界空间中的移动的左手虚拟聚焦点而被动态调整。类似地，虚拟界面空间可基于响应于该人类目标的右手在世界空间中的移动的右手虚拟聚焦点而被动态调整。以此方式，通过基于由人类目标所执行的按钮按压动作的历史来调整虚拟桌面变换，可以改变虚拟界面空间的形状以更好地反映用户的按压样式。通过细化虚拟界面空间以更好地匹配用户的按压样式，减少了不想要的打滑和意外的按压选择，从而提升了用户的体验。在一些实施例中，可将以上所描述的方法和过程捆绑到包括一个或多个计算机的 计算系统。具体而言，此处所述的方法和过程可被实现为计算机应用、计算机服务、计算机API、计算机库、和/或其他计算机程序产品。图5示意性示出了可以执行上述方法和过程之中的一个或多个的非限制性计算系统160。以简化形式示出了计算系统160。应当理解，可使用基本上任何计算机架构而不背离本公开的范围。在不同的实施例中，计算系统160可以采取大型计算机、服务器计算机、台式计算机、膝上型计算机、平板计算机、家庭娱乐计算机、网络计算设备、移动计算设备、移动通信设备、游戏设备等等的形式。 计算系统160可包括逻辑子系统162、数据保持子系统164、显示子系统166和/或捕捉设备168。计算系统可任选地包括未示出在图5中的组件，并且/或者示出在图5中的某些组件可以是未被整合到计算系统中的外围组件。逻辑子系统162可包括被配置为执行一个或多个指令的一个或多个物理设备。例如，逻辑子系统可被配置为执行一个或多个指令，该一个或多个指令是一个或多个应用、月艮务、程序、例程、库、对象、组件、数据结构、或其它逻辑构造的部分。可实现此类指令以执行任务、实现数据类型、变换一个或多个设备的状态、或以其他方式得到所需结果。逻辑子系统可包括被配置成执行软件指令的一个或多个处理器。附加地或替代地，逻辑子系统可包括被配置成执行硬件或固件指令的一个或多个硬件或固件逻辑机器。逻辑子系统的处理器可以是单核或多核，且在其上执行的程序可被配置为并行或分布式处理。逻辑子系统可以任选地包括遍布两个或更多设备的独立组件，所述设备可远程放置和/或被配置为进行协同处理。该逻辑子系统的一个或多个方面可被虚拟化并由以云计算配置进行配置的可远程访问的联网计算设备执行。数据保持子系统164可包括一个或多个物理的、非瞬时的设备，这些设备被配置成保持数据和/或可由该逻辑子系统执行的指令，以实现此处描述的方法和过程。在实现这样的方法和过程时，可以变换数据保持子系统164的状态(例如，以保持不同的数据)。数据保持子系统164可包括可移动介质和/或内置设备。数据保持子系统164尤其可以包括光学存储器设备(例如，⑶、DVD、HD-DVD、蓝光盘等)、半导体存储器设备(例如，RAM、EPROM、EEPROM等)和/或磁存储器设备(例如，硬盘驱动器、软盘驱动器、磁带驱动器、MRAM等)。数据保持子系统164可包括具有以下特性中的一个或多个特性的设备易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址、以及内容可寻址。在某些实施例中，可以将逻辑子系统162和数据保持子系统164集成到一个或更多个常见设备中，如专用集成电路或片上系统。图5还示出以可移动计算机可读存储介质170形式的数据保持子系统的一方面，可移动计算机可读存储介质可用于存储和/或传输可执行以实现本文描述的方法和过程的数据和/或指令。可移动计算机可读存储介质170尤其是可以采取CD、DVD、HD-DVD、蓝光盘、EEPROM和/或软盘形式。可以明白，数据保持子系统164包括一个或多个物理的、非瞬时的设备。相反，在一些实施例中，本文描述的指令的各方面可以按暂态方式通过不由物理设备在至少有限持续时间期间保持的纯信号(例如电磁信号、光信号等)传播。此外，与本发明有关的数据和/或其他形式的信息可以通过纯信号传播。术语“模块”可用于描述被实现来执行一个或多个特定功能的计算系统160的一个方面。在某些情况下，可通过逻辑子系统162执行由数据保持子系统164所保持的指令来实例化这一模块。应该理解，可从相同的应用、代码块、对象、例程、和/或功能实例化不同模块和/或引擎。同样，在某些情况下，可通过不同的应用、代码块、对象、例程、和/或功能来实例化相同的模块和/或引擎。如此处所述，计算系统160包括深度图像分析模块172，该深度图像分析模块912 被配置成跟踪人类在固定的、世界空间坐标系中的世界空间姿态。术语“姿态”指人类的位置、定向、身体安排等。如此处所述，计算系统160包括交互模块174，该交互模块174被配置成用可移动的、界面空间坐标系来建立虚拟交互区，该可移动的、界面空间坐标系跟踪人类并相对于固定的、世界空间坐标系移动。如此处所述，计算系统160包括变换模块176，该变换模块被配置成将在固定的、世界空间坐标系中定义的位置变换成在可移动的、界面空间坐标系中定义的位置。计算系统160还包括显示模块178，该显示模块被配置成输出显示信号，该显示信号用于在与可移动的、界面空间坐标系中定义的位置相对应的桌面空间坐标处显示界面元素。计算系统160包括用户界面模块177，该模块被配置成将光标在用户界面中的移动转换成涉及界面元素的动作。作为非限制性示例，用户界面模块177可分析光标相对于用户界面的按钮的移动，以确定何时要致动这些按钮。显示子系统166可用于呈现由数据保持子系统164所保持的数据的可视表示。由于此处所描述的方法和过程改变由数据保持子系统保持的数据，并由此变换数据保持子系统的状态，因此同样可以变换显示子系统166的状态以在视觉上表示底层数据的改变。作为一个非限制性示例，可通过显示子系统166以响应于用户在物理空间中的移动而在虚拟桌面中改变位置的界面元素(例如，光标)的形式来反映这里所述的目标识别、跟踪和分析。显示子系统166可以包括使用实际上任何类型的技术的一个或多个显示设备。可将这些显示设备与逻辑子系统162和/或数据保持子系统164 —起组合在共享封装中，或这些显示设备可以是外围显示设备，如图I所示。计算系统160还包括被配置成获得一个或多个目标的深度图像的捕捉设备168。捕捉设备168可被配置成通过任何合适的技术(例如飞行时间、结构化光、立体图像等)捕捉具有深度信息的视频。这样，捕捉设备168可包括深度相机(诸如图I的深度相机22)、摄像机、立体摄像机、和/或其他合适的捕捉设备。例如，在飞行时间分析中，捕捉设备168可以向目标发射红外光，然后使用传感器来检测从目标的表面反向散射的光。在一些情况下，可以使用脉冲式红外光，其中可以测量出射光脉冲和相应的入射光脉 冲之间的时间并将该时间用于确定从该捕捉设备到目标上的特定位置的物理距离。在一些情况下，出射光波的相位可以与入射光波的相位相比较以确定相移，并且该相移可以用于确定从该捕捉设备到目标上的特定位置的物理距离。在另一示例中，飞行时间分析可用于通过经由诸如快门式光脉冲成像之类的技术分析反射光束随时间的强度，来间接地确定从该捕捉设备到目标上的特定位置的物理距离。在另一示例中，捕捉设备168可利用结构化光分析来捕捉深度信息。在这样的分析中，图案化光(即被显示为诸如网格图案或条纹图案之类的已知图案的光)可以被投影到目标上。在目标的表面上，该图案可能变成变形的，并且可以研究该图案的这种变形以确定从该捕捉设备到目标上的特定位置的物理距离。在另一示例中，捕捉设备可以包括从不同的角度查看目标的两个或更多个物理上分开的相机，以获得视觉立体数据。在这些情形中，可分解可视立体数据以生成深度图像。在其他实施例中，捕捉设备168可利用其他技术来测量和/或计算深度值。此外，捕捉设备168可以将计算出的深度信息组织为“Z层”，即与从深度相机沿其视线延伸到观察者的Z轴垂直的层。在某些实施例中，可将两个或更多个相机整合到一个集成捕捉设备中。例如，可将深度相机和摄像机(例如RGB摄像机)整合到共同的捕捉设备中。在某些实施例中，可协同使用两个或更多个分开的捕捉设备。例如，可使用深度相机和分开的摄像机。当使用摄像机时，该摄像机可用于提供目标跟踪数据、对目标跟踪进行纠错的确认数据、图像捕捉、面部识别、对手指(或其他小特征)的高精度跟踪、光感测和/或其他功能。要理解，至少一些目标分析和跟踪操作可以由一个或多个捕捉设备的逻辑机来执行。捕捉设备可以包括被配置成执行一个或多个目标分析和/或跟踪功能的一个或多个板载处理单元。捕捉设备可包括固件以帮助更新这样的板上处理逻辑。计算系统160可任选地包括诸如控制器180和控制器182之类的一个或多个输入设备。输入设备可被用于控制计算系统的操作。在游戏的上下文中，诸如控制器180和/或控制器182之类的输入设备可被用于控制游戏的那些不是通过这里所述的目标识别、跟踪和分析方法和过程来控制的方面。在某些实施例中，诸如控制器180和/或控制器182之类的输入设备可包括可用于测量控制器在物理空间中的移动的加速计、陀螺仪、红外目标/传感器系统等中的一个或多个。在某些实施例中，计算系统可任选地包括和/或利用输入手套、键盘、鼠标、跟踪垫、轨迹球、触摸屏、按钮、开关、拨盘、和/或其他输入设备。如将理解的，目标识别、跟踪和分析可被用于控制或扩充游戏或其他应用的常规上由诸如游戏控制器之类的输入设备所控制的方面。在某些实施例中，这里所述的目标跟踪可被用作对其他形式的用户输入的完全替代，而在其他实施例中，这种目标跟踪可被用于补充一个或多个其他形式的用户输入。
权利要求
1.一种计算系统(12，160)，包括 外围输入，所述外围输入被配置成从深度相机(22，168)接收深度图像； 显不输出，所述显不输出被配置成向显不设备(14,166)输出用户界面(60)； 逻辑子系统(162)，所述逻辑子系统能够经由所述外围输入可操作地连接到所述深度相机(22，168)，并能够经由所述显示输出可操作地连接到所述显示设备(14，166)； 数据保持子系统(164)，所述数据保持子系统保持指令，所述指令能被所述逻辑子系统(162)执行以便 从所述深度相机(22，168)接收包括人类目标(18)的世界空间场景(24)的一个或多个深度图像； 使用虚拟桌面变换将所述人类目标(18)的手(42)的世界空间位置(46)转换成所述用户界面￠0)的屏幕空间光标位置(56)，所述虚拟桌面变换通过所述人类目标(18)所执行的按钮(62)按压动作的历史被动态调整。
2.如权利要求I所述的计算系统，其特征在于，基于响应于所述手在世界空间中的移动的所述屏幕空间光标位置的变化，所述按钮按压动作的历史中的每个按钮按压动作被标识。
3.如权利要求2所述的计算系统，其特征在于，所述按钮按压动作的历史包括多个按压向量，每个按压向量与所述按钮按压动作的历史中的按钮按压动作相对应。
4.如权利要求3所述的计算系统，其特征在于，所述数据保持子系统保持能由所述逻辑子系统执行以从所述多个按压向量导出按钮按压原点的指令。
5.如权利要求4所述的计算系统，其特征在于，所述虚拟桌面变换转换所述手在虚拟界面空间中的世界空间位置，所述虚拟界面空间具有虚拟形状。
6.如权利要求5所述的计算系统，其特征在于，基于所述按钮按压原点，所述虚拟界面空间的虚拟形状被动态调整。
7.如权利要求6所述的计算系统，其特征在于，所述虚拟界面空间具有基于所述人类目标的位置的虚拟位置和定向。
8.如权利要求7所述的计算系统，其特征在于，基于所述按钮按压原点的相关于所述人类目标的头部的位置的位置，所述虚拟界面空间的虚拟位置和定向被动态调整。
全文摘要
本申请涉及界面控件的按压个性化。计算系统(12，160)被配置成从深度相机(22，168)接收包括人类目标的世界空间场景(24)的一个或多个深度图像。该计算系统(12，160)使用虚拟桌面变换将人类目标(18)的手(42)的世界空间位置(46)转换成用户界面(60)的屏幕空间光标位置(56)。该计算系统(12，160)还基于该人类目标(18)所执行的按钮(62)按压动作的历史来动态调整该虚拟桌面变换。
文档编号G06F3/048GK102707876SQ20121006249
公开日2012年10月3日 申请日期2012年3月9日 优先权日2011年3月10日
发明者A·J·兰格里奇 申请人:微软公司