形状跟踪做手势的制作方法
【专利摘要】用深度相机观察计算机用户的手势。标识计算机用户的跟踪手势，并且基于跟踪手势的形状来选择可在交互界面内执行的动作。
【专利说明】形状跟踪做手势
[0001]背景
[0002]虽然相机技术允许记录人类的图像，但计算机传统上可能无法使用这样的图像来准确地评估人类在图像中如何移动。最近，技术已经进展成使得可在特殊相机以及一个或多个跟踪标签的帮助下解释人类移动的某些方面。例如，可用若干跟踪标签(例如，反向反射器)来仔细地装饰演员，这些跟踪标签可由若干相机从若干不同位置来跟踪。随后可使用三角测量来计算每一反射器的三维位置。因为标签被仔细地放置于演员上，且每一标签与演员身体的对应部位的相对位置是已知的，所以可使用对标签位置的三角测量来推断演员身体的位置。然而，这一技术需要使用特殊反射的标签或其他标记物。
[0003]在科幻电影方面，计算机已经被描绘成足够的智能以在没有反射性标签或其他标记物的帮助下实际查看人类并解释人类的运动和姿势。然而，这样的场景是使用特殊效果创建的:其中演员遵循使得看起来就像该演员正在控制计算机的脚本动作一样的预定移动脚本仔细地表演。演员实际上并未控制计算机，而是试图创建控制的幻象。
[0004]概述
[0005]提供本概述是为了以简化的形式介绍将在以下详细描述中进一步描述的选择的概念。本概述并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。此外，所要求保护的主题不限于解决在本公开的任一部分中所提及的任何或所有缺点的实现。
[0006]用深度相机观察计算机用户的手势。标识计算机用户的跟踪手势，并且基于跟踪手势的形状来选择可在交互界面内执行的动作。根据本发明的一个方面，这个类型的形状跟踪做手势被用于在符咒施放(spell-casting)游戏界面内选择并施放符咒。
[0007]附图简述
[0008]图1示出了根据本发明的一实施例的正在玩符咒施放游戏的游戏玩家。
[0009]图2示出了根据本发明的一实施例的示例骨架模型流水线。
[0010]图3示出了根据本发明的一实施例的示例两阶段符咒施放方法。
[0011]图4A示出了示例的准备完毕姿势的骨架。
[0012]图4B示出了指示符咒施放游戏模式的交互界面。
[0013]图5A示出了执行示例符咒选择手势的骨架。
[0014]图5B示出了指示符咒选择的交互界面。
[0015]图6A示出了执行示例符咒选择手势的骨架。
[0016]图6B示出了指示符咒选择的交互界面。
[0017]图7A示出了执行示例符咒选择手势的骨架。
[0018]图7B示出了指示符咒选择的交互界面。
[0019]图8A示出了执行示例符咒选择手势的骨架。
[0020]图SB示出了指示符咒选择的交互界面。
[0021]图9示出了根据本发明的一实施例的示例一阶段符咒施放的方法。
[0022]图10示出了执行跟踪手势的骨架。[0023]图11示出了各种可跟踪形状。
[0024]图12示出了根据本发明的一实施例的示例符咒瞄准方法。
[0025]图13A示出了根据本发明的一实施例的执行示例的单手的符咒投掷手势的骨架。
[0026]图13B示出了当单手的符咒投掷手势执行时的示例交互界面。
[0027]图14A示出了根据本发明的一实施例的执行示例的双手的触摸后符咒投掷手势的骨架。
[0028]图14B示出了当双手的触摸后符咒投掷手势执行时的示例交互界面。
[0029]图15A是示出玩家人物向游戏中对手施放火球符咒的示例交互界面。
[0030]图15B示意性地示出图15A的火球符咒的未辅助瞄准分析。
[0031]图16A是示出玩家人物向游戏中对手施放火球符咒的示例交互界面。
[0032]图16B示意性地示出图16A的火球符咒的辅助瞄准分析。
[0033]图17A是示出玩家人物向游戏中对手施放火球符咒的示例交互界面。
[0034]图17B示意性地示出图17A的火球符咒的辅助瞄准分析。
[0035]图17C是示出玩家人物将图17A的火球符咒触摸后重新指向游戏中另一个对手的示例交互界面。
[0036]图17D示意性地示出图17C的触摸后重新指向的辅助瞄准分析。
[0037]图18示意性地示出根据本公开的一实施例的计算系统。
【具体实施方式】
[0038]诸如3D视觉计算系统等深度图像分析系统可包括能够观察一个或多个游戏玩家或其他计算机用户的深度相机。在深度相机捕捉所观察的场景内的游戏玩家或其他计算机用户的图像时，那些图像可被解释并用一个或多个虚拟骨架来建模。经建模的骨架的各个方面可用作到交互用户界面的输入命令。例如，幻想主题的、符咒施放游戏可将游戏玩家的物理移动解释为在游戏中选择、瞄准，和施放特定符咒的命令。
[0039]图1示出了娱乐系统10的非限制性示例。具体而言，图1展示了一种游戏系统12，该系统被用于玩各种不同的游戏，播放一种或多种不同的媒体类型和/或控制或操纵非游戏应用和/或操作系统。图1还展示了诸如电视或计算机监视器之类的显示设备14，所述设备可以被用于向游戏玩家呈现游戏视觉。作为一个示例，显示设备14可被用来视觉地呈现游戏玩家18用他的移动来控制的游戏中玩家人物的手16。娱乐系统10可包括捕捉设备，诸如在视觉上监视或跟踪所观察的场景24内的游戏玩家18的深度相机22。参考图18更详细地讨论深度相机22。
[0040]游戏玩家18由深度相机22来跟踪，使得游戏玩家18的移动可被游戏系统12解释成可用于影响游戏系统12正在执行的游戏的控制。换言之，游戏玩家18可使用他的或她的物理移动来控制游戏，而无需常规的手持游戏控制器或其它手持位置跟踪器。例如，在图1中，游戏玩家18在执行符咒投掷手势以向游戏敌人施放火球符咒。游戏玩家18的移动可以被解释成实际上任何类型的游戏控制。游戏玩家18的一些移动可被解释为玩家人物控制，以控制游戏玩家在游戏中玩家人物的动作。游戏玩家18的一些移动可被解释为服务于控制游戏中玩家人物以外的目的的控制。作为非限制性示例，游戏玩家18的移动可被解释为游戏管理控制，诸如选择人物、暂停游戏，或保存游戏进度的控制。[0041]深度相机22还可用于将目标移动解释成游戏领域之外的操作系统和/或应用控制。事实上，操作系统和/或应用的任何可控方面都可以由游戏玩家18的移动来控制。图1中所示出的场景是作为示例来提供的，但并不意味着以任何方式进行限制。相反，所示出的场景旨在展示可以在不背离本公开的范围的情况下应用于各种各样不同的应用的一般概念。因此，可以理解，虽然控制计算机的人被称为游戏玩家，但本发明应用到非游戏应用，而虽然系统被称为娱乐系统，但系统可被用于非娱乐目的。
[0042]图2示出了简化的处理流水线26，其中所观察的场景24中的游戏玩家18被建模成虚拟骨架36，该虚拟骨架36可以充当用于控制游戏、应用和/或操作系统的各个方面的控制输入。图2示出了处理流水线26的四个阶段:图像收集28、深度映射30、骨架建模34、以及游戏输出38。为了便于理解，处理流水线的每个阶段示出了深度相机22相对于游戏玩家18的朝向。可以理解，与图2中所描绘的那些步骤相比，处理流水线可包括附加的步骤和/或替代步骤，而不背离本发明的范围。
[0043]在图像收集28期间，游戏玩家18和所观察的场景24的其余部分可被深度相机22成像。具体而言，深度相机被用于观察游戏玩家的手势。在图像收集28期间，深度相机可以，为每个像素，确定所观测场景中的表面相对于深度相机的深度。可以使用基本上任何深度寻找技术而不背离本公开的范围。参考图18更详细地讨论了示例深度寻找技术。
[0044]在深度映射30期间，为每个像素确定的深度信息可用于生成深度映射32。这样的深度映射可采用基本上任何合适的数据结构的形式，包括但不限于包括所观察场景的每个像素的深度值的矩阵。在图2中，深度映射32被示意性地示为游戏玩家18的轮廓的像素化网格。这一例示是出于理解简明的目的、而不是出于技术精确性的目的。能够理解，深度映射一般包括所有像素的深度信息，而不仅仅是对游戏玩家18成像的那些像素。深度映射可以由深度相机或游戏系统来执行，或者深度相机和游戏系统可以协作来执行深度映射。
[0045]在骨架建模34期间，从深度相机获得包括计算机用户(例如游戏玩家18)的世界空间场景的一个或多个深度图像(例如深度映射32)。虚拟骨架36可从深度映射32导出以提供游戏玩家18的机器可读表示。换言之，从深度映射32导出虚拟骨架36以对游戏玩家18建模。虚拟骨架36可以按任何合适的方式从深度图中导出。在某些实施例中，可将一个或多个骨架拟合算法应用于深度图。例如，先前训练的模型集合可被用于将来自深度图的每个像素标记为属于特定的身体部位；并且虚拟骨架36可以被拟合到所标记的身体部位。本发明与基本上任何骨架建模技术兼容。
[0046]虚拟骨架提供了深度相机22所观察的游戏玩家18的机器可读表示。虚拟骨架36可包括多个关节，每个关节都对应于游戏玩家的一部分。根据本发明的虚拟骨架可包括基本上任何数量的关节，每个关节都可与基本上任何数量的参数(例如三维关节位置、关节旋转、对应身体部位的身体姿势(例如手张开、手合上等)等)相关联。应当理解，虚拟骨架可采取如下数据结构的形式:该数据结构包括多个骨架关节中的每个关节的一个或多个参数(例如包含每个关节的X位置、y位置、z位置和每个关节的旋转的矩阵)。在一些实施例中，可使用其他类型的虚拟骨架(例如线框、一组形状图元等等)。
[0047]骨架建模可以由游戏系统来执行。在一些实施例中，游戏系统可以包括可由多种不同应用使用的专用骨架建模器。通过这种方式，每个应用都不必独立地将深度映射解释成机器可读骨架。相反，各个应用可以以预期数据格式从专用骨架建模器(例如通过应用编程接口或API)接收虚拟骨架。在一些实施例中，专用骨架建模器可以是可通过网络访问的远程建模器。在一些实施例中，应用自己可以执行骨架建模。
[0048]在游戏输出38期间，通过虚拟骨架36识别的游戏玩家18的物理移动被用来控制游戏、应用，或操作系统的各方面。在所示的场景中，游戏玩家18正在玩幻想主题的游戏并且已经执行了符咒投掷手势。游戏通过分析虚拟骨架36识别了该手势，并且显示投掷火球40的玩家人物的手16的图像。在一些实施例中，应用可利用各种图形硬件和/或图形软件来呈现交互界面(例如，符咒施放游戏)以显示在显示设备上。
[0049]一些应用可包括两个或更多不同操作模式。例如，符咒施放游戏可具有游戏内的玩家人物能够施放符咒的一个或多个符咒施放模式，和/或玩家人物不施放符咒的其它方式。现实世界中的游戏玩家的手势可被用来进入符咒施放模式、选择要施放的符咒、瞄准符咒，并施放符咒。
[0050]图3示出了在符咒施放游戏内，进入符咒施放模式、选择符咒，并施放符咒的示例方法42。方法42可通过例如，执行在游戏系统12上的符咒施放游戏来执行。
[0051]在44，方法42包括确认游戏玩家的准备完毕姿势。在一些实施例中，游戏玩家可通过深度相机被观察并用虚拟骨架来建模，如上面描述的。取决于逐帧的相关关节位置和关节移动，虚拟骨架的一个或多个关节的位置可被翻译/解释为准备完毕姿势或者在此描述的任意其它手势。作为非限制性示例，图4A示出了示例准备完毕姿势中的虚拟骨架36。在示出的实施例中，准备完毕姿势由位于腰部水平附近的在躯干前面的左手关节和右手关节来表征。
[0052]图4B示出了向游戏玩家提供符咒施放模式已经通过准备完毕手势来启动的虚拟反馈的游戏界面46。具体而言，游戏系统正在输出符咒准备完毕画面48，向游戏玩家显示该画面以视觉地指示符咒施放游戏模式的激活。
[0053]返回图3，在50，方法42包括将虚拟骨架的第一手势标识为多个不同的可能的符咒选择手势之一。每个不同的符咒选择手势可由虚拟骨架的不同姿势和/或移动来表征。基于逐帧的一个或多个骨架关节相对于一个或多个其它骨架关节的位置，符咒施放游戏可识别各种符咒选择手势。
[0054]作为非限制性示例，图5A示出了符咒选择手势52，由从位于躯干前腰部水平的准备完毕姿势开始移动的左手关节和右手关节来表征。作为另一个非限制性示例，图6A示出了符咒选择手势54，由从准备完毕姿势开始通过左肘关节和右肘关节伸直而扩展分开的左手关节和右手关节来表征。作为另一个非限制性示例，图7A示出了符咒选择手势56，由位于躯干前腰部水平的彼此圆圈移动的左手关节和右手关节来表征。作为另一个非限制性示例，图8A示出了符咒选择手势58，由位于躯干前腰部水平的上下反向移动的左手关节和右手关节来表征。
[0055]每个不同的符咒选择手势可与符咒施放游戏内玩家人物的可施放的不同的符咒相关联。因此，游戏玩家可物理地执行符咒选择手势以准备与那个符咒选择手势相关联的特定符咒。
[0056]游戏系统可输出符咒选择画面以显示给游戏玩家以视觉地指示不同符咒的哪个准备好施放。作为非限制性示例，图5B示出了指示火球符咒准备施放的符咒选择画面60 ；图6B示出了指示闪电符咒准备施放的符咒选择画面62 ;图7B示出了指示刀阵符咒准备施放的符咒选择画面64 ;而图SB示出了指示地震符咒准备施放的符咒选择画面66。
[0057]—旦标识了符咒选择手势，符咒可准备施放。在一些实施例中，除非在符咒选择手势之前知晓准备完毕姿势，符咒不被准备施放。在这样的实施例中，准备完毕姿势可被用来将游戏设置为合适的符咒施放模式。在其它实施例中，即使游戏不是在专门的符咒施放模式中，符咒也可被施放，而准备完毕姿势不被用于将游戏设置在专门的符咒施放模式。
[0058]回到图3，在68，方法42包括将虚拟骨架的第二手势标识为符咒施放手势。各种符咒施放手势，包括单手的和双手的符咒施放手势，在本发明的范围内。以下结合图12 -17更详细地描述符咒施放手势的各非限制性示例。12-17.[0059]在图3的70，方法42包括在符咒施放游戏内施放与前面所标识的符咒选择手势相关联的符咒，即，当前准备完毕的符咒。根据方法42，相同的符咒施放手势引起与多个不同符咒选择手势相关联的每个不同符咒的施放。换言之，游戏玩家物理地执行不同手势来选择不同符咒，但是这些不同符咒的每一个是通过执行相同符咒施放手势来施放的。此外，如以下结合各种符咒施放手势，例如图13A的单手符咒施放手势和图14A的双手符咒施放手势，来描述的那样，用不同手势选择的不同符咒可被瞄准、重新指向、扩充，或以其他方式控制。
[0060]此外，在一些实施例中，符咒选择手势可用可辨别量级来执行。例如，用户移动他的手的速度、用户移动他的手的距离，和/或相同符咒选择手势的其它变体可被用来以对应的量级准备符咒。使用图8A的示例，如果用户相对慢地上下移动他的手几英寸，可准备相对小的量级的地震符咒。另一方面，如果用户相对快速上下移动他的手大于一英尺，可准备相对大的量级的相同的地震符咒。在施放时，所选择的符咒可用与用于准备该符咒的符咒选择手势的量级成比例的量级来分解。例如，以小量级手势准备的地震符咒相比于以大量级手势准备的地震符咒给对手带来较小的破坏。在一些实施例中，符咒选择手势的量级可被用来选择不同符咒和/或相同符咒的不同变体。
[0061]如上面描述的，方法42是两步施放技术，其中使用一个手势来选择符咒并使用另一个手势来触发符咒。图9示出了使用一步施放技术的方法72，其中与选择符咒相同的手势也被用于施放该符咒。方法72可通过，例如，执行在图1的游戏系统12上的符咒施放游戏来执行。
[0062]在74，方法72包括将游戏玩家的跟踪手势标识为多个不同符咒选择手势之一。在一些实施例中，游戏玩家可通过深度相机被观察并用虚拟骨架来建模，如上面描述的。虚拟骨架的一个或多个关节的位置和/或移动可被翻译/解释为跟踪手势。如同上面描述的手势选择手势，跟踪手势是多个不同的可识别跟踪手势之一。每个不同的可识别跟踪手势与符咒施放游戏内可施放的不同的符咒相关联。因此，通过执行特定跟踪手势，游戏玩家可使得游戏中的他正在控制的玩家人物施放与那个特定跟踪手势相关联的特定符咒。
[0063]在76，方法72可选地包括在跟踪手势开始时，标识预定的准备完毕姿势中的左手关节的位置和/或右手关节的位置。可使用各种准备完毕姿势而不背离本发明的范围。作为非限制性示例，图10示出了由高于游戏玩家头部的左手和右手一起保持所表征的准备完毕姿势78。换言之，左手关节和右手关节相互之间在阈值距离内(例如，小于或等于六英寸)，位于比虚拟骨架的头部关节相对更高的位置。该示例不是限制性的，可使用其它准备完毕姿势而不背离本发明的范围。[0064]准备完毕姿势可被用来将游戏设置为合适的符咒施放模式。此外，不同的准备完毕姿势可被用来将游戏设置在不同的符咒施放模式。例如，图4中所示的准备完毕姿势可被用来将游戏设置在参考图3描述的两阶段符咒施放模式，而图10中所示的准备完毕姿势可被用来将游戏设置在参考图9描述的一阶段符咒施放模式。
[0065]在图9的80，方法72可任选地包括标识二维跟踪形状，该二维形状是虚拟骨架的左手关节的路径和/或虚拟骨架的右手关节的路径在跟踪平面上的二维投影。例如，图10示出了跟踪三维空间中的形状的左手关节和右手关节。手关节的非平面路径被投影到跟踪平面，该跟踪平面垂直于对游戏玩家成像的深度相机的光学轴线。投影到跟踪平面上的二维投影82的形状指示要被施放的符咒。
[0066]在图10中所示的情形中，二维投影82是正方形。图11示出了可通过不同跟踪手势形成的其它二维投影的非限制性示例。具体而言，图11示出了倒三角84、三角形86、心形88、圆形90，和无穷大符号92。每个形状可对应于多个不同的符咒之一。作为非限制性示例，倒三角84可对应于盾牌符咒、三角形86可对应于远距离传输符咒、心形88可对应于治愈符咒、圆形90可对应于放慢时间符咒，而无穷大符号92可对应于光符咒。
[0067]在94，方法72可选地包括在跟踪手势结束时，标识在预定的结束位置中的左手关节的位置和/或右手关节的位置。这样的结束位置可以仅仅由左手相比于右手的相对位置来表征，或者结束位置也可以由手关节相比于其它骨架关节的相对位置来表征。在一些实施例中，在手回到一起(即，相互之间的阈值距离内)时，手势的结束被识别。在一些实施例中，在手移动到游戏玩家躯干前的预定空间内时，手势的结束被识别。在时间t3，图10示出了左手关节和右手关节在躯干前的结束位置96中回到一起，这样发出跟踪手势结束的信号。
[0068]回到图9，在98，方法72包括在符咒施放游戏内施放与所标识的跟踪手势相关联的符咒。不像上面结合图3所描述的两阶段施放，这个一阶段施放响应于标识跟踪手势的结束而执行，无需后续的符咒施放手势来触发所选符咒的释放。换言之，根据方法72，相同的跟踪手势可被用于选择和施放符咒两者。
[0069]在相同游戏中提供一阶段施放和两阶段施放允许丰富的，高交互的施放体验。一阶段施放可被用于没有瞄准特定目标(例如，游戏中敌人)的符咒——例如，将玩家人物从一个位置远距离传输到另一个的符咒、治疗玩家人物的符咒、放慢时间的符咒，和/或建起防护盾牌的符咒。换言之，两阶段施放可被用于瞄准特定目标的符咒——例如，瞄准敌人的火球符咒、瞄准被锁了的门的开门符咒，和/或瞄准玩家人物的朋友的加强符咒。
[0070]图12示出了在符咒施放游戏内施放符咒的示例方法100。方法100可对应于上面描述的两阶段施放方法的第二阶段。换言之，方法100可在另一个手势已经被识别为选择多个不同的可能的用于施放的符咒之一之后来使用。可替换地，方法100可被独立于符咒选择手势来使用，即，施放默认符咒或者无需用户干预自动选择的符咒。方法100可通过，例如，执行在图1的游戏系统12上的符咒施放游戏来执行。
[0071]在102，方法100包括识别虚拟骨架的投掷手势。在一些实施例中，单个类型的投掷手势可被识别，而一些实施例则允许两个或多个不同类型的投掷手势。
[0072]作为非限制性示例，单手的过肩投掷手势(图13A和13B)可以是一种类型的投掷手势，而双手的推动投掷手势(图14A和14B)可以是另一种类型的投掷手势。[0073]图13A示出了骨架36从时间t0处的准备完毕手势移动到时间h处的手合拢手势以选择火球符咒，如图13B的时间^处所示。在时间丨2处，骨架36将右手关节好像准备好投掷标枪那样向后竖起。在时间t3处，骨架36将右手关节好像投掷标枪那样向前移动。如图13B时间t3处所指示的，该投掷动作可被解释为触发手势，并且响应于该手势，火球符咒可被施放。
[0074]图14A示出了骨架36从时间t0处的准备完毕手势移动到时间h处的手合拢手势以选择火球符咒，如图14B的时间h处所示。在时间t2处，骨架36好像从胸部扔出篮球那样，将右手关节和左手关节两者从后向前推送。如图14B时间t2处所指示的，该投掷动作可被解释为触发手势，并且响应于该手势，火球符咒可被施放。在时间t3处，骨架36好像将对象推到旁边那样将手移动到右边。如图14B时间t3处所指示的，该重新指向动作可被解释为触摸后手势，并且响应于该手势，火球符咒可被重新导向。
[0075]当使用两个或更多投掷手势时，不同手势可产生相同的游戏内动作，或不同手势可产生不同游戏内动作。例如，如果投掷手势是单手投掷手势第一符咒可被分解，而如果投掷手势是双手投掷手势，不同于第一符咒的第二符咒可被分解。
[0076]在104，方法100包括在投掷手势期间跟踪虚拟骨架的左手关节的路径和/或虚拟骨架的右手关节的路径。一般而言，为单手投掷手势跟踪一只手的路径，而为双手投掷手势跟踪双手的路径。在一些实施例中，可为双手手势跟踪左手和右手的平均位置。如在此使用的，“路径”是用来指在不同时间观察的两个或多个点。在一些实施例中，路径包括来自投掷手势的全部帧的点，而在一些实施例中，仅考虑来自所选帧的点。
[0077]在106，方法100包括在投掷手势期间，从左手关节的路径和/或右手关节的路径计算初始瞄准向量。在一些实施例中，向量可被适合到手势路径的各种点。作为非限制性示例，向量可被调整方向以将在用向量调整方向的线和组成路径的两点或更多点之间的距离的平方的和最小化。向量的原点可以被放置在各种位置而不偏离本发明的范围。在一些实施例中，向量的原点可被放在对应于玩家人物的位置的游戏空间位置。一般而言，向量的量级可以是无关的，但是当`需要的时候，量级可根据投掷手势的速度来设置。
[0078]在108，方法100包括施放符咒。在110，施放符咒可任选地包括沿着初始瞄准向量引导符咒。换言之，符咒可被瞄准而无需任何瞄准辅助和/或玩家意图分析。例如，图15A示出了游戏界面114，其中两个邪恶的巫师正在袭击由游戏玩家控制的玩家人物。图15B示意性地示出了对应于第一个邪恶巫师的位置的靶心116和对应于第二个邪恶巫师的位置的靶心118.图15B还示出了与瞄准向量对齐的瞄准点120。在此情形中，瞄准点不击中靶心，且没有瞄准辅助，因此玩家人物的火球施放并没击中这两个邪恶巫师。
[0079]回到图12，在112，施放符咒可包括将符咒导向初始瞄准向量的阈值距离内的主要目标。换言之，如果瞄准向量指向游戏目标的阈值距离内，游戏可辅助将该符咒瞄准以击中目标。例如，图16A示出了相同的游戏界面114，有两个邪恶巫师袭击玩家人物，图16B示例地示出了靶心116和靶心118。然而图16B还指示了靶心116的阈值距离内的扩展的目标122和靶心118的阈值距离内的扩展的目标124。在此情形中，瞄准点120没有击中靶心，但是它在扩展目标122内。因此，瞄准辅助将火球符咒施放向邪恶巫师。换言之，游戏玩家的不精确由游戏自动校正。本质上，游戏估计游戏玩家的意向目标并辅助游戏玩家击中目标。[0080]在一些实施例中，如果初始瞄准向量在主要目标的相对较短的阈值距离内，符咒可用相对更大的量级来分解，而如果初始瞄准向量在主要目标的相对较长的阈值距离内，符咒可用相对更小的量级来分解。换言之，相比于瞄准向量没有击中靶心但是击中扩展目标，如果瞄准向量击中靶心，符咒将有更大效果。如果瞄准向量错过扩展目标，符咒将以零量级分解。
[0081]靶心以及扩展目标的大小和形状可被设置以改变游戏的难度和/或技能强度。此夕卜，当上面讨论了单个扩展目标时，可以理解，可使用多个扩展目标，每个导致不同量级。在一些实施例中，符咒的量级可被作为瞄准点到靶心或其它目标的距离的线性或非线性函数来计算。当上面讨论了扩展瞄准点的上下文时，通过增大瞄准点的大小可获得相同效果。
[0082]回到图12，在126，方法100包括识别虚拟骨架的触摸后手势。就像最初投掷手势一样，触摸后手势可以是单手或双手的。触摸后手势可被用来将符咒从初始迹线重新导向。例如，在第一对手已经被击中之后，触摸后手势可被用来使用火球符咒击中第二对手。作为另一个示例，在最初的失手之后，触摸后手势可被用来使用符咒击中对手。作为另一个示例，触摸后手势可被用于将符咒沿着非直接路径移动到目标，以避免障碍物阻碍了直接的射击。
[0083]回到图14A，在时间t3，通过双臂从双手投掷位置伸出，骨架正将左手关节和右手关节移到一边。这样的触摸后手势可被用来将符咒从左边重新定向到右边，如图14B所示的交互界面所示。
[0084]在图12的128，方法100可包括在触摸后手势期间跟踪虚拟骨架的左手关节的路径和/或虚拟骨架的右手关节的路径。在130，方法100可包括在触摸后手势期间，从左手关节的路径和/或右手关节的路径中计算符咒施放游戏内的触摸后瞄准向量。如上面参考投掷手势所讨论的，路径可以是从一个或多个骨架关节中获取的两个或多个点。此外，瞄准向量可以基于路径以任何合适的方式计算。在一个示例中，三维路径可被投影到触摸后平面上，瞄准向量可适合到投影。在132，符咒可根据触摸后瞄准向量来重新指向，可以有或者没有瞄准辅助。
[0085]图17A-17D示出了示例的触摸后情形和实现。具体而言，图17A示出了游戏界面114，其中两个邪恶巫师正在袭击游戏玩家控制的玩家人物，而图17B示意性示出了以一个巫师为目标并击中该巫师的瞄准点120 (有辅助瞄准)。在此情形中，游戏玩家执行符咒投掷手势以将准备好的符咒施放向左边的邪恶巫师，而符咒通过击中和使得邪恶巫师消失而分解。图17D示出了从一个或多个骨架关节的路径——例如，图14A中时间t2到t3的右手关节和左手关节的路径中，计算的触摸后瞄准向量。如图17C所示，响应于游戏玩家的触摸后手势，火球符咒重新指向朝着右边的邪恶巫师。
[0086]在一些情形中，符咒可从获取自初始瞄准向量的开始位置，沿着触摸后瞄准向量重新指向，无需瞄准辅助。在一些情形中，符咒可重新指向到触摸后瞄准向量的阈值距离内的次要目标。例如，图17D示出了围绕瞄准向量136的楔形134。在一些实施例中，如果目标在楔形内，触摸后手势将导致击中。在其它实施例中，瞄准向量必须与靶心相交以导致击中。
[0087]符咒所被分解的量级可依赖于触摸后手势的精确性。例如，如果触摸后瞄准向量在目标的相对更短的阈值距离内，符咒可用相对更大的量级分解，或者如果触摸后瞄准向量在目标的相对更长的阈值距离内，符咒可用相对更小的量级分解。在一些实施例中，触摸后效果的量级可被作为瞄准向量到靶心或其它目标的距离的线性或非线性函数来计算。
[0088]可以理解，上面结合投掷手势和触摸后手势提供的辅助瞄准示例是非限制性的。在其它实施例中，可实现其它机制以向游戏玩家提供所需数量的瞄准辅助。
[0089]在一些实施例中，上面描述的基于手势的交互界面控制的一个或多个方面可用声控代替或增强。例如，回到图2，除了视觉地观察和建模游戏玩家之外或作为替代，游戏系统可以声学地观察和建模游戏玩家。具体而言，麦克风可被用来听游戏玩家，并且游戏玩家发出的声音可作为可被游戏系统标识的可听命令。可听命令可以以各种不同形式，包括但不限于，讲出的词、咕哝、击掌、跺脚，和/或实际上任何其它游戏玩家可以发出的声音。
[0090]作为非限制性示例，可听命令可被标识为多个不同符咒选择命令之一，每个符咒选择命令与符咒施放游戏内玩家人物可施放的一个不同的符咒相关联。
[0091]图2示意性地示出在符咒施放游戏在符咒施放模式中时喊叫命令“火球”的游戏玩家18。这样的命令可被用于选择对应的火球符咒，该火球符咒例如可响应于游戏玩家的符咒投掷手势而被施放。在一些实施例中，这样的可听符咒选择可被用来代替手势的符咒选择。如图2示意性示出的，所观察的游戏玩家的声音(如通过麦克风输入)可被分析，以标识所说的命令。作为非限制性示例，语音识别算法可被用来将所说的声音建模为机器可读的词。
[0092]在一些实施例中，可听命令可被用来修改符咒的一方面。作为非限制性示例，符咒的量级可相对于可听命令的被发出的音量被成比例地增加。作为另一个示例，符咒的效果可基于内容、计时，和/或可听命令的被发出的音量来改变。
[0093]当虽然上面描述的示例被提供在符咒施放游戏上下文中时，但可以理解，在此讨论的原理可被应用到其它类型的游戏、应用，和/或操作系统。具体而言，如上面描述的，各种不同交互界面可被控制。上面描述的符咒选择和符咒跟踪手势可被用来选择特定交互界面内可执行的其它动作。在符咒施放游戏领域以外，这样的手势可被称为动作选择手势而不是符咒选择手势和/或跟踪手势。此外，使用动作触发手势(类似于上面描述的符咒触发和符咒投掷手势)，各种动作可被触发。
[0094]在一些实施例中，可将以上所描述的方法和过程捆绑到包括一个或多个计算机的计算系统。具体而言，此处所述的方法和过程可被实现为计算机应用、计算机服务、计算机AP1、计算机库、和/或其他计算机程序产品。
[0095]图18示意性示出了可以执行上述方法和过程之中的一个或多个的非限制性计算系统160。以简化形式示出了计算系统160。应当理解，可使用基本上任何计算机架构而不背离本公开的范围。在不同的实施例中，计算系统160可采取控制台游戏设备、手持游戏设备、移动游戏设备、大型计算机、服务器计算机、桌面计算机、膝上计算机、平板计算机、家庭娱乐计算机、网络计算设备、移动计算设备、移动通信设备等的形式。图1的游戏系统12是计算系统160的非限制性实施例。
[0096]计算系统160可包括逻辑子系统162、数据保持子系统164、显示子系统166、捕捉设备168和/或通信子系统172。计算系统可任选地包括未示出在图18中的组件，并且/或者示出在图18中的某些组件可以是未被集成在计算系统中的外围组件。
[0097]逻辑子系统162可包括被配置为执行一个或多个指令的一个或多个物理设备。例如，逻辑子系统可被配置为执行一个或多个指令，该一个或多个指令是一个或多个应用、月艮务、程序、例程、库、对象、组件、数据结构、或其它逻辑构造的部分。可实现这样的指令以执行任务、实现数据类型、变换一个或多个设备的状态、或以其他方式得到所希望的结果。
[0098]逻辑子系统可包括被配置为执行软件指令的一个或多个处理器。附加地或可替代地，逻辑子系统可以包括被配置为执行硬件或固件指令的一个或多个硬件或固件逻辑机器。逻辑子系统的处理器可以是单核或多核，且在其上执行的程序可被配置为并行或分布式处理。逻辑子系统可以任选地包括遍布两个或更多设备的独立组件，所述设备可远程放置和/或被配置为进行协同处理。该逻辑子系统的一个或多个方面可被虚拟化并由以云计算配置进行配置的可远程访问的联网计算设备执行。
[0099]数据保持子系统164可包括一个或多个物理的、非瞬时的设备，这些设备被配置成保持数据和/或可由该逻辑子系统执行的指令，以实现此处描述的方法和过程。在实现这样的方法和过程时，可以变换数据保持子系统164的状态(例如，以保持不同的数据和/或指令)。
[0100]数据保持子系统164可包括可移动介质和/或内置设备。数据保持子系统164尤其可以包括光学存储器设备(例如，⑶、DVD、HD-DVD、蓝光盘等)、半导体存储器设备(例如，RAM、EPROM、EEPROM等)和/或磁存储器设备(例如，硬盘驱动器、软盘驱动器、磁带驱动器、MRAM等)。数据保持子系统164可包括具有以下特性中的一个或多个特性的设备:易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址、以及内容可寻址。在某些实施例中，可以将逻辑子系统162和数据保持子系统164集成到一个或更多个常见设备中，如专用集成电路或片上系统。
[0101]图18还示出以可移动计算机可读存储介质170形式的数据保持子系统的一方面，可移动计算机可读存储介质可用于存储和/或传输可执行以实现本文描述的方法和过程的数据和/或指令。可移动计算机可读存储介质170尤其是可以采取CD、DVD、HD-DVD、蓝光盘、EEPROM和/或软盘的形式。
[0102]可以明白，数据保持子系统164包括一个或多个物理的、非瞬时的设备。相反，在一些实施例中，本文描述的指令的各方面可以按暂态方式通过不由物理设备在至少有限持续时间期间保持的纯信号(例如电磁信号、光信号等)传播。此外，与本公开有关的数据和/或其他形式的信息可以通过纯信号来传播。
[0103]显示子系统166可用于呈现由数据保持子系统164所保持的数据的可视表示。在此处所描述的方法和过程改变由数据保持子系统保持的数据，并由此变换数据保持子系统的状态时，同样可以变换显示子系统166的状态以在视觉上表示底层数据的改变。显示子系统166可以包括使用实际上任何类型的技术的一个或多个显示设备。可将这些显示设备与逻辑子系统162和/或数据保持子系统164 —起组合在共享封装中，或这些显示设备可以是外围显示设备，如图1所示。在一些实施例中，计算系统可包括显示输出(例如，HDMI端口)以向显示设备输出交互界面。
[0104]计算系统160还包括被配置成获得一个或多个目标的深度图像的捕捉设备168。捕捉设备168可被配置成通过任何合适的技术(例如飞行时间、结构化光、立体图像等)捕捉具有深度信息的视频。这样，捕捉设备168可包括深度相机(诸如图1的深度相机22)、摄像机、立体摄像机、和/或其他合适的捕捉设备。在一些实施例中，计算系统可包括外围输入(例如，USB2.0端口)来从捕捉设备接收深度图像。
[0105]在一个实施例中，捕捉设备168可包括立体视觉系统的左和右相机。来自两个相机的时间解析的图像可被相互配准并可被组合来产生深度解析的视频。在其它实施例中，捕捉设备168被配置成将包括多个离散特征(例如，线或点)的结构化红外照明投影到所观察的场景上。捕捉设备168可被配置成对从场景反射的结构化照明进行成像。基于所成像的场景的各个区域内邻近特征之间的间隔，可构造该场景的深度映射。
[0106]在其它实施例中，捕捉设备168可被配置成将脉冲红外照明投影到场景上。一个或多个相机可被配置成对从场景反射的脉冲照明进行检测。例如，两个相机均可包括与脉冲照明同步的电子快门，但用于这两个相机的集成时间可不同，使得脉冲照明的从源到场景再接着到这两个相机的像素解析的飞行时间可从在两个相机的相应的像素中接收到的相对光的量中辨别。
[0107]在某些实施例中，可将两个或更多个不同的相机整合到一个集成捕捉设备中。例如，可将深度相机和摄像机(例如RGB摄像机)整合到共同的捕捉设备中。在某些实施例中，可协同使用两个或更多个分开的捕捉设备。例如，可使用深度相机和分开的摄像机。当使用摄像机时，该摄像机可用于提供目标跟踪数据、对目标跟踪进行纠错的确认数据、图像捕捉、面部识别、对手指(或其他小特征)的高精度跟踪、光感测和/或其他功能。
[0108]应理解可由一个或多个捕捉设备的逻辑机器来执行至少某些深度映射和/或手势识别操作。捕捉设备可以包括被配置成执行一个或多个目标分析和/或跟踪功能的一个或多个板载处理单元。捕捉设备可包括固件以帮助更新这样的板载处理逻辑。
[0109]在一些实施例中，计算系统160可包括通信子系统172。当包括通信子系统172时，通信子系统160可以被配置成将计算系统160与一个或多个其他计算设备可通信地耦合。通信子系统172可包括与一个或多个不同的通信协议兼容的有线和/或无线通信设备。作为非限制性示例，通信子系统可被配置为经由无线电话网、无线局域网、有线局域网、无线广域网、有线广域网等进行通信。在一些实施例中，通信子系统可允许计算系统160经由诸如因特网之类的网络发送消息至其他设备和/或从其他设备接收消息。
[0110]应该理解，此处所述的配置和/或方法在本质上是示例性的，并且这些具体实施例或示例不应被认为是局限性的，因为多个变体是可能的。此处所述的具体例程或方法可表示任何数量的处理策略中的一个或多个。由此，所示出的各个动作可以按所示次序执行、按其他次序执行、并行地执行、或者在某些情况下被省略。同样，可以改变上述过程的次序。
[0111]本公开的主题包括各种过程、系统和配置、此处所公开的其他特征、功能、动作、和/或特性、以及其任何和全部等效物的所有新颖和非显而易见的组合和子组合。
【权利要求】
1.一种保持指令的数据保持子系统，所述指令可由逻辑子系统执行以: 呈现符咒施放游戏以在显示设备上显示； 接收包括多个关节的虚拟骨架，所述虚拟骨架提供对通过深度相机观测的游戏玩家的机器可读表示；以及 将虚拟骨架的跟踪手势标识为多个不同符咒选择手势之一。
2.如权利要求1所述的数据保持子系统，其特征在于，所述跟踪手势是多个不同的能够识别的跟踪手势之一，所述不同的能够识别的跟踪手势的每一个与由所述游戏玩家的手势所控制的玩家人物在所述符咒施放游戏内能够施放的一个不同符咒相关联。
3.如权利要求1所述的数据保持子系统，其特征在于，标识所述跟踪手势包括标识二维跟踪形状，所述二维跟踪形状是虚拟骨架的左手关节的路径和/或虚拟骨架的右手关节的路径在跟踪平面上的二维投影。
4.如权利要求3所述的数据保持子系统，其特征在于，标识所述跟踪手势包括在所述跟踪手势开始时标识预定的准备完毕姿势中的左手关节的位置和/或右手关节的位置。
5.如权利要求3所述的数据保持子系统，其特征在于，标识所述跟踪手势包括在所述跟踪手势结束时标识预定的结束位置中的左手关节的位置和/或右手关节的位置。
6.如权利要求5所述的数据保持子系统，其特征在于，还保持可由逻辑子系统执行以执行以下操作的指令: 在所述符咒施放游戏中，响应于标识所述预定的结束位置中的右手关节的位置和/或左手关节的位置，施放与所述跟踪手势相关联的符咒。
7.一种用于在计算系统上执行符咒施放游戏的方法，所述方法包括: 用深度相机观察游戏玩家的双手手势； 将所述游戏玩家的双手跟踪手势表示为多个不同的能够识别的双手跟踪手势之一，所述不同的能够识别的双手跟踪手势的每一个与由所述游戏玩家的手势所控制的玩家人物在所述符咒施放游戏内能够施放的不同符咒相关联； 在所述符咒施放游戏中，响应于标识所述双手跟踪手势的结论，施放与所标识的跟踪手势相关联的符咒。
8.如权利要求7所述的方法，其特征在于，标识所述双手跟踪手势包括标识二维跟踪形状，所述二维跟踪形状是所述游戏玩家的左手的路径和所述游戏玩家的右手的路径在跟踪平面上的二维投影。
9.如权利要求7所述的方法，其特征在于，标识所述双手跟踪手势包括，在所述跟踪手势开始时，一起标识在预定的准备完毕姿势中所述游戏玩家的左手的位置和所述游戏玩家的右手的位置。
10.如权利要求7所述的方法，其特征在于，标识所述双手跟踪手势包括，在所述跟踪手势结束时，一起标识回到预定的结束位置的所述游戏玩家的左手的位置和所述游戏玩家的右手的位置。
【文档编号】G06T7/20GK103608073SQ201280026678
【公开日】2014年2月26日 申请日期:2012年5月27日 优先权日:2011年5月31日
【发明者】A·J·兰格里奇, G·卡尔 申请人:微软公司