对分开的计算机游戏元素的控制的制作方法
【专利摘要】描述了对分开的计算机游戏元素的控制。在一个示例中，计算机游戏系统向用户显示计算机游戏，计算机游戏包括至少一个化身和环境。手动输入命令是从用户所操作的用手操作的控制器接收的，并且用于在计算机游戏中控制化身的显示。还与手动输入基本上同时地接收来自图像捕捉设备的描绘用户的图像流。将入口（该入口与化身分开）显示在计算机游戏显示的区域中，入口向用户示出接收到的图像流。分析用户的图像流并且识别用户所执行的姿势。所识别的姿势用于控制所显示的、入口与环境之间的交互。
【专利说明】对分开的计算机游戏元素的控制
【背景技术】
[0001]现有视频和计算机游戏控制系统使用手持式控制器，这些手持式控制器包括按钮和操纵杆以使玩家能够控制游戏显示所示出的化身或其他对象。这些类型的手持式控制器的设计寻求按稳健、易于使用且直观的方式来启用对玩游戏的细粒度控制。
[0002]最近，一些计算机游戏控制系统使用语音识别技术和姿势识别来使玩家能够控制游戏界面。在这一情况下，游戏玩家没有手持式控制器并且能够按直接的方式与游戏进行交互，而不受诸如手持式控制器等物理用户输入设备的约束。
[0003]以下描述的各实施例不限于解决已知游戏控制系统的缺点中的任一个或全部的实现。
【发明内容】
[0004]下面呈现了本发明的简要概述，以便向读者提供基本理解。本
【发明内容】
不是本公开的穷尽概览，并且不标识本发明的关键/重要元素或描述本说明书的范围。其唯一的目的是以简化形式呈现此处所公开的精选概念，作为稍后呈现的更详细的描述的序言。
[0005]描述了对分开的计算机游戏元素的控制。在一个示例中，计算机游戏系统向用户显示计算机游戏，计算机游戏包括至少一个化身和环境。手动输入命令是从用户所操作的用手操作的控制器接收的，并且用于在计算机游戏中控制化身的显示。还与手动输入基本上同时地从图像捕捉设备接收描绘用户的图像流。将入口(该入口与化身分开)显示在计算机游戏显示的区域中，入口向用户示出接收到的图像流。分析用户的图像流并且识别用户所执行的姿势。所识别的姿势用于控制所显示的、入口与环境之间的交互。
[0006]通过结合附图参考以下详细描述，可更易于领会并更好地理解许多附带特征。
【专利附图】
【附图说明】
[0007]根据附图阅读以下详细描述，将更好地理解本发明，在附图中:
[0008]图1是持有游戏控制器并在具有深度相机的游戏装置前作姿势的玩家的示意图；
[0009]图2是包括图像捕捉设备、手持式控制器、计算设备以及显示器的游戏系统的示意图；
[0010]图3是手持式控制器的平面图；
[0011]图4是图3的手持式控制器的透视图；
[0012]图5是第一玩游戏期间显示画面的示意图；
[0013]图6是第二玩游戏期间显示画面的示意图；
[0014]图7是游戏系统的操作的方法的流程图；
[0015]图8是姿势识别操作的流程图；以及
[0016]图9示出可在其中实现游戏系统的实施例的示例性的基于计算的设备。
[0017]在各个附图中使用相同的附图标记来指代相同的部件。【具体实施方式】
[0018]下面结合附图提供的详细描述旨在作为本发明示例的描述，并不旨在表示可以构建或使用本发明示例的唯一形式。本描述阐述了本发明示例的功能，以及用于构建和操作本发明示例的步骤的序列。然而，可以通过不同的示例来实现相同或等效功能和序列。
[0019]虽然在本文中将本发明的示例描述并示出为在用于二维横向卷轴游戏平台游戏的游戏系统中实现，但是所描述的系统只是作为示例而非限制来提供的。本领域的技术人员将会明白，本发明示例适合在各种不同类型的游戏系统中的应用。
[0020]首先参考图1，图1示出了用于控制计算机游戏的示例控制系统100。在该示例中，控制系统包括手持式控制器和基于相机的控制系统。通过合并这两种类型的控制，游戏玩家体验到这两种类型的控制系统的益处。如本文描述的，实现合并以便按稳健、易于使用的方式来启用对游戏系统的细粒度控制，这增强了玩家体验。在该说明性示例中，图1示出了用户102在玩二维横向卷轴游戏平台游戏。这类游戏可被清楚地描绘在二维图画中；然而，本文描述的方法还适用于三维游戏、增强现实应用、以及其他类型的游戏。在一些示例中，基于相机的控制系统100尤其可被用于确定身体姿态、绑定、识别、分析、跟踪、关联至人类目标、提供反馈、和/或适应于诸如用户102 (本文也称为玩家)等人类目标的各方面，等等。在该示例中，为简明起见，示出了一个玩家。然而，两个或更多个玩家也可同时使用该控制系统。
[0021]基于相机的控制系统100包括计算设备104。计算设备104可以是通用计算机、游戏系统或控制台、或专用图像处理设备。计算设备104可包括硬件组件和/或软件组件，以使计算设备104可用于执行诸如游戏应用和/或非游戏应用等应用。后文参考图9讨论了计算设备104的结构。
[0022]基于相机的控制系统100进一步包括捕捉设备106。捕捉设备106可以是例如图像传感器或检测器，该图像传感器或检测器可用于在视觉上监视一个或多个用户(诸如用户102)，以使得可以捕捉、分析、处理、及跟踪一个或多个用户所执行的姿势以执行游戏或应用内的一个或多个控制或动作，如将在下面更详细地描述的。
[0023]基于相机的控制系统100可进一步包括连接到计算设备104的显示设备108。该显示设备可以是可向用户102提供游戏或应用视觉(和可任选的音频)的电视机、监视器、高清电视机(HDTV)等。
[0024]在操作中，可以使用捕捉设备106跟踪用户102以使得用户102的位置、移动和大小可以被计算设备104 (和/或捕捉设备106)解释为可用于影响由计算设备104执行的应用的控制。结果，用户102能够移动他或她的身体(或者他或她身体的各部分)以控制所执行的游戏或应用。
[0025]在图1的说明性示例中，计算设备104上执行的应用是用户102正在玩的二维横向卷轴游戏平台游戏。在本示例中，计算设备104控制显示设备108来向用户102提供包括地形、树木以及太阳的地区的视觉表示。计算设备104还控制显示设备108来提供用户102可以用他或她的移动和/或通过使用手持式控制器110来控制的用户化身的视觉表示。例如，计算设备104可包括身体姿态估计器，该估计器被安排为识别并跟踪用户的不同身体部位，并将这些部位映射到化身上。用这种方式，化身复制用户102的移动，以使得如果用户102例如在物理空间中走动，则这会使得该用户化身在游戏空间中走动。[0026]然而，仅在游戏空间中复制用户移动限制了用户和游戏之间的交互的类型和复杂度。例如，许多游戏内控制是瞬间的动作或命令，在传统游戏系统中，这些动作或命令可以使用按钮按下来触发。这些动作或命令的示例包括诸如挥拳、射击、换武器、投掷、踢、跳、和/或下蹲。通过识别出用户正在执行这些动作之一并且触发相应的游戏内动作，而不是仅复制用户的移动，可以控制这些动作或命令。另外，在手持式控制器处的用户输入和经由基于相机的控制系统的用户输入的组合可被用来控制游戏装置。
[0027]现在参考图2，图2示出了可在图1的基于相机的控制系统100中使用的捕捉设备106的示意图。在图2的示例中，捕捉设备106被配置为捕捉具有深度信息的视频图像。这种捕捉设备可被称为深度相机。深度信息可以是包括深度值的深度图像的形式，即深度值是与深度图像的每个图像元素相关联的值，该值和该深度相机与位于该图像元素处的物品或物体之间的距离有关。注意，术语“图像元素”用于指代像素、像素组、体素(voxel)、体素组或图像的其他更高层次的分量。
[0028]深度信息可以使用任何合适的技术获得，包括例如飞行时间、结构化光、立体图像等。在一些示例中，捕捉设备106可将深度信息组织为“Z层”，即可垂直于从深度相机沿其视线延伸的Z轴的层。
[0029]如图2所示，捕捉设备106包括至少一个成像传感器200。在图2所示的示例中，成像传感器200包括被安排为捕捉场景的深度图像的深度相机202。所捕捉的深度图像可包括所捕捉的场景的二维(2-D)区域，其中该2-D区域中的每个图像元素表示一深度值，诸如所捕捉的场景中的物体离深度相机202的长度或距离。
[0030]该捕捉设备还可包括被安排为以可由深度相机202查明深度信息的方式来照亮该场景的发射器204。例如，在深度相机202是红外(IR)飞行时间相机的情况下，发射器204将IR光发射到该场景上，并且深度相机202被安排为检测从该场景中的一个或多个目标和物体的表面反向散射的光。在一些不例中，可以从发射器204发出脉冲红外光,使得外出光脉冲与对应的传入光脉冲之间的时间可由深度相机来检测和测量，并被用来确定从捕捉设备106到该场景中的目标或物体上的位置的物理距离。另外，在一些示例中，可将来自发射器204的出射光波的相位与深度相机202处的入射光波的相位进行比较来确定相移。该相移然后可以用于确定从捕获设备106到目标或物体上的一位置的物理距离。在未来示例中，可使用飞行时间分析，通过经由包括例如快门式光脉冲成像的各种技术来分析反射光束随时间的强度以间接地确定从捕捉设备106到目标或物体上的一位置的物理距离。
[0031]在另一示例中，捕捉设备106可使用结构化光来捕捉深度信息。在这种技术中，可使用发射器204将图案化光(例如，显示为诸如斑点、网格、或条形图案等已知图案的光，它也可随时间变化)投影到场景上。在照到场景中的一个或多个目标或物体的表面上以后，图案变形。这种图案变形可由深度相机202捕捉然后被分析以确定从捕捉设备106到该场景中的目标或物体上的一位置的物理距离。
[0032]在另一示例中，深度相机202可以是从不同角度查看场景的两个或更多个物理上分开的相机的形式，以便获得能被解析以生成深度信息的视觉立体数据。在此情况下，发射器204可被用来照亮场景，或可被省略。
[0033]在一些示例中，作为深度相机202的补充或替换，捕捉设备106可包括被称为RGB相机206的视频相机。RGB相机206被安排为在可见光频率捕捉场景的图像序列，并能因此提供可用于扩充深度图像的图像。在一些示例中，可以使用RGB相机206而不是深度相机202。捕捉设备106还可以可任选地包括话筒207或话筒阵列(其可以是有向的和/或可转向的)，该话筒或话筒阵列被安排为捕捉声音信息(诸如来自该用户的语音输入)并且可以用于语音识别。
[0034]图2中示出的捕捉设备106还包括至少一个处理器208，处理器208与图像传感器200 (S卩，图2的示例中的深度相机202和RGB相机206)、发射器204、和话筒207通信。处理器208可以是通用微处理器、或专用信号/图像处理器。处理器208被安排为执行指令以控制成像传感器200、发射器204和话筒207以捕捉深度图像、RGB图像和/或语音信号。处理器208也可以可任选地被安排为对这些图像和信号执行处理，如后文更详细地概述的。
[0035]图2中示出的捕捉设备106还包括存储器210，存储器210被安排为存储由处理器208执行的指令、深度相机202或RGB相机206捕捉到的图像或图像的帧、或任何其他合适的信息、图像等。在一些示例中，存储器210可包括随机存取存储器(RAM)、只读存储器(ROM),高速缓存、闪存、硬盘、或任何其他合适的存储组件。存储器210可以是与处理器208通信的分开的组件，或者可被集成到处理器208中。
[0036]捕捉设备106还包括与处理器208通信并被安排为经由通信链路向计算设备104提供数据的输出接口 212。该通信链路可以是例如有线连接(诸如USB、火线、以太网或类似连接)和/或无线连接(诸如WiF1、蓝牙?或类似连接)。在其他示例中，输出接口 212可与一个或多个通信网络(诸如因特网)对接并经由这些网络向计算设备104提供数据。
[0037]控制器110也作为基于相机的控制系统的一部分来提供。控制器可以是图1中示意性地描绘的手持式控制器或可以与非手持式的另一较大设备集成在一起。控制器包括多个用户输入设备，如按钮、操纵杆、触摸垫、开关等，并使得玩家能够对游戏系统进行输入。用户输入数据通过有线连接和/或无线连接从控制器发送到计算设备104。
[0038]计算设备104执行与基于相机的姿势识别有关的多个功能，诸如可任选的身体姿态估计器214和姿势识别引擎216。身体姿态估计器214被安排为使用计算机视觉技术来检测和跟踪该用户的不同身体部位。身体姿态估计器的示例在2009年5月20日提交的美国专利公布 US-2010-0278384-A1 “Human body pose estimation (人体姿态估计)”中给出。身体姿态估计器214可向姿势识别引擎提供与用户的身体姿态有关的数据的时间序列形式的输出。这可以是该用户的完全跟踪的骨架模型的形式，或者是该用户的可见身体部位的更粗略标识。例如，这些时间系列序列可包括与用户的至少两个身体部位之间的随时间变化的角度、用户的至少两个身体部位之间的角度的变化率、用户的至少一个身体部位的运动速度、或其组合有关的数据。不同类型的数据(某些身体部位之间的角度、速度等)被称为“特征”。在其他示例中，身体姿态估计器214可从随时间改变的用户姿态推导出其他数据序列(即，其他特征)。在进一步示例中，姿势识别引擎216可利用除身体姿态估计器以外的不同来源推导输入(即，特征)。还可在计算设备104上执行应用软件218并使用所述姿势来控制该应用软件。应用软件被安排成控制游戏在显示器108上的显示。
[0039]图3是示例手持式控制器110的平面图。它一般具有翼形，每一个翼或肩122316的大小和形状被制成适于在一只手中抓握住。该控制器包括支承多个按钮、开关、以及操纵杆的外壳，如现在更详细地描述的。然而，这只是示例并且可以使用其他类型的控制器110。[0040]在该控制器的右面上提供四个数字动作按钮302，包括绿色A按钮、红色B按钮、蓝色X按钮和琥珀色Y按钮。提供两个模拟操纵杆310和312。这些操纵杆也可被按入或点入以激活每一操纵杆下的数字按钮。数字开始306、后退308和导航304按钮处于外壳中央。例如，导航按钮被用来打开控制器并访问菜单。
[0041]图4是控制器的透视图并且示出左缓冲器(left bumper, LB) 406和右缓冲器(right bumper, RB) 404,它们中的每一个是可由用户按下的按钮。左扳机(lefttrigger, LT) 400和右扳机(right trigger, RT) 402 (两者都是模拟的)在控制器的下侧上给出(在图4中可见)。可提供连接408以启用到计算设备104的有线连接。
[0042]现在参考图5,图5示出了在玩游戏期间示例计算机游戏显示画面的示意图。图5中示出的示例计算机游戏能够利用来自手动的手持式控制器(诸如图3和4中的控制器)的输入以及来自相机(诸如捕捉设备106)的基于运动的输入两者。
[0043]图5的示例计算机游戏包括化身508，化身508是用户使用控制器110控制的主要玩游戏元素。化身508位于游戏环境中，该游戏环境包括诸如可旋转平台504等活动玩游戏元素以及诸如树木512和太阳500等背景元素。图5的示例计算机游戏还包括入口 510，入口 510是基于捕捉设备所捕捉的图像流的对用户的表示。这一表示可以是深度图像、RGB图像、或其样式化、经处理的、或彩色版本的形式。因此用户可以看到在入口 510中所表示的他自己或她自己。在某些示例中，入口 510可被表示成电视屏幕，以反映用户正在其上玩游戏的显示设备。
[0044]入口 510担当与化身508分开的辅助的用户控制玩游戏元素，并且由捕捉设备106控制。计算机游戏被配置以使用户可以通过将一个或多个身体部位延伸出入口 510中示出的边界之外来“到达入口之外”。当这被执行时，显示计算机生成的对延伸身体部位的表示，诸如在图5中计算机生成的手506从入口 510的右手侧伸出。计算机生成的对延伸身体部位的表示可用于与诸如可旋转平台504等玩游戏元素进行交互。
[0045]在图5中当玩该示例游戏时，用户的目标是使化身508能够从环境的左侧行进至环境的右侧。用户可以直接使用控制器110来控制化身508例如左移或右移、跳、蹲等。基本上与此同时，用户可以使用捕捉设备106所捕捉的移动来控制入口 510以便促进化身的进展。例如，在图5中示出的游戏的情况下，用户能够从入口 510中伸出手并且向可旋转平台504挥拳以使其旋转，使得化身508可以通过它并且进一步继续该游戏。
[0046]在某些示例中还可以存在进一步的玩游戏元素。例如，图5中示出链条502，并且该链条502可以与入口 510交互。例如，用户可以从入口 510伸出手并抓取该链条，并且将他们的手朝入口 510向后拉以便跨该环境移动入口 510，使得它能够被按需放置以与玩游戏元素交互。在另一示例中，用户可以使用链条502通过以下操作来移动入口 510:伸出手“抓取”该链条，然后当继续伸出手时，沿着该链条以他们想要该入口进行的相反方向滑动他们的手，然后最终(并且可任选地，在交互现在已完成时)将他们的手收回到静止位置。
[0047]图6示出又一示例计算机游戏显示画面的示意图。在该示例中，化身508处于更复杂的环境中，该环境包括多个平台以及其他玩游戏元素，诸如可旋转平台612和可推动块610。在该示例中，用户可以同样使用控制器110来控制化身508的移动。另外，在该示例中，存在多个入口，这些入口最初是隐藏的。在该示例中，这些入口被示为隐藏在礼物(诸如礼物602)内，但可以按任何合适的方式来隐藏它们。用户可以通过执行一姿势来揭示入口。例如，用户可以执行向前挥拳姿势来撕开该礼物并且揭示该入口。这在礼物604的示例中示出，该礼物604已经被部分地撕开以揭示里面的入口。一旦入口(诸如入口 606)已被揭示，用户就可以从其中伸出以与环境中的玩游戏元素进行交互(例如通过旋转可旋转平台612或者滑动可推动块610)，由此促进化身在游戏中的进展。
[0048]在其他示例中，入口 510、606与游戏环境之间的许多其他不同类型的交互是可能的。例如，用户可以从入口伸出以对游戏内元素进行挥拳、拉、推、抓取、激活、扭转或拾取，或执行任何其他合适的动作。
[0049]现在参考图7和8，图7和8示出用经组合的控制器和基于运动的输入来控制游戏的操作的过程的流程图。首先，图7示出游戏操作的总体控制的流程图。图7的过程可以由上述计算设备104来执行。在显示设备108上显示702包括化身和游戏环境的游戏显示画面。
[0050]在计算设备处接收704来自用户所操作的用手操作的控制器的手动输入。基本上与此同时，从捕捉设备106接收706用户的图像流。图像流通过计算设备处理并且用于在游戏显示画面的一部分中显示708入口 510、606。所显示的入口 510、606实时地(至少接近实时地)示出图像流的至少一部分，以使得可以看出用户的移动被反映在入口表示中。计算设备可以处理图像流以便在将它显示在入口中之前进行变色、样式化、裁剪、变换、或将背景从图像流中移除。
[0051]来自捕捉设备的图像流也被处理以识别710玩家的移动。例如，图像流被处理以确定用户是从入口伸出还是向前挥拳以揭示入口，如上文所提及的。该操作在以下参考图8更详细地讨论。移动识别的结果是确定入口与环境之间的交互是否正在发生，并且如果是，则确定是什么类型的交互(挥拳、拉等)。
[0052]计算设备随后基于手动输入来控制化身的显示并且基于所识别的玩家移动来控制所显示的、入口与环境之间的交互。换言之，两个分开的玩游戏实体(化身与入口)被分开地控制；这两者都是由同一用户但使用不同的输入方法(控制器与移动)来控制的。这两个玩游戏元素被一起组合在单个游戏内以提供总体玩游戏体验。
[0053]现在参考图8，图8示出了用于识别针对入口交互的姿势的过程的流程图。图8的过程可在图2的姿势识别引擎216处实现。上文参考图2所讨论的身体姿态估计器214用于跟踪802用户的一个或多个身体部位。身体姿态估计器214包括可以标识各身体部位和关节并且跟踪其位置和/或速度的骨架跟踪器。例如，如上所述，可以跟踪用户的一个或多个手。在其他示例中，可以跟踪不同的身体部位，诸如脚、臂、腿或头部。
[0054]对该身体部位或多个身体部位的跟踪随后用于确定804姿势是否正被执行。这可以用多种方式来执行，取决于游戏中可使用的姿势。例如，在“伸出”姿势的情况下，其中用户用他们的一个或多个手从入口伸出，用户的手的位置可相对于来自捕捉设备的图像的边界而被跟踪。如果用户的手移至图像流的一个边缘的预定距离内，则这触发从入口对应边缘的伸出姿势。在一个示例中，可以确定用户的手是否在距离图像流的该边缘、10%宽或高的边界内，但也可使用其他百分比或绝对值。在又一示例中，可以确定用户的手是否已触摸到或通过图像流的该边缘。在又一些示例中，用户的手的速度可以使用身体姿态估计器来跟踪，并且这可用于检测手的速度(例如，当用户挥拳时)在图像流的这些边缘之一的方向上的变化。[0055]在向前挥拳姿势的情况下(例如，如参考图6所描述的，在被用于揭示入口时)，身体姿态估计器可用于使用深度相机202来跟踪用户的手的深度值。随后可通过确定捕捉设备106与用户的手之间的距离小于预定值来检测该向前挥拳姿势。在替换示例中，可以检测手的深度在预定义时间段内的变化，或可以跟踪手的速度并且检测速度的快速变化。
[0056]在其他示例中，可以通过跟踪一个或多个身体部位在图像流中的位置、深度、和/或速度来检测许多不同类型的姿势。在其他示例中，更高级的处理可应用于所跟踪的各身体部位以检测各姿势，诸如使用机器学习分类器(例如，决策树)。
[0057]如果已确定804在当前时间没有检测到姿势，则显示806入口与游戏环境之间没有交互。入口仍然显示来自图像流的用户的移动，但没有与各游戏元素更宽泛的交互被执行。
[0058]相反，如果已确定804用户执行了姿势，则这指示入口与游戏环境之间的交互可被控制。然而，在显示入口与游戏环境之间的交互之前，可以执行进一步的可选检查以确保意外的或非故意的交互不被触发。
[0059]为执行可选的附加检查，确定用户双手是否都在手持式控制器110上。如果用户双手确实在控制器上，则这指示用户并非旨在执行姿势，而是可能例如通过在使用控制器时到处移动他们的手使得其接近图像流的边缘、或走向捕捉设备而意外地触发了交互。
[0060]在一个示例中，这可通过将用户的图像与示出用户双手握着控制器110的预记录姿态示例810相比较808来确定。如果用户的图像类似于这些预记录姿态示例810中的一个或多个，则这指示用户仍然双手握着控制器。在其他示例中，这可使用身体姿势估计器来确定。例如，可以确定双手彼此是否在预定距离内(指示双手都在控制器上)。还可以将手的位置与诸如用户的躯干等其他身体部位相比较，以指示双手仍然在控制器上。还可以跟踪用户的手的运动，以使得如果用户的手彼此基本同步地移动，则这指示双手都握着共同对象，诸如控制器。
[0061]如果该可选的附加检查确定812双手都握在控制器上，则这指示该姿势触发是非故意的，并且显示806入口与游戏环境之间没有交互。相反，如果可选的检查确定812双手不都在控制器上，则这指示该姿势是有意的。当确定姿势是有意的时，入口被控制以便与游戏环境交互，如上文概述的(例如，通过从入口的侧面或顶部挥拳而出、或揭示入口)。
[0062]图9示出了示例性计算设备104的各种组件，该计算设备可以实现为任何形式的计算设备和/或电子设备，且在该计算设备中可以实现上述游戏控制技术的实施例。
[0063]计算设备104包括一个或多个处理器902，处理器902可以是微处理器、控制器或用于处理计算机可执行指令来控制游戏系统的任何其他合适类型的处理器。在一些示例中，例如在使用片上系统架构的示例中，处理器902可以包括一个或多个固定功能块(亦称加速器)，这些块以硬件(而非软件或固件)来实现游戏控制方法的一部分。
[0064]基于计算的设备104还包括输入接口 904，该输入接口被安排为从一个或多个设备(诸如图2的捕捉设备106和/或图3和图4的控制器)接收输入。输出接口 906也被提供并被安排为向例如与基于计算的设备集成或通信的显示系统(诸如显示设备108)提供输出。显示系统可提供图形用户界面，或任何合适类型的其他用户界面，但这不是必需的。可以可任选地提供通信接口 908，该通信接口可被安排为与一个或多个通信网络(例如，因特网)进行通信。[0065]可以使用可由基于计算的设备104访问的任何计算机可读介质来提供计算机可执行指令。计算机可读介质可以包括例如诸如存储器910等计算机存储介质和通信介质。诸如存储器910等计算机存储介质包括以用于存储如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括但不限于，RAM、ROM、EPROM、EEPR0M、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光存储、磁带盒、磁带、磁盘存储或其他磁存储设备，或者可用于存储信息以供计算设备访问的任何其他非传输介质。相反，通信介质可以以诸如载波或其他传输机制等已调制数据信号来体现计算机可读指令、数据结构、程序模块或者其他数据。如本文所定义的，计算机存储介质不包括通信介质。因此，计算机存储介质不应被解释为本质上是传播信号。虽然在基于计算的设备104中示出了计算机存储介质(存储器910)，然而应当理解，该存储可以是分布式的或位于远处并经由网络或其他通信链路(例如，使用通信接口 908 )来访问。
[0066]可以在基于计算的设备处提供包括操作系统912或任何其他合适的平台软件的平台软件以使得能够在该设备上执行应用软件218。存储器910可以储存用于实现身体姿态估计器214和姿势识别引擎216的功能的可执行指令。存储器910还可提供数据存储914，该数据存储可被用来在执行游戏控制技术时提供对处理器902所使用的数据的存储，如任何姿态模板、阈值、参数、屏幕空间映射函数、或其他数据。
[0067]此处所使用的术语“计算机”是指带有处理能力以便它可以执行指令的任何设备。本领域的技术人员将认识到，这样的处理能力被集成到许多不同的设备中，因此，术语“计算机”包括PC、服务器、移动电话、个人数字助理和许多其他设备。
[0068]本文描述的方法可由有形存储介质上的机器可读形式的软件来执行，例如计算机程序的形式，该计算机程序包括在该程序在计算机上运行时适用于执行本文描述的任何方法的所有步骤的计算机程序代码装置并且其中该计算机程序可被包括在计算机可读介质上。有形(或非瞬态)存储介质的示例包括盘(disk)、拇指型驱动器、存储器等而不包括所传播的信号。软件可适于在并行处理器或串行处理器上执行以使得各方法步骤可以按任何合适的次序或同时执行。
[0069]这承认，软件可以是有价值的，单独地可交换的商品。它旨在包含运行于或者控制“哑”或标准硬件以实现所需功能的软件。它还旨在包含例如用于设计硅芯片，或者用于配置通用可编程芯片的HDL (硬件描述语言)软件等“描述”或者定义硬件配置以实现期望功能的软件。
[0070]本领域技术人员会认识到，用于存储程序指令的存储设备可分布在网络上。例如，远程计算机可以存储被描述为软件的进程的示例。本地或终端计算机可以访问远程计算机并下载软件的一部分或全部以运行程序。可另选地，本地计算机可以根据需要下载软件的片段，或在本地终端上执行一些软件指令，并在远程计算机(或计算机网络)上执行另一些软件指令。本领域的技术人员还将认识到，通过利用本领域的技术人员已知的传统技术，软件指令的全部，或一部分可以通过诸如DSP、可编程逻辑阵列等等之类的专用电路来实现。
[0071]对精通本技术的人显而易见的是，此处给出的任何范围或设备值可以被扩展或改变，而不会丢失寻求的效果。
[0072]尽管用结构特征和/或方法动作专用的语言描述了本主题，但可以理解，所附权利要求书中定义的主题不必限于上述具体特征或动作。更确切而言，上述具体特征和动作是作为实现权利要求的示例形式公开的。
[0073]可以理解，上文所描述的优点可以涉及一个实施例或可以涉及多个实施例。各实施例不仅限于解决任何或全部所陈述的问题的那些实施例或具有任何或全部所陈述的优点那些实施例。进一步可以理解，对“一个”项目的引用是指那些项目中的一个或多个。
[0074]此处所描述的方法的步骤可以在适当的情况下以任何合适的顺序，或同时实现。另外，在不偏离此处所描述的主题的精神和范围的情况下，可以从任何一个方法中删除各单独的框。上文所描述的任何示例的各方面可以与所描述的其他示例中的任何示例的各方面相结合，以构成进一步的示例，而不会丢失寻求的效果。
[0075]此处使用了术语“包括”旨在包括已标识的方法的框或元件，但是这样的框或元件不包括排它性的列表，方法或设备可以包含额外的框或元件。
[0076]可以理解，以上描述是只作为示例给出的，本领域的技术人员可以作出各种修改。以上说明、示例和数据提供了对示例性实施例的结构和使用的全面描述。虽然上文以一定的详细度或参考一个或多个单独实施例描述了各实施例，但是，在不偏离本说明书的精神或范围的情况下，本领域的技术人员可以对所公开的实施例作出很多更改。
【权利要求】
1.一种控制计算机游戏系统的方法，包括: 在计算机游戏的用户可观看的显示器处显示所述计算机游戏，所述显示包括至少一个化身和环境； 从所述用户所操作的用手操作的控制器接收手动输入； 从图像捕捉设备接收描绘所述用户的图像流； 将入口作为所显示的计算机游戏的一部分来显示，所述入口是所述显示中表示描绘所述用户的所述图像流的区域； 通过分析所述图像流来识别所述用户的姿势；以及 基于所述手动输入来控制所述化身的显示，并且基于所识别的用户的姿势来控制所显示的所述入口与所述环境之间的交互。
2.如权利要求1所述的方法，其特征在于，识别所述姿势以及接收手动输入的步骤基本上同时发生。
3.如前述权利要求中任一项所述的方法，其特征在于，通过分析所述图像流来识别所述用户的姿势的步骤包括跟踪所述图像流中所述用户的至少一个身体部位。
4.如权利要求3所述的方法，其特征在于，所述跟踪包括跟踪所述图像流中所述用户的至少一个身体部位的位置。
5.如权利要求4所述的方法，其特征在于，所跟踪的至少一个身体部位的位置是所述至少一个身体部位与所述图像捕捉设备之间的距离。
6.如权利要求3所述的方法，其特征在于，所述跟踪包括跟踪所述图像流中所述用户的至少一个身体部位的运动速度。
7.如权利要求3所述的方法，其特征在于，所述捕捉设备包括被安排成捕捉所述用户的深度图像序列的深度相机，并且所述跟踪步骤是使用从所述深度相机取得输入的身体姿态估计器来执行的。
8.如前述权利要求中任一项所述的方法，其特征在于，所述识别姿势的步骤包括确定所述用户是否用双手握着所述控制器。
9.一种计算机游戏系统，包括: 输入接口，被安排成从捕捉设备接收描绘用户的图像流，并且从能由所述用户操作的用手操作的控制器接收手动输入命令； 输出接口，被安排成向所述计算机游戏系统的用户可观看的显示设备提供计算机游戏显示，所述计算机游戏显示包括至少一个化身和环境； 处理器，被安排成:控制所述输出接口以便将入口作为所述计算机游戏显示的一部分来显示，所述入口是所述显示中表示描绘所述用户的所述图像流的区域，通过分析所述图像流来识别所述用户的姿势，基于所述手动输入来控制所述化身的显示，并且基于所识别的所述用户的姿势来控制所显示的所述入口与所述环境之间的交互。
10.如权利要求9所述的系统，其特征在于，所述捕捉设备包括深度相机。
【文档编号】A63F13/428GK103501868SQ201280019756
【公开日】2014年1月8日 申请日期:2012年4月23日 优先权日:2011年4月28日
【发明者】T·W·兰斯达尔, C·R·格里非斯 申请人:微软公司