端310可能是平板或膝上型计算机。在另一实施例中，游戏客户端310是游戏控制台并且显示器316是通信地耦接到该游戏控制台的远程显示器。游戏客户端310包括操作环境320、视频合成组件326、游戏执行环境322、游戏数据贮存器324、游戏特定预处理组件321以及通用预处理组件328。
[0035]操作环境320可以由管理硬件并且将服务提供给在游戏客户端310上运行的应用的操作系统来提供。操作环境可以将客户端资源作为预处理和其它功能的一部分分配给不同的应用。
[0036]游戏数据贮存器324存储下载的游戏和部分下载的游戏。游戏可以用可玩块加以下载。为了玩游戏，可能需要将游戏从游戏数据贮存器324加载到与游戏执行环境322相关联的有源存储器中。游戏数据贮存器324还可以存储玩家进度文件。
[0037]游戏特定预处理组件326处理丰富控制器输入以生成减少的控制器输入。经减少的控制器输入能够采取许多形式，并且能够取决于所牵涉的丰富控制器输入的类型而变化。
[0038]当丰富控制输入是三维图像数据时，由客户端所生成的经减少的控制器输入可以采取骨骼跟踪数据、表面的减少(reduct1n to surfaces)、几何形状的减少(reduct1nto geometry)、增量、压缩成像以及边界框(bounding box)的减少的形式。将随后更详细地描述这些中的每一个，但是它们全部导致控制数据包括要传送到控制器的更少数据。经减少的控制器输入通过网络330被传送到游戏服务器340上的游戏执行环境348。经减少的控制器输入被用作控制在进行中的游戏的输入。
[0039]游戏特定预处理326特定于正被执行的特定游戏。虽然步骤可能与随后描述的通用预处理类似，但是游戏特定处理的一部分特定于特定游戏。代码可以是游戏特定的以便以对特定游戏可消费的形式生成输出。换句话说，游戏特定代码可以被用来生成兼容的控制信号。在其它情况下，游戏特定代码做其它游戏不做的独有事情。
[0040]在一个实施例中，游戏特定预处理生成特定于游戏的控制输入。例如，能够将手势解释成意指向右移动化身或拾取第一游戏中的对象，但是在第一游戏中不同的东西。在这种情况下，经减少的控制器输入将仅是移动命令而不是三维图像数据。解释三维图像数据以辨识手势并且形成移动命令是一种类型的输入数据(深度数据)到第二类型(移动)的变换。进一步采取这个一步法(one-step )，能够将移动数据或深度数据转换为控制命令，诸如“投球”或“暂停游戏”。这被描述为对控制的变换。在其它实施例中，相关控制数据与不相关控制数据分开，但是不改变形式。例如，减少的控制器输入可能是在感兴趣对象周围的三维图像的一部分，诸如玩家的面部或手，而没有三维图像数据的其余部分。使图像数据(3D或2D)的一部分隔离被描述为边界框的减少。在音频命令的游戏特定预处理中，经减少的控制器输入可能是以游戏特定方式(诸如游戏特定行话的使用)描述的独有游戏命令或公共游戏命令。
[0041]在一个实施例中，游戏特定预处理组件326被抽象或者基于原先写成在客户端侧被完全地处理的视频游戏的。以这种方式，处理丰富控制器输入的视频游戏的部分被分开并且放在客户端侧，并且用于其它游戏功能的命令被发送直到驻留在服务器340上的游戏的执行部分。在这种情况下，可能需要调解否则本会在客户端上的游戏执行环境内即时处理的数据。随后更详细地说明的信号调解组件346可以执行这个调解。
[0042]通用预处理328以适用于或可由多个游戏消费的方式预处理丰富数据输入。由通用预处理组件328所生成的经减少的控制器输入通过网络330被传送到游戏执行环境348，其中它可以被用来操纵在进行中的游戏。通用预处理步骤的示例包括骨骼跟踪、增量、服务的减少、几何形状的减少、边界框的减少以及三维图像压缩。当丰富数据输入包括音频信号时通用处理可能是语音到文本翻译。例如，用户能够说单词“pause (暂停)”并且通用预处理能够发送用来暂停游戏的命令。
[0043]游戏执行环境322包括客户端310上使用来执行游戏的实例或游戏的一部分的游戏资源。在一些实施例中，客户端310不包括用来执行完全游戏的游戏执行环境或计算资源。游戏执行环境322包括有源存储器以及计算和视频处理。游戏执行环境322接收游戏控制并且使游戏根据其编程被操纵并且有进展。在一个实施例中，游戏执行环境322输出被传送到显示设备的渲染的视频流。
[0044]在其它实施例中，游戏执行环境322仅输出与等待时间敏感的游戏特征有关的代码。游戏的等待时间敏感的特征可以由游戏开发者标明并且还可以被动态地确定。在一个实施例中，游戏服务340传送执行仅等待时间敏感的特征所需的游戏代码。执行环境322可能不具有用来执行整个游戏的资源或代码。游戏执行环境322可以执行游戏的一部分以生成通过视频合成组件321与从游戏服务器340接收到的渲染的图像组合的游戏图像。
[0045]视频合成组件321使从游戏服务器340接收到的渲染的视频游戏图像与由客户端所渲染的渲染的视频游戏图像合并，以形成被输出给显示器316的单个图像。视频合成组件可以执行缩放和其它功能以生成适当的视频输出。
[0046]游戏服务器340包括连接管理器342、玩家简档数据贮存器344、信号调解组件346、游戏执行环境348、游戏数据贮存器350以及游戏管理器352。虽然被描绘为单个框，但是游戏服务器340可能是包括许多机器的服务器场，或甚至数个服务器场。
[0047]连接管理器342构建客户端310与服务器340之间的连接。连接管理器342还可以提供各种认证机制以确保用户有权访问由服务器340所提供的游戏服务。连接管理器342还可以分析连接内可用的带宽并且按需将这个信息提供给组件。例如，可以减少视频游戏图像的分辨率以适应有限的带宽。
[0048]玩家简档数据贮存器344可以与连接管理器342相结合地工作来构建并且存储玩家信息。玩家简档的一部分可以包括诸如玩家的名字、地址以及信用卡信息这样的人口统计和财务信息或用于支付或购买由游戏服务所提供的游戏和体验的其它机制。
[0049]此外，玩家简档数据贮存器344可以存储玩家在各个游戏内的进度。随着玩家在游戏过程中有进展，可以存储玩家的分数和对游戏级别的访问。进一步地，玩家简档数据贮存器344可以存储关于诸如语言偏好这样的各个玩家偏好的信息。还可以存储并且利用有关玩家的游戏客户端和网络连接的速度的信息来优化游戏体验。例如，在一个实施例中，当地理上最接近的服务器场忙时，具有较高的等待时间因特网连接的玩家可以被优先地连接到最接近的服务器场，然而具有较低的等待时间连接的玩家可以被连接到较远的服务器场。以这种方式，具有很好地能够处理附加等待时间的网络连接的玩家被连接到因为他们的位置而创建附加等待时间的服务器场。
[0050]玩家简档数据贮存器344还可以存储各个玩家的使用历史。可以存储玩家的购买游戏、抽查游戏或通过不需要游戏的购买的游戏服务来玩游戏的历史。可以分析使用信息以建议对各个玩家感兴趣的游戏。在一个实施例中，购买历史可以包括不是通过游戏服务购买的游戏。例如，可以通过玩家输入来自在零售商店里购买的游戏的密钥来扩增购买历史。在一些实施例中，玩家然后既可以在他们的游戏客户端310上又可以通过游戏服务访问游戏。
[0051]游戏执行环境348包括游戏服务器340上使用来执行游戏的实例或游戏的一部分的游戏资源。游戏执行环境348包括有源存储器以及计算和视频处理。游戏执行环境348从游戏客户端310接收控制信号并且使游戏根据其编程被操纵并且有进展。在一个实施例中，游戏执行环境348输出被传送到游戏客户端的渲染的视频流。在其它实施例中，游戏执行环境322输出可以与游戏客户端上的本地对象组合以渲染游戏视频的游戏几何形状或其它表示。游戏执行环境322可以执行游戏的一部分以生成被传送到游戏客户端310以用于与由游戏客户端310所生成的渲染的图像组合的游戏图像。
[0052]现转向图4，示出了依照本发明的实施例的示例性深度相机接口。深度相机410有玩家430的视图。深度相机410生成能够捕获玩家430的移动的三维图像数据。在这种情况下，玩家430正在上下移动他们的左手臂。游戏控制台或游戏服务器从深度相机410接收输入并且使用它来操纵在显示器420上示出的化身422。如可以看到的，化身422的移动与虚拟对象424和第二玩家426交互。通过游戏服务器连接到同一游戏会话的不同人可以控制第二玩家426。虚拟对象424是球。用户的移动当由深度相机410捕获时能够形成控制输入。
[0053]图4还包括玩家430的画中画(“PI