P”)图像470。这个可以是由深度相机410或某个其它相机所捕获的标准视频图像。可以将PIP图像渲染在客户端上而不用将该图像发送到游戏服务器，因为PIP可能是等待时间敏感的。
[0054]现转向图5，依照本发明的实施例图示了三个渲染的图像。经渲染的图像包括服务器渲染的图像510、客户端渲染的化身520以及客户端渲染的画中画530。这三个渲染的图像被合成在一起以形成先前图4中所示出的图像。由服务器所生成的经渲染的图像还可以随着除着色的图像数据之外的深度缓冲数据被发送。深度缓冲数据被用来在合成过程期间订购经客户端渲染的图像和经服务器渲染的图像。例如，客户端可以渲染被由服务器在图像被合成时渲染的对象部分地隐藏的化身。深度数据被用来按照正确的深度顺序合成图像。经服务器渲染的图像510包括在所图示的游戏中非等待时间敏感的前景图像和背景图像两者。经服务器渲染的图像510包括背景区域528、虚拟游戏对象524以及远程玩家化身526。虚拟游戏图像524是基于由玩家在本地和第二玩家远程地采取的动作来操纵的。如先前所提到的，两个玩家正在使用不同的输入设备参与同一游戏。游戏正在远程服务器的游戏执行环境中被执行。
[0055]化身522由客户端渲染。如果化身由服务器渲染则可能产生的化身522移动中的延迟能够减小游戏的乐趣。注意，化身522和虚拟对象524都作为在客户端处接收到的控制输入的结果而被操纵。控制输入的至少一部分被发送到服务器并且控制输入的至少一部分由客户端消费。在一个实施例中，整个控制输入被发送到服务器并且整个控制输入由客户端消费，但是仅用来执行和渲染标明的游戏特征。
[0056]画中画530还由客户端渲染。在一个实施例中，视频图像未被连同其它控制器输入一起传送到服务器。如果视频图像被传送到服务器，则它还由客户端消费来生成PIP图像。如所提到的，三个渲染的图像被合成以形成被输出给用户的单个视频游戏图像。
[0057]现转向图6，图示了通过本发明的可能的实施例的数据流。远程游戏环境600包括输入设备610、游戏客户端620、网络630、游戏服务器640以及显示器650。输入设备610生成丰富数据信号，诸如三维图像或视频数据。先前已经描述了丰富数据流的其它示例。游戏客户端620可以是游戏控制台或其它计算设备。网络630可以与先前所描述的网络330类似并且可以包括因特网。游戏服务器640可以与先前所描述的游戏服务器340类似。
[0058]游戏服务器640响应于从游戏客户端620接收到的控制信号来执行已被操纵的视频游戏。显示器650可以是电视、监视器或集成到诸如平板或智能电话这样的计算设备中的其它显示器。在本发明的实施例中，可以将显示器650集成到游戏客户端620中。例如，游戏客户端620可以是具有集成显示器的平板或膝上型计算机。应该提到的是，在本发明的一些实施例中还可以将输入设备610集成到游戏客户端620中。例如，游戏客户端能够具有集成在游戏客户端620的机身中的深度相机。
[0059]最初，输入设备610生成被发送到游戏客户端620上的信号管理组件622的丰富数据信号。丰富数据信号可以是由三维捕获设备所生成的三维图像数据。信号管理组件622将控制信号中的全部或部分导向适当的目的地。信号管理组件622还可以对数据信号执行各种预处理，以使它准备好用于由客户端渲染组件624或游戏服务器640消费。
[0060]信号管理组件622通过网络630向游戏服务器640发送预处理或别样的信号的至少一部分。游戏服务器640消费信号以操纵正在进行的游戏会话并且以渲染视频游戏图像。约略地、同时地，信号管理组件622将视频游戏输入信号的至少一部分传送到客户端渲染组件624。为了简单起见，客户端渲染组件624被指示为单个组件。然而，客户端渲染组件624可以是游戏执行环境的一部分或者与响应于信号来执行游戏的一部分的未示出的其它组件有关。
[0061]客户端渲染组件624生成与基于相同或类似的信号而生成的经服务器渲染的视频游戏图像不同的客户端渲染的视频游戏图像。一般地，客户端渲染组件624生成等待时间敏感的或更方便渲染在客户端620上的特定游戏特征的图像。为了渲染图像，必须可在客户端620上执行视频游戏的至少一部分。进一步地，客户端可能需要描述围绕玩家的化身的玩的环境的环境几何形状以便计算适当的移动。例如，游戏客户端620将需要知道化身正站在墙壁前面，并且不响应于向前移动指令而向前移动化身。化身可以类似地绕对象导航、落下、跳跃，或者取决于环境状况来执行其它动作。游戏客户端620上的代码能够确定适于环境状况(包括其它玩家位置)和游戏因素(诸如玩家能力级别)的化身移动。例如，如果目前游戏状态指示了玩家缺少跳的目前能力，则用来跳的指令将不被客户端遵循。
[0062]游戏服务器640可以周期性地将游戏状态信息发送到客户端620以用于在客户端侧游戏代码中使用。游戏状态信息可以包括描述陆地、对象以及其它玩家的环境几何形状。在一个实施例中，客户端不跟踪总体游戏进度，跟踪游戏点、分数等。例如，游戏客户端620可以渲染移动左手臂的化身，但是不知道手臂是否接触了球或者结果得到的球移动是否赢得一分。客户端可以最终输出示出了手臂击中球的合成图像，但是游戏代码可能不知道超出渲染化身改变所需的其它游戏信息或其它等待时间敏感的特征。
[0063]来自游戏服务器640和客户端渲染组件624的经渲染的视频游戏图像皆被视频合成组件626接收。视频合成组件形成被输出给显示器650的单个视频游戏图像。
[0064]现转向图7，示出了依照本发明的实施例的在基于服务器的游戏环境中使用丰富感觉数据作为控制输入来玩视频游戏的方法700。基于服务器的游戏环境可以与先前参考图3所描述的远程游戏环境类似。一般而言，游戏客户端在本地接收丰富感觉输入并且将这个信息中的全部或一部分传送到执行该游戏并且生成视频游戏图像的游戏服务器。
[0065]在步骤710处，数据丰富控制输入在游戏客户端处作为游戏视频输入控制被接收。数据丰富控制输入可以由深度相机来生成，所述深度相机在相机的视图中反映对象在空间的容积中的大小和形状。数据丰富控制输入可以是由麦克风所接收到的语音数据或由装备加速度计或陀螺仪的设备所捕获的移动数据。输入设备可以集成到游戏客户端中，所述输入设备诸如集成到平板或个人计算机中的相机或麦克风。输入设备可以位于在游戏客户端附近并且经由有线连接或无线连接通信地耦接到游戏客户端。被游戏客户端接收未必意指输入是从外部设备接收的。被游戏客户端接收能够意指由游戏客户端生成并且被游戏客户端上的组件接收，所述组件诸如先前所描述的信号组件622或客户端渲染组件624，或在游戏客户端上处理游戏功能的游戏执行环境内的组件的组合。
[0066]在步骤720处，在客户端处通过将响应于从游戏服务器接收到的数据丰富控制输入而生成的渲染的视频游戏图像与由游戏客户端响应于数据丰富控制输入而渲染的视频游戏图像组合来生成集成的视频游戏图像。因此，单个视频游戏图像是通过将由游戏服务器所渲染的视频游戏图像与由游戏客户端所渲染的视频游戏图像组合来创建的。由游戏服务器所渲染的图像以及由游戏客户端所渲染的那些图像是不同的。在一个实施例中，两个图像不具有共同特征。例如，第一化身仅存在于经客户端渲染的视频游戏图像中而不存在于经服务器渲染的图像中。类似地，游戏对象或第二玩家可以被渲染在经服务器生成的图像中而不存在于经客户端渲染的图像中。
[0067]在一个实施例中，经客户端生成的图像是基于数据丰富控制输入或包括彩色视频的附加输入数据而生成的画中画视频。在一个实施例中，画中画是与背景或周围对象隔离地示出玩家的绿屏图像。
[0068]在一个实施例中，客户端仅渲染等待时间敏感的特征。等待时间敏感的特征可以依游戏而变化。等待时间敏感的特征是当视频游戏外观在等待时间阈值内不响应于控制输入改变时玩家将体验到降级的游戏体验的那些。每个游戏或游戏特征的等待时间阈值可以由开发者确定并且与游戏相关联。在一个实施例中，如果超过50 ms延迟引起玩游戏降级则游戏特征是等待时间敏感的。在一个实施例中，用来渲染等待时间敏感的特征的图像的代码被传送到游戏客户端。
[0069]可以精细地定义等待时间敏感的游戏特征。例如，化身的第一移动可以是等待时间敏感的，然而不同的第二移动不是。例如，跳可以是等待时间敏感的然而步行不是。客户端侧游戏代码可以首先解释游戏控制输入并且确定等待时间敏感的游戏特征是否被控制输入操纵。当等待时间敏感的游戏特征被操纵时那么它可以由客户端渲染。当没有等待时间敏感的游戏特征被操纵时，整个图像可以被服务器渲染并且客户端代码将不渲染任何图像。例如，当