，并且包括易失性和非易失性媒体、可移除和不可移除媒体两者。作为示例而非限制，计算机可读媒体可以包括计算机存储媒体和通信媒体。计算机存储媒体包括用任何方法或技术加以实现以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据这样的信息的易失性和非易失性媒体、可移动和不可移动媒体两者。
[0016]计算机存储媒体包括RAM、R0M、EEPR0M、闪速存储器或其它存储器技术、CD-ROM、数字通用盘(DVD)或其它光盘存储装置、磁盒、磁带、磁盘存储装置或其它磁存储设备。计算机存储媒体不包括传播的数据信号。
[0017]通信媒体典型地在诸如载波或其它传输机制的已调制数据信号中具体化计算机可读指令、数据结构、程序模块或其它数据并且包括任何信息递送媒体。术语“已调制数据信号”意指这样的信号，所述信号使其特性中的一个或多个以这样的方式被设置或改变以便将信息编码在所述信号中。作为示例而非限制，通信媒体包括诸如有线网络或直接有线连接这样的有线媒体，以及诸如声学、RF、红外线这样的无线媒体和其它无线媒体。上述中的任一个的组合也应该被包括在计算机可读媒体的范围内。
[0018]存储器112包括形式为易失性和/或非易失性存储器的计算机存储媒体。存储器112可以是可移动的、非可移动的或其组合。示例性存储器包括固态存储器、硬盘驱动器、光盘驱动器等。计算设备100包括一个或多个处理器114，所述处理器114从诸如总线110、存储器112或I/O组件120这样的各种实体读取数据。(一个或多个)呈现组件116将数据指示呈现给用户或其它设备。示例性呈现组件116包括显示设备、扬声器、打印组件、振动组件等。I/O端口 118允许计算设备100被逻辑上耦接到包括I/O组件120的其它设备，其中的一些可以被内置。说明性I/O组件120包括麦克风、游戏杆、游戏板、卫星碟形天线、扫描器、打印机、无线设备等。
[0019]示例件在线游戏环境
现转向图2，示出了依照本发明的实施例的在线游戏环境200。在线游戏环境200包括通过网络220连接到游戏服务230的各种游戏客户端。示例性游戏客户端包括游戏控制台210、平板212以及个人计算机214。其它游戏客户端(诸如智能电话和电视)的使用也是可能的。游戏控制台210可以具有通信地耦接到它的一个或多个游戏控制器。在一个实施例中，平板212可以作为用于游戏控制台210或个人计算机214的输入设备。在另一实施例中，平板212是独立游戏客户端。网络220可以是广域网，诸如因特网。
[0020]与游戏控制台210相关联的控制器包括游戏板231、平板232、头戴式耳机236以及深度相机234。游戏控制台可以与生成丰富数据流和基本数据流两者的控制设备相关联。各个的控制器能够生成不同种类的数据流，并且单个控制器能够生成丰富数据流和基本数据流两者。
[0021]游戏板231也许能够生成基本控制信号，诸如通过按钮选择和游戏杆移动所生成的那些。诸如由游戏板231内的加速度计和陀螺仪所生成的移动数据这样的移动数据可以是丰富感觉数据的示例。在一些实施方式中，移动数据未被认为是丰富感觉数据。
[0022]将输入流分类为丰富的或基本的取决于通过上传完全控制流对游戏引起的等待时间。诸如可用带宽和客户端能力这样的因素可以影响分类。在一个实施例中，在到游戏服务器的通信期间添加超过80ms的往返等待时间的数据流被分类为丰富的。往返等待时间指代用户提供输入(诸如按下按钮)与在显示器上看见输入的结果(例如，化身移动)之间的总延迟。除非在本公开内容中另外规定，否则术语等待时间指代往返等待时间。因此，术语等待时间和往返等待时间被可交换地使用。80ms的等待时间是除由客户端和服务器上的基线处理所添加的等待时间之外。不同的游戏可以建立不同的等待时间标准。进一步地，不同的游戏特征可以具有不同的等待时间容限。
[0023]本发明的实施例可以在特定情况下做出什么构成特定游戏的丰富数据流的上下文确定。每个游戏可以具有往返等待时间-灵敏度等级。往返等待时间灵敏等级可以是根据从测试组收集的用户反馈或通过另一方法来确定的，并且与游戏相关联。等待时间灵敏度等级对于不同的游戏特征来说可以不同或对于整个游戏来说相同。例如，可以给予化身移动与背景移动不同的灵敏度等级。
[0024]可以通过针对目前游戏识别等待时间灵敏度等级、确定可用带宽、并且确定客户端和服务器处理能力来确定针对每个输入流的丰富分类或基本分类。可以组合各种因素以确定为控制流创建的等待时间。如果它小于等待时间灵敏度等级则控制流是基本的，如果大于等待时间灵敏度等级则是丰富的。
[0025]在实施例中，与控制流相关联的等待时间是使用测试控制输入和测试游戏响应用实验方法确定的。所测量到的等待时间被用来确定控制是基本的还是丰富的。
[0026]当控制经由实验或计算被确定为丰富的时，那么可以使用控制流的客户端侧预处理。随后更详细地描述各种预处理方法。如果控制是基本的，则它在未被变换为减少的控制输入的情况下被上传，但是仍然可以根据在将控制信号传送到服务器时牵涉的各种传输协议和其它处理来处理它。这个其它处理对预处理的控制信号和未处理的控制信号两者发生。
[0027]当特定特征是等待时间敏感的时，那么那些特征可以被渲染在客户端上并且与从服务器接收到的渲染的图像组合。不管控制输入是什么，特征都可能是等待时间敏感的。例如，不管化身是使用深度相机还是游戏杆来控制，化身移动都可能是等待时间敏感的。
[0028]平板232可以既是游戏控制器又是游戏客户端。平板232被示出为直接地耦接到游戏控制台210，但是连接可能是通过因特网或子网间接的。在一个实施例中，游戏服务230帮助在平板232与游戏控制台之间做出连接。当设备使用被链接的相同标识或标识码登录时，游戏服务230可以关联设备。用户还可能要求设备通过游戏服务230链接以用作为输入设备或伙伴设备。平板232能够生成许多控制流并且还可以用作显示输出机制。除作为主显示器之外，平板232能够提供与在耦接到游戏控制台210或简单地为控制表面的主显示器上示出的信息不同但是相关的补充游戏信息。由平板232所生成的输入流包括视频和图片数据、音频数据、移动数据、触摸屏数据以及键盘输入数据。
[0029]深度相机234生成被用作控制输入的三维图像数据。深度相机234可以使用红外线相机来为所捕获的每个像素确定深度或与相机相距的距离。立体深度相机也是可能的。此外，深度相机234可以捕获彩色视频流或图片。深度相机234可以具有数个图像收集组件。例如，深度相机234可以具有多个相机。深度相机234可以被用来创建用户接口，通过所述用户接口用户做出手势并且说出音频命令以控制游戏。用户可以没有其它控制器。在其它实施例中，可以与其它控制输入相结合地使用深度相机234。
[0030]头戴式耳机236捕获来自玩家和该玩家的环境的音频输入，并且如果它与头戴受话器或其它扬声器耦接则还可以作为输出设备。
[0031]游戏服务230可以包括彼此通信地耦接的多个计算设备。在一个实施例中，游戏服务230使用一个或多个服务器场来实现。可以跨越包括全世界各地的城市的各种地理区域展开服务器场。在这个场景中，游戏客户端可以连接到最近的服务器场。本发明的实施例不限于这个设置。
[0032]游戏服务230允许游戏在由游戏服务230所提供的计算设备内被执行。游戏服务与游戏客户端之间的通信会话将输入业务携带到游戏服务230并且返回渲染的游戏图像。在这个实施例中，作为游戏服务的一部分的计算设备使用由与各种游戏客户端相关联的输入设备所生成的控制流来执行视频游戏代码。经渲染的视频游戏然后通过网络被传送到其中经渲染的游戏被输出以得到显示的游戏客户端。
[0033]用于远程游戏的示例性游戏客户端和游戏服务
现转向图3，示出了依照本发明的实施例的使用丰富输入控制数据的远程游戏环境300。游戏环境300包括通过网络330通信地耦接到游戏服务器340的游戏客户端310。在一个实施例中，网络可以是因特网。游戏客户端310被连接到第一游戏输入设备312、第二游戏输入设备314以及显示器316。示例性游戏输入设备包括游戏板、键盘、鼠标、触摸板、触摸屏、移动感知设备(例如，装备加速度计和/或陀螺仪的设备)、用于接收话音命令的麦克风、深度相机、视频相机以及轨迹球。本发明的实施例不限于这些输入设备。显示器316能够显示视频游戏内容。例如，显示器316可以是电视或计算机屏幕。在另一实施例中，显示器316是集成有游戏客户端310的触摸屏。
[0034]游戏客户端310是能够执行视频游戏的计算设备。游戏客户