领域
本公开涉及用于观看内容的系统和方法，并且更具体地说涉及控制经由头戴式显示器来观看的内容。
发明背景
现有技术描述
快速增长技术中的一个是在使用头戴式或头载式显示器(hmd)来进行人机交互的领域中。hmd是便携式设备，它们可佩戴在用户的头上并且包括处在用户的一只或两只眼睛前面的显示器或其他形式的光成像设备。已经开发了各种应用(企业、商业、娱乐、体育训练、旅游、社交媒体等)以通过hmd向用户提供适当的内容。由这些应用提供的内容可仅包括来自虚拟生活环境的内容，其中在hmd中呈现的图像由计算设备来产生，以便向用户提供完全沉浸体验，或可包括来自真实生活环境和虚拟生活环境的内容的混合物以便允许用户在虚拟世界与真实世界之间切换。
有时，经由hmd提供的内容可包括可能不适合于用户观看的内容，诸如姿势、动作、语言、图形等。然而，当前没有方法防止这类内容向用户呈现。当内容通过外部内容源、另一个用户或应用来产生或提供时，尤其如此。
本发明的实施方案正是在这种情况下出现的。
发明概述
本公开的实施方案提供通过保持向用户呈现的内容的质量来控制用户的头戴式显示器(hmd)的一个或多个机构所呈现的内容的方法。所呈现的内容可为描绘虚拟世界诸如游戏内容等的计算机产生图形，或可为与地理位置、真实世界对象、真实世界事件、真实世界场景相关联的用户产生/捕获场景/内容，由应用提供的内容，社交媒体交互等，或增强现实内容，其中由用户或内容提供商来捕获/产生的真实世界内容用计算机产生内容来覆盖，并且可包括不同部件，诸如音频部件、视频部件、图形部件、文本部件等。提供使用hmd的一个或多个机构来进行渲染的环境的应用，诸如内容流式传输处理器应用，基于佩戴hmd的用户的用户概况来识别何时向内容施加过滤。用户概况识别用户相关属性和针对用户概况来定义的内容观看特权。另外，用户概况还可识别每个用户的对于内容的个别偏好。在一些实施方案中，过滤导致不适合的一些内容根本不渲染，同时在其他实施方案中，不适合的内容可改变、修改或用被过滤成适合于用户概况的其他内容来替换。在一些实施方案中，可执行过滤以便只允许由特定用户/社交联系人来产生或提供的内容，所述用户/社交联系人与佩戴hmd的用户交互或相关联，或只包括来自可信来源的内容。在这些实施方案中，可提供额外过滤以便确保这类内容符合佩戴hmd的用户的用户概况。在一些实施方案中，除了过滤掉内容的不想要或不适合部分以外，过滤还可用于根据由用户指定的用户偏好来定制内容。举例来说，用户可希望使内容以特定格式诸如特定语言(中文或台语相比于英语)、特定样式(卡通形式相比于动画形式)使用特定背景(音频或图形/图像)等来呈现。在呈现所过滤的内容以便在hmd上渲染之前，这些用户规范可应用于所过滤的内容。
在一些实施方案中，内容可与多个部件相关联并且仅仅内容的一部分的特定部件可更换、修改或过滤掉，同时内容的所述部分的其余部件可保持不变。举例来说，音频部件可从向佩戴hmd的用户来呈现的视频内容中过滤掉。在一些实施方案中，通过基于用户的输入来确定用户在vr空间内的方向和移动，可通过与hmd可通信地连接的计算设备诸如游戏控制台来提前进行过滤。在一些实施方案中，除了预先筛选内容以外，在内容向hmd流式传输之前，可执行额外过滤。
在一个实施方案中，提供一种方法。方法包括识别用于在用户的头戴式显示器(hmd)的一个或多个机构所定义的渲染空间中呈现的内容。响应于来自用户的请求，对内容进行识别。内容是交互式内容并且基于用户的操作或交互来动态地变化。识别内容的评分。基于所识别的评分和用户的用户概况动态地调整内容以便来选择性地过滤内容的一部分。所调整的内容在hmd上渲染。内容的动态调整在会话期间继续以使得内容的不同部分基于用户与在渲染空间中呈现的内容的操作或交互所确定的内容的变化来选择性地过滤。
在一些实施方案中，基于从一个或多个内容发布商，或一个或多个用户，或授权评级来源，或历史评级，或其两个或更多个的组合所接收的评级数据来产生评分。
在一些实施方案中，内容的所述部分对应于内容中的虚拟对象或虚拟图形或与用户一起、与在渲染空间中呈现的内容交互的另一个用户的化身。
在一些实施方案中，用于选择性过滤的内容的所述部分通过向内容应用预定义过滤规则来识别。预定义过滤规则对于请求内容的用户的用户概况具有特定性。
在一些实施方案中，应用于选择性过滤的预定义过滤规则是基于用户人口统计状况或用户的用户属性或与内容交互的其他用户的用户属性或在渲染空间中渲染的内容处检测到的操作或内容的所述部分的情境或内容的所述部分的评分，或其两个或更多个的任何组合。
在一些实施方案中，内容的所述部分的选择性过滤包括识别与需要选择性过滤的内容的所述部分相关联的部件并且将内容的所述部分的所识别部件的一部分使用针对选择性过滤的部件的所述部分所识别的部件覆盖物进行选择性覆盖。
在一些实施方案中，将要选择性过滤的部件是音频部件并且选择性覆盖包括识别根据用户的用户概况的不同音频部件。不同音频部件选择性地覆盖在部件的所述部分上。
在一些实施方案中，将要选择性过滤的部件是内容的所述部分的视频部件、文字部件或图形部件中的一个并且选择性覆盖包括识别根据用户的用户概况的不同视频、文字或图形部件。不同视频、文字或图形部件选择性地覆盖在内容的视频、文字或图形部件的所述部分上。
在一些实施方案中，提供以下选项：基于所识别的用于在渲染空间中呈现的内容的情境来动态更新用户的用户概况。
在一些实施方案中，保持所呈现的用于在渲染空间中渲染的内容的历史，其中所述历史识别所述内容的不同部分的情境。
在一些实施方案中，根据与用户的用户概况相关联的预定义过滤规则来检查历史以便识别在渲染空间内呈现的内容的具有某种情境的特定部分，所述情境与所述内容的过滤掉的所述部分的情境类似，并且提供更新与用户的用户概况相关联的预定义过滤规则的选项以便允许在将来渲染期间过滤所述内容的特定部分。定期执行历史的检查和预定义过滤规则的更新。
在一些实施方案中，提供一种系统。系统包括内容流式传输处理器模块，其在由计算设备的处理器执行时被配置来响应于来自用户的请求，对所识别的用于在用户的头戴式显示器(hmd)的一个或多个机构所定义的渲染空间中渲染的内容进行控制。所提供的用于渲染的内容是交互式流式传输内容，其基于用户的操作或交互来动态地变化。内容流式传输处理器模块包括内容过滤模块、内容交互性模块和内容渲染模块。内容过滤模块被配置来通过基于请求内容的用户的用户概况和所识别的关于内容的评分来选择性地过滤内容的一部分来产生经调整的内容。内容交互性模块被配置来处理从佩戴hmd的用户接收的关于所述内容的交互式输入并且将经处理的输入数据提供给内容过滤模块以便更新所识别的用于经由hmd来渲染的内容。内容渲染模块被配置来将经调整的内容格式化以便经由hmd渲染。
在一些实施方案中，渲染空间定义为渲染来自虚拟现实世界的内容的虚拟现实空间或渲染来自真实世界的内容的增强现实空间中的一个，所述来自真实世界的内容用计算机产生内容来叠加/覆盖，其在hmd的显示屏上或在用户眼睛的一部分上所定义的空间中来定义的。
在一些实施方案中，系统进一步包括动态评级产生器模块，其被配置来通过从一个或多个内容发布商，或一个或多个授权评级来源，或一个或多个用户，或保持在历史评级数据库中的历史评级，或其两个或更多个的组合来获得内容的评级数据而产生内容的评分。
在一些实施方案中，系统进一步包括输入处理模块，其被配置来接收用户经由输入设备和经由hmd来提供的输入，并且解释输入。将经解释的输入提供给内容交互性模块以便调整在渲染空间中呈现的内容，或提供给用户评级模块以便影响内容的评分。
在一些实施方案中，系统进一步包括位置和导览模块，其被配置来捕获与佩戴hmd的用户相关联的图像数据并且分析图像数据以便确定用户的相对位置、hmd的相对位置、用户用于提供输入的输入设备的相对位置，并且基于所捕获图像数据的分析来确定在渲染空间中的用户输入的移动和方向。用户的移动和方向作为输入来提供给内容过滤模块以便允许内容过滤模块预先分析将要在移动方向上呈现的内容并且根据用户概况来选择性地预先过滤所述内容。在预期用户在由用户输入所定义的方向上移动的情况下，执行预先分析和预先过滤。
在一些实施方案中，系统进一步包括用户概况模块，其被配置来根据对于用户来定义的用户概况来确定将要应用的预定义过滤规则。用户概况识别用于观看内容的用户偏好和特权。
在一些实施方案中，内容流式传输处理器模块进一步被配置来向佩戴hmd的用户提供用户界面以便允许对通过hmd的机构来呈现的内容进行评级、对提供内容的内容发布商进行评级，并且对与内容交互的其他用户进行评级。评级通过用户评级模块来捕获并且转发给动态评级产生器模块以便产生或调整内容的评分。
在一些实施方案中，内容过滤模块进一步被配置来识别需要选择性过滤的内容的所述部分的部件并且对内容的所述部分的所识别部件使用针对选择性过滤的部件所识别的适合部件覆盖物来执行选择性覆盖。适合部件覆盖物基于用户的用户概况来识别。
在一些实施方案中，内容过滤模块包括图像覆盖修饰器，其用于将识别要选择性过滤的内容的所述部分的视频、文字或图形部件的适合部分用适合于用户的用户概况的不同视频、文字或图形部件来选择性覆盖，和声音覆盖修饰器，其用于识别被识别要选择性过滤的内容的所述部分的音频部件的适合部分并且用适合于用户的用户概况的不同音频部件来选择性覆盖。
在另一个实施方案中，公开一种计算机可读介质，其上存储有计算机可执行指令。计算机可读介质包括识别用于在用户的头戴式显示器(hmd)的一个或多个机构所定义的渲染空间中呈现的内容的程序指令。内容是交互式内容并且基于用户的操作或交互来动态地变化。计算机可读介质进一步包括识别内容的评分的程序指令，基于所识别的评分和用户的用户概况来动态地调整内容以便选择性地过滤内容的一部分的程序指令，和经由hmd来渲染经调整的内容的程序指令。内容的动态调整在会话期间执行以使得内容的不同部分基于用户与在渲染空间中呈现的内容的操作或交互所确定的内容的变化来选择性地过滤。
因此，本发明通过恰好在向佩戴hmd的用户呈现内容之前，基于用户概况来过滤内容，提供控制由hmd的机构来呈现的内容的方法，从而满足需求。内容可为用户产生内容或第三方提供的内容。在一些实施方案中，通过hmd的机构来呈现的虚拟世界可使用真实世界计算机用户的控制器或控制输入设备来游历、参观和交互。在其他实施方案中，用户可与在渲染空间中提供的真实世界场景交互以便提供评论，或包括虚拟世界对象、计算机产生图形/内容等，并且这些用户交互可导致产生在渲染空间中渲染的增强内容。或者，佩戴hmd的真实世界用户可实质上玩视频游戏，其中他控制在hmd中呈现的虚拟环境的内容中的化身(例如，虚拟个人/用户)。在这个虚拟环境中，真实世界用户可通过提供操作/交互以便移动化身、与由其他用户控制的其他化身交互、发布消息、提供图形等来控制内容，并且根据控制用户的用户概况来过滤在虚拟环境中呈现的内容和(控制用户和其他用户的)交互。
在其他实施方案中，真实世界用户不必控制在渲染空间上渲染的虚拟环境中的化身。在这些实施方案中，在虚拟环境中示出的化身可为化身机器人，其例如由机器或在机器上执行的应用来控制。化身机器人被配置来以与由用户控制的化身类似的方式在虚拟场景中四处走动。举例来说，化身机器人被设计来以规定方式交互，修改虚拟环境，与虚拟环境中的其他化身和对象交互，发布告示，发布消息，建造或破坏虚拟空间、虚拟物件、虚拟对象、虚拟建筑物等。即使对于化身机器人，可能出现虚拟环境中的内容不适合于佩戴hmd的用户的情况。举例来说，内容可能太暴力、太可怕等。因此，通过化身机器人来提供的内容根据用户概况来选择性过滤以使得只呈现适合于用户的内容。
在其他实施方案中，真实世界用户可控制虚拟环境空间中的化身中的一些，同时在虚拟环境空间中示出的其他化身可为受机器控制的机器人。在其他实施方案中，用户可与应用的内容或从内容提供商获得的内容交互。不论在虚拟环境中呈现的内容来源，所述内容根据针对用户的用户概况来建立的过滤规则来过滤以使得只满足用户概况标准的内容通过hmd的机构向用户渲染。
从结合附图进行的以下详细描述，本发明的其他方面和优点将变得明显，以下详细描述通过举例的方式说明本发明的原理。
附图简述
可以通过参考结合附图进行的以下描述来最佳地理解本发明和它的其它优点。
图1a示出根据本发明的实施方案的向佩戴hmd的用户提供内容的交互式环境的简化方框图。
图1b示出根据本发明的实施方案的用于调整在用户佩戴的hmd的一个或多个机构所定义的渲染空间中呈现的内容的示例性内容流式传输处理器内的各种模块。
图2示出根据本发明的一个实施方案的识别真实世界用户可导览的不同虚拟现实(vr)环境的示例性概念虚拟空间，其中所呈现的内容受到控制。
图3a示出根据本发明的一个实施方案的用户导览以便观看或交互的示例性vr环境。
图3b示出根据本发明的一个实施方案的图3a的vr环境，其中基于用户概况，将子内容(即，内容的一部分)替换成其他子内容。
图3c示出根据本发明的一个实施方案的图3a的vr环境，其中子内容已经过滤掉。
图3d和图3e示出根据本发明的实施方案的子内容已经过滤并且替换成适合于用户的替代子内容的vr环境的之前视图和之后视图。
图4a示出根据本发明的一个实施方案的基于用户在vr环境内的位置的示例性vr环境视图。
图4b示出根据本发明的一个实施方案的基于用户移动来调整的图4a的vr环境，其中子内容得以过滤并且替换成替代内容。
图5示出根据本发明的一个实施方案的控制在用户的渲染空间中呈现的内容的过程操作。
图6示出根据本发明的实施方案的佩戴hmd的用户进行操作的示例性系统。
图7示出根据本发明的一个实施方案的头戴式显示器的示例性部件。
图8示出根据本发明的一个实施方案的向地理上分散并且经由网络连接的用户传递信息内容和服务的示例性信息服务提供商架构。
图9示出根据本发明的一个实施方案的用于控制向用户呈现的内容的计算设备的示例性部件。
详细描述
在以下描述中，提出了许多具体细节，以便提供对本发明的透彻的了解。然而，对于本领域技术人员将明显的是，可以在没有这些具体细节的一些或全部的情况下实践本发明。在其他情况下，众所周知的过程步骤尚未进行详细描述，以免混淆本发明。
根据本发明的实施方案，用户可与在渲染空间诸如虚拟现实(vr)空间、增强现实空间等中呈现的内容交互，所述渲染空间由头戴式显示器(hmd)的一个或多个机构来定义。在vr空间中呈现的内容根据佩戴hmd的用户的用户概况来选择性过滤以使得所呈现的内容适合于用户。内容可为真实世界内容或虚拟世界内容，包括增强现实内容、游戏内容或代表真实或虚构环境并且从任何内容源获得的任何其他内容。vr内容可包括交互式流式传输内容，真实用户可经由一个或多个输入设备和/或用户界面来与所述内容交互。与vr内容交互的规则可借助于一个或多个处理器来模拟
在经由多个处理器模块来摸拟的情况下，多个处理器模块可经由网络来连接在一起。用户可通过用户界面/输入设备与虚拟世界交互，所述用户界面/输入设备可通过网络与所述处理器模块和其它用户界面设备通信。向用户呈现的虚拟世界内容可包括一个或多个部件包括音频部件、视频部件、图形部件、文本部件等。图形、文本和视频部件可经由一个或多个视觉机构诸如显示屏、投影器或将光朝向hmd的用户的眼睛的一部分引导的其他设备来呈现并且音频部件可经由音频机构例如扬声器、骨传导或产生音频波的其他设备来呈现。前述音频和视觉机构是示例性的并且hmd也可采用其他机构来向用户呈现内容。
虚拟世界环境可包括代表不同用户的化身或虚拟对象，用户可使用输入设备或用户界面来与所述化身或虚拟对象交互。当特定用户与虚拟世界交互时，用户可通过与所指派、选定或与用户相关联的化身或虚拟世界对象交互来进行交互。在渲染空间中呈现的真实或虚拟世界环境可从化身的视角或相对于与佩戴hmd的用户相关联的化身/对象来呈现。内容可以二维或三维图像形式来呈现。在一些实施方案中，用户的化身可与其他用户的化身，与其他虚拟世界对象，或受机器控制的化身机器人交互。如前所述，化身机器人与由真实世界用户控制的化身类似。
在渲染空间中呈现的内容是交互式、流式传输内容。因此，当用户继续选择内容来观看时，在将流式传输内容提供给hmd的机构以便渲染之前，通过向hmd提供内容的计算设备的处理器，根据用户的用户概况的预定义过滤规则来主动地和动态地过滤所述内容。用户的用户概况识别观看内容的特权并且在一些实施方案中，识别由用户指定的用户偏好。与用户概况相关联的预定义过滤规则提供必要检查以便确保向用户呈现的内容满足针对用户概况来建立的标准，即使在佩戴hmd的用户不拥有所述内容时也是这样。另外，根据用户概况来选择性过滤允许不同用户基于他们所关联的用户概况、以不同方式来观看相同内容，而不是向所有用户提供普适过滤内容。举例来说，提供给儿童的视频可基于儿童的用户概况来过滤以便移除任何成人或不适合内容，并且相同视频可通过根据用户概况应用适合过滤来以不同方式呈现给特定种族、宗教、人口统计特征的成人。这类过滤可允许将一些内容针对一个用户来保持过滤掉，同时针对另一个用户来过滤掉一些其他内容。在本文中应注意，如在本申请中使用的内容的过滤涵盖移除内容的选择部分、修改内容的选择部分、将内容的选择部分用不同内容来覆盖等，这另外改变内容的部分的外观或渲染属性或数据内容以便符合针对性地渲染内容的用户的用户概况。本发明的优势从各个附图的以下详细描述而变得明显。
图1a示出根据本发明的实施方案的用于渲染交互式内容诸如与玩视频游戏相关联的内容的系统。示出用户100正佩戴着头戴式显示器(hmd)102。hmd102是可以类似于眼镜、护目镜或头盔的方式佩戴的可佩戴设备，并且所述hmd102被配置来经由图像向用户100显示视频游戏或其他内容。hmd102被配置来借助于显示机构(例如，光学元件和显示屏)相对于用户眼睛来安置的方式，或借助于一个或多个渲染机构向用户呈现内容的方式，和传输到hmd的内容的格式来向用户提供沉浸体验。在一个实例中，显示机构可包括在用户眼睛中的每一只前面的显示区，所述显示区占据用户视场的大部分或甚至全部。或者，显示区可在用户的一只眼睛的前面或侧面提供。
在一个实施方案中，hmd102可连接到计算机106。到计算机106的连接可以是有线或无线的。计算机106可为任何通用或专用计算机，包括但不限于游戏控制台、个人计算机、膝上型计算机、平板计算机、移动设备、蜂窝式电话、平板计算机、瘦客户端、机顶盒、流媒体设备等。在一些实施方案中，hmd102可直接连接至互联网，从而可允许在不需要单独本地计算机的情况下进行云游戏或访问在云上的应用。在这些实施方案中，用于处理从互联网检索的内容的计算机和计算资源可限定在hmd本身内。在一个实施方案中，计算机106可被配置来执行视频游戏(和其它数字内容)，并且输出来自所述视频游戏的视频和音频被传输到hmd102以供渲染。在一个实例中，计算机106是视频游戏控制台。
在一些实施方案中，计算机106可以是本地或远程计算机，并且计算机可运行仿真软件。在云游戏实施方案中，计算机是远程的，并且可由多种计算服务表示，所述计算服务可在数据中心中虚拟化，其中游戏系统/逻辑可虚拟化并通过网络分配给用户。
用户100可操作输入设备诸如控制器104来提供用于视频游戏的输入。在一个实例中，相机108可被配置来捕获用户100位于的交互式环境的图像。可分析这些所捕获的图像来确定用户100的相对位置和移动、hmd102和控制器104的相对位置。在一个实施方案中，控制器104包括一个灯(或多个灯)或可检测/可跟踪指示器，所述灯或指示器可被跟踪来确定它的位置和取向。另外，如下文更详细地描述，hmd102可包括一个或多个灯或可检测/可跟踪指示器，所述灯或指示器可作为标记被跟踪以在交互期间例如在玩游戏期间大体上实时地确定hmd102的位置和取向。
相机108可包括用于捕获来自交互式环境的声音的一个或多个麦克风。可处理麦克风阵列所捕获的声音来识别声源的位置。可选择性地利用或处理来自所识别位置的声音，以便排除不是来自所识别位置的其他声音。此外，相机108可被定义成包括多个图像捕获设备(例如，立体相机对)、ir相机、深度相机及其组合。
在一些实施方案中，计算机106可以本地方式在计算机106的处理硬件上执行游戏并且向hmd的机构提供内容以便呈现给用户。可以任何形式获得游戏或内容，如物理媒体形式(例如，数字光盘、磁带、卡、拇指驱动器、固态芯片或卡等)，或借助于经由网络110从互联网下载。在另一个实施方案中，计算机106充当通过网络110与云游戏提供商240通信的客户端设备。云游戏提供商240可维护并且执行用户100正玩的视频游戏。计算机106从hmd102、控制器104和相机108接收输入并且将这些输入传输给云游戏提供商，云游戏提供商处理所述输入以影响正执行的视频游戏的游戏状态。来自正执行视频游戏的输出诸如视频数据(即，视觉相关数据)、音频数据(即，声音)和交互式反馈数据诸如触觉反馈数据、温度数据、纹理变化数据等被传输给计算机106。计算机106在传输之前可进一步处理所述数据，但是在一些实施方案中可将数据直接传输到相关设备。举例来说，视频和音频流可提供给hmd102，而振动反馈命令、温度数据和/或纹理变化数据可提供给控制器104。
在一个实施方案中，hmd102、控制器104和相机108本身可以是连接到网络110以便与云游戏提供商112通信的联网设备。例如，计算机106可以是不另外执行视频游戏处理但促进网络流量通路的本地网络设备(如路由器)。hmd102、控制器104和相机108到网络110的连接可以是有线或无线的。在一些实施方案中，在hmd102上渲染和/或可在显示器107上显示或经由hmd102的一个或多个机构来呈现的内容是可从任何内容源120获得的流式传输内容。示例性内容源可包括例如，提供可下载内容和/或流式内容的互联网网站。在一些实例中，内容可包括任何类型的多媒体内容，如电影、游戏、静态/动态内容、图片、社交媒体内容、社交媒体网站等。
如下文将更详细地描述，在此类内容是沉浸式3d交互式内容的情况下，玩家100可使用hmd102玩游戏。当用户(即玩家100)正在玩游戏时，可将提供给hmd102的内容共享到显示器107。在一些实施方案中，显示器107可为hmd的显示屏。在其他实施方案中，显示器107可为显示表面/空间，在所述显示表面/空间上，内容可由hmd的机构来渲染。在一个实施方案中，被共享到显示器107的内容可允许接近玩家100或远程的其他用户在用户玩游戏时观看。在其它实施方案中，观看玩家100在显示器107上玩游戏的另一个玩家可与玩家100交互地参与。举例来说，在显示器107上观看玩游戏的用户也可参与玩游戏以便控制游戏场景中的角色、提供反馈、提供社交互动和/或提供评论(经由文本、经由语音、经由动作、经由姿势等)，这使得没有佩戴hmd102的用户能够与玩家100、与玩游戏过程或与经由hmd102中的机构来渲染的内容以社交方式交互。
图1b示出在计算设备106上提供的内容流式传输处理器模块的各种不同子模块，其用于调整经由hmd来呈现的内容。内容流式传输处理器模块106d可保持在存储器106b中并且由计算设备106的处理器106a来执行或流式传输处理器模块106d的一部分可保持在存储器中，同时其余部分可保持在云服务器中。内容可经由网络300诸如互联网从内容源或内容发布商获得，或可为由用户产生的内容或可为在计算设备诸如游戏控制台等处产生的内容，并且被选择来经由局域网络等来流式传输到hmd。在一些实施方案中，内容可与视频游戏的玩游戏相关，所述视频游戏从可经由网络300来访问的游戏内容提供商240或远程游戏服务器249a获得。在一个实施方案中，游戏内容提供商240可为经由网络来访问的云游戏网络的一部分。计算设备106可经由有线或无线连接来连接到游戏内容提供商或远程游戏服务器。处理器106a、存储器106b和内容流式传输处理器106d之间的交互经由内部总线106e来执行。发至内容源的对于内容的请求和来自内容源的内容的接收经由输入/输出(i/o)模块106c来执行并且经由内部总线来传输到内容流式传输处理器模块。i/o模块可包括网络接口卡(nic)，其以适合于所使用网络协议的封包形式来接收内容数据。对数据封包进行处理并且提取内容。所提取内容转发到内容流式传输处理器供进一步处理。
内容流式传输处理器模块106d可不仅接收所请求内容而且还可接收关于由内容发布商发布的内容的一个或多个评级，所述评级来自一个或多个授权评级源和/或来自一个或多个用户。如前所述，内容流式传输处理器模块可包括多个子模块，所述子模块用于在将内容流式传输到hmd供渲染之前根据佩戴hmd的用户的用户概况来接收和过滤内容。示例性子模块中的一些可包括内容过滤模块144、内容交互性模块138和内容渲染模块146。除了前述子模块以外，还可提供额外子模块以便处理从佩戴hmd的用户接收的输入数据，从而影响提供给hmd的内容。处理输入数据的额外模块可包括输入处理模块152、位置/导览模块154、用户概况模块142和动态评级产生器模块140。每个模块的功能现在参考图1b来详细描述。
内容流式传输处理器106d从佩戴hmd的用户接收对于内容的请求并且从一个或多个内容源249检索内容。内容可为任何格式，包括游戏内容249a、虚拟现实内容249b、音频、视频、照片249c、社交馈送249d、新闻内容249e、发布商评级249f或可使用hmd的机构来渲染的任何其他内容。内容可为流式传输内容，其基于在内容处检测到的用户的操作和交互或基于数据流来动态变化。内容可在存储器106b中缓存并且经由内部总线106e来提供给处理器106a。响应于从内容源接收内容，可启动内容流式传输处理器106d。一旦启动，内容流式传输处理器内的内容过滤模块144可识别和分析内容以便确定内容的类型和情境。
此外，内容过滤模块144可启用动态评级产生器模块140以便确定内容的评级。动态评级产生器模块140计算内容的评分并且将其提供至内容过滤模块144以便确定内容的质量并且基于用户的用户概况来识别必要过滤规则，以便应用于所述内容。在一个实施方案中，动态评级产生器模块140从一个或多个来源检索对于内容的评级并且使用积累评级来产生评分。在一些实施方案中，由不同来源提供的评级可通过动态评级产生器模块140以不同方式来加权，动态评级产生器模块然后根据与从不同来源接收的各种评级相关联的权重来计算评分。具体地说，动态评级产生器模块140可检索由内容的发布商使用发布商评级模块132来提供的发布商评级信息，由hmd的用户使用用户评级模块136来提供的用户评级信息，由一个或多个其他用户使用用户评级模块136针对内容提供的评级信息，和/或针对内容使用历史评级模块134从历史评级数据库246检索的历史评级。其他用户可通过直接与内容交互或通过经由社交馈送来交互，从而提供内容的评级，并且这类评级可保持在历史评级数据库246中并且用于产生内容的评分。在评级由其他用户提供的情况下，评级信息可与内容一起从内容发布商检索或可与相应用户的社交馈送分开地检索。
应注意除了用户的评级以外，历史评级数据库246还可保持对于内容的评级信息，所述评级信息由发布商、相关评级源提供，并且hmd的用户在以前请求和呈现内容时也可提供所述评级信息。在hmd的用户请求内容时，动态评级产生器模块140动态地积累来自多个评级源的评级信息，并且根据给予每个评级源的权重来计算内容的评分。在一些实施方案中，评分可在操作中产生。评分可确定内容的质量并且在内容过滤模块144过滤内容期间使用。
内容过滤模块144还可与用户概况模块142交互以便确定请求内容的用户的用户概况。用户概况模块被配置来确定佩戴hmd的用户的身份和一个或多个用户属性并且使用用户属性来确定来自用户概况数据库250的用户的用户概况。用户概况数据库250是保持多个用户的用户概况信息和用户等级的储存库。用户概况信息包括给予用户观看内容的特权并且在一些实施方案中，还可包括用户的一个或多个个人偏好。举例来说，用户偏好可指定包括涉及他的/她的社交联系人中的特定联系人或与所述联系人相关联的内容、由可信来源提供的内容、符合人口统计状况的内容等，并且这些用户偏好保持在用户的用户概况内。在从内容源检索内容时并且在将内容流式传输到hmd之前，内容过滤模块检索佩戴hmd的用户的用户概况以便确定对于用户指定的特权和偏好并且识别用于过滤内容的必要预定义过滤规则。
内容过滤模块144使用用户的用户概况和内容的评分来确定采用预定义过滤规则中的哪一个规则来使内容达到适合于用户概况的质量和标准。一旦针对用户概况来识别过滤规则，内容过滤模块144可分析将要流式传输到hmd的内容的部分以便确定是否内容根据过滤规则或是否特定子内容需要加以过滤。如在本申请中使用的子内容是少于整个内容的内容的部分。内容的部分可包括在vr空间中渲染和/或使用来自用户的输入来观看/交互的虚拟对象、虚拟化身、虚拟图形等。子内容可包括一个或多个部件，诸如音频部件、视频部件、文字部件、图形部件等。
内容过滤模块144对于将要通过应用诸如游戏应用、作为游戏进程的一部分等呈现给用户的内容进行分析。内容过滤模块确定内容中的各种部件，诸如语音/音频、文字、图像等，并且在一些实施方案中，甚至可执行图像-文字分析以便确定是否内容满足针对用户的用户概况来定义的标准。基于分析，内容过滤模块144可将不符合针对用户概况来建立的质量标准的内容的部分或内容的部分内的部件加以识别并且可针对它来进行过滤。举例来说，在包括多个部件诸如音频部件、视频部件、图形部件和文本部件的视频内容中，内容过滤模块可将不满足针对用户概况来建立的标准的内容的音频部件的部分加以识别。在这种情况下，内容过滤模块144识别将要从内容中过滤的音频部件部分。应注意音频部件是一个实例并且其他部件可包括不适合内容并且可能需要过滤。在一些实施方案中，一个以上部件可能需要过滤。当越来越新的内容流式传输到hmd时，在将内容呈现给hmd以便渲染之前，较新内容的分析和过滤大致上实时地(即，在操作中)通过内容过滤模块来完成，从而确保从任何内容源获得的内容符合针对用户的用户概况来设定的标准。应注意对于内容的部分的分析是在用户专注于内容并且较新内容流式传输到hmd时持续进行的过程，并且在将内容的部分传输到hmd供渲染之前，大致上实时执行。
在一个实施方案中，识别要过滤的内容的部分可为内容中的子内容的部件。一旦不适合部件得以过滤，所得过滤内容满足针对用户的用户概况来定义的质量标准。在选择部件来过滤的一个实施方案中，内容过滤模块可将部件的部分替换成匹配流式传输的内容的情境的另一个部件。在此实施方案中，内容过滤模块针对需要过滤的部件的不适合部分来识别不同部件内容并且通过用适合于观看内容的用户的用户概况的所识别不同部件内容的部分来选择性覆盖，从而将部件的不适合部分加以替换。在一些实施方案中，不同部件内容在情境上与所述内容相关。在一些实施方案中，在不能发现用于替换不适合部件内容的不同部件时，可识别用于替换不适合内容部件的默认部件内容。默认部件可或可不在情境上与所述内容相关。取决于需要过滤的部件，内容过滤模块可启用适合覆盖模块。举例来说，如果需要替换音频部件，那么内容过滤模块144可启用声音覆盖修饰器模块144b以便将不适合的音频部件的部分替换成在情境上与所述内容相关并且适合于佩戴hmd的用户的用户概况的适合音频部件。另一方面，如果需要替换视频、图形或文本部件，那么内容过滤模块可启用图像覆盖修饰器模块144a以便将视频、图形或文本部件的适合部分用在情境上与所述内容相关并且适合于佩戴hmd的用户的用户概况的对应部件来覆盖。
应注意虽然各种实施方案相对于过滤音频或视频/图形/文本子部件来详细描述，但是当前实施方案不仅限于这些子部件。在一些实施方案中，在内容过滤模块内提供的过滤机构可被配置来过滤除了视觉和音频子部件以外的内容。因此，过滤机构可包括适合覆盖修饰器模块，用于选择性过滤来自内容的一部分的与除了视觉和听觉以外的感官相关的子部件。举例来说，在一些实施方案中，也可使用过滤机构的适合子部件来选择性过滤与一个或多个感官相关的子部件，所述感官诸如嗅觉(包括三叉神经感觉)、触觉(包括疼痛、压力、发痒、温度、纹理等)、味觉、前庭、本体感受等，以及与一些内部感官诸如饥饿、恶心、口渴等相关的子部件。
一旦内容得以过滤，内容渲染模块146根据hmd的要求将过滤内容格式化。经过滤和格式化的内容经由输出模块148a来传输到hmd。输出模块148a可根据在计算设备与hmd之间建立的通信协议来执行进一步处理并且将经处理的内容转发到hmd供渲染。
响应于渲染，用户可经由hmd或经由在输入设备诸如控制器、键盘、鼠标等处的用户操作来与内容交互。来自输入设备104和hmd102的用户交互在输入模块148c处接收并且转发到内容流式传输处理器106d的输入处理模块152。输入处理模块152分析用户输入以便确定交互的类型和交互如何影响内容。在一些实施方案中，交互可为由用户提供的内容相关评级或响应于与由另一个用户提供的内容的操作/交互而产生的另一个用户的评级。在此实施方案中，评级信息可转发到用户评级模块136以便影响内容的评级。在另一个实施方案中，交互可为用户使用输入设备104来提供的操作，所述操作用于影响经由hmd102来呈现的内容。在此实施方案中，交互可转发到内容交互性模块138。内容交互性模块138分析交互并且确定内容的哪一个部分需要基于用户交互来调整并且相应地调整内容。经调整的内容转发到内容过滤模块，其中用户概况的预定义规则加以应用以便确保经调整的内容符合针对用户概况来定义的标准。
在输入模块处接收的用户交互可包括与输入设备104诸如控制器等相关联的位置数据，和/或经由输入设备104来提供的导览数据。举例来说，输入设备中的控件可用于在使用hmd102的机构来呈现的玩游戏的虚拟场景内，将与用户相关联的化身或对象在特定方向上推进，并且这些推进可需要根据用户的化身的相对位置来调整游戏场景。除了从输入设备接收的用户输入以外，可经由hmd102例如以位置和导览数据形式来提供输入。来自hmd102的输入可用于影响流式传输到hmd的内容。hmd的位置和取向经由相机108来捕获并且经由图像输入模块148b来转发到位置/导览模块154以便进一步处理。由hmd提供的输入数据通过位置/导览模块154来传输并且以与来自输入设备的输入类似的方式通过输入处理模块来处理，并且转发到内容交互性模块138以便影响流式传输到hmd的内容。
在一些实施方案中，从hmd和/或输入设备捕获的位置和导览数据可通过输入处理模块152来分析以便确定用户的相对位置和hmd的相对位置，这些相对位置可转换成用户的化身在游戏场景中的相对位置。基于分析，输入处理模块152可确定在渲染空间(例如，虚拟现实(vr)空间)诸如玩游戏期间的游戏场景内的用户的移动和移动的相对方向。将移动和方向信息提供给内容交互性模块138以便影响内容。举例来说，可能需要基于由用户提供的输入来调整内容以便反映用户在vr空间中的移动。对于内容的这种调整呈现为在vr空间中的用户的移动方向上的额外内容形式，对于内容的上述调整提供给内容过滤模块144以便在预期用户在由用户输入所确定的方向上继续移动的情况下，允许内容过滤模块144根据用户概况来选择性地预先筛选/预先过滤内容。当用户在由用户输入所确定的方向上移动时，预先过滤的内容准备呈现给用户的hmd。换句话说，在预期用户将在通过分析用户输入来预测的方向上继续移动的情况下，内容通过以下步骤得以提前过滤：确定用户当前移动的方向，基于当前移动方向来确定用户的移动方向，确定将要在移动方向上渲染的内容，并且根据用户的用户概况来预先过滤内容。
在一些实施方案中，内容流式传输处理器106d可保持响应于用户请求来向用户呈现的内容的历史。历史可包括所请求的内容、过滤掉的内容和/或替换成其他内容的内容。内容流式传输处理器106d可根据针对用户的用户概况来定义的预定义过滤规则来定期分析用户历史中的内容以便确保呈现给用户的内容满足针对用户概况来设定的标准。针对用户概况来定义的预定义过滤规则包括用户人口统计状况、用户属性、可在内容处检测到的操作和交互、内容的情境、内容和内容中的子内容的评分、用户偏好或其任何两个或更多个组合。因此，在分析期间，内容流式传输处理器可识别在vr空间中呈现的内容的具有某种情境的特定子内容，所述情境与曾经选择性过滤的子内容的情境类似。举例来说，可在内容中过滤掉具有不适合于用户的用户概况的语言的子内容的音频部件的一部分。然而，相同内容中的另一个子内容的具有某种语言的音频部件可经由内容过滤模块来传送并且被呈现用于渲染，所述语言在范围上与过滤掉的音频部件类似。这可归因于以下事实：预定义过滤规则可能未充分定义以便识别例如所有冒犯性或不适合语言、歌词、话语片段或在内容中渲染的任何其他音频。另外，一些音频部件对于某些用户(例如，具有某些人口统计状况的用户)可为冒犯性，但是对于其他用户可不为冒犯性的。类似问题可对于内容的视频、图形、文本或其他部件发生。为了智能地过滤和避免提供可能对于用户具有冒犯性的内容，内容流式传输处理器可提供更新针对用户概况来定义的预定义过滤规则的选项以使得在将来渲染期间呈现的内容可适当地过滤以便不包括不适合于用户的用户概况的子内容/内容。在一个实施方案中，可提供呈用户界面形式的选项以便允许更新预定义过滤规则和/或添加针对用户概况的额外过滤规则。
在一些实施方案中，内容流式传输处理器106d还可提供更新用户的用户概况的选项。用户概况可为基于某些用户属性诸如其年龄、宗教信仰、社区成员关系等的与一般用户相关联的概况，或它可为更特定的。因此，用户概况的更新可包括添加额外用户属性和/或用户偏好的选项，所述额外用户属性和/或用户偏好用于针对向用户呈现的内容来定义更多过滤器。在一些实施方案中，除了提供更新用户概况和预定义过滤规则的选项以外，内容流式传输处理器106d还可提供允许对于流式传输到hmd的内容进行评级、基于其他用户的用户属性或基于他们在内容处的操作/交互来对其他用户进行评级、对内容发布商进行评级和任何其他内容相关评级的选项。由用户提供的评级通过用户评级模块136来分析并且呈现给动态评级产生器模块140以便影响内容的评分。
应注意可接收来自各种内容源的内容，诸如来自游戏内容提供商240或其他用户249a的游戏内容、以视频形式来捕获和提供的真实世界内容、由作为用户的社交联系人或可靠来源的其他用户来共享的音频/视频/照片内容249c、来自新闻内容提供商的新闻内容249e、来自一个或多个社交媒体的社交馈送249d等，所述内容根据用户的用户概况来加以分析，并且基于针对用户概况来定义的预定义过滤规则来选择性过滤。经过滤的内容满足针对用户概况来建立的观看标准，允许用户观看宜人和适合的内容。
各种实施方案描述保持用户周围的保护罩或环境的内容流式传输处理器。内容流式传输处理器查看在环境中提供的内容并且基于在呈现内容的渲染空间中的用户操作和交互来确定何时向内容应用过滤。举例来说，如果子内容诸如虚拟对象、化身等接近或朝向渲染空间中的用户移动或如果用户朝向渲染空间中的子内容移动，如果子内容不满足针对用户的用户概况来建立的标准，子内容可予以改变、修改或甚至用过滤适合的子内容来替换。在一些实施方案中，子内容可完全不渲染，以致于似乎整个内容甚至不包括不适合子内容(即，不发生子内容清除)。如提及，对于内容所使用的过滤可包括音频过滤、对用户与其交互/不与其交互的不同人进行过滤的图像过滤、将不同对象/图形过滤掉的图像过滤等。举例来说，如果在经由hmd渲染的玩社交游戏过程中，一些人倾向于提供实质上太“成人”的动作，那么基于针对性呈现内容的用户的用户概况，这些人可提前从内容中过滤掉。或者，他们可用其他人或虚拟对象来替换以便使得内容看来似乎更真实。
在一些实施方案中，内容可过滤以使得在过滤罩/环境中呈现的内容只包括与经认可的朋友或社交联系人或被视为可信的那些人的列表相关联的内容。在一些实施方案中，内容流式传输处理器106d可通过与社交联系人数据库252交互来识别用户的经认可朋友或社交联系人。社交联系人数据库252分析由一个或多个社交图谱提供的数据并且确定其中识别的不同社交联系人与佩戴hmd的用户的关系，从而识别用户的社交联系人。即使在内容与朋友/社交联系人/可信用户相关联时，在将内容在用户的hmd上向用户呈现之前，仍然可将内容动态地过滤，以便确保流式传输内容不包括由这些来源提供的动作/内容，所述动作/内容违反较高水平控制，诸如父母控制等，或通过针对用户的用户概况的过滤规则所定义的用户过滤。在一些情况下，已知人们在与vr空间中的内容交互时作出不适合姿势或说出不适合语言。对于这些用户，他们的作出不适合姿势的手部可加以排除以免在vr空间中渲染或可用对于用户概况来说并且从受控用户的视角来观看时显得适合的一般手势来替换。类似地，包括不适合语言的音频内容的部分可用包括适合语言的部分来替换。替换子内容的部件的一部分可通过将所述部分用适合于用户概况的部件的相关部分覆盖来完成。
在一些实施方案中，可对于内容执行反向过滤。举例来说，父母可能不喜欢在儿童具有高声调语音的环境中玩游戏。在此实例中，在这种环境中呈现的内容可适合于所述父母。父母的用户概况可包括必要过滤规则以便将语音声调高的儿童从环境中排除，或取决于在环境中交互的用户，排除语音声调高的儿童进行交互的环境或可定义提供适合语音过滤的规则以便在将内容渲染给用户之前，将高声调语音的音调转换成低声调语音。在这些实施方案中，不在某种环境中进行交互活动是用户的个人选择/偏好，在所述环境中，语音声调高或语音单调的用户也进行交互活动。各种实施方案允许用户在用户概况中指定其个人偏好以便针对经由hmd在虚拟环境中呈现的内容来产生适合过滤规则以便使得内容观看体验对于用户来说是宜人的体验。
在各种实施方案的概述得以详述的情况下，现在参考图2-4来描述具体实施方案。图2示出根据本发明的一个实施方案的可使用用户100的hmd102的一个或多个机构来渲染的概念虚拟空间的图表。在一个实施方案中，可向用户提供不同虚拟(vr)空间，用户可导览到所述空间以便观看内容/与内容交互。在图2中识别的vr空间可为用户导览过、获得访问权、订阅、有兴趣观看/交互，或基于用户属性、偏好、地理位置、社交/业务/个人关系等向用户建议的内容。在此实施方案中，如图2示出，虚拟空间以图形形式来提供以便在hmd的显示屏上呈现的用户界面处或在由hmd的机构定义的渲染空间中供用户选择，或可以用户可选择的列表形式来提供。在替代实施方案中，可向用户呈现来自vr空间中的任何一个的内容，所述内容可基于用户请求来获得以供用户观看。vr空间的内容可包括来自真实世界环境或来自虚拟世界环境的内容或可为增强内容，其中真实世界环境用虚拟世界内容、计算机产生的和/或在一些情况下用户产生的图形内容来覆盖。举例来说，用户可四处从一个地理位置走动到另一个地理位置并且由hmd的机构呈现的内容可加以调整以便提供与用户想要的地理位置相关的真实世界场景的图像。或者，用户可对于在不同时间观看不同类型的内容方面表示出兴趣并且基于用户的兴趣，来自不同真实世界场景的内容或来自虚拟世界场景的内容可经由hmd来呈现。基于用户选择，内容可从适合内容源检索并且在将内容过滤和格式化之后，流式传输到hmd。用户可使用输入设备诸如控制器104来与由hmd102的机构呈现的内容交互，并且这些交互可用于影响流式传输到hmd的内容。
图3a示出概念虚拟空间诸如美术博物馆(在图2中表示为vr空间4)的图解表示，其中多个用户控制或机器控制的化身聚集并且彼此交互。如图3a示出，概念vr空间从用户100的视场来示出并且包括彼此交互、漫游虚拟空间、经由相应化身来与其他用户谈话等的用户。在vr空间中呈现的内容可来自交互式游戏或可来自真实世界或任何其他虚拟世界场景。在图3a示出的实施方案中呈现的内容包括多个化身，所述化身受与内容交互的其他用户控制或受机器控制。基于与用户100相关联的用户概况，内容过滤模块可识别用户化身(例如，化身118和116)中的一个或多个，控制用户对于在虚拟空间中与所述用户化身交互不感兴趣。如前所述，用户概况识别控制用户的用户属性以及由控制用户定义的任何个别偏好。用户概况的适合过滤规则得以识别并且应用于所述内容，以使得所得过滤内容符合针对用户概况来建立的内容质量标准。在一些实施方案中，内容过滤模块可应用过滤规则以便识别和过滤在vr空间内的内容中呈现的其他用户化身，基于其他用户评级、操作/交互(历史和当前操作/交互)的性质和类型、名誉、与控制用户的关系或没有关系等。或者，与其他用户相关联的子内容的特定部件(例如音频部件、视频部件、图形部件等)可根据用户的过滤规则来过滤并且经过滤的内容经由hmd来向用户呈现。用户的用户概况识别对于控制用户来指定的过滤准则并且内容过滤模块相应地对内容进行过滤。
图3b示出图3a呈现的概念虚拟空间的图解表示，其中根据对于控制用户100的用户概况来定义的过滤规则，一个或多个子内容用在情境上与所述内容相关的其他内容来替换。在另一个实施方案中，预定义过滤规则可识别控制用户的用户偏好或其他用户所需要的最小阈值用户评级以便控制用户与vr空间中的那些用户相关联的内容交互。前述准则对于定义用于过滤流式传输内容的过滤规则来说是示例性的并且还可使用其他准则。应注意过滤规则不仅被定义来过滤受其他用户控制或相关联的化身，而且可用于识别任何其他子内容，包括虚拟对象、图形、文字等，或需要过滤的子内容的特定部件。因此，在一个实施方案中，如图3b示出，取决于用户评级或用户偏好，在图3a的vr空间内识别的两个用户116和118得以过滤并且无缝地替换成控制用户可与其交互的其他用户或用户组(由116a和118a来表示)。在一些实施方案中，不一定需要进行过滤以便将一种类型的子内容用类似类型的子内容来替换。举例来说，在图3b示出的上述实例中，两个用户116和118可替换成在情境上适合于所渲染内容的无生命或有生命对象，诸如花瓶、雕像、犬、马等。类似地，其他子内容或子内容的部件可加以替换，所述替换是通过简单地将需要过滤的子内容的部分或子内容的部件的部分使用适合于用户概况的在情境上相关子内容来覆盖来实现的。
在一些实施方案中，在vr空间中呈现的内容可通过包括适合于佩戴hmd的控制用户100的用户概况的在情境上相关内容来改进。在这些实施方案中，如果流式传输的内容是无聊的或不具有充足操作/图形，则内容过滤模块可识别在情境上相关子内容，诸如图形、动画剪辑、音频剪辑、视频剪辑等，并且智能地将它与内容合并以便使得内容更有趣和/或宜人。当然，将所识别的子内容加以分析以便确保子内容满足由控制用户的用户概况来定义的过滤规则。
图3c示出图3a呈现的概念vr空间中的内容的图解表示，其中根据控制用户100的用户概况来定义的过滤规则，将一些子内容完全过滤掉。举例来说，控制用户100可指定他只想观看由作为他的社交联系人的其他用户或可靠或声誉好的用户来提供或控制的内容。因此，内容过滤模块将通过不可靠/声誉不好或不是控制用户的社交联系人的其他用户来操控的化身过滤掉，如图3c描绘的vr空间4示出。
图3d示出根据本发明的实施方案的可为概念虚拟空间环境中的建筑物的部分的交互式空间。如示出，建筑物的墙壁可具有涂鸦或图形181，根据控制用户的用户概况，所述涂鸦或图形可为冒犯性的、使人惊恐的、可怕的或另外不适合于控制用户。因此，内容过滤模块识别冒犯性或不适合子内容(即，涂鸦或图形)并且将它过滤掉或将它用识别为适合于用户的相同类型(即，图形)的不同子内容来替换。对于替换所述内容，内容过滤模块可搜索在内容历史数据库中保持的内容的储存库以便识别在情境上适合并且匹配对于用户概况来定义的渲染准则的子内容的类型并且将不适合子内容替换成所识别的子内容。或者，内容过滤模块可通过搜索互联网来识别内容并且将不适合内容替换成来自互联网的内容。子内容的替换可包括将所识别的子内容重新设定尺寸或重新格式化以便符合它在其中进行替换的虚拟空间或内容的部分。图3e示出一个这类实例，其中图3d示出的vr空间7中的冒犯性图形130用满足针对控制用户的用户概况来建立的标准的不同图形130a来替换。内容的过滤可加以定制以便满足不同用户的用户概况要求。因此，在一些实施方案中，不同用户可基于其相应用户概况来观看不同图形。举例来说，如果控制用户是儿童，那么所替换的图形可为适合于用户的年龄和其他属性的卡通图形，如图3e示出。如果控制用户是年轻的成人，那么所替换的图形可为例如视频游戏的广告等。因此，可向不同控制用户提供匹配其特权和/或偏好的内容，从而使得这对于用户来说成为非常宜人的内容观看和交互式体验。
图4a和图4b示出根据本发明的实施方案的在不同时间的虚拟世界场景的虚拟空间渲染细节，其中用户102展示为四处走动并且与其他用户、对象交互，或与其他用户/对象交流。经由hmd提供的场景反映由用户100看见的视图。如示出，用户a100可具有住宅201，用户a100可进入其中、与对象交互、会晤其他用户、交换意见或简单定义为用户a100的家园。用户a100可在虚拟空间中旅行。举例来说，用户a100可在虚拟空间100b中行走经过某些建筑物、房屋、对象、进入或离开不同空间等。
举例来说，用户a100可步行到用户b的房屋203或沿着在用户a100的房屋201与用户b的房屋203之间示出的街道散步。当用户a100沿着路径前进时，内容得以调整以便反映用户a100对于虚拟场景的透视图。图4b示出一个这类实施方案，其中用户a100沿着两个房屋之间的路径并且经过在路旁聊天的两个用户(207、209)并且朝向会场217散步，其中两个其他用户(211、213)在会场建筑物的一侧站立并且聊天。图4b描绘的其他用户(207、209、211、213)可受其他真实世界用户控制或可通过提供所述内容的应用诸如游戏应用来提供，或可通过计算机来提供和控制。图4b示出的虚拟空间还包括其他对象诸如树、灌木和其他美学和交互式特征以便允许各个用户在虚拟空间中漫游或仅交互。在一个实施方案中，图4b呈现的虚拟空间可包括涂鸦或图形(例如，内容a)，基于他的/她的用户概况，所述涂鸦或图形可不适合于用户a100。内容过滤模块可确定用户a100经由hmd和输入设备来提供的操作/交互，确定用户的移动和移动方向，识别将要在移动方向上呈现的内容并且根据与用户a100相关联的用户概况来分析内容以便确定是否内容中的任何子内容或子内容的部件将要过滤。基于分析，内容过滤模块可识别在会场建筑物217的一侧呈现的不适合于向用户a100呈现的子内容a。因此，在将内容呈现给用户a100之前，内容过滤模块查询例如内容历史数据库或互联网以便识别在情境上与内容相关的子内容(内容b)并且将内容a替换成内容b。内容过滤模块通过预期控制用户的下一个交互来执行内容的预测分析，在预期移动方向上提前分析和过滤内容以使得内容在没有很多延时的情况下、以无缝方式在vr空间中呈现。
本发明的各种实施方案得到详细描述，根据用户的用户概况来过滤内容的方法现在参考图5定义的方法操作来描述。方法开始于操作510，其中识别在渲染(vr)空间中呈现的内容。对于内容的请求由佩戴头戴式显示器(hmd)的用户作出。内容是交互式流式传输内容并且可从任何内容源获得。内容可从本地或远程执行的游戏应用、新闻内容提供商、社交媒体等获得，并且可包括一个或多个部件，诸如音频、视频、图形、文字等。内容还可包括由内容提供商、授权评级源、已经交互或观看内容的其他用户来提供的与内容相关的评级信息，和/或与提供内容的用户以及与内容交互的用户相关的评级信息。识别内容源并且请求并接收来自内容源的内容。所接收的内容可存储在存储器诸如高速缓冲存储器中，并且通过通信地连接到hmd的计算设备的处理器来处理。
识别内容的评分，如操作515示出。通过积累来自各种来源的关于内容的评级并且计算评分，内容流式传输处理器内的动态评级产生器模块可产生评分。动态评级产生器模块可将从不同来源获得的评级以不同方式进行权衡并且在一个实施方案中，随着来自每个来源的积累评级和指派给相应来源的权重而变化，可产生评分。
然后将内容调整以便选择性过滤来自内容的子内容，如操作520示出。子内容可基于与请求内容的用户相关联的用户概况、内容的评分和在内容处检测到的持续性交互来选择性过滤。因为内容是流式传输内容，所以流式传输的数据流可产生内容的变化。另外，其他用户可与内容交互并且在内容处提供操作/交互并且这些持续性交互可提供流式传输内容的变化。来自其他用户的操作和交互可包括内容的评级、用户的评级和可影响向hmd流式传输的内容的其他操作。根据与hmd的用户相关联的用户概况来分析这些操作和交互以便确定是否内容的变化满足对于用户所定义的质量或是否操作/交互要求将内容加以过滤。基于分析，当内容包括不适合于用户概况的子内容时，内容通过内容过滤模块来选择性过滤。过滤可以使得内容的变化看来似乎无缝的方式来执行。在一些实施方案中，将不适合子内容移除。在其他实施方案中，将不适合子内容用在情境上与流式传输到hmd的内容相关的另一个子内容来替换。替换可通过确定子内容的部件的一个或多个参数并且将子内容的部件用与所过滤子内容相同类型的另一个子内容来智能地覆盖来进行。替换可包括将其他子内容动态地重新改变尺寸或重新格式化以便匹配所替换的部件的参数以使得替换似乎是无缝的。
在动态调整内容之后，将内容格式化以便在由hmd的机构所定义的渲染空间中渲染，如操作525示出。经格式化的内容自动地传输到hmd以便在由hmd的机构所定义的渲染空间上呈现。所渲染内容符合针对佩戴hmd的用户的用户概况来建立的标准。
用户可经由hmd或经由输入设备诸如控制器来与内容交互。另外，佩戴hmd的用户的图像、hmd和输入设备的图像通过hmd外部的相机来捕获并且所捕获图像通过位置/导览模块来处理以便确定用户的相对位置、hmd的相对位置、输入设备的相对位置等。此外，经由hmd和输入设备来提供的输入通过输入处理模块来处理以便确定用户在vr环境内的移动和方向。通过位置/导览模块和输入处理模块来提供的信息由内容交互性模块用于执行关于用户在vr环境内的移动方向的预测分析并且在预期用户将在由位置/导览模块和输入处理模块指示的方向上继续移动的情况下，对内容进行预处理。举例来说，如果内容交互性模块确定用户在东南方向上移动并且继续在这个方向上移动，那么在预期用户在所述方向上继续移动的情况下，内容交互性模块可识别将要在这个方向上呈现的内容、预先分析内容并且执行任何过滤。只要用户专注于内容，接收内容并且根据佩戴hmd的用户的用户概况来过滤内容的过程继续进行。
图6示出根据一个实施方案的在使用期间佩戴hmd102的用户。在这个实例中，展示使用由相机108从所捕获的视频帧获得的图像数据来跟踪802hmd。另外，展示还可使用由相机108从所捕获的视频帧获得的图像数据来跟踪804输入设备诸如控制器。还展示hmd经由电缆806连接到计算系统106的配置。在一个实施方案中，hmd从相同电缆获得电力或可连接到另一条电缆以便接收电力。在又一个实施方案中，hmd可具有可再充电的电池，以便避免额外的电源线。
示例性头戴式显示器(hmd)102包括分布在hmd的整个外表面上的多个可跟踪指示器，诸如灯、led等。这些指示器中的每一个可被配置成具有特定形状和/或位置，并且可被配置成具有相同或不同颜色。将了解，可在用户使用hmd102的交互式环境的所捕获图像中识别作为视觉标记的所述灯。
图像捕获设备108，诸如相机或一组相机，可用于跟踪指示器以便确定hmd102在交互式环境中的位置和取向。取决于hmd102的特定取向，一些指示器可为可见的，同时其他指示器可隐藏以免被相机捕获。在一些实施方案中，安置在hmd102中的惯性传感器可用于提供关于定位的反馈，而不需要对指示器进行跟踪。在一些实施方案中，指示器和惯性传感器一起工作，以便实现位置/运动数据的混合和选择。
在一个实施方案中，指示器可被配置来向附近其他人提供hmd的当前状态。因此，指示器被配置来展现某种颜色布置、强度布置、被配置来闪烁、具有某种开/关配置或指示hmd102的当前状态的其他布置。
hmd102可另外包括一个或多个麦克风。通过利用麦克风阵列，可处理来自麦克风中的每一个的声音以确定声源的位置。可以各种方式利用此信息，所述方式包括排除不想要的声源、使声源与视觉识别相关联等。
hmd102还可包括一个或多个图像捕获设备。通过利用立体图像捕获设备对，可从hmd102的视角捕获环境的三维(3d)图像和视频。可将此类视频呈现给用户，以在佩戴hmd102时向用户提供“视频透视”能力。此类视频可利用虚拟元素来增强，以便提供增强的现实体验，或可与虚拟元素以其他方式组合或共混。应了解可存在任何数目的面向外部的相机或单一相机可安装在hmd102上，并且以任何方向，包括前面、侧面和/或背面来取向。
参考图7，展示示出根据本发明的实施方案的头戴式显示器102的示例性部件的图。应理解，hmd102可包括或不包括或多或少的部件，取决于启用的配置和功能。头戴式显示器102可包括用于执行程序指令的处理器900。存储器902被提供用于存储目的，并且可包括易失性存储器和非易失性存储器。包括显示器904，所述显示器提供用户可观看的视觉界面。
显示器904可由单个显示器或可以每只眼睛单独显示屏的形式界定。当提供两个显示屏时，有可能分别提供左眼和右眼视频内容。将视频内容单独呈现给每只眼睛例如可提供对三维(3d)内容更好的沉浸式控制。如上所述，在一个实施方案中，通过使用针对一只眼睛的输出，并且随后格式化所述内容以供以2d格式显示，第二屏幕107具备hmd102的第二屏幕内容。一只眼睛在一个实施方案中可以是左眼视频馈送，而在其它实施方案中它可以是右眼视频馈送。
电池906可被提供为头戴式显示器102的电源。在其它实施方案中，电源可包括插座连接电源。在其它实施方案中，可提供插座连接电源和电池906。运动检测模块908可包括各种运动敏感硬件中的任一种，如磁力计910、加速度计912和陀螺仪914。
加速度计是用于测量加速度和重力引起的反作用力的设备。单轴和多轴(例如，六轴)模型能够检测不同方向上的加速度的量值和方向。加速度计用于感测倾角、振动和冲击。在一个实施方案中，使用三个加速度计912来提供重力方向，所述重力方向为两个角度(世界空间俯仰和世界空间横滚)给出绝对参考。
磁力计测量在头戴式显示器附近的磁场的强度和方向。在一个实施方案中，三个磁力计910用于头戴式显示器内，从而确保世界空间偏航角的绝对参考。在一个实施方案中，磁力计经设计以跨越地球磁场，所述磁场为±80微特斯拉。磁力计受金属影响，且提供与实际偏航单调的偏航测量结果。磁场可由于环境中的金属而扭曲，这造成偏航测量结果的扭曲。如果必要，此扭曲可使用来自其它传感器例如陀螺仪或相机的信息来校准。在一个实施方案中，加速度计912与磁力计910一起用于获得头戴式显示器102的倾角和方位角。
陀螺仪是用于基于角动量的原理来测量或保持取向的设备。在一个实施方案中，三个陀螺仪914基于惯性感测提供关于越过相应轴线(x、y和z)的移动的信息。陀螺仪帮助检测快速旋转。然而，陀螺仪在不存在绝对参考的情况下可随时间而漂移。这需要定期重新设置陀螺仪，所述重新设置可使用其他可利用的信息来完成，所述信息如基于对对象、加速度计、磁力计等的视觉跟踪的位置/取向确定。
提供相机916来用于捕获真实环境的图像和图像流。头戴式显示器102可包括一个以上相机(任选地)，其包括后置相机(当用户正在观看头戴式显示器102的显示时背离用户),和前置相机(当用户正在观看头戴式显示器102的显示时直接朝向用户)。另外，深度相机918可被包括在头戴式显示器102内，以用于感测真实环境中的对象的深度信息。
头戴式显示器102包括用于提供音频输出的扬声器920。另外，可包括麦克风922用于捕获来自真实环境的音频，包括来自周围环境的声音、由用户产生的语音等。头戴式显示器102包括向用户提供触觉反馈的触觉反馈模块924。在一个实施方案中，触觉反馈模块924能够引起头戴式显示器102的移动和/或振动，以便向用户提供触觉反馈。
led926提供作为头戴式显示器102的状态的视觉指示器。例如，led可指示电池电量、通电等。提供读卡器928以使得头戴式显示器102能够从存储器卡读取信息和将信息写入到存储器卡。usb接口930被包括作为用于实现手持式外围设备的连接或到其它设备的连接的接口的一个实例，所述其它设备例如其它便携式设备、计算机等。在头戴式显示器102的各种实施方案中，可包括各种类型的接口中的任何接口以实现头戴式显示器102的更大连接性。
可包括wifi模块932，以用于实现经由无线联网技术来连接到互联网。并且，头戴式显示器102可包括用于实现无线连接到其它设备的蓝牙模块934。还可包括通信链路936，以用于连接到其他设备。在一个实施方案中，通信链路936利用红外线传输来进行无线通信。在其他实施方案中，通信链路936可利用用于与其他设备通信的各种无线或有线传输协议中的任一种。
包括输入按钮/传感器938来为用户提供输入接口。可包括各种输入接口中的任何一个，诸如按钮、姿势、触摸板、操纵杆、轨迹球等。超声波通信模块940可包括在头戴式显示器102中以便促进经由超声波技术来与其他设备通信。
包括生物传感器942来实现来自用户的生理数据的检测。在一个实施方案中，生物传感器942包括一个或多个干电极，用于通过用户的皮肤检测用户的生物电信号、语音检测、眼睛视网膜检测以识别用户/简档等。
包括渲染机构944以使得能够将图像聚焦到控制用户的眼睛的一部分上。在一个实施方案中，渲染机构944可包括发射光的一个或多个发光设备，所述光将内容的图像直接投射到用户的眼睛的一部分(例如，视网膜、视神经等)上，使得可在不需要显示屏的情况下渲染内容。
已将头戴式显示器102的前述部件描述为仅仅是可包括在头戴式显示器102中的示范性部件。在本发明的各个实施方案中，头戴式显示器102可或可不包括各种前述部件中的一些部件。头戴式显示器102的实施方案可另外包括目前未描述、但在本领域已知的其他部件，以用于促进如本文所述的本发明的方面的目的。
本领域技术人员将了解，在本发明的各个实施方案中，可结合显示器上所显示的交互式应用来利用前述手持式设备，以提供各种交互式功能。仅作为实例且不作为限制来提供本文所述的示范性实施方案。
在一个实施方案中，如本文所提及的客户端和/或客户端设备可包括头戴式显示器(hmd)、终端、个人计算机、游戏控制台、平板计算机、电话、机顶盒、电话亭、无线设备、数字垫、独立设备、手持式玩游戏设备和/或类似设备。通常，客户端被配置来接收经编码的视频流，对视频流进行解码，并且将所得的视频呈现给用户(例如游戏玩家)。接收编码的视频流和/或对视频流进行解码的过程通常包括将个别视频帧存储在客户端的接收缓冲器中。可以在与客户端成一体的显示器上或在如监视器或电视机等单独设备上将视频流呈现给用户。
客户端任选地被配置来支持一个以上游戏玩家。举例来说，游戏控制台可被配置来支持两个、三个、四个或更多个同时玩家(例如，p1、p2……pn)。这些玩家中的每一个可接收或共享视频流，或单个视频流可包括特别针对每个玩家而产生(例如，基于每个玩家的视角而产生)的帧的区。任何数目的客户端可以是本地的(例如，位于同一地点)或地理上分散的。游戏系统中所包括的客户端的数目可从一个或两个广泛变化到几千个、几万个或更多个。如本文所使用，术语“游戏玩家”用来指玩游戏的人，并且术语“玩游戏设备”用于指用来玩游戏的设备。在一些实施方案中，玩游戏设备可指多个计算设备，这些计算设备合作来向用户传达游戏体验。
举例来说，游戏控制台和hmd可与视频服务器系统合作来传达通过hmd观看的游戏。在一个实施方案中，游戏控制台从视频服务器系统接收视频流，并且游戏控制台将所述视频流或对所述视频流的更新转发给hmd和/或电视机以便进行渲染。
更进一步来说，hmd可用于观看所产生或所使用的任何类型的内容和/或与之交互，如视频游戏内容、电影内容、视频剪辑内容、网络内容、广告内容、比赛内容、博弈游戏内容、电话会议/会谈内容、社交媒体内容(例如，发帖、消息、流媒体、朋友的活动和/或玩游戏)、视频部分和/或音频内容、以及经由浏览器和应用通过互联网从来源消耗的内容，以及任何类型的流式内容。当然，前述列举的内容不具有限制性，因为任何类型的内容均可被渲染，只要其可在hmd中观看或被渲染到屏幕或hmd的屏幕即可。
客户端可(但不需要)还包括被配置来用于修改接收到的视频的系统。例如，客户端可被配置来：执行进一步渲染，将一个视频图像覆盖在另一个视频图像上，修剪视频图像，和/或类似操作。举例来说，客户端可被配置来接收各种类型的视频帧，如i帧、p帧和b帧，并且被配置来将这些帧处理成图像以向用户显示。在一些实施方案中，客户端的成员被配置来对视频流执行进一步渲染、阴影处理、转换成3-d、转换成2d、失真消除、设定尺寸或类似操作。客户端的成员任选地被配置来接收一个以上的音频或视频流。
客户端的输入设备可包括：例如，单手游戏控制器、双手游戏控制器、姿势辨别系统、注视辨别系统、语音辨别系统、键盘、操纵杆、指点设备、力反馈设备、运动和/或位置感测设备、鼠标、触摸屏、神经接口、相机、还未开发出的输入设备，和/或类似设备。
视频源可包括渲染逻辑，例如，存储在诸如存储装置等计算机可读介质上的硬件、固件和/或软件。此渲染逻辑经配置以基于游戏状态来创建视频流的视频帧。渲染逻辑中的全部或部分任选地设置在一个或多个图形处理单元(gpu)内。渲染逻辑通常包括经配置用于基于游戏状态和视点来确定对象之间的三维空间关系和/或经配置用于施加适合的纹理等的处理阶段。渲染逻辑可产生经编码的原始视频。例如，原始视频可根据adobe
在一些实施方案中，客户端可以是通用计算机、专用计算机、游戏控制台、个人计算机、膝上型计算机、平板计算机、移动计算设备、便携式游戏设备、蜂窝式电话、机顶盒、流媒体接口/设备、智能电视机或联网显示器，或能够被配置来履行如本文所定义的客户端功能性的任何其它计算设备。在一个实施方案中，云游戏服务器被配置来检测用户正利用的客户端设备的类型，并且提供适合用户的客户端设备的云游戏体验。举例来说，可使图像设置、音频设置和其它类型的设置针对用户的客户端设备最佳化。
图8示出信息服务提供商架构的实施方案。信息服务提供商(isp)1070向地理上分散并且经由网络1086连接的用户1082传达大量信息服务。isp可输送仅一种类型的服务，诸如股票价格更新，或多种服务诸如广播媒体、新闻、体育、游戏等。另外，由每个isp提供的服务是动态的，也就是说，服务可在任何时间点添加或去除。因此，向特定个人提供特定类型服务的isp可随时间而改变。举例来说，当用户在她的家乡时，所述用户可由接近用户的isp服务，并且当用户到不同城市旅游时，所述用户可由不同isp服务。家乡isp将所需的信息和数据传递到新的isp，使得用户信息“跟随”用户到新的城市，从而使数据更靠近用户并且更容易访问。在另一个实施方案中，可在主isp与服务器isp之间建立主-服务器关系，所述主isp管理用户的信息，并且服务器isp在主isp的控制下与用户直接介接。在另一个实施方案中，当客户端在世界范围内移动时，数据从一个isp传递到另一个isp，以便使处于较好位置来服务用户的isp成为传达这些服务的isp。
isp1070包括应用服务提供商(asp)1072，所述应用服务提供商(asp)1072通过网络向客户提供基于计算机的服务。使用asp模型提供的软件有时也称为按需软件或软件即服务(saas)。提供到特定应用程序(如客户关系管理)的访问权的简单形式是通过使用标准协议，如http。应用软件驻留在供应商的系统上，并且由用户通过使用html的网页浏览器、通过供应商提供的专用客户端软件或其它远程接口如瘦客户端来访问。
在广泛的地理区域范围内传达的服务常常使用云计算。云计算是一种计算方式，其中通过互联网提供可动态扩展和常常虚拟化的资源作为服务。用户无需是支持用户的“云”中的技术基础设施方面的专家。云计算可被分为不同服务，如基础设施即服务(iaas)、平台即服务(paas)和软件即服务(saas)。云计算服务常常提供从网络浏览器访问的在线共用商业应用，而软件和数据被存储在服务器上。基于在计算机网络图中如何描绘互联网以及其隐藏的复杂基础设施的抽象概念，将术语云用作互联网(例如，使用服务器、存储和逻辑)的隐喻。
此外，isp1070包括游戏处理服务器(gps)1074，所述游戏处理服务器(gps)1074由游戏客户端使用来玩单个玩家和多玩家视频游戏。通过互联网玩的大多数视频游戏均经由连到游戏服务器的连接来操作。通常，游戏使用专用的服务器应用，所述服务器应用收集来自玩家的数据，并且将其分发给其它玩家。这比对等布置更高效率且更有效，但是其需要单独的服务器来托管服务器应用。在另一个实施方案中，gps建立玩家与他们的相应玩游戏设备之间的通信来交换信息而无需依赖集中化gps。
专用gps是独立于客户端运行的服务器。此类服务器通常在位于数据中心的专用硬件上运行，从而提供更大的带宽和专用的处理能力。专用服务器是托管大多数基于pc的多玩家游戏的游戏服务器的优选方法。大型多玩家在线游戏在通常由软件公司(所述软件公司拥有游戏名称)托管的专用服务器上运行，从而允许所述专用服务器控制并更新内容。
广播处理服务器(bps)1076向观众分配音频或视频信号。对非常小范围的观众广播有时称为窄播。广播分配的最后一站是信号如何到达听众或观看者，并且如同无线电台或电视台，所述信号可从空中到达天线和接收器，或可通过有线电视或有线广播(或“无线电缆”)经由电台或直接从网络到达。互联网还可给接受者带来无线电或电视(特别是利用多播)，从而允许共享信号和带宽。历史上，广播已受地理区域限定，如国家广播或区域广播。然而，在快速互联网扩散的情况下，广播不再受地理位置限定，因为内容可到达几乎全世界的任何国家。
存储服务提供商(ssp)1078提供计算机存储空间和相关管理服务。ssp还提供定期备份和归档。通过提供存储作为服务，用户可根据需要订购更多的存储空间。另一个主要优点在于，ssp包括备份服务，并且用户在其计算机的硬盘驱动器发生故障时，将不会丢失他们的全部数据。此外，多个ssp可具有用户数据的全部或部分拷贝，从而允许用户独立于用户所处的位置或正用于访问数据的设备以高效方式访问数据。举例来说，用户可访问家用计算机中以及当用户在移动中时访问移动电话中的个人文件。
通信提供商1080提供到达用户的连接性。一种通信提供商是提供对互联网的访问的互联网服务提供商(isp)。isp使用适于传达互联网协议数据报的数据传输技术连接其客户，所述数据传输技术如拨号上网、dsl、电缆调制解调器、光纤、无线或专用高速互连件。通信提供商还可提供消息接发服务，如电子邮件、即时消息接发和sms文本传送。另一种类型的通信提供商是网络服务提供商(nsp)，所述网络服务提供商(nsp)通过提供到互联网的直接主干访问来销售带宽或网络访问。网络服务提供商可由电信公司、数据运营商、无线通信提供商、互联网服务提供商、提供高速互联网访问的有线电视经营商等组成。
数据交换1088使isp1070内部的若干模块互连，并且经由网络1086将这些模块连接到用户1082。数据交换1088可覆盖isp1070的全部模块均在附近的小型区域，或当不同模块在地理上分散时，可覆盖较大的地理区域。举例来说，数据交换1088可包括数据中心的机柜内的快速千兆位以太网(或更快)，或洲际虚拟区域网(vlan)。
用户1082利用客户端设备1084来访问远程服务，所述客户端设备1084包括至少cpu、显示器和i/o。客户端设备可为pc、移动电话、上网本、平板计算机、游戏系统、pda等。在一个实施方案中，isp1070识别客户端所使用的设备的类型并且调整所使用的通信方法。在其它状况下，客户端设备使用标准通信方法(如html)来访问isp1070。
本发明的实施方案可以利用各种计算机系统配置来实践，所述计算机系统配置包括手持式设备、微处理器系统、基于微处理器的或可编程的消费型电子设备、小型计算机、大型计算机等。本发明还可以在分布式计算环境中实践，其中由通过基于有线或无线的网络链接起来的远程处理设备来执行任务。
考虑到以上实施方案，应理解，本发明可以采用各种计算机实施的操作，所述操作涉及存储在计算机系统中的数据。这些操作是需要对物理量进行物理操纵的操作。本文中描述的形成本发明的一部分的任何操作都是有用的机器操作。本发明还涉及用于执行这些操作的设备或装置。所述装置可出于所需目的而专门构造而成，或所述装置可以是由存储在计算机中的计算机程序来选择性地激活或配置的通用计算机。具体来说，各种通用机器可与根据本文中的教示所编写的计算机程序一起使用，或者可以更方便地构造更专门的装置来执行所需的操作。
本发明也可体现为计算机可读介质上的计算机可读代码或它可体现为可执行指令，所述可执行指令可从来源诸如云服务器、远程服务器、虚拟服务器等下载，并且通过计算设备的处理器来执行。计算机可读介质是可存储数据的任何数据存储设备，所述数据随后可由计算机系统读取。计算机可读介质的实例包括硬盘驱动器、网络附接存储体(nas)、只读存储器、随机存取存储器、cd-rom、cd-r、cd-rw、磁带以及其他光学和非光学数据存储设备。计算机可读介质可包括分布在网络联接式计算机系统上的计算机可读有形介质，以使得计算机可读代码是以分布方式进行存储和执行。
尽管以特定顺序描述了方法操作，但应理解，可以在操作之间执行其他内务处理操作，或者可以调整操作以使得它们在略微不同的时间发生，或者可以分布在系统中，所述系统允许处理操作以与所述处理相关联的各种时间间隔发生，只要重叠操作的处理以所需方式执行即可。
尽管为了理解的清晰性而略微详细地描述了前述发明，但很显然，可以在所附权利要求书的范围内实践某些变化和修改。因此，目前的实施方案应被认为是说明性而非限制性的，并且本发明不限于本文所给出的细节，而是可在所描述的实施方案的范围和等效物内进行修改。
图9示意性地示出游戏控制台诸如
i/o桥1434还连接到六个通用串行总线(usb)2.0端口1424；千兆以太网端口1422；ieee802.11b/g无线网络(wi-fi)端口1420以及能够支持达七个蓝牙连接的
在操作中，i/o桥1434处理所有无线、usb和以太网数据，包括来自一个或多个游戏控制器1402的数据。例如，当用户玩游戏时，i/o桥1434经由蓝牙链接接收来自游戏控制器1402的数据并将其引导至cell处理器1428，所述cell处理器相应地更新游戏的当前状态。
无线、usb和以太网端口还提供用于除游戏控制器1402之外的其它外围设备的连接，如：遥控器1404；键盘1406；鼠标1408；如sonyplaystation
提供这些接口意味着playstation3设备潜在地也与其它外围设备兼容，所述其它外围设备如：数字视频录像机(dvr)、机顶盒、数码相机、便携式媒体播放器、ip语音电话、移动电话、打印机以及扫描仪。
另外，传统存储器卡读取器1416可以经由usb端口1424连接至系统单元，从而使得能够读取由
在本实施方案中，游戏控制器1402可操作以便经由蓝牙链接来与系统单元1400无线通信。然而，游戏控制器1402可替代地连接到usb端口，由此也提供向游戏控制器1402的电池充电的电力。除了一个或多个模拟操纵杆和常规控制按钮以外，游戏控制器对于六个自由度上的运动是敏感的，所述自由度对应于每个轴上的平移和旋转。因此，除常规的按钮或操纵杆命令之外或取而代之，游戏控制器的用户的姿势和移动可转换为游戏的输入。任选地，如playstationtm便携式设备的其它带无线功能的外围设备可用作控制器。在playstationtm便携式设备的情况下，可在设备的屏幕上提供额外的游戏或控制信息(例如，控制指令或生命数目)。还可使用其他替代性或补充性控制设备，如跳舞毯(未示出)、光枪(未示出)、方向盘和踏板(未示出)或定制的控制器，如用于快速反应问答游戏的单个或若干大按钮(也未示出)。
遥控器1404也可操作来经由蓝牙链接与系统单元1400无线通信。遥控器1404包括适于bluraytm光盘bd-rom读取器1440的操作并且适于导览光盘内容的控件。
除了常规预刻录cd和可刻录cd以及所谓的超级音频cd之外，bluraytm光盘bd-rom读取器1440可操作来读取与playstation和playstation2设备兼容的cd-rom。除了常规预刻录dvd和可刻录dvd之外，读取器1440也可操作来读取与playstation2和playstation3设备兼容的dvd-rom。读取器1440进一步可操作来读取与playstation3设备兼容的bd-rom，以及常规的预刻录蓝光光盘和可刻录蓝光光盘。
系统单元1400可操作来通过音频和视频连接器将由playstation3设备经由真实合成器图形单元1430产生或解码的音频和视频提供至显示器和声音输出设备1442，如监视器或电视机，具有显示器1444和一个或多个扬声器1446。音频连接器1450可包括常规的模拟和数字输出，而视频连接器1452可不同地包括分量视频、s视频、复合视频和一个或多个高清晰度多媒体接口(hdmi)输出。因此，视频输出可呈如pal或ntsc的格式，或呈720p、1080i或1080p的高清晰度。
音频处理(产生、解码等)由cell处理器1428执行。playstation3设备的操作系统支持
在本实施方案中，视频相机1412包括单个电荷耦合设备(ccd)、led指示器以及基于硬件的实时数据压缩和编码装置，以使得可以如基于帧内图像的mpeg(运动图片专家组)标准的适当格式来传输压缩后的视频数据，以用于由系统单元1400解码。相机led指示器被布置来响应于来自系统单元1400的适当控制数据而照射，例如以便表明不利的照明条件。视频相机1412的实施方案可经由usb、蓝牙或者wi-fi通信端口以不同的方式连接到系统单元1400。视频相机的实施方案可包括一个或多个关联麦克风，并且也能够传输音频数据。在视频相机的实施方案中，ccd可具有适于高清晰度视频捕获的分辨率。在使用中，视频相机所捕获的图像可例如并入游戏内或解释为游戏控制输入。
一般来说，为了经由系统单元1400的通信端口中的一个与如视频相机或遥控器的外围设备进行成功的数据通信，应提供如设备驱动器的适当软件片段。设备驱动器技术是众所周知的并且在此将不详细描述，只是说本领域技术人员应意识到，在所描述的本发明的实施方案中可能需要设备驱动器或类似的软件接口。
现在参看图15，cell处理器1428具有包括四个基本部件的架构：外部输入和输出结构，其包括存储器控制器1560和双重总线接口控制器1570a、b；主处理器，其被称为power处理元件1550；八个协处理器，其被称为协同处理元件(spe)1510a-h；和连接上述部件的环形数据总线，其被称为元件互连总线1580。cell处理器的总浮点性能是218gflops，与playstation2设备的emotion引擎的6.2gflop形成对比。
power处理元件(ppe)1550基于符合双向同时多线程power1470的powerpc核心(ppu)1555，其以3.2ghz的内部时钟来运行。它包括512kb2级(l2)缓存和32kb1级(l1)缓存。ppe1550每个时钟周期能够执行八个单一位置操作，其转换成3.2ghz下的25.6gflop。ppe1550的主要作用充当协同处理元件1510a-h的控制器，所述协同处理元件处置大部分计算工作负荷。在操作中，ppe1550保持作业队列，将协同处理元件1510a-h的作业排程并且监测其进程。因此，每个协同处理元件1510a-h运行内核，其作用是提取作业、执行它并且与ppe1550同步化。
每个协同处理元件(spe)1510a-h包括相应协同处理单元(spu)1520a-h，和相应存储器流控制器(mfc)1540a-h，所述存储器流控制器进而包括相应动态存储器存取控制器(dmac)1542a-h、相应存储器管理单元(mmu)1544a-h和总线接口(未展示)。每个spu1520a-h是risc处理器，其以3.2ghz来定时并且包括256kb本地ram1530a-h，其原则上可扩展到4gb。每个spe给出理论25.6gflops的单精度性能。spu可在单一时钟周期中对于4个单精度浮点数、4个32-位数字、8个16-位整数或16个8-位整数进行操作。在同一时钟周期中，它也可执行存储器操作。spu1520a-h不直接访问系统存储器xdram1426；由spu1520a-h形成的64-位地址被传送到mfc1540a-h，其指示它的dma控制器1542a-h经由元件互连总线1580和存储器控制器1560来访问存储器。
元件互连总线(eib)1580是cell处理器1428内部的逻辑环形通信总线，其将上述处理器元件即ppe1550、存储器控制器1560、双重总线接口1570a、b和8个spe1510a-h(共计12个参与者)加以连接。参与者可以每个时钟周期8个字节的速率同时向总线读取和写入。如以前提及，每个spe1510a-h包括用于对更长读取或写入序列进行排程的dmac1542a-h。eib包括四个通道，每两个通道处在顺时针和逆时针方向上。因此对于十二个参与者，任何两个参与者之间的最长逐步数据流在适当方向上是六个步骤。因此，如果经由参与者之间的仲裁发生充分利用，那么12个时隙的理论峰值瞬时eib带宽是每个时钟96b。这相当于在3.2ghz的时钟速率下的307.2gb/s(千兆字节/秒)的理论峰值带宽。
存储器控制器1560包括由rambusincorporated开发的xdram接口1562。存储器控制器以25.6gb/s的理论峰值带宽来与rambusxdram1426介接。
双重总线接口1570a、b包括rambus
通过cell处理器1428发送到真实模拟器图形单元1430的数据通常包括显示列表，所述列表是提取顶点、向多边形应用纹理、指定照明条件等的一系列命令。
实施方案可包括捕获深度数据以便更好地识别真实世界用户并且引导化身或场景的活动。对象可为个人握持的物品或也可为个人的手。在本说明书中，术语“深度相机”和“三维相机”是指能够获得距离或深度信息以及二维像素信息的任何相机。举例来说，深度相机可利用受控红外照明来获得距离信息。另一个示例性深度相机可为立体相机对，其使用两个标准相机来对距离信息进行三角测量。类似地，术语“深度传感设备”是指能够获得距离信息以及二维像素信息的任何类型的设备。
三维成像的最新进展为增加实时交互式计算机动画的可能性创造了条件。具体地说，新的“深度相机”提供除了正常二维视频成像以外将第三维度捕获并作图的能力。通过新的深度数据，本发明的实施方案允许实时地将计算机产生的对象安置在视频场景内的各个位置，包括在其他对象后面。
此外，本发明的实施方案为用户提供实时交互式游戏体验。举例来说，用户可实时地与各种计算机产生对象交互。此外，视频场景可实时地改变以便增强用户的游戏体验。举例来说，计算机产生服装可添加在用户的衣服上，并且计算机产生光源可用于在视频场景内投射虚拟阴影。因此，使用本发明的实施方案和深度相机，用户可在其自己的起居室内体验交互式游戏环境。与正常相机类似，深度相机捕获构成视频图像的多个像素的二维数据。这些值是像素的颜色值，通常是每个像素的红色、绿色和蓝色(rgb)值。以此方式，由相机捕获的对象在监视器上呈现为二维对象。
本发明的实施方案还涵盖分布式图像处理配置。举例来说，本发明不限于所捕获图像和显示图像处理在一个或甚至两个位置，诸如在cpu中或在cpu和一个其他元件中发生。举例来说，输入图像处理可同样容易地在可执行处理的相关联cpu、处理器或设备中发生；基本上所有图像处理可分布在整个互连系统中。因此，本发明不限于任何特定图像处理硬件电路和/或软件。本文描述的实施方案也不限于一般硬件电路和/或软件的任何特定组合，也不限于由处理部件执行的指令的任何特定来源。
考虑到以上实施方案，应理解，本发明可以采用各种计算机实施的操作，所述操作涉及存储在计算机系统中的数据。这些操作包括需要对物理量进行物理操纵的操作。尽管并非必要，但这些量通常是采取能够被存储、转移、组合、比较及以其它方式操纵的电信号或磁信号的形式。此外，所执行的操纵通常以例如产生、识别、确定或比较这样的术语来提及。
上述本发明可以利用其他计算机系统配置来实践，所述计算机系统配置包括手持式设备、微处理器系统、基于微处理器的或可编程的消费型电子设备、小型计算机、大型计算机等。还可以在分布式计算环境中实施本发明，在所述环境中由通过通信网络链接的远程处理设备来执行任务。
本发明也可体现为计算机可读介质上的计算机可读代码。计算机可读介质是可存储数据的任何数据存储设备，所述数据随后可由计算机系统读取，包括电磁波载体。计算机可读介质的实例包括硬盘驱动器、网络附接存储体(nas)、只读存储器、随机存取存储器、cd-rom、cd-r、cd-rw、磁带以及其他光学和非光学数据存储设备。计算机可读介质也可分布在网络联接式计算机系统上，以使得计算机可读代码是以分布方式进行存储和执行。
尽管为了理解的清晰性而略微详细地描述了前述发明，但很显然，可以在所附权利要求书的范围内实践某些变化和修改。因此，本发明的实施方案被认为是说明性的而非限制性的，并且本发明不限于本文给出的细节，而可以在所附权利要求的范围和等效范围内进行修改。