用于增强现实的书对象的制作方法
本申请为2013年2月6日提交的、申请号为201380008337.0、发明名称为“用于增强现实的书对象”的申请案的分案申请。
本发明涉及用于利用用于增强现实的书对象与交互程序介接的方法和系统。
背景技术：
游戏技术的进展提供以丰富的图形和音频为特征的视频游戏。然而，寻求与视频游戏介接的新方法以改善玩家体验。
本发明的实施方案正在这种情况下发生。
技术实现要素：
本发明的实施方案提供用于利用用于增强现实的书对象与交互程序介接的方法和系统。应了解，本发明可以用多种方式来实施，例如，计算机可读介质上的过程、装置、系统、设备或方法。下文描述本发明的几个发明实施方案。
在一个实施方案中，提供一种用于与交互程序介接的方法，其包括以下方法操作：捕捉书对象的第一页和第二页的图像，大体上沿着沿书的书脊定义的折叠轴接合第一页和第二页；分析捕捉的图像以识别第一页上的第一标签和第二页上的第二标签；通过分别跟踪第一标签和第二标签来跟踪第一页和第二页的运动；通过在捕捉的图像中用虚拟书代替书对象来生成增强图像，虚拟书具有对应于书对象的第一页的第一虚拟页，虚拟书具有对应于书对象的第二页的第二虚拟页，其中书对象的第一页和第二页的运动分别控制虚拟书的第一虚拟页和第二虚拟页的运动；分别在第一虚拟页和第二虚拟页上呈现第一场景和第二场景，第一场景或第二场景定义动画；以及在显示器上演示增强图像。
在一个实施方案中，第一页和第二页的运动包括绕折叠轴翻转第二页，在翻转第二页期间保持呈现的第二场景相对于第二页的定向。
在一个实施方案中，动画定义接近第一虚拟页或第二虚拟页的至少一个三维对象的运动，在第一虚拟页或第二虚拟页上定义用来定义动画的第一场景或第二场景。
在一个实施方案中，动画在第二页集中于第一页上时提供三维对象的压缩的外观，或在第二页偏离第一页时提供三维对象的解压的外观。
在一个实施方案中，绕折叠轴翻转第二页暴露在第二页的相对面上的第三页和大体上沿着折叠轴接合到第三页的第四页；分析捕捉的图像包括识别第三页上的第三标签和第四页上的第四标签；跟踪运动包括通过分别跟踪第三标签和第四标签来跟踪第三页和第四页的运动；虚拟书具有对应于书对象的第三页的第三虚拟页，虚拟书具有对应于书对象的第四页的第四虚拟页，其中书对象的第三页和第四页的运动分别控制虚拟书的第三虚拟页和第四虚拟页的运动；呈现包括分别在第三虚拟页和第四虚拟页上呈现第三场景和第四场景；以及在绕折叠轴翻转第二页期间，保持呈现的第三场景相对于第三虚拟页的定向。
在另一实施方案中，提供一种用于与交互程序介接的系统，所述系统包括：用于捕捉书对象的第一页和第二页的图像的构件，大体上沿着沿书的书脊定义的折叠轴接合第一页和第二页；用于分析捕捉的图像以识别第一页上的第一标签和第二页上的第二标签的构件；用于通过分别跟踪第一标签和第二标签来跟踪第一页和第二页的运动的构件；用于通过在捕捉的图像中用虚拟书代替书对象来生成增强图像的构件，虚拟书具有对应于书对象的第一页的第一虚拟页，虚拟书具有对应于书对象的第二页的第二虚拟页，其中书对象的第一页和第二页的运动分别控制虚拟书的第一虚拟页和第二虚拟页的运动；用于分别在第一虚拟页和第二虚拟页上呈现第一场景和第二场景的构件，第一场景或第二场景定义动画；以及用于在显示器上演示增强图像的构件。
在另一实施方案中，提供一种用于与交互程序介接的装置，所述装置包括：图像捕捉设备，其用于捕捉书对象的第一页和第二页的图像，大体上沿着沿书的书脊定义的折叠轴接合第一页和第二页；分析器模块，其用于分析捕捉的图像以识别第一页上的第一标签和第二页上的第二标签；跟踪模块，其用于通过分别跟踪第一标签和第二标签来跟踪第一页和第二页的运动；增强图像生成器，其用于通过在捕捉的图像中用虚拟书代替书对象来生成增强图像，虚拟书具有对应于书对象的第一页的第一虚拟页，虚拟书具有对应于书对象的第二页的第二虚拟页，其中书对象的第一页和第二页的运动分别控制虚拟书的第一虚拟页和第二虚拟页的运动；呈现模块，其用于分别在第一虚拟页和第二虚拟页上呈现第一场景和第二场景，第一场景或第二场景定义动画；以及演示器，其用于在显示器上演示增强图像。
在另一实施方案中，提供一种用于与交互程序介接的系统，所述系统包括：书对象，其具有大体上沿着沿书对象的书脊定义的折叠轴接合的第一页和第二页；客户端设备，其用于捕捉书对象的第一页和第二页的图像；服务器，所述服务器包括分析器模块，其用于分析捕捉的图像以识别第一页上的第一标签和第二页上的第二标签；跟踪模块，其用于通过分别跟踪第一标签和第二标签来跟踪第一页和第二页的运动；增强图像生成器，其用于通过在捕捉的图像中用虚拟书代替书对象来生成增强图像，虚拟书具有对应于书对象的第一页的第一虚拟页，虚拟书具有对应于书对象的第二页的第二虚拟页，其中书对象的第一页和第二页的运动分别控制虚拟书的第一虚拟页和第二虚拟页的运动；呈现模块，其用于分别在第一虚拟页和第二虚拟页上呈现第一场景和第二场景，第一场景或第二场景定义动画；以及其中客户端设备包括演示器，其用于在显示器上演示增强图像。
本发明的其他方面将从结合附图进行的以下详细描述中变得明显，详细描述通过实例说明本发明的原理。
附图说明
参照结合附图进行的以下描述可以最好地理解本发明，其中：
图1和图2图示根据本发明的实施方案用于增强现实(ar)的书对象10。
图3示出根据本发明的实施方案在书对象由图像捕捉设备捕捉并处理时显示在显示器上的书对象。
图4示出根据本发明的实施方案来自呈现在显示器上的一系列增强捕捉的图像的帧。
图5示出根据本发明的实施方案在3d(三维)场景填充显示器的屏幕时已变成小插图的摄像机视图。
图6图示根据本发明的实施方案在图像捕捉设备检测到书对象时由用户控制的书对象。
图6a示出根据本发明的实施方案用户坐在地板上并且操纵书对象同时操作运动控制器以指向在显示器上呈现的书的各种可选部分。
图6b示出根据本发明的实施方案用户18操纵运动控制器19以控制显示器上的魔杖34。
图7示出根据本发明的实施方案在书对象打开到各种页面时的书对象。
图8图示根据本发明的实施方案用于导航和选择菜单选项的书对象。
图9图示根据本发明的实施方案用户使用书对象来控制屏幕上的人物的运动以抓住下落对象。
图10图示根据本发明的实施方案用于构建定制故事的书故事ar对象集合。
图11a图示根据本发明的实施方案在打开书对象以显示两个ar标签的展开时的书对象，这两个ar标签由视频游戏系统可视和识别。
图11b、图11c、图11d和图11e图示根据本发明的实施方案的翻页机制的不同阶段。
图12图示根据本发明的实施方案具有图形区域和文本区域的虚拟书，可以通过操纵魔杖以便指向区域之一来选择这些区域中的每个。
图13示出根据本发明的实施方案显示在书上的剧院。
图14图示根据本发明的实施方案呈现在ar标签上的虚拟门户。
图15图示根据本发明的实施方案的另一实例，其中虚拟门户呈现在ar标签上。
图16示出根据本发明的实施方案被移动以引起显示在显示器上的虚拟场景的对应运动的书对象。
图17图示根据本发明的一个实施方案可以用于提供与视频游戏的交互性的硬件和用户接口。
图18图示根据本发明的一个实施方案可以用于处理指令的额外硬件。
图19为根据本发明的一个实施方案场景a至场景e的示例性图示，其中各自的用户a至用户e与游戏客户端交互，游戏客户端连接到通过互联网处理的服务器。
图20图示信息服务提供商架构的实施方案。
具体实施方式
图1和图2图示根据本发明的实施方案用于增强现实(ar)的书对象10。一般说来，书对象具有封面、封底以及在封面与封底之间的页面，其中每一个含有唯一的ar标签。书对象由图像捕捉设备来捕捉，并且ar标签通过图像识别过程来识别。基于这个图像识别，确定书对象的位置和定向。此外，基于ar标签的识别，确定显示给图像捕捉设备的特定页面或封面。在图1中，以闭合配置显示书，其中封面是可见的。
为了在整个本公开内容中便于理解，“页面”应指的是在一张纸的一面所定义的区域。因此，每张纸可以定义两个页面—一个页面在纸张的正面，并且一个页面在与正面相对的纸张背面。翻转给定页面将暴露定义给定页面所在纸张的相对面所定义的下一页/上一页，并且也可能暴露与下一页/上一页相邻的页面。一般地说，书对象由沿着书的书脊11.1接合在一起的一系列纸张组成。第一纸张的正面定义书的封面页11.2；第一纸张的背面定义书的第一页11.3；第二纸张的正面定义第二页11.4；第二纸张的背面定义第三页；依此类推，书的最后一纸张的正面定义书的最后一页，并且最后一纸张的背面定义书的封底页。大体上沿着书的书脊定义折叠轴。当翻页时，大体上绕折叠轴翻页。例如，可以大体上绕折叠轴将第二页11.4翻到第一页上，同时暴露第三页和第四页。
书对象可以由任何适合的材料构建，包括纸、纸板、塑料、金属或纸张可以被形成以包括本文所述的标签所用的任何其他材料。在一个实施方案中，书的纸张是大体上刚性的，以在书的翻页和其他操纵期间保持每一页的平坦表面。
图2示出书打开到第一页11.3和第二页11.4。书的页面可以包括对应于页面的排序的数字，其也是页面的ar标签的部分。这允许用户更直观地知道目前显示书对象的哪个页面。然而，应注意，数字是任选的。
书对象可以是许多不同类型的交互(包括增强现实交互以及命令和控制类型交互)的平台。在一些实施方案中，书对象的表面在屏幕上被计算机生成的图形所取代。在其他实施方案中，书对象的运动和定向可以用于为视频游戏或其他交互程序提供输入。例如，书对象可以用于使用显示在书的页面上的交互元素来讲述交互故事。
图3示出根据本发明的实施方案在书对象10由图像捕捉设备14捕捉并处理时显示在显示器12上的书对象10。图像捕捉设备14捕捉书对象10的图像，所述图像被分析以识别和跟踪书的页面上的ar标签。在捕捉的图像中，场景可以显示在页面上。在所示实施方案中，书对象的ar标签已完全被出现在书上面的弹出式木偶剧院17取代。动画故事在弹出式木偶剧院内展开。用户(未示出)通过操纵运动控制器来控制魔杖16。将了解，在移动书对象时，弹出式木偶剧院与书对象同步移动，这是因为参照书对象10的暴露页的位置和定向来定义弹出式木偶剧院。在某种意义上，弹出式木偶剧院固定到书对象10的页面，以使得在书由用户操纵时，保持其相对于书对象10的页面的定向。例如，通过使书对象10旋转，用户可以用类似的方式使木偶剧院旋转；或通过使书对象10倾斜，用户可以用类似的方式使木偶剧院倾斜。通过使书对象10旋转或倾斜，用户暴露木偶剧院的部分用于查看。
将了解，弹出式木偶剧院也可以显示响应于折叠书对象10的动画折叠机制，其类似于现实世界的弹出式书的折叠机制。即，弹出式剧院可能看似在打开书(或翻转适当的页面)时从大体上平坦的配置展开成其三维配置，并且在关闭书(或将其底层页之一翻到下一页/上一页)时重新折叠成其平坦的配置。可以通过分析相邻页面的捕捉的图像来确定相邻页面相对于彼此的角度(绕折叠轴)，并且可以利用这个角度来确定展开弹出式木偶剧院的动画状态。
图4示出根据本发明的实施方案来自呈现在显示器12上的一系列增强捕捉的图像的帧。将了解，图像捕捉设备被配置成从由一系列捕捉的图像定义的游戏环境捕捉视频，以及伴随的音频数据。可以基于包括在书对象10的页面中的跟踪标签来增强捕捉的图像。在所示帧中，在用户18面前的地板上打开书对象10。已增强书对象10，以便使用显示在书的页面上的交互元素将书对象10转变成魔法书。交互元素可以包括任何各种对象，包括但不限于文字、图片、动画、三维对象等。在所示实施方案中，动画龙20源于书的页面并且逃出书。
图5示出根据本发明的实施方案在3d(三维)场景23填充显示器12的屏幕时已变成小插图22的摄像机视图。这效果是使得屏幕视图看来从用户的位置缩小以显示3d场景，从而给予用户发现其在虚拟世界的感觉。在所示实施方案中，用户18使用魔杖对在房间爬来爬去的纸虫施放火魔法。
图6图示根据本发明的实施方案在图像捕捉设备14检测到书对象10时由用户18控制的书对象10。利用书对象10的识别的ar标签的交互式应用显示在显示器12上。图像捕捉设备连接到计算设备15。计算设备15包括至少一个处理器和存储器，其被配置成执行交互式应用。计算设备15可以被配置成包括图像分析模块，其用于分析图像捕捉设备14的捕捉的图像以识别和跟踪书对象10的页面上的标签。另外，计算设备可以包括呈现模块，其通过在捕捉的图像中呈现书的页面上的场景来增强捕捉的图像。将了解，计算设备15可以是控制台游戏系统、通用或专用计算机、机顶盒、个人计算机、膝上型计算机或任何其他种类的计算设备，其可以被配置成接收捕捉的图像数据并且增强捕捉的图像数据(如本文所述)以用于呈现在显示器上。控制台游戏系统的一个实例为
图6a示出根据本发明的实施方案用户18坐在地板上并且操纵书对象10，同时操作运动控制器19以指向在显示器12上呈现的书的各种可选部分。在一个实施方案中，用户可以将运动控制器19指向书对象10的部分，同时查看显示器12上的增强的书以确定存在于书的页面上的虚拟元素。用户可以指向可选部分以指示在这个部分被这样配置时的选择。
图6b示出根据本发明的实施方案用户18操纵运动控制器19以控制显示器上的魔杖34。也在显示器上显示用户的手18a。在所示实施方案中，书对象被具有显示在上面的文本80的呈现的书所取代。除了呈现的书之外，文本80也可以显示在屏幕上以便使用户能够更容易地阅读文本。另外，在魔杖指向文本80时，文本80可以是可选的。可以通过扬声器播放文本的音频，同步将书对象打开到对应于显示在显示器上的那些文本的页面。
图7示出根据本发明的实施方案在书对象打开到各种页面时的书对象。书对象具有封面页24，其具有在上面定义的唯一的ar标签。通过翻转封面页24，打开书以暴露页面1(参考号25.1)和相邻的页面2(参考号25.2)。如图所示，与页面1和2相关联的ar标签分别具有包含在上面的数字“1”和“2”。这使用户能够很容易分辨书对象的哪个页面是可见的，并且可以由交互程序用来实现交互性(例如，特定虚拟页与书对象的页面相关联；指示用户将书打开到特定页号；等)。通过将页面2翻到页面1上，暴露相邻的页面3和4(分别参考号25.3和25.4)以用于查看和图像捕捉。页面3和4中的每个具有在上面定义的唯一的ar标签，以及对应于其页号的各自的数字。可以翻转书的页面直到到达书对象的封底页26，其也具有在上面定义的唯一的ar标签。将了解，书对象10的每个页面具有在上面定义的唯一的ar标签，且因此没有两个页面共享相同的ar标签。因此，每个页面都单独可识别，并且可以被配置成对应于为这个页面所定义的特定内容。
尽管在整个本公开内容中参考增强现实(ar)标签，但是将了解此类标签可以用于非增强现实应用。例如，可以识别和跟踪标签以定义虚拟对象的运动。虚拟对象可以采取书或某一其他对象的形式，其运动对应于通过跟踪书对象的页面上的ar标签来确定的现实世界的书对象的那些运动。例如，运动可以包括平移运动以及折叠式运动或翻页式运动，并且可以适用于任何适合的虚拟对象。
在一个实施方案中，提供具有ar标签的书对象控制器，ar标签产生交互式ar对象。具有ar标签作为页面的书可以用作显示在ar标签上的交互式ar对象的控制器。跟踪书的运动和定向，并且在视频游戏或交互式应用的上下文中相应地移动和定向对应的ar对象，以使得书为ar对象的控制器。书的定向或运动可以指示选择或触发游戏中的机制，例如，游戏或故事的情节发展。
图8图示根据本发明的实施方案正用于导航和选择菜单选项的书对象。如根据一个实施方案所示，拿起书10并且将书的封面或封底定向成面对摄像机可以触发菜单的显示以启用选择模式，由此用户可以从各种选项中选择。在一个实施方案中，触发菜单的显示也可能暂停当前的游戏(如有发生)。在各种实施方案中，选择模式可以使用户能够从故事的各个章节、情节的部分、游戏的级别、级别的部分等中选择。选择模式可以提供对其他特征的访问，例如，调整游戏参数、查看地图、查看与用户的游戏相关联的项目或属性等。在所示实施方案中，选择模式包括显示分别代表故事的章节1、2和3的图标25.5、25.6和25.7。书对象10用作运动控制器以控制屏幕选择器25.8的运动。在一个实施方案中，屏幕选择器25.8被配置成在与移动书对象大体上相同的方向上移动(例如，将书移动到用户的左侧会将选择器25.8移动到屏幕左侧等)。在一个实施方案中，当书10被定位成选择器25.8大体上在图标之一上面时，例如通过将选择器25.8保持在图标上面达预定的时间量来选择对应的章节。
图9图示根据本发明的实施方案用户18使用书对象10来控制屏幕上的人物26的运动以抓住下落对象28。书对象10在各个方向上的运动被映射到人物26的对应的运动。在一个实施方案中，关闭书会使人物26彼此更靠近地挤压。在人物在屏幕上被呈现/增强时，可以参照书的页面来定义人物。因此，当折叠/关闭书对象10时，在人物26相对于其各自页面的定向被保持时朝向彼此倾斜。尽管显示人物，但是将了解书对象10可以在交互式应用中同样控制任何对象的运动。
在另一实施方案中，参照图10，提供用于构建定制故事的书故事ar对象集合。ar标签的书可以用于基于书的位置和定向使用原始故事的各种ar对象来讲述原始故事，这些ar对象显示在ar标签上面。ar对象可以由用户收集或购买并且由用户用于生成自己定制的故事。可以用可能不同于在原始故事中使用的各种方式链接或利用ar对象。可收集的ar对象的实例可以包括人物、建筑物、车辆、自然对象等。类似的概念可以适用于视频游戏，从而使用户能够建立自己的视频游戏或视频游戏级别。
预期各种书对象翻页机制。例如，参照图11a，当打开书时，两个ar标签的展开由视频游戏系统可视和识别。当打开书时，虚拟场景或显示29.1在打开的书上弹出。当翻页时，对应于特定两页展开的现有虚拟场景29.1被关闭或向下折叠在自身上，并且对应于下一组页面的下一个虚拟场景29.2弹出。通过关闭封底来关闭书可以指示章节的结束，因此翻转到书的封面可以开始下一个章节或触发用户用以选择下一个章节的选项。
图11b、图11c、图11d和图11e图示根据本发明的实施方案的翻页机制的不同阶段。在图11b，书对象在大体上平的定向上打开到相邻的页面29.3和29.4。虚拟人物29.5定义在页面29.3上，并且虚拟人物29.6定义在页面29.4上。在图11c，页面29.4启动翻转，以暴露页面29.7和相邻的页面29.8。在页面29.4正在被翻转时，在页面29.7上，树29.92已弹出，并且在页面29.8上，人物29.91被示出为正在弹出或从页面29.8解压。角θ由页面29.7和29.8的相对定向来定义，并且在图11c中示出的阶段显示为锐角。在图11d，翻页继续以使得角θ现在大体上为直角。在这个阶段，人物29.91已经从页面29.8完全弹出。保持树29.92相对于页面29.7的定向以使得树看来相对于人物29.91是横向的。类似地，保持人物29.6相对于页面29.4的定向以使得人物29.6看来相对于人物29.5是横向的。在图11e，将页面29.4大体上翻转到页面29.3上，并且人物29.5和29.6看来分别压缩到页面29.3和29.4中。
特定虚拟场景也可以包括与之相关联的特定音频。因此，除了显示特定虚拟场景之外，播放和呈现相关联的音频也可以与将书的页面或封面翻转到书对象中的这个特定虚拟世界的对应的页面同步。例如，继续参照图11b至图11e，在图11b，只演示呈现在页面29.3和29.4上的场景的音频。然而，在图11c至图11e，当将页面29.4翻转到暴露页29.7和29.8时，呈现在页面29.7和29.8上的场景的音频与呈现在页面29.3和29.4上的场景的音频以增加的比例混合。当翻页完成，并且只暴露页面29.7和29.8时，则只演示呈现在那些页面上的场景的音频。以这种方式，在不同的页面上各种场景的音频的演示随着翻页而转变，其中音频演示与给定场景被翻页机制暴露的程度成比例。
在另一实施方案中，书对象提供ar内容的交互式选择以及与ar内容的接口。在书的ar标签上面显示的ar内容的部分可以选择以引起动作发生。例如，显示的ar内容可以包括具有各个部分的虚构书的页面。在部分之一上定位选择工具可以触发动作发生。选择工具可以由运动控制器控制，例如，
在各种实施方案中，书对象可以提供ar标签的三维运动以允许观察到不同的空间。例如，图13示出根据本发明的实施方案显示在书上的剧院。通过操纵书对象，用户可以操纵剧院36，例如，在各个方向上旋转、翻转或平移剧院。用户能够从不同角度看“到”剧院。
另外，虚拟门户可以呈现在ar标签上。ar标签由用户操纵以使用户能够看到门户。例如，如图14中所示，虚拟门户可以是ar标签上的孔38并且为了看到孔，用户必须将ar标签定向成面对摄像机。门户可以被定义为大体上与ar标签的表面重合，或可以被定义在与ar标签分离的位置。需要ar标签移动到相对于摄像机的特定定向以便观察到门户。在另一实施方案中，书的运动的映射应使得用户将书的外封面显示给摄像机以便看到孔。
图15图示另一实例，其中虚拟门户呈现在ar标签上。如图所示，门户40定义在ar标签上，并且使用户能够观察到虚拟空间42，虚拟空间42不同于存在门户40的虚拟空间44。
在另一实施方案中，可以提供ar空间与游戏空间之间的视角和上下文切换。用户可以利用ar标签在ar空间内交互。ar空间显示在屏幕上。通过看来从ar空间缩小以显示游戏空间，游戏可以从ar空间转变成游戏空间。ar标签仍存在于真实空间中并且可以用作提高跟踪对象的保真度的锚，例如，用户或运动控制器。如前面所讨论，这一点通过参照图4和图5来说明。
在另一实施方案中，可能有现实世界的物理转移到ar环境。ar标签用于投射出包括虚拟对象的虚拟场景。当ar标签由用户操纵时，虚拟场景的空间框架可以用大体上直接的方式移动。然而，虚拟对象可以表现出相对于空间框架的惯性，从而看来滞后于空间框架的运动。可以基于ar标签的运动加速和减速虚拟对象。基于ar标签的运动，对象可以返回到其相对于ar标签的原始位置，或可以移动到相对于ar标签的新位置。
图16示出根据本发明的实施方案被移动以引起显示在显示器12上的虚拟场景的对应运动的书对象10。地面46和刚性连接到地面46的对象(例如，建筑物47)可以与书对象10的运动一致地移动。具有连接到地面的基底的柔性对象(例如，树48)可能看似摇摆，而其基底保持连接到地面46，没有实质性偏离地面46的运动。然而，游离对象(例如，鸟50)可能具有落后于地面46的运动的运动。从这个意义上来说，书对象10的运动可能被认为移动定义对象所在的空间参照系。对象可能具有相对于参照系的运动的不同程度的灵活性，但可能最终到达其相对于参照系的原始位置。
图17图示根据本发明的一个实施方案可以用于提供与视频游戏的交互性的硬件和用户接口。图17示意地图示
i/o桥734也连接到六个通用串行总线(usb)2.0端口724；吉比特以太网端口722；ieee802.11b/g无线网络(wi-fi)端口720；以及能够支持高达七个蓝牙连接的
在操作中，i/o桥734处理所有无线、usb和以太网数据，其包括来自一个或多个游戏控制器702-703的数据。例如，当用户在玩游戏时，i/o桥734通过蓝牙链接从游戏控制器702-703接收数据，并将其引导给单元处理器728，单元处理器728相应地更新游戏的当前状态。
除了游戏控制器702-703之外，无线、usb和以太网端口也为其他外围设备提供连接性，诸如：遥控器704；键盘706；鼠标708；便携式娱乐设备710，例如，sonyplaystation
提供这些接口意味着playstation3设备也可能与其他外围设备兼容，例如，数字录象机(dvr)、机顶盒、数码摄像机、便携式媒体播放器、语音ip电话、移动电话、打印机和扫描仪。
另外，传统的存储卡读卡器716可以通过usb端口724连接到系统单元，从而能够读取由
游戏控制器702-703可操作以通过蓝牙链接与系统单元700无线通信，或连接到usb端口，由此也提供用于给游戏控制器702-703的电池充电的功率。游戏控制器702-703也可以包含存储器；处理器；存储卡读卡器；永久性存储器，例如，闪存；光发射器，例如，照明球形部分、led或红外光；用于超声波通信的麦克风和扬声器；声室；数字摄像机；内部时钟；可识别的形状，例如，面向游戏控制台的球形部分；以及使用如
游戏控制器702是被设计成用双手使用的控制器，并且游戏控制器703是具有附件的单手控制器。除了一个或多个模拟操纵杆和常规控制按钮之外，游戏控制器容许三维位置确定。因此，除了或者代替常规按钮或操纵杆命令，游戏控制器的用户的姿势和运动可以被转化为游戏输入。任选地，其他无线使能外围设备(例如，playstationtm便携式设备)可以被用作控制器。在playstationtm便携式设备的情况下，可以在设备的屏幕上提供额外的游戏或控制信息(例如，控制指令或生命数)。其他替代或补充的控制设备也可以被使用，例如，跳舞毯(未示出)、光枪(未示出)、方向盘和踏板(未示出)或定制的控制器，例如，用于快速响应问答游戏的一个或几个大按钮(也未示出)。
遥控器704也可操作以通过蓝牙链接与系统单元700无线通信。遥控器704包括控件，其适合于bluraytmdiskbd-rom读取器540的操作以及磁盘内容的导航。
除了常规的预录式和可录的cd以及所谓的超音频cd之外，bluraytmdiskbd-rom读取器740可操作以读取与playstation和playstation2设备兼容的cd-rom。除了常规的预录式和可录的dvd之外，读取器740也可操作以读取与playstation2和playstation3设备兼容的dvd-rom。读取器740进一步可操作以读取与playstation3设备兼容的bd-rom以及常规的预录式和可录的蓝光光盘。
系统单元700可操作以将经由现实合成器图形单元730由playstation3设备生成或解码的音频和视频通过音频和视频连接器提供给显示器和声音输出设备742，例如，具有显示器744和一个或多个扩音器746的监视器或电视机。音频连接器750可以包括常规的模拟和数字输出，而视频连接器752可以多方面地包括分量视频、s视频、复合视频以及一个或多个高清晰度多媒体接口(hdmi)输出。因此，视频输出可以处于例如pal或ntsc的格式，或者处于720p、1080i或1080p高清晰度。
音频处理(生成、解码等)由单元处理器728处理。playstation3设备的操作系统支持
在本发明的实施方案中，视频摄像机712包括单个电荷耦合设备(ccd)、led指示器和基于硬件的实时数据压缩和编码装置，以便压缩的视频数据能够以合适的格式被传输，例如，用于由系统单元700解码的基于图像内mpeg(活动图像专家组)标准。摄像机led指示器被布置成响应于来自系统单元700的适当的控制数据而照亮，例如用于表示不利的照明条件。视频摄像机712的实施方案可以通过usb、蓝牙或wi-fi通信端口多方面地连接到系统单元700。视频摄像机的实施方案可以包括一个或多个相关联的麦克风，并且也能够用于传输音频数据。在视频摄像机的实施方案中，ccd可以具有适用于高清晰度视频捕捉的分辨率。在使用中，由视频摄像机捕捉的图像可以例如被合并到游戏内或被解释为游戏控制输入。在另一实施方案中，摄像机是红外摄像机，其适用于检测红外光。
一般而言，为了通过系统单元700的通信端口之一与外围设备(例如，视频摄像机或遥控器)发生成功的数据通信，应提供适当的软件(例如，设备驱动程序)。设备驱动程序技术是众所周知的并且将不会在这里详细描述，除了说本领域技术人员将意识到可能在所述本发明的实施方案中需要设备驱动程序或类似的软件接口。
图18图示根据本发明的一个实施方案可以用于处理指令的额外的硬件。单元处理器728具有包括四个基本组件的架构：外部输入和输出结构，其包括存储器控制器860和双总线接口控制器870a、870b；主处理器，其被称为功率处理元件850；八个协同处理器，其被称为协同处理元件(spe)810a-810h；以及连接以上组件的循环数据总线，其被称为元件互连总线880。相比于playstation2设备的情感引擎的6.2gflops，单元处理器的总浮点性能为218gflops。
功率处理元件(ppe)850基于双向同时多线程电源570适应的以3.2ghz的内部时钟运行的powerpc核心(ppu)855。ppe850包括512kb2级(l2)缓存和32kb1级(l1)缓存。ppe850能够实现每时钟循环八个单独的位置操作，转变为3.2ghz处的25.6gflops。ppe850的主要任务是充当用于协同处理元件810a-810h的控制器，协同处理元件810a-810h处理大部分的计算工作量。在操作中，ppe850维持工作队列，为协同处理元件810a-810h调度任务并且监视其进展。因此，每个协同处理元件810a-810h运行内核，内核的作用是取得工作、执行工作并且与ppe850同步。
每个协同处理元件(spe)810a-810h均包括各自的协同处理单元(spu)820a-820h，以及各自的存储器流控制器(mfc)840a-840h，所述存储器流控制器依次包括各自的动态存储器存取控制器(dmac)842a-842h、各自的存储器管理单元(mmu)844a-844h以及总线接口(未示出)。每个spu820a-820h是risc处理器，其以3.2ghz被时钟控制并包括256kb本地ram830a-830h，原则上可扩展为4gb。每个spe给出单精度性能的理论25.6gflops。spu在单个时钟循环内可以对4个单精度浮点成员、4个32比特数字、8个16比特整数或者16个8比特整数操作。在相同的时钟循环内，spu也可以执行存储器操作。spu820a-820h不直接访问系统存储器xdram726；由spu820a-820h形成的64比特地址被传递给mfc840a-840h，mfc840a-840h指示其dma控制器842a-842h通过元件互连总线880和存储器控制器860访问存储器。
元件互连总线(eib)880是单元处理器728内部的逻辑循环通信总线，其连接以上处理器元件，即ppe850、存储控制器860、双总线接口870a、870b以及8个spe810a-810h，总计12个参与者。参与者可以用每时钟循环8字节的速率对总线同时地读和写。如前所述，每个spe810a-810h包括dmac842a-842h，其用于调度较长的读或写序列。eib包括四个信道，其中两个分别沿顺时针方向和逆时针方向。因此，对于十二个参与者，任何两个参与者之间最长的逐步数据流在适当方向上是六步。因此，倘若通过参与者之间的仲裁的充分利用，用于12槽的理论峰值瞬时eib带宽为每时钟96b。这等于在3.2ghz时钟速率时307.2gb/s(每秒千兆字节)的理论峰值带宽。
存储器控制器860包括由rambus公司开发的xdram接口862。存储器控制器以25.6gb/s的理论峰值带宽与rambusxdram726介接。
双总线接口870a、870b包括rambus
由单元处理器728发送到现实模拟器图形单元730的数据通常将包括显示列表，其是用于绘制顶点、向多边形施加纹理、规定照明条件等的命令的序列。
图19为根据本发明的一个实施方案场景a至场景e的示例性图示，其中各自的用户a至用户e与游戏客户端1102交互，游戏客户端1102连接到通过互联网处理的服务器。游戏客户端为允许用户连接到服务器应用并且通过互联网处理的设备。游戏客户端允许用户访问和播放在线娱乐内容，例如但不限于游戏、电影、音乐和照片。另外，游戏客户端可以提供对在线通信应用(例如，voip、文本聊天协议和电子邮件)的访问。
用户通过控制器与游戏客户端交互。在一些实施方案中，控制器是游戏客户端特定的控制器，而在其他实施方案中，控制器可以是键盘和鼠标组合。在一个实施方案中，游戏客户端为独立设备，其能够输出音频和视频信号以通过监视器/电视和相关联的音频装备创建多媒体环境。例如，游戏客户端可以是但不限于瘦客户端、内部pci-express卡、外部pci-express设备、expresscard设备、内部、外部或无线usb设备，或火线设备等。在其他实施方案中，游戏客户端与电视或其他多媒体设备(例如，dvr、蓝光播放器、dvd播放器或多信道接收机)集成。
在图19的场景a内，用户a使用与游戏客户端1102a配对的控制器1106a与显示在监视器1104a上的客户端应用交互。类似地，在场景b内，用户b使用与游戏客户端1102b配对的控制器1106b与显示在监视器1104b上的另一客户端应用交互。场景c图示当用户c看着显示来自游戏客户端1102c的游戏和好友列表的监视器时从用户c后面的视图。尽管图19示出单一服务器处理模块，但是在一个实施方案中，存在遍布世界的多个服务器处理模块。每个服务器处理模块包括用于用户会话控制、共享/通信逻辑、用户地理位置和负载平衡处理服务的子模块。此外，服务器处理模块包括网络处理和分布式存储。
当游戏客户端1102连接到服务器处理模块时，可以使用用户会话控制来验证用户。所验证的用户可以具有相关联的虚拟化分布式存储和虚拟化网络处理。可以存储为用户的虚拟化分布式存储的一部分的示例性项目包括所购买的媒体，例如(但不限于)游戏、视频和音乐等。另外，分布式存储可以用来保存多个游戏的游戏状态、个别游戏的自定义设置以及游戏客户端的一般设置。在一个实施方案中，服务器处理的用户地理位置模块用来确定用户和其各自的游戏客户端的地理位置。用户的地理位置可以由共享/通信逻辑和负载平衡处理服务两者使用，以基于地理位置和多服务器处理模块的处理需求优化性能。虚拟化网络处理和网络存储中的任一个或两个将允许来自游戏客户端的处理任务动态转移到利用不足的服务器处理模块。因此，负载平衡可以用来最小化与存储的撤回以及与服务器处理模块和游戏客户端之间的数据传输两者相关联的等待时间。
服务器处理模块具有服务器应用a和服务器应用b的实例。服务器处理模块能够支持如由服务器应用x1和服务器应用x2所指示的多个服务器应用。在一个实施方案中，服务器处理是基于集群计算架构，其允许集群内的多个处理器处理服务器应用。在另一实施方案中，将不同类型的多计算机处理方案应用于处理服务器应用。这允许缩放服务器处理，以便容纳执行多个客户端应用和对应的服务器应用的更多数量的游戏客户端。替代地，可以缩放服务器处理以容纳更苛刻的图形处理或游戏、视频压缩或应用复杂性所必须的增加的计算需求。在一个实施方案中，服务器处理模块通过服务器应用执行大多数处理。这允许在中心放置相对昂贵的组件(例如，图形处理器、ram和通用处理器)并降低游戏客户端的成本。将所处理的服务器应用数据通过互联网送回到对应的游戏客户端，以在监视器上显示。
场景c图示可以由游戏客户端和服务器处理模块执行的示例性应用。例如，在一个实施方案中，游戏客户端1102c允许用户c创建和查看包括用户a、用户b、用户d和用户e的好友列表1120。如图所示，在场景c中，用户c能够在监视器1104c上看到各自用户的实时图像或头像。服务器处理执行游戏客户端1102c与用户a、用户b、用户d和用户e的各自游戏客户端1102的各自应用。因为服务器处理知道游戏客户端b正在执行的应用，所以用户a的好友列表可以指示用户b正在玩哪个游戏。更进一步，在一个实施方案中，用户a可以在直接来自于用户b的游戏视频中实际查看。这通过仅将所处理的用户b的服务器应用数据除了发送到游戏客户端b之外还发送到游戏客户端a而实现。
除了能够查看来自好友的视频之外，通信应用可以允许好友之间的实时通信。当应用于之前的实例时，这允许用户a在观看用户b的实时视频时提供鼓励或提示。在一个实施方案中，通过客户端/服务器应用建立双向实时语音通信。在另一实施方案中，客户端/服务器应用使能够文本聊天。在又一实施方案中，客户端/服务器应用将语音转换为文本用于在好友的屏幕上显示。
场景d和场景e图示各自的用户d和用户e分别与游戏控制台1110d和1110e交互。每个游戏控制台1110d和1110e都连接到服务器处理模块并且图示服务器处理模块对游戏控制台和游戏客户端两者协调游戏进行的网络。
图20图示信息服务提供商架构的实施方案。信息服务提供商(isp)1370将大量的信息服务传递到地理上分散并通过网络1386连接的用户1382。isp可以只传递如股票价格更新之类的一类服务，或如广播媒体、新闻、体育、游戏等的各种服务。另外，由每个isp供应的服务是动态的，即，可以在任何时间点添加或者撤消服务。因此，将特定类型的服务提供给特定个体的isp可以随着时间改变。例如，在用户在她的故乡时，用户可以由与用户近邻的isp服务，并且在用户旅行到不同城市时，用户可以由不同的isp服务。故乡isp将向新isp传送所需信息和数据，以使得用户信息“跟随”用户去往新城市，从而使数据更接近用户并且更易于访问。在另一实施方案中，可以在管理用于用户的信息的主控isp与在来自主控isp的控制之下与用户直接介接的服务器isp之间建立主控-服务器关系。在其他实施方案中，在客户端周游世界时，数据从一个isp传送到另一isp以使在更佳位置服务于用户的isp是传递这些服务的isp。
isp1370包括应用服务提供商(asp)1372，其通过网络将基于计算机的服务提供给客户。使用asp模型供应的软件有时也被称为按需软件或软件即服务(saas)。提供对特定应用程序(例如，客户关系管理)的访问的简单形式是通过使用例如http的标准协议。通过由供应商提供的专用客户端软件或例如瘦客户端的其他远程接口，应用软件驻留在供应商的系统上并且由用户通过使用html的网页浏览器访问。
在广阔地理区域上传递的服务经常使用云计算。云计算是计算的一种类型，其中将可动态缩放并经常虚拟化的资源作为在互联网上的服务提供。用户不需要是支持其的“云”中的技术基础设施的专家。云计算可以分为不同服务，例如，基础设施即服务(iaas)、平台即服务(paas)和软件即服务(saas)。云计算服务经常提供常见的在线业务应用，其从网页浏览器访问，而将软件和数据存储在服务器上。术语云基于如何在计算机网络图中描绘互联网用作互联网的隐喻，并且是其掩盖的复杂基础设施的抽象。
此外，isp1370包括游戏处理服务器(gps)1374，其由游戏客户端用来玩单人和多人视频游戏。在互联网上玩的大多数视频游戏通过与游戏服务器的连接操作。通常，游戏使用专用服务器应用，其收集来自玩家的数据并将其分配给其他玩家。这比点对点布置更高效和有效，但是其要求单独的服务器来托管服务器应用。在另一实施方案中，gps在玩家之间建立通信，并且其各自的玩游戏设备交换信息而不依赖于集中式gps。
专用gps是独立于客户端运行的服务器。此类服务器通常运行在位于数据中心中的专用硬件上，从而提供更多带宽和专用处理能力。专用服务器对于大多数基于pc的多人游戏是托管游戏服务器的优选方法。大规模多人在线游戏在通常由拥有游戏标题的软件公司托管的专用服务器上运行，从而允许他们控制和更新内容。
广播处理服务器(bps)1376将音频或视频信号分配给观众。向很窄范围的观众广播有时称为窄播。广播分配的最后环节是信号如何到达听众或观看者，并且其可以与无线电台或tv台一样通过空中到达天线或接收器，或可以经由台通过有线tv或有线广播(或“无线电缆”)或直接从网络到达。互联网也可以将广播或tv带给接收方，尤其利用允许共享信号和带宽的多播。历史上，广播用地理地区来划界，例如，国家广播或地区广播。然而，随着互联网快速普及，广播不受地理限定，因为内容几乎可以到达世界上的任何国家。
存储服务提供商(ssp)1378提供计算机存储空间和相关管理服务。ssp也供应定期备份和归档。通过将存储作为服务供应，用户可以按需订购更多存储。另一主要优点在于ssp包括备份服务，并且如果用户的计算机的硬盘驱动器失效，那么用户将不会丢失所有他们的数据。此外，多个ssp可以具有用户数据的全部或部分副本，从而允许用户以独立于用户所在地或用来访问数据的设备的高效方式访问数据。例如，用户可以访问家用计算机中的个人文件，以及在用户移动时访问移动电话中的个人文件。
通信提供商380提供与用户的连接。一种通信提供商是供应对互联网的访问的互联网服务提供商(isp)。isp使用适于传递互联网协议数据报的数据传输技术(例如，拨号、dsl、电缆调制解调器、无线或专用高速互连)连接其客户。通信提供商也可以提供消息服务，例如，电子邮件、即时消息和sms短信。另一类型的通信提供商是网络服务提供商(nsp)，其通过提供对互联网的直接骨干网访问来出售带宽或网络访问。网络服务提供商可以由电信公司、数据运营商、无线通信提供商、互联网服务提供商、供应高速互联网访问的有线电视运营商等构成。
数据交换器1388互连isp1370内的几个模块并且将这些模块通过网络1386连接到用户1382。数据交换器1388可以覆盖小的区域，其中isp1370的所有模块近邻，或可以在不同模块在地理上分散时覆盖大的地理区域。例如，数据交换器1388可以包括数据中心的机柜内的快速吉比特以太网(或更快)，或洲际虚拟局域网(vlan)。
用户1382利用客户端设备1384访问远程服务，客户端设备1384包括至少cpu、显示器和i/o。客户端设备可以是pc、移动电话、上网本、pda等。在一个实施方案中，isp1370识别客户端使用的设备的类型，并且调整所采用的通信方法。在其他情况下，客户端设备使用标准通信方法(例如，html)来访问isp1370。
本发明的实施方案可以用各种计算机系统配置来实现，所述计算机系统配置包括手持设备、微处理器系统、基于微处理器或可编程消费电子产品、小型计算机、大型计算机等。本发明也可以在由通过基于有线的或无线网络链接的远程处理设备执行任务所在的分布式计算环境中实现。
考虑到以上实施方案，应理解本发明可以采用各种计算机实施的操作，这些操作涉及存储在计算机系统中的数据。这些操作是需要物理操纵物理量的那些操作。本文描述的形成本发明一部分的任何操作是有用的机器操作。本发明也涉及一种用于执行这些操作的设备或装置。装置可以为了所需的目的而特殊构建，或装置可以是由存储在计算机中的计算机程序选择性地激活或配置的通用计算机。具体来说，各种通用机可以与根据本文的教导编写的计算机程序使用，或其可能会更方便构建更专用的装置来执行所需的操作。
本发明也可以实施为计算机可读介质上的计算机可读代码。计算机可读介质为可以存储数据的任何数据存储设备，所述数据随后可以由计算机系统读取。计算机可读介质的实例包括硬盘驱动器、网络附加存储(nas)、只读存储器、随机存取存储器、cd-rom、cd-r、cd-rw、磁带和其他光学和非光学数据存储设备。计算机可读介质可以包括分布在网络耦合的计算机系统上的计算机可读有形介质，以使得以分布式方式存储和执行计算机可读代码。
尽管按特定顺序描述了方法操作，但是应理解可以在操作之间执行其他内务操作，或可以调整操作使得其在在略有不同的时间出现，或可以分布于如下系统中，所述系统允许处理操作按照与处理关联的各种间隔出现，只要以所需方式执行叠加操作的处理即可。
尽管为了理解清楚的目的已经相当详细地描述前述发明，但是将清楚，可以在所附权利要求书的范围内实现某些改变和修改。因此，本发明的实施方案被认为是说明性的而非限制性的，并且本发明不限于本文给出的细节，而是可以在所附权利要求书的范围和等效物内加以修改。
- 还没有人留言评论。精彩留言会获得点赞！