用于增强现实的书对象的制作方法

用于增强现实的书对象的制作方法
【专利摘要】本发明提供一种用于与交互程序介接的方法。所述方法包括：捕捉书对象的第一页和第二页的图像，沿着沿书的书脊定义的折叠轴接合第一页和第二页；分析捕捉的图像以识别第一页上的第一标签和第二页上的第二标签；通过分别跟踪第一标签和第二标签来跟踪第一页和第二页的运动；通过在捕捉的图像中用虚拟书代替书对象来生成增强图像，虚拟书具有对应于书对象的第一页的第一虚拟页，虚拟书具有对应于书对象的第二页的第二虚拟页；分别在第一虚拟页和第二虚拟页上呈现第一场景和第二场景；以及在显示器上演示增强图像。
【专利说明】用于增强现实的书对象

【技术领域】
[0001] 本发明涉及用于利用用于增强现实的书对象与交互程序介接的方法和系统。

【背景技术】
[0002] 游戏技术的进展提供以丰富的图形和音频为特征的视频游戏。然而，寻求与视频 游戏介接的新方法以改善玩家体验。
[0003] 本发明的实施方案正在这种情况下发生。


【发明内容】

[0004]本发明的实施方案提供用于利用用于增强现实的书对象与交互程序介接的方法 和系统。应了解，本发明可以用多种方式来实施，例如，计算机可读介质上的过程、装置、系 统、设备或方法。下文描述本发明的几个发明实施方案。
[0005]在一个实施方案中，提供一种用于与交互程序介接的方法，其包括以下方法操作： 捕捉书对象的第一页和第二页的图像，大体上沿着沿书的书脊定义的折叠轴接合第一页和 第二页；分析捕捉的图像以识别第一页上的第一标签和第二页上的第二标签；通过分别跟 踪第一标签和第二标签来跟踪第一页和第二页的运动；通过在捕捉的图像中用虚拟书代替 书对象来生成增强图像，虚拟书具有对应于书对象的第一页的第一虚拟页，虚拟书具有对 应于书对象的第二页的第二虚拟页，其中书对象的第一页和第二页的运动分别控制虚拟书 的第一虚拟页和第二虚拟页的运动；分别在第一虚拟页和第二虚拟页上呈现第一场景和第 二场景，第一场景或第二场景定义动画；以及在显示器上演示增强图像。
[0006]在一个实施方案中，第一页和第二页的运动包括绕折叠轴翻转第二页，在翻转第 二页期间保持呈现的第二场景相对于第二页的定向。
[0007]在一个实施方案中，动画定义接近第一虚拟页或第二虚拟页的至少一个三维对象 的运动，在第一虚拟页或第二虚拟页上定义用来定义动画的第一场景或第二场景。
[0008]在一个￥施方案中，动画在第二页集中于第一页上时提供三维对象的压缩的外 观，或在第二页偏离第一页时提供三维对象的解压的外观。
[0009]在一个实施方案中，绕折叠轴翻转第二页暴露在第二页的相对面上的第三页和大 ^上沿着折叠轴接合到第三页的第四页；分析捕捉的图像包括识别第三页上的第三标签和 第四页士的第四标签；跟踪运动包括通过分别跟踪第三标签和第四标签来跟踪第三页和第 四页的运动；虚拟书具有对应于书对象的第三页的第三虚拟页，虚拟书具有对应于书对象 的第P页的第四虚拟页，其中书对象的第三页和第四页的运动分别控制虚拟书的第三虚拟 页和第四虚拟页的运动；呈现包括分别在第三虚拟页和第四虚拟页上呈现第三场景和第四 场景；以及在绕折叠轴翻转第二页期间，保持呈现的第三场景相对于第三虚拟页的定向。 [00 10]在另一实施方案中，提供一种用于与交互程序介接的系统，所述系统包括：用于捕 捉书f象的第一页和第二页的图像的构件，大体上沿着沿书的书脊定义的折叠轴接合第一 页和第二页；用于分析捕捉的图像以识别第一页上的第一标签和第二页上的第二标签的构 忏；用于通过分别跟踪第一标签和第二标签来跟踪第一页和第二页的运动的构件；用于通 过，捕捉的图像中用虚拟书代替书对象来生成增强图像的构件，虚拟书具有对应于书对象 ，第一页的第一虚拟页，虚拟书具有对应于书对象的第二页的第二虚拟页，其中书对象的 第一页和第二页的运动分别控制虚拟书的第一虚拟页和第二虚拟页的运动；用于分别在 第一虚拟页和第二虚拟页上呈现第一场景和第二场景的构件，第一场景或第二场景定义动 画；以及用于在显示器上演示增强图像的构件。
[0011]在另一实施方案中，提供一种用于与交互程序介接的装置，所述装置包括：图像捕 捉设备，其用于捕捉书对象的第一页和第二页的图像，大体上沿着沿书的书脊定义的折叠 轴^合第一页和第二页；分析器模块，其用于分析捕捉的图像以识别第一页上的第一标签 和第二页上的第二标签；跟踪模块，其用于通过分别跟踪第一标签和第二标签来跟踪第一 页和第二页的运动；增强图像生成器，其用于通过在捕捉的图像中用虚拟书代替书对象来 生成，强图像，虚拟书具有对应于书对象的第一页的第一虚拟页，虚拟书具有对应于书对 象的第二页的第二虚拟页，其中书对象的第一页和第二页的运动分别控制虚拟书的第一虚 拟页和第二虚拟页的运动；呈现模块，其用于分别在第一虚拟页和第二虚拟页上呈现第一 场景和第二场景，第一场景或第二场景定义动画；以及演示器，其用于在显示器上演示增强 图像。
[0012]在另一实施方案中，提供一种用于与交互程序介接的系统，所述系统包括：书对 象，其具有大体上沿着沿书对象的书脊定义的折叠轴接合的第一页和第二页；客户端设备， 其用于捕捉书对象的第一页和第二页的图像；服务器，所述服务器包括分析器模块，其用于 分析捕捉的图像以识别第一页上的第一标签和第二页上的第二标签；跟踪模块，其用于通 过分别跟踪第一标签和第二标签来跟踪第一页和第二页的运动；增强图像生成器，其用于 通过在捕捉的图像中用虚拟书代替书对象来生成增强图像，虚拟书具有对应于书对象的第 一页的第一虚拟页，虚拟书具有对应于书对象的第二页的第二虚拟页，其中书对象的第一 页和第二页的运动分别控制虚拟书的第一虚拟页和第二虚拟页的运动；呈现模块，其用于 分别在第一虚拟页和第二虚拟页上呈现第一场景和第二场景，第一场景或第二场景定义动 画；以及其中客户端设备包括演示器，其用于在显示器上演示增强图像。
[0013] 本发明的其他方面将从结合附图进行的以下详细描述中变得明显，详细描述通过 实例说明本发明的原理。

【专利附图】

【附图说明】
[0014] 参照结合附图进行的以下描述可以最好地理解本发明，其中：
[0015] 图1和图2图示根据本发明的实施方案用于增强现实（AR)的书对象10。
[0016]图3示出根据本发明的实施方案在书对象由图像捕捉设备捕捉并处理时显示在 显示器上的书对象。
[0017] 图4示出根据本发明的实施方案来自呈现在显示器上的一系列增强捕捉的图像 的帧。
[0018] 图5示出根据本发明的实施方案在3D(三维）场景填充显示器的屏幕时已变成小 插图的摄像机视图。
[0019] 图6图示根据本发明的实施方案在图像捕捉设备检测到书对象时由用户控制的 书对象D
[0020] 图6A示出根据本发明的实施方案用户坐在地板上并且操纵书对象同时操作运动 控制器以指向在显示器上呈现的书的各种可选部分。
[0021] 图6B示出根据本发明的实施方案用户18操纵运动控制器19以控制显示器上的 魔杖34。
[0022] 图7示出根据本发明的实施方案在书对象打开到各种页面时的书对象。
[0023] 图8图示根据本发明的实施方案用于导航和选择菜单选项的书对象。
[0024] 图9图示根据本发明的实施方案用户使用书对象来控制屏幕上的人物的运动以 抓住下落对象。
[0025] 图10图示根据本发明的实施方案用于构建定制故事的书故事AR对象集合。
[0026] 图IlA图示根据本发明的实施方案在打开书对象以显示两个AR标签的展开时的 书对象，这两个AR标签由视频游戏系统可视和识别。
[0027]图11B、图11C、图IlD和图IlE图示根据本发明的实施方案的翻页机制的不同阶 段。
[0028] 图12图示根据本发明的实施方案具有图形区域和文本区域的虚拟书，可以通过 操纵魔杖以便指向区域之一来选择这些区域中的每个。
[0029] 图13示出根据本发明的实施方案显示在书上的剧院。
[0030]图14图示根据本发明的实施方案呈现在AR标签上的虚拟门户。
[0031] 图15图示根据本发明的实施方案的另一实例，其中虚拟门户呈现在AR标签上。 [0032]图16示出根据本发明的实施方案被移动以引起显示在显示器上的虚拟场景的对 应运动的书对象。
[0033] 图I7图示根据本发明的一个实施方案可以用于提供与视频游戏的交互性的硬件 和用户接口。
[0034]图18图示根据本发明的一个实施方案可以用于处理指令的额外硬件。
[0035]图I9为根据本发明的一个实施方案场景A至场景E的示例性图示，其中各自的用 户A至用户E与游戏客户端交互，游戏客户端连接到通过互联网处理的服务器。
[0036]图20图示信息服务提供商架构的实施方案。

【具体实施方式】
[0037]图1和图2图示根据本发明的实施方案用于增强现实（AR)的书对象10。一般说 来，书对象具有封面、封底以及在封面与封底之间的页面，其中每一个含有唯一的AR标签。 书对象由图像捕捉设备来捕捉，并且AR标签通过图像识别过程来识别。基于这个图像识 另IJ，确定书对象的位置和定向。此外，基于AR标签的识别，确定显示给图像捕捉设备的特定 页面或封面。在图1中，以闭合配置显示书，其中封面是可见的。
[0038]为了在整个本公开内容中便于理解，"页面"应指的是在一张纸的一面所定义的区 域。因此，每张纸可以定义两个页面一一个页面在纸张的正面，并且一个页面在与正面相对 的纸张背面。翻转给定页面将暴露定义给定页面所在纸张的相对面所定义的下一页/上一 页，并且也可能暴露与下一页/上一页相邻的页面。一般地说，书对象由沿着书的书脊n.丄 接合在一起的一系列纸张组成。第一纸张的正面定义书的封面页 n. 2;第一纸张的背面定 义书的第一页11. 3 ;第二纸张的正面定义第二页U. 4 ;第二纸张的背面定义第三页；依此 类推，书的最后一纸张的正面定义书的最后一页，并且最后一纸张的背面定义书的封底页。 大体上沿着书的书脊定义折叠轴。当翻页时，大体上绕折叠轴翻页。例如，可以大体上绕折 叠轴将第二页11. 4翻到第一页上，同时暴露第三页和第四页。
[0039]书对象可以由任何适合的材料构建，包括纸、纸板、塑料、金属或纸张可以被形成 以包括本文所述的标签所用的任何其他材料。在一个实施方案中，书的纸张是大体上刚性 的，以在书的翻页和其他操纵期间保持每一页的平坦表面。
[0040]图2示出书打开到第一页IL 3和第二页11. 4。书的页面可以包括对应于页面的 排序的数字，其也是页面的AR标签的部分。这允许用户更直观地知道目前显示书对象的哪 个页面。然而，应注意，数字是任选的。
[0041]书对象可以是许多不同类型的交互（包括增强现实交互以及命令和控制类型交 互）的平台。在一些实施方案中，书对象的表面在屏幕上被计算机生成的图形所取代。在 其他实施方案中，书对象的运动和定向可以用于为视频游戏或其他交互程序提供输入。例 如，书对象可以用于使用显示在书的页面上的交互元素来讲述交互故事。
[0042]图3示出根据本发明的实施方案在书对象10由图像捕捉设备14捕捉并处理时显 示在显示器I2上的书对象10。图像捕捉设备14捕捉书对象10的图像，所述图像被分析 以识别和跟踪书的页面上的AR标签。在捕捉的图像中，场景可以显示在页面上。在所示实 施方案中，书对象的AR标签已完全被出现在书上面的弹出式木偶剧院 17取代。动画故事 在弹出式木偶剧院内展开。用户（未示出）通过操纵运动控制器来控制魔杖16。将了解， 在移动书对象时，弹出式木偶剧院与书对象同步移动，这是因为参照书对象10的暴露页的 位置和定向来定义弹出式木偶剧院。在某种意义上，弹出式木偶剧院固定到书对象 10的页 面，以使得在书由用户操纵时，保持其相对于书对象10的页面的定向。例如，通过使书对象 10旋转，用户可以用类似的方式使木偶剧院旋转；或通过使书对象10倾斜，用户可以用类 似的方式使木偶剧院倾斜。通过使书对象10旋转或倾斜，用户暴露木偶剧院的部分用于查 看。
[0043] 将了解，弹出式木偶剧院也可以显示响应于折叠书对象10的动画折叠机制，其类 似于现实世界的弹出式书的折叠机制。即，弹出式剧院可能看似在打开书（或翻转适当的 页面）时从大体上平坦的配置展开成其三维配置，并且在关闭书（或将其底层页之一翻到 下一页/上一页）时重新折叠成其平坦的配置。可以通过分析相邻页面的捕捉的图像来确 定相邻页面相对于彼此的角度（绕折叠轴），并且可以利用这个角度来确定展开弹出式木 偶剧院的动画状态。
[0044]图4示出根据本发明的实施方案来自呈现在显示器12上的一系列增强捕捉的图 像的帧。将了解，图像捕捉设备被配置成从由一系列捕捉的图像定义的游戏环境捕捉视频， 以及伴随的音频数据。可以基于包括在书对象10的页面中的跟踪标签来增强捕捉的图像。 在所示帧中，在用户18面前的地板上打开书对象10。已增强书对象10,以便使用显示在书 的页面上的交互元素将书对象10转变成魔法书。交互元素可以包括任何各种对象，包括但 不限于文字、图片、动画、三维对象等。在所示实施方案中，动画龙20源于书的页面并且逃 出书。
[0045] 图5示出根据本发明的实施方案在3D (三维）场景23填充显示器12的屏幕时已 变成小插图22的摄像机视图。这效果是使得屏幕视图看来从用户的位置缩小以显示3D场 景，从而给予用户发现其在虚拟世界的感觉。在所示实施方案中，用户18使用魔杖对在房 间爬来爬去的纸虫施放火魔法。
[0046]图6图示根据本发明的实施方案在图像捕捉设备14检测到书对象1〇时由用户 18控制的书对象10。利用书对象1〇的识别的AR标签的交互式应用显示在显示器12上。 图像捕捉设备连接到计算设备I 5。计算设备I5包括至少一个处理器和存储器，其被配置 成执行交互式应用。计算设备I 5可以被配置成包括图像分析模块，其用于分析图像捕捉 设备14的捕捉的图像以识别和跟踪书对象1〇的页面上的标签。另外,计算设备可以包括 呈现模块，其通过在捕捉的图像中呈现书的页面上的场景来增强捕捉的图像。将了解，计 算设备15可以是控制台游戏系统、通用或专用计算机、机顶盒、个人计算机、膝上型计算机 或任何其他种类的计算设备，其可以被配置成接收捕捉的图像数据并且增强捕捉的图像数 据（如本文所述）以用于呈现在显示器上。控制台游戏系统的一个实例为Playstation? 3控制台游戏系统。另外，计算设备可以与运动控制器19通信。运动控制器的一个实例为 Playstation? Move? 运动控制器。
[0047]图6A示出根据本发明的实施方案用户18坐在地板上并且操纵书对象1〇,同时操 作运动控制器19以指向在显示器I2上呈现的书的各种可选部分。在一个实施方案中，用 户可以将运动控制器19指向书对象10的部分，同时查看显示器12上的增强的书以确定存 在于书的页面上的虚拟元素。用户可以指向可选部分以指示在这个部分被这样配置时的选 择。
[0048]图6B示出根据本发明的实施方案用户18操纵运动控制器19以控制显示器上的 魔杖34。也在显示器上显示用户的手18a。在所示实施方案中，书对象被具有显示在上面 的文本80的呈现的书所取代。除了呈现的书之外，文本80也可以显示在屏幕上以便使用 户能够更容易地阅读文本。另外，在魔杖指向文本80时，文本80可以是可选的。可以通过 扬声器播放文本的音频，同步将书对象打开到对应于显示在显示器上的那些文本的页面。 [0049]图7示出根据本发明的实施方案在书对象打开到各种页面时的书对象。书对象具 有封面页24,其具有在上面定义的唯一的AR标签。通过翻转封面页24,打开书以暴露页面 1(参考号25. 1)和相邻的页面2(参考号25. 2)。如图所示，与页面1和2相关联的AR标签 分别具有包含在上面的数字"1"和"2"。这使用户能够很容易分辨书对象的哪个页面是可 见的，并且可以由交互程序用来实现交互性（例如，特定虚拟页与书对象的页面相关联；指 示用户将书打开到特定页号；等）。通过将页面2翻到页面1上，暴露相邻的页面3和4 (分 别参考号25. 3和25.4)以用于查看和图像捕捉。页面3和4中的每个具有在上面定义的 唯一的AR标签，以及对应于其页号的各自的数字。可以翻转书的页面直到到达书对象的封 底页26,其也具有在上面定义的唯一的AR标签。将了解，书对象10的每个页面具有在上面 定义的唯一的AR标签，且因此没有两个页面共享相同的AR标签。因此，每个页面都单独可 识别，并且可以被配置成对应于为这个页面所定义的特定内容。
[0050] 尽管在整个本公开内容中参考增强现实（AR)标签，但是将了解此类标签可以用 于非增强现实应用。例如，可以识别和跟踪标签以定义虚拟对象的运动。虚拟对象可以采 取书或某一其他对象的形式，其运动对应于通过跟踪书对象的页面上的AR标签来确定的 现实世界的书对象的那些运动。例如，运动可以包括平移运动以及折叠式运动或翻页式运 动，并且可以适用于任何适合的虚拟对象。
[0051] 在一个实施方案中，提供具有AR标签的书对象控制器，AR标签产生交互式AR对 象。具有AR标签作为页面的书可以用作显示在AR标签上的交互式AR对象的控制器。跟 踪书的运动和定向，并且在视频游戏或交互式应用的上下文中相应地移动和定向对应的AR 对象，以使得书为AR对象的控制器。书的定向或运动可以指示选择或触发游戏中的机制， 例如，游戏或故事的情节发展。
[0052]图8图示根据本发明的实施方案正用于导航和选择菜单选项的书对象。如根据一 个实施方案所示，拿起书10并且将书的封面或封底定向成面对摄像机可以触发菜单的显 示以启用选择模式，由此用户可以从各种选项中选择。在一个实施方案中，触发菜单的显示 也可能暂停当前的游戏（如有发生）。在各种实施方案中，选择模式可以使用户能够从故事 的各个章节、情节的部分、游戏的级别、级别的部分等中选择。选择模式可以提供对其他特 征的访问，例如，调整游戏参数、查看地图、查看与用户的游戏相关联的项目或属性等。在所 示实施方案中，选择模式包括显示分别代表故事的章节1、2和3的图标25. 5、25. 6和25. 7。 书对象10用作运动控制器以控制屏幕选择器25. 8的运动。在一个实施方案中，屏幕选择 器25_ 8被配置成在与移动书对象大体上相同的方向上移动（例如,将书移动到用户的左侧 会将选择器25. 8移动到屏幕左侧等）。在一个实施方案中，当书10被定位成选择器25. 8 大体上在图标之一上面时，例如通过将选择器25. 8保持在图标上面达预定的时间量来选 择对应的章节。
[0053]图9图示根据本发明的实施方案用户18使用书对象10来控制屏幕上的人物26的 运动以抓住下落对象28。书对象10在各个方向上的运动被映射到人物26的对应的运动。 在一个实施方案中，关闭书会使人物26彼此更靠近地挤压。在人物在屏幕上被呈现/增强 时，可以参照书的页面来定义人物。因此，当折叠/关闭书对象10时，在人物26相对于其 各自页面的定向被保持时朝向彼此倾斜。尽管显示人物，但是将了解书对象10可以在交互 式应用中同样控制任何对象的运动。
[0054] 在另一实施方案中，参照图10,提供用于构建定制故事的书故事AR对象集合。AR 标签的书可以用于基于书的位置和定向使用原始故事的各种AR对象来讲述原始故事，这 些AR对象显示在AR标签上面。AR对象可以由用户收集或购买并且由用户用于生成自己定 制的故事。可以用可能不同于在原始故事中使用的各种方式链接或利用AR对象。可收集 的AR对象的实例可以包括人物、建筑物、车辆、自然对象等。类似的概念可以适用于视频游 戏，从而使用户能够建立自己的视频游戏或视频游戏级别。
[0055] 预期各种书对象翻页机制。例如，参照图11A，当打开书时，两个AR标签的展开由 视频游戏系统可视和识别。当打开书时，虚拟场景或显示29.1在打开的书上弹出。当翻页 时，对应于特定两页展开的现有虚拟场景29. 1被关闭或向下折叠在自身上，并且对应于下 一组页面的下一个虚拟场景29. 2弹出。通过关闭封底来关闭书可以指示章节的结束，因此 翻转到书的封面可以开始下一个章节或触发用户用以选择下一个章节的选项。
[0056] 图11B、图11C、图IlD和图IlE图示根据本发明的实施方案的翻页机制的不同阶 段。在图11B，书对象在大体上平的定向上打开到相邻的页面29. 3和29. 4。虚拟人物29. 5 定义在页面29. 3上，并且虚拟人物29. 6定义在页面29. 4上。在图11C，页面29. 4启动翻 转，以暴露页面29. 7和相邻的页面29. 8。在页面29. 4正在被翻转时，在页面29. 7上，树 29.92已弹出，并且在页面29. 8上，人物29. 91被示出为正在弹出或从页面29. 8解压。角 0由页面29. 7和29. 8的相对定向来定义，并且在图IlC中示出的阶段显示为锐角。在图 11D，翻页继续以使得角0现在大体上为直角。在这个阶段，人物29. 91已经从页面29. 8 完全弹出。保持树29. 92相对于页面29. 7的定向以使得树看来相对于人物29. 91是横向 的。类似地，保持人物29. 6相对于页面29. 4的定向以使得人物29. 6看来相对于人物29. 5 是横向的。在图11E，将页面29. 4大体上翻转到页面29. 3上，并且人物29. 5和29. 6看来 分别压缩到页面29. 3和29. 4中。
[0057] 特定虚拟场景也可以包括与之相关联的特定音频。因此，除了显示特定虚拟场景 之外，播放和呈现相关联的音频也可以与将书的页面或封面翻转到书对象中的这个特定虚 拟世界的对应的页面同步。例如，继续参照图IlB至图11E，在图11B，只演示呈现在页面 29. 3和29. 4上的场景的音频。然而，在图IlC至图11E，当将页面29. 4翻转到暴露页29. 7 和29. 8时，呈现在页面29. 7和29. 8上的场景的音频与呈现在页面29. 3和29. 4上的场景 的音频以增加的比例混合。当翻页完成，并且只暴露页面29. 7和29. 8时，则只演示呈现在 那些页面上的场景的音频。以这种方式，在不同的页面上各种场景的音频的演示随着翻页 而转变，其中音频演示与给定场景被翻页机制暴露的程度成比例。
[0058] 在另一实施方案中，书对象提供AR内容的交互式选择以及与AR内容的接口。在 书的AR标签上面显示的AR内容的部分可以选择以引起动作发生。例如，显示的AR内容可 以包括具有各个部分的虚构书的页面。在部分之一上定位选择工具可以触发动作发生。选 择工具可以由运动控制器控制，例如，Maysta&m? Move?控制器。图12图示根据本发 明的实施方案具有图形区域30和文本区域32的虚拟书31，可以通过操纵魔杖34以便指向 区域之一来选择这些区域中的每个。在所示实施方案中，将了解，书对象10已在屏幕上被 虚拟书31所取代，虚拟书3I的运动和翻页由书对象10的运动和翻页控制。
[0059] 在各种实施方案中，书对象可以提供AR标签的三维运动以允许观察到不同的空 间。例如，图I3示出根据本发明的实施方案显示在书上的剧院。通过操纵书对象，用户可 以操纵剧院36，例如，在各个方向上旋转、翻转或平移剧院。用户能够从不同角度看"到"剧 院。
[0060]另外，虚拟门户可以呈现在AR标签上。AR标签由用户操纵以使用户能够看到门 户。例如，如图14中所示，虚拟门户可以是AR标签上的孔38并且为了看到孔，用户必须将 AR标签定向成面对摄像机。门户可以被定义为大体上与AR标签的表面重合，或可以被定义 在与AR标签分离的位置。需要AR标签移动到相对于摄像机的特定定向以便观察到门户。 在另一实施方案中，书的运动的映射应使得用户将书的外封面显示给摄像机以便看到孔。 t〇〇61]图15图示另一实例，其中虚拟门户呈现在AR标签上。如图所示，门户40定义在 AR标签上，并且使用户能够观察到虚拟空间42,虚拟空间42不同于存在门户40的虚拟空 间44。
[0062] 在另一实施方案中，可以提供AR空间与游戏空间之间的视角和上下文切换。用户 可以利用AR标签在AR空间内交互。AR空间显示在屏幕上。通过看来从ar空间缩小以显 示游戏空间，游戏可以从AR空间转变成游戏空间。AR标签仍存在于真实空间中并且可以用 作提高跟踪对象的保真度的锚，例如，用户或运动控制器。如前面所讨论，这一点通过参照 图4和图5来说明。
[0063] 在另一实施方案中，可能有现实世界的物理转移到AR环境。AR标签用于投射出包 括虚拟对象的虚拟场景。当AR标签由用户操纵时，虚拟场景的空间框架可以用大体上直接 的方式移动。然而，虚拟对象可以表现出相对于空间框架的惯性，从而看来滞后于空间框架 的运动。可以基于AR标签的运动加速和减速虚拟对象。基于AR标签的运动，对象可以返 回到其相对于AR标签的原始位置，或可以移动到相对于AR标签的新位置。
[0064]图16示出根据本发明的实施方案被移动以引起显示在显示器12上的虚拟场景的 对应运动的书对象10。地面妨和刚性连接到地面46的对象（例如，建筑物47)可以与书 对象10的运动一致地移动。具有连接到地面的基底的柔性对象（例如，树48)可能看似摇 摆，而其基底保持连接到地面祕,没有实质性偏离地面46的运动。然而，游离对象（例如， 鸟50)可能具有落后于地面46的运动的运动。从这个意义上来说，书对象1〇的运动可能 被认为移动定义对象所在的空间参照系。对象可能具有相对于参照系的运动的不同程度的 灵活性，但可能最终到达其相对于参照系的原始位置。
[0065]图17图示根据本发明的一个实施方案可以用于提供与视频游戏的交互性的硬件 和用户接口。图17示意地图示Sony? Playstation 3娱乐设备的总系统架构，即可以 是兼容的用于实现根据本发明的实施方案的使控制设备与在基础计算设备处执行的计算 机程序介接的控制台。提供系统单元700,连同可连接到系统单元700的各种外围设备。系 统单元700包括：单元处理器728 ;RaraiuS#动态随机存取存储器（XDRAM)单元726 ;具有 专用视频随机存取存储器（VRAM)单元732的现实合成器图形单元730 ;以及I/O桥734。系 统单元700也包括用于从磁盘740a读取的Blu歲af⑩Disk BD-R0M?光盘读取器740 和可拆卸的插槽式硬盘驱动器（HDD) 736,其通过I/O桥734可访问。任选地，系统单元700 也包括存储卡读卡器73心用于读取压缩闪存卡、Memory :Stick?存储卡等，其类似地通过 I/O桥734可访问。
[0066] I/O桥7：34也连接到六个通用串行总线（USB) 2.0端口 724;吉比特以太网端 口 722 ;IEEE 802_ llb/g无线网络（Wi-Fi)端口 MO ;以及能够支持高达七个蓝牙连接的 Bluetcx_!⑩无线链路端口 718。
[0067]在操作中，I/O桥734处理所有无线、USB和以太网数据，其包括来自一个或多个游 戏控制器702-703的数据。例如，当用户在玩游戏时，1/〇桥734通过蓝牙链接从游戏控制 器702-703接收数据，并将其引导给单元处理器728,单元处理器728相应地更新游戏的当 前状态。
[0068]除了游戏控制器702-703之外，无线、USB和以太网端口也为其他外围设备提供连 接性，诸如：遥控器704 ;键盘706 ;鼠标708 ;便携式娱乐设备710,例如，Sony Playstation 娱乐设备；视频摄像机，例如，EyfT^y(I)视频摄像机712 ;麦克风耳机714 ;以 及麦克风715。因此，此类外围设备原则上可以无线地连接到系统单元700 ;例如便携式娱 乐设备710可以通过Wi-Fi特设连接通信，而麦克风耳机714可以通过蓝牙链接通信。 [0069]提供这些接口意味着Playstation 3设备也可能与其他外围设备兼容，例如，数 字录象机（DVR)、机顶盒、数码摄像机、便携式媒体播放器、语音IP电话、移动电话、打印机 和扫描仪。
[0070] 另外，传统的存储卡读卡器716可以通过USB端口 724连接到系统单元，从而能够 读取由IjIaystatlQd?或Playstation 3?设备使用的这种存储卡748。
[0071] 游戏控制器702-703可操作以通过蓝牙链接与系统单元700无线通信，或连接到 USB端口，由此也提供用于给游戏控制器702-7〇 3的电池充电的功率。游戏控制器702-703 也可以包含存储器；处理器；存储卡读卡器；永久性存储器，例如，闪存；光发射器，例如，照 明球形部分、LED或红外光；用于超声波通信的麦克风和扬声器；声室；数字摄像机；内部时 钟；可识别的形状，例如，面向游戏控制台的球形部分；以及使用如BJuttotli?、WiFi?等 协议的无线通信。
[0072]游戏控制器702是被设计成用双手使用的控制器，并且游戏控制器703是具有附 件的单手控制器。除了一个或多个模拟操纵杆和常规控制按钮之外，游戏控制器容许三维 位置确定。因此，除了或者代替常规按钮或操纵杆命令，游戏控制器的用户的姿势和运动可 以被转化为游戏输入。任选地，其他无线使能外围设备（例如，Playstation?便携式设备） 可以被用作控制器。在Playstation?便携式设备的情况下，可以在设备的屏幕上提供额外 的游戏或控制信息（例如，控制指令或生命数）。其他替代或补充的控制设备也可以被使 用，例如，跳舞毯（未示出）、光枪（未示出）、方向盘和踏板（未示出）或定制的控制器，例 如，用于快速响应问答游戏的一个或几个大按钮（也未示出）。
[0073]遥控器7〇4也可操作以通过蓝牙链接与系统单元7〇〇无线通信。遥控器704包括 控件，其适合于Blu Ray? Disk BD-ROM读取器540的操作以及磁盘内容的导航。
[0074]除了常规的预录式和可录的CD以及所谓的超音频CD之外，Blu Ray? Disk BD-ROM读取器"740可操作以读取与Playstation和PlayStation 2设备兼容的CD-ROM。 除了常规的预录式和可录的DVD之外，读取器740也可操作以读取与Playstation 2和 PlayStation 3设备兼容的DVD-ROM。读取器740进一步可操作以读取与Playstation 3 设备兼容的BD-ROM以及常规的预录式和可录的蓝光光盘。
[0075]系统单元7〇〇可操作以将经由现实合成器图形单元73〇由Playstation 3设备生 成或解码的音频和视频通过音频和视频连接器提供给显示器和声音输出设备742,例如，具 有显示器744和一个或多个扩音器7妨的监视器或电视机。音频连接器 750可以包括常规 的模拟和数字输出，而视频连接器752可以多方面地包括分量视频、S视频、复合视频以及 一个或多个高清晰度多媒体接口（HDMI)输出。因此，视频输出可以处于例如PAL或NTSC 的格式，或者处于720p、1080i或1080p高清晰度。
[0076]音频处理（生成、解码等）由单元处理器728处理。Playstation 3设备的操作系 统支持5. 1环绕立体声、Dolby?影院环绕声（DTS)以及从Iilu慕ay?光盘解码 7. 1环绕立体声。
[0077]在本发明的实施方案中，视频摄像机712包括单个电荷耦合设备（(XD)、LED指 示器和基于硬件的实时数据压缩和编码装置，以便压缩的视频数据能够以合适的格式被传 输，j列如，用于由系统单元700解码的基于图像内MPEG (活动图像专家组）标准。摄像机LED 指示器被布置成响应于来自系统单元7〇〇的适当的控制数据而照亮，例如用于表示不利的 照明条件。视频摄像机H2的实施方案可以通过USB、蓝牙或Wi-Fi通信端口多方面地连接 到系统单元700。视频摄像机的实施方案可以包括一个或多个相关联的麦克风，并且也能够 用于传输音频数据。在视频摄像机的实施方案中，CCD可以具有适用于高清晰度视频捕捉 的分辨率。在使用中，由视频摄像机捕捉的图像可以例如被合并到游戏内或被解释为游戏 控制输入。在另一实施方案中，摄像机是红外摄像机，其适用于检测红外光。
[0078] 一般而言，为了通过系统单元700的通信端口之一与外围设备（例如，视频摄像机 或遥控器）发生成功的数据通信，应提供适当的软件（例如，设备驱动程序）。设备驱动程 序技术是众所周知的并且将不会在这里详细描述，除了说本领域技术人员将意识到可能在 所述本发明的实施方案中需要设备驱动程序或类似的软件接口。
[0079] 图18图示根据本发明的一个实施方案可以用于处理指令的额外的硬件。单元处 理器728具有包括四个基本组件的架构：外部输入和输出结构，其包括存储器控制器860和 双总线接口控制器8 7〇A、870B ;主处理器，其被称为功率处理元件850 ;八个协同处理器，其 被称为协同处理元件（SPE) 810A-810H ;以及连接以上组件的循环数据总线，其被称为元件 互连总线88〇。相比于Playstation 2设备的情感引擎的6. 2GFL0PS，单元处理器的总浮点 性能为 218 GFLOPS。
[0080] 功率处理元件（PPE)850基于双向同时多线程电源570适应的以3.2GHz的内部 时钟运行的PowerPC核心（PPU) 855。PPE 850包括512 kB 2级（L2)缓存和32 kB 1级 (LI)缓存。PPE 850能够实现每时钟循环八个单独的位置操作，转变为3. 2GHz处的25. 6 GFLOPs。PPE 850的主要任务是充当用于协同处理元件810A-810H的控制器，协同处理元件 810A-810H处理大部分的计算工作量。在操作中，PPE 850维持工作队列，为协同处理元件 810A-810H调度任务并且监视其进展。因此，每个协同处理元件810A-810H运行内核，内核 的作用是取得工作、执行工作并且与PPE 850同步。
[0081] 每个协同处理元件（SPE) 810A-810H均包括各自的协同处理单元 (SPU)820A-820H，以及各自的存储器流控制器（MFO840A-840H，所述存储器流控制器 依次包括各自的动态存储器存取控制器（DMAC)842A-842H、各自的存储器管理单元 (MMU)844A-844H以及总线接口（未示出）。每个SPU 820A-820H是RISC处理器，其以3.2GHz 被时钟控制并包括256kB本地RAM 830A-830H，原则上可扩展为4GB。每个SPE给出单精度 性能的理论25. 6GFL0PS。SPU在单个时钟循环内可以对4个单精度浮点成员、4个32比特 数字、8个16比特整数或者16个8比特整数操作。在相同的时钟循环内，SPU也可以执行 存储器操作。SPU 82〇A-820H不直接访问系统存储器XDRAM726;由SPU 820A-820H形成的 64比特地址被传递给MFC840A-840H，MFC 840A-840H指示其DMA控制器842A-842H通过元 件互连总线88〇和存储器控制器860访问存储器。
[0082] 元件互连总线（EIB)SSO是单元处理器728内部的逻辑循环通信总线，其连接以上 处理器元件，即PPE 850、存储控制器860、双总线接口 870A、870B以及8个SPE 810A-810H, 总计12个参与者。参与者可以用每时钟循环8字节的速率对总线同时地读和写。如前所 述，每个SPE 810A-810H包括DMAC842A-842H，其用于调度较长的读或写序列。EIB包括四 个信道，其中两个分别沿顺时针方向和逆时针方向。因此,对于十二个参与者，任何两个参 与者之间最长的逐步数据流在适当方向上是六步。因此，倘若通过参与者之间的仲裁的充 分利用，用于12槽的理论峰值瞬时EIB带宽为每时钟96B。这等于在3.2GHz时钟速率时 307_2GB/s(每秒千兆字节）的理论峰值带宽。
[0083] 存储器控制器860包括由Rambus公司开发的XDRAM接口 862。存储器控制器以 25_ 6GB/s的理论峰值带宽与Rambus XDRAM 726介接。
[0084]双总线接口 87〇A、87〇B包括Rambus F丨exK)⑩系统接口 872A、872B。接口被组织 成12个丨旨道，每个彳目道为8比特宽，其中五个路径是入站，七个是出站。这在经由控制器 870A的单元处理器和I/O桥734之间以及经由控制器870B的和现实模拟器图形单元730 之间提供62. 4GB/s (36_ 4GB/s出站，26GB/s入站）的理论峰值带宽。
[0085]由单元处理器728发送到现实模拟器图形单元730的数据通常将包括显示列表， 其是用于绘制顶点、向多边形施加纹理、规定照明条件等的命令的序列。
[0086]图19为根据本发明的一个实施方案场景A至场景E的示例性图示，其中各自的用 户A至用户E与游戏客户端1102交互，游戏客户端11〇2连接到通过互联网处理的服务器。 游戏客户端为允许用户连接到服务器应用并且通过互联网处理的设备。游戏客户端允许用 户访问和播放在线娱乐内容，例如但不限于游戏、电影、音乐和照片。另外，游戏客户端可以 提供对在线通信应用（例如，V0IP、文本聊天协议和电子邮件）的访问。
[0087]用户通过控制器与游戏客户端交互。在一些实施方案中，控制器是游戏客户端特 定的控制器，而在其他实施方案中，控制器可以是键盘和鼠标组合。在一个实施方案中，游 戏客户端为独立设备，其能够输出音频和视频信号以通过监视器/电视和相关联的音频装 备创建多媒体环境。例如，游戏客户端可以是但不限于痩客户端、内部PCI -express 卡、外 部PCI-express设备、ExpressCard设备、内部、外部或无线USB设备，或火线设备等。在其 他实施方案中，游戏客户端与电视或其他多媒体设备（例如，DVR、蓝光播放器、DVD播放器 或多信道接收机）集成。
[0088] 在图19的场景A内，用户A使用与游戏客户端1102A配对的控制器1106A与显示 在监视器1104A上的客户端应用交互。类似地,在场景B内，用户B使用与游戏客户端1102B 配对的控制器1106B与显示在监视器1104B上的另一客户端应用交互。场景c图示当用户 C看着显示来自游戏客户端1102C的游戏和好友列表的监视器时从用户C后面的视图。尽 管图19示出单一服务器处理模块，但是在一个实施方案中，存在遍布世界的多个服务器处 理模块。每个服务器处理模块包括用于用户会话控制、共享/通信逻辑、用户地理位置和负 载平衡处理服务的子模块。此外，服务器处理模块包括网络处理和分布式存储。
[0089] 当游戏客户端1102连接到服务器处理模块时，可以使用用户会话控制来验证用 户。所验证的用户可以具有相关联的虚拟化分布式存储和虚拟化网络处理。可以存储为用 户的虚拟化分布式存储的一部分的示例性项目包括所购买的媒体，例如（但不限于）游戏、 视频和音乐等。另外，分布式存储可以用来保存多个游戏的游戏状态、个别游戏的自定义设 置以及游戏客户端的一般设置。在一个实施方案中，服务器处理的用户地理位置模块用来 确定用户和其各自的游戏客户端的地理位置。用户的地理位置可以由共享/通信逻辑和负 载平衡处理服务两者使用，以基于地理位置和多服务器处理模块的处理需求优化性能。虚 拟化网络处理和网络存储中的任一个或两个将允许来自游戏客户端的处理任务动态转移 到利用不足的服务器处理模块。因此，负载平衡可以用来最小化与存储的撤回以及与服务 器处理模块和游戏客户端之间的数据传输两者相关联的等待时间。
[0090] 服务器处理模块具有服务器应用A和服务器应用B的实例。服务器处理模块能够 支持如由服务器应用X1和服务器应用X 2所指示的多个服务器应用。在一个实施方案中，月艮 务器处理是基于集群计算架构，其允许集群内的多个处理器处理服务器应用。在另一实施 方案中，将不同类型的多计算机处理方案应用于处理服务器应用。这允许缩放服务器处理， 以便容纳执行多个客户端应用和对应的服务器应用的更多数量的游戏客户端。替代地，可 以缩放服务器处理以容纳更苛刻的图形处理或游戏、视频压缩或应用复杂性所必须的增加 的计算需求。在一个实施方案中，服务器处理模块通过服务器应用执行大多数处理。这允 许在中心放置相对昂贵的组件（例如，图形处理器、RAM和通用处理器）并降低游戏客户端 的成本。将所处理的服务器应用数据通过互联网送回到对应的游戏客户端，以在监视器上 显不。
[0091] 场景C图示可以由游戏客户端和服务器处理模块执行的示例性应用。例如，在一 个实施方案中，游戏客户端1102C允许用户C创建和查看包括用户A、用户B、用户D和用户 E的好友列表1120。如图所示，在场景C中，用户C能够在监视器1104C上看到各自用户的 实时图像或头像。服务器处理执行游戏客户端1102C与用户A、用户B、用户D和用户E的 各自游戏客户端1102的各自应用。因为服务器处理知道游戏客户端B正在执行的应用，所 以用户A的好友列表可以指示用户B正在玩哪个游戏。更进一步，在一个实施方案中，用户 A可以在直接来自于用户B的游戏视频中实际查看。这通过仅将所处理的用户B的服务器 应用数据除了发送到游戏客户端B之外还发送到游戏客户端A而实现。
[0092] 除了能够查看来自好友的视频之外，通信应用可以允许好友之间的实时通信。当 应用于之前的实例时，这允许用户A在观看用户B的实时视频时提供鼓励或提示。在一个 实施方案中，通过客户端/服务器应用建立双向实时语音通信。在另一实施方案中，客户端 /服务器应用使能够文本聊天。在又一实施方案中，客户端/服务器应用将语音转换为文本 用于在好友的屏幕上显示。
[0093] 场景D和场景E图示各自的用户D和用户E分别与游戏控制台11IOD和11IOE交 互。每个游戏控制台1110D和1110E都连接到服务器处理模块并且图示服务器处理模块对 游戏控制台和游戏客户端两者协调游戏进行的网络。
[0094] 图20图示信息服务提供商架构的实施方案。信息服务提供商（ISP) 1370将大量 的信息服务传递到地理上分散并通过网络1386连接的用户1382。ISP可以只传递如股票 价格更新之类的一类服务，或如广播媒体、新闻、体育、游戏等的各种服务。另外，由每个ISP 供应的服务是动态的，即，可以在任何时间点添加或者撤消服务。因此，将特定类型的服务 提供给特定个体的ISP可以随着时间改变。例如，在用户在她的故乡时，用户可以由与用户 近邻的ISP服务，并且在用户旅行到不同城市时，用户可以由不同的ISP服务。故乡ISP将 向新ISP传送所需信息和数据，以使得用户信息"跟随"用户去往新城市，从而使数据更接 近用户并且更易于访问。在另一实施方案中，可以在管理用于用户的信息的主控ISP与在 来自主控ISP的控制之下与用户直接介接的服务器ISP之间建立主控-服务器关系。在其 他实施方案中，在客户端周游世界时，数据从一个ISP传送到另一 ISP以使在更佳位置服务 于用户的ISP是传递这些服务的ISP。
[0095] ISP 1370包括应用服务提供商（ASP) 1372,其通过网络将基于计算机的服务提供 给客户。使用ASP模型供应的软件有时也被称为按需软件或软件即服务（SaaS)。提供对特 定应用程序（例如，客户关系管理）的访问的简单形式是通过使用例如HTTP的标准协议。 通过由供应商提供的专用客户端软件或例如瘦客户端的其他远程接口，应用软件驻留在供 应商的系统上并且由用户通过使用HTML的网页浏览器访问。
[0096] 在广阔地理区域上传递的服务经常使用云计算。云计算是计算的一种类型，其中 将可动态缩放并经常虚拟化的资源作为在互联网上的服务提供。用户不需要是支持其的 "云"中的技术基础设施的专家。云计算可以分为不同服务，例如，基础设施即服务（IaaS)、 平台即服务（PaaS)和软件即服务（SaaS)。云计算服务经常提供常见的在线业务应用，其从 网页浏览器访问，而将软件和数据存储在服务器上。术语云基于如何在计算机网络图中描 绘互联网用作互联网的隐喻，并且是其掩盖的复杂基础设施的抽象。
[0097] 此外，ISP I37O包括游戏处理服务器（GPS) 1374,其由游戏客户端用来玩单人和 多人视频游戏。在互联网上玩的大多数视频游戏通过与游戏服务器的连接操作。通常，游 戏使用专用服务器应用，其收集来自玩家的数据并将其分配给其他玩家。这比点对点布置 更高效和有效，但是其要求单独的服务器来托管服务器应用。在另一实施方案中，GPS在玩 家之间建立通信，并且其各自的玩游戏设备交换信息而不依赖于集中式GPS。
[0098] 专用GPS是独立于客户端运行的服务器。此类服务器通常运行在位于数据中心中 的专用硬件上，从而提供更多带宽和专用处理能力。专用服务器对于大多数基于PC的多人 游戏是托管游戏服务器的优选方法。大规模多人在线游戏在通常由拥有游戏标题的软件公 司托管的专用服务器上运行，从而允许他们控制和更新内容。
[0099] 广播处理服务器（BPS) 13了6将音频或视频信号分配给观众。向很窄范围的观众广 播有时称为窄播。广播分配的最后环节是信号如何到达听众或观看者，并且其可以与无线 电台或TV台一样通过空中到达天线或接收器，或可以经由台通过有线TV或有线广播（或 "无线电缆"）或直接从网络到达。互联网也可以将广播或TV带给接收方，尤其利用允许共 享信号和带宽的多播。历史上，广播用地理地区来划界，例如，国家广播或地区广播。然而， 随着互联网快速普及，广播不受地理限定，因为内容几乎可以到达世界上的任何国家。
[0100] 存储服务提供商（SSP) 1378提供计算机存储空间和相关管理服务。SSP也供应定 期备份和归档。通过将存储作为服务供应，用户可以按需订购更多存储。另一主要优点在于 SSP包括备份服务，并且如果用户的计算机的硬盘驱动器失效，那么用户将不会丢失所有他 们的数据。此外，多个SSP可以具有用户数据的全部或部分副本，从而允许用户以独立于用 户所在地或用来访问数据的设备的高效方式访问数据。例如，用户可以访问家用计算机中 的个人文件，以及在用户移动时访问移动电话中的个人文件。
[0101] 通信提供商380提供与用户的连接。一种通信提供商是供应对互联网的访问的互 联网服务提供商（ISP)。ISP使用适于传递互联网协议数据报的数据传输技术（例如，拨 号、DSU电缆调制解调器、无线或专用高速互连）连接其客户。通信提供商也可以提供消 息服务，例如，电子邮件、即时消息和SMS短信。另一类型的通信提供商是网络服务提供商 (NSP)，其通过提供对互联网的直接骨干网访问来出售带宽或网络访问。网络服务提供商可 以由电信公司、数据运营商、无线通信提供商、互联网服务提供商、供应高速互联网访问的 有线电视运营商等构成。
[0102] 数据交换器1388互连ISP 1370内的几个模块并且将这些模块通过网络1386连 接到用户1別2。数据交换器1明8可以覆盖小的区域，其中ISP 1370的所有模块近邻，或可 以在不同模块在地理上分散时覆盖大的地理区域。例如，数据交换器1388可以包括数据中 心的机柜内的快速吉比特以太网（或更快），或洲际虚拟局域网（VLAN)。
[0103] 用户1382利用客户端设备1384访问远程服务,客户端设备1384包括至少CPU、 显示器和I/O。客户端设备可以是PC、移动电话、上网本、PDA等。在一个实施方案中，ISP 1370识别客户端使用的设备的类型，并且调整所采用的通信方法。在其他情况下，客户端设 备使用标准通信方法（例如，html)来访问ISP 1370。
[0104] 本发明的实施方案可以用各种计算机系统配置来实现,所述计算机系统配置包括 手持设备、微处理器系统、基于微处理器或可编程消费电子产品、小型计算机、大型计算机 等。本发明也可以在由通过基于有线的或无线网络链接的远程处理设备执行任务所在的分 布式计算环境中实现。
[0105] 考虑到以上实施方案，应理解本发明可以采用各种计算机实施的操作，这些操作 涉及存储在计算机系统中的数据。这些操作是需要物理操纵物理量的那些操作。本文描述 的形成本发明一部分的任何操作是有用的机器操作。本发明也涉及一种用于执行这些操作 的设备或装置。装置可以为了所需的目的而特殊构建，或装置可以是由存储在计算机中的 计算机程序选择性地激活或配置的通用计算机。具体来说，各种通用机可以与根据本文的 教导编写的计算机程序使用，或其可能会更方便构建更专用的装置来执行所需的操作。
[0106] 本发明也可以实施为计算机可读介质上的计算机可读代码。计算机可读介质为可 以存储数据的任何数据存储设备，所述数据随后可以由计算机系统读取。计算机可读介质 的实例包括硬盘驱动器、网络附加存储（NAS)、只读存储器、随机存取存储器、CD-R0M、CD-R、 CD-RW、磁带和其他光学和非光学数据存储设备。计算机可读介质可以包括分布在网络耦 合的计算机系统上的计算机可读有形介质，以使得以分布式方式存储和执行计算机可读代 码。
[0107]尽管按特定顺序描述了方法操作，但是应理解可以在操作之间执行其他内务操 作，或可以调整操作使得其在在略有不同的时间出现，或可以分布于如下系统中，所述系统 允许处理操作按照与处理关联的各种间隔出现，只要以所需方式执行叠加操作的处理即 可。
[0108]尽管为了理解清楚的目的已经相当详细地描述前述发明，但是将清楚，可以在所 附权利要求书的范围内实现某些改变和修改。因此，本发明的实施方案被认为是说明性的 而非限制性的，并且本发明不限于本文给出的细节，而是可以在所附权利要求书的范围和 等效物内加以修改。
【权利要求】
1. 一种用于与交互程序介接的方法，其包括： 捕捉书对象的第一页和第二页的图像，大体上沿着沿所述书的书脊定义的折叠轴接合 所述第一页和所述第二页； 分析所述捕捉的图像以识别所述第一页上的第一标签和所述第二页上的第二标签； 通过分别跟踪所述第一标签和所述第二标签来跟踪所述第一页和所述第二页的运 动； 通过在所述捕捉的图像中用虚拟书代替所述书对象来生成增强图像，所述虚拟书具有 对应于所述书对象的所述第一页的第一虚拟页，所述虚拟书具有对应于所述书对象的所述 第二页的第二虚拟页，其中所述书对象的所述第一页和所述第二页的运动分别控制所述虚 拟书的所述第一虚拟页和所述第二虚拟页的运动； 分别在所述第一虚拟页和所述第二虚拟页上呈现第一场景和第二场景，所述第一场景 或所述第二场景定义动画；以及 在显示器上演示所述增强图像。
2. 如权利要求1所述的方法，其中所述第一页和所述第二页的所述运动包括绕所述折 叠轴翻转所述第二页，在所述翻转所述第二页期间保持所述呈现的第二场景相对于所述第 二页的定向。
3. 如权利要求1所述的方法，其中所述动画定义接近所述第一虚拟页或所述第二虚拟 页的至少一个三维对象的运动，在所述第一虚拟页或所述第二虚拟页上定义用来定义所述 动画的所述第一场景或所述第二场景。
4. 如权利要求3所述的方法，其中所述动画在所述第二页集中于所述第一页上时提供 所述三维对象的压缩的外观，或在所述第二页偏离所述第一页时提供所述三维对象的解压 的外观。
5. 如权利要求1所述的方法， 其中绕所述折叠轴翻转所述第二页暴露在所述第二页的相对面上的第三页和大体上 沿着所述折叠轴接合到所述第三页的第四页； 其中分析所述捕捉的图像包括识别所述第三页上的第三标签和所述第四页上的第四 标签； 其中跟踪运动包括通过分别跟踪所述第三标签和所述第四标签来跟踪所述第三页和 所述第四页的运动； 其中所述虚拟书具有对应于所述书对象的所述第三页的第三虚拟页，所述虚拟书具有 对应于所述书对象的所述第四页的第四虚拟页，其中所述书对象的所述第三页和所述第四 页的运动分别控制所述虚拟书的所述第三虚拟页和所述第四虚拟页的运动； 其中呈现包括分别在所述第三虚拟页和所述第四虚拟页上呈现第三场景和第四场景； 以及 其中在所述绕所述折叠轴翻转所述第二页期间，保持所述呈现的第三场景相对于所述 第三虚拟页的定向。
6. -种用于与交互程序介接的系统，其包括： 用于捕捉书对象的第一页和第二页的图像的构件，大体上沿着沿所述书的书脊定义的 折叠轴接合所述第一页和所述第二页； 用于分析所述捕捉的图像以识别所述第一页上的第一标签和所述第二页上的第二标 签的构件； 用于通过分别跟踪所述第一标签和所述第二标签来跟踪所述第一页和所述第二页的 运动的构件； 用于通过在所述捕捉的图像中用虚拟书代替所述书对象来生成增强图像的构件，所述 虚拟书具有对应于所述书对象的所述第一页的第一虚拟页，所述虚拟书具有对应于所述书 对象的所述第二页的第二虚拟页，其中所述书对象的所述第一页和所述第二页的运动分别 控制所述虚拟书的所述第一虚拟页和所述第二虚拟页的运动； 用于分别在所述第一虚拟页和所述第二虚拟页上呈现第一场景和第二场景的构件，所 述第一场景或所述第二场景定义动画；以及 用于在显示器上演示所述增强图像的构件。
7. 如权利要求6所述的系统，其中所述第一页和所述第二页的所述运动包括绕所述折 叠轴翻转所述第二页，在所述翻转所述第二页期间保持所述呈现的第二场景相对于所述第 二页的定向。
8. 如权利要求6所述的系统，其中所述动画定义接近所述第一虚拟页或所述第二虚拟 页的至少一个三维对象的运动，在所述第一虚拟页或所述第二虚拟页上定义用来定义所述 动画的所述第一场景或所述第二场景。
9. 如权利要求8所述的系统，其中所述动画在所述第二页集中于所述第一页上时提供 所述三维对象的压缩的外观，或在所述第二页偏离所述第一页时提供所述三维对象的解压 的外观。
10. 如权利要求6所述的系统， 其中绕所述折叠轴翻转所述第二页暴露在所述第二页的相对面上的第三页和大体上 沿着所述折叠轴接合到所述第三页的第四页； 其中分析所述捕捉的图像包括识别所述第三页上的第三标签和所述第四页上的第四 标签； 其中跟踪运动包括通过分别跟踪所述第三标签和所述第四标签来跟踪所述第三页和 所述第四页的运动； 其中所述虚拟书具有对应于所述书对象的所述第三页的第三虚拟页，所述虚拟书具有 对应于所述书对象的所述第四页的第四虚拟页，其中所述书对象的所述第三页和所述第四 页的运动分别控制所述虚拟书的所述第三虚拟页和所述第四虚拟页的运动； 其中呈现包括分别在所述第三虚拟页和所述第四虚拟页上呈现第三场景和第四场景； 以及 其中在所述绕所述折叠轴翻转所述第二页期间，保持所述呈现的第三场景相对于所述 第三虚拟页的定向。
11. 一种用于与交互程序介接的装置，其包括： 图像捕捉设备，其用于捕捉书对象的第一页和第二页的图像，大体上沿着沿所述书的 书脊定义的折叠轴接合所述第一页和所述第二页； 分析器模块，其用于分析所述捕捉的图像以识别所述第一页上的第一标签和所述第二 页上的第二标签； 跟踪模块，其用于通过分别跟踪所述第一标签和所述第二标签来跟踪所述第一页和所 述第二页的运动； 增强图像生成器，其用于通过在所述捕捉的图像中用虚拟书代替所述书对象来生成增 强图像，所述虚拟书具有对应于所述书对象的所述第一页的第一虚拟页，所述虚拟书具有 对应于所述书对象的所述第二页的第二虚拟页，其中所述书对象的所述第一页和所述第二 页的运动分别控制所述虚拟书的所述第一虚拟页和所述第二虚拟页的运动； 呈现模块，其用于分别在所述第一虚拟页和所述第二虚拟页上呈现第一场景和第二场 景，所述第一场景或所述第二场景定义动画；以及 演示器，其用于在显示器上演示所述增强图像。
12. 如权利要求11所述的装置，其中所述第一页和所述第二页的所述运动包括绕所述 折叠轴翻转所述第二页，在所述翻转所述第二页期间保持所述呈现的第二场景相对于所述 第二页的定向。
13. 如权利要求11所述的方法，其中所述动画定义接近所述第一虚拟页或所述第二虚 拟页的至少一个三维对象的运动，在所述第一虚拟页或所述第二虚拟页上定义用来定义所 述动画的所述第一场景或所述第二场景。
14. 如权利要求13所述的方法，其中所述动画在所述第二页集中于所述第一页上时提 供所述三维对象的压缩的外观，或在所述第二页偏离所述第一页时提供所述三维对象的解 压的外观。
15. 如权利要求11所述的方法， 其中绕所述折叠轴翻转所述第二页暴露在所述第二页的相对面上的第三页和大体上 沿着所述折叠轴接合到所述第三页的第四页； 其中分析所述捕捉的图像包括识别所述第三页上的第三标签和所述第四页上的第四 标签； 其中跟踪运动包括通过分别跟踪所述第三标签和所述第四标签来跟踪所述第三页和 所述第四页的运动； 其中所述虚拟书具有对应于所述书对象的所述第三页的第三虚拟页，所述虚拟书具有 对应于所述书对象的所述第四页的第四虚拟页，其中所述书对象的所述第三页和所述第四 页的运动分别控制所述虚拟书的所述第三虚拟页和所述第四虚拟页的运动； 其中呈现包括分别在所述第三虚拟页和所述第四虚拟页上呈现第三场景和第四场景； 以及 其中在所述绕所述折叠轴翻转所述第二页期间，保持所述呈现的第三场景相对于所述 第三虚拟页的定向。
16. -种用于与交互程序介接的系统，其包括： 书对象，其具有大体上沿着沿所述书对象的书脊定义的折叠轴接合的第一页和第二 页； 客户端设备，其用于捕捉所述书对象的所述第一页和所述第二页的图像； 服务器，其包括， 分析器模块，其用于分析所述捕捉的图像以识别所述第一页上的第一标签和所述第二 页上的第二标签； 跟踪模块，其用于通过分别跟踪所述第一标签和所述第二标签来跟踪所述第一页和所 述第二页的运动； 增强图像生成器，其用于通过在所述捕捉的图像中用虚拟书代替所述书对象来生成增 强图像，所述虚拟书具有对应于所述书对象的所述第一页的第一虚拟页，所述虚拟书具有 对应于所述书对象的所述第二页的第二虚拟页，其中所述书对象的所述第一页和所述第二 页的运动分别控制所述虚拟书的所述第一虚拟页和所述第二虚拟页的运动； 呈现模块，其用于分别在所述第一虚拟页和所述第二虚拟页上呈现第一场景和第二场 景，所述第一场景或所述第二场景定义动画；以及 其中所述客户端设备包括用于在显示器上演示所述增强图像的演示器。
17. 如权利要求16所述的系统，其中所述第一页和所述第二页的所述运动包括绕所述 折叠轴翻转所述第二页，在所述翻转所述第二页期间保持所述呈现的第二场景相对于所述 第二页的定向。
18. 如权利要求17所述的系统，其中所述动画定义接近所述第一虚拟页或所述第二虚 拟页的至少一个三维对象的运动，在所述第一虚拟页或所述第二虚拟页上定义用来定义所 述动画的所述第一场景或所述第二场景。
19. 如权利要求18所述的系统，其中所述动画在所述第二页集中于所述第一页上时提 供所述三维对象的压缩的外观，或在所述第二页偏离所述第一页时提供所述三维对象的解 压的外观。
20. 如权利要求16所述的系统， 其中绕所述折叠轴翻转所述第二页暴露在所述第二页的相对面上的第三页和大体上 沿着所述折叠轴接合到所述第三页的第四页； 其中分析所述捕捉的图像包括识别所述第三页上的第三标签和所述第四页上的第四 标签； 其中跟踪运动包括通过分别跟踪所述第三标签和所述第四标签来跟踪所述第三页和 所述第四页的运动； 其中所述虚拟书具有对应于所述书对象的所述第三页的第三虚拟页，所述虚拟书具有 对应于所述书对象的所述第四页的第四虚拟页，其中所述书对象的所述第三页和所述第四 页的运动分别控制所述虚拟书的所述第三虚拟页和所述第四虚拟页的运动； 其中呈现包括分别在所述第三虚拟页和所述第四虚拟页上呈现第三场景和第四场景； 以及 其中在所述绕所述折叠轴翻转所述第二页期间，保持所述呈现的第三场景相对于所述 第三虚拟页的定向。
【文档编号】A63F13/40GK104245067SQ201380008337
【公开日】2014年12月24日 申请日期:2013年2月6日 优先权日:2012年2月6日
【发明者】河内雅美 申请人:索尼电脑娱乐欧洲有限公司