移动装置上的补充视频内容的制作方法

专利名称：移动装置上的补充视频内容的制作方法
技术领域：
本发明通常涉及视频显示器，并特别地，涉及在移动装置上的补充内容的显示。视频盘上的许多影片和其他视频内容包含附加的内容。附加的内容通常包括幕后特辑(behind-the-scenes features)、演员/导演信息、备用剪辑、字幕等。典型地,这些附加内容中的许多只能够从盘的打开菜单中访问，并被孤立地播放，并在来自影片的上下文之外出现。
背景技术：
当前，一些格式允许一部分这种附加内容在播放视频内容时被放置在视频内容之上(例如，字幕可以当影片被播放时叠加在影片上)。然而，这种叠加信息可干扰主画面，并且可能是其他观看影片的人(例如其他家庭成员)所不想要的。此外，在一些多玩家游戏中，可期望的是一些信息仅仅被显示给玩家的子集。然而，这传统地被限定为具有在不同地点的多个玩家的在线游戏，或具有在一个大的地点内的多个玩家的本地网络游戏，其中每个玩家具有他们自己的显示器和进行游戏的装置。然而，当存在在一个地点处具有单一显示器的多玩家游戏时，由于一组人正在观看同一个图像，因此信息通常显示在屏幕上而被所有人看到。因此，现有技术中可存在以下需求，S卩，允许与视频内容相关的补充内容被显示给一个或多个单独的观看者，而不是将补充内容显示给在视频显示器上观看视频内容的所有人。

发明内容
描述了用于提供补充内容以在移动装置上显示的方法、系统、装置和软件。在一个实施例中，系统包括显示视频内容(例如影片或视频游戏)的视频显示器。具有集成显示器的移动装置可跟踪视频显示器，在并跟踪的视频显示器中标识视频内容。该移动装置可以访问与标识的视频内容相关的补充内容，并在集成显示器上显示所访问的补充内容。因此，用户可以利用他们的移动装置来看到与在公用的视频显示器上的视频内容相关的不同的补充内容。该补充内容可以包括，而不局限于，角色信息、体育统计、特定玩家的当前视频游戏信息或图形、可选择的影片或游戏视图、不同的场景、额外的或特别的特辑、或类似的信息。移动装置可以包括集成的视频摄像机，其用来捕获在集成显示器上与补充内容一起显示的视频内容。视频内容可以包括格式化的标志，以通过使用集成视频摄像机捕获该标志，而允许移动装置跟踪视频显示器。标志也可以被格式化成标识视频内容和视频内容中的时间位置。补充内容可以进一步响应于视频内容的时间位置来选择。补充内容可以是被具有移动装置的用户请求的内容。视频内容可以是从视频盘播放器播放的视频，并且补充内容可以存储在视频盘播放器上和从视频盘播放器访问。视频内容可以是视频游戏，并且补充内容可以是移动装置用户的视频游戏的玩家特定信息。补充内容可以对于不同的玩家是不同的。补充内容可以从补充内容数据存储器被远程访问，或者被本地存储在(例如控制台装置中)。移动装置可以包括视频输入，以捕获视频内容用于与补充内容一起显示在集成显示器上。一些实施例包括用来显示补充内容的方法。可跟踪与移动装置相关的视频显示器的位置，并可标识在被跟踪的视频显示器上显示的视频内容。可以基于标识的视频内容选择补充内容。补充内容可以显示在移动装置上。在视频内容中可以存在标志，其被格式化用来允许跟踪和标识视频内容。补充内容可以基于所标识的视频内容中的时间位置来选择(例如，基于影片中的场景或发生在游戏中的事件)。其他的实施例涉及在多玩家游戏中对于不同玩家的补充内容的选择。显示在视频显示器上的视频游戏内容可以被标识。视频显示器的相对位置可以由与第一玩家关联的第一移动装置跟踪，并且由与第二玩家关联的第二移动装置跟踪。第一玩家可以访问补充视频游戏内容并与视频游戏内容关联的第一玩家特定视频数据。访问的第一玩家特定视频数据可以被传送到第一移动装置用于显示。第二玩家可以访问补充视频游戏内容并与视频游戏内容关联的第二玩家特定视频数据。访问的第二玩家特定视频数据可以被传送到第二移动装置用于显示。例如，玩家特定视频数据可以是文本、动画或图形增强，并且可以与视频游戏内容分开地或与视频游戏内容集成在一起被显示移动装置上。在一些实施例中，玩家特定视频数据是保密信息，其对第一玩家是可用的，而对第二玩家是不可用的。玩家特定视频数据可以是给定玩家选择的但是对于两个玩家都可用的信息。


通过参考下面的附图可以实现本发明的本质和优点的进一步理解。在附图中，类似的组件或特征可以具有相同的附图标记。进一步地，相同类型的各种组件可以用破折号放在附图标记后面以及用第二标记来区分，其中第二标记是在类似的部件之间区分的。如果在说明书中只使用第一附图标记，则这种描述适用于具有相同第一附图标记的任何一种类似的组件，而不考虑第二附图标记。图1是根据本发明的各种实施例的用于在移动装置上提供补充内容的系统的框图2是根据本发明的各种实施例的用于象移动装置提供补充内容的系统的框图；图3是根据本发明的各种实施例的用于向移动装置提供从控制台装置传递的补充内容的系统的框图；图4是根据本发明的各种实施例的用于向移动装置提供从补偿内容数据存储器传递的补充内容的系统的框图；图5是根据本发明的各种实施例的移动装置的框图，移动装置被配置成和捕获到的视频内容一起显示补充内容；图6是图示了根据本发明各种实施例的移动装置上的补充视频内容的显示的框图；图7是图示了根据本发明各种实施例的视频游戏上叠加的补充内容的不同显示的框图；图8是图示了根据本发明各种实施例的用于视频游戏的补充内容的不同显示的框图；图9是根据本发明的各种实施例的用于在移动装置上提供补充内容的处理的流程图；图10是根据本发明的各种实施例的用于标识在移动装置上显示的补充内容的处理的流程图；图11是根据本发明不同实施例的用于标识在移动装置上显示的补充内容的可替换处理的流程图；图12图示了示例装置的组件，其能够用来执行各种实施例的方面。
具体实施例方式描述了用于提供在移动装置上显示的补充内容的方法、系统、装置和软件。在一个实施例中，系统包括显示来自视频源(例如视频盘播放器或视频游戏控制台)的视频内容(例如影片或视频游戏)的视频显示器。具有集成显示器的移动装置可以跟踪视频显示器，并可以标识在被跟踪的视频显示器中的视频内容。移动装置可以访问与标识的视频内容相关的补充内容，并在集成显示器上显示访问的补充内容。本说明书提供了多个示例，并不意欲限制发明的范围、应用性或配置。相反，接下来对实施例的描述将向本领域技术人员提供一种用于实施本发明实施例的可能描述。在不偏离本发明的精神和范围的情况下，可以对部件的功能和布置做出各种改变。因此，各种实施例可以在适当时删去、替换或者增加各种过程或组件。例如，应当理解在可替换的实施例中，方法可以按照与描述的顺序不同的顺序来执行，并且可以加入、删去或组合这些各个步骤。此外，对某些实施例描述的特征可以组合到其他各个实施例中。实施例的不同方面和不同部件可以按照类似的方式被组合。还应当理解的是，接下来的系统、方法和软件可以独立地或共同地称为更大系统的组件，其中其他的过程可以优先于或者另外地改变他们的应用。此外，在接下来的实施例之前、之后或同时可以要求许多步骤。描述了系统、装置、方法和软件用于补充内容的显示。在一组实施例中，如图1所示，系统100包括视频源105、视频显示器110、移动装置115和移动装置内容源130。系统100的这些部件中的每一个可以彼此连接(直接地、无线地、经由有线或无线的网络等)。移动装置115包括集成显示器120。视频源105可以是视频盘播放器、视频游戏控制台、互联网、线缆头端(cableheadend)或另一视频源。视频源105传送视频内容给视频显示器110。在一些实施例中，视频源105和移动装置内容源130可以整体地或部分地是相同的装置或系统。正如指出的，视频源105和视频显示器110之间的连接可以是直接的、或经由网络连接。视频显示器110可以是电视、视频监视器(例如，液晶显示器或等离子显示器)或其他视频显示器。视频内容例如可以是影片、TV秀、视频游戏、网络内容或其他形式的视频内容。正如指出的，移动装置115包括集成显示器120。在一些实施例中，移动装置115也可以具有集成视频摄像机(图1中未示出)，集成视频摄像机可以是移动装置115上的面朝外的摄像头，面朝与显示器相对的方向。摄像机也可以相对于移动装置面朝其他的方向，以便观看视频显示器110。移动装置115可以是移动电话、个人数字助理(PDA)、便携式视频播放器、便携式多媒体播放器、便携式数字视频盘(DVD)播放器、膝上型电脑PC、便携式游戏控制台、游戏控制器、视频摄像机、或其他数字电子装置。正如指出的，移动装置115访问与标识的视频内容相关的补充内容。然后可以在移动装置显示器120上显示该补充内容。补充内容可以包括，不局限于，角色信息、智力竞赛问题的提示或答案、体育统计、梦幻体育联盟信息、用于玩家的当前视频游戏信息等。补充内容也可以包括可选择的影片或游戏视图、不同的场景、额外的或特别的花絮、促销项目、或类似的信息。在一些实施例中，可以存在部分隐藏的链接、发现额外内容的挑战，与附加视频内容相关的游戏、奖励等。可以显示用户可能询问其他人的关于影片的小问题。在一些实施例中，多个用户中的每人都可以对内容进行投票，或者可以在移动装置115上输入评论，这些输入的评论将在其他用户的移动装置(本地的或是远程的用户)上滚动，从而滚动对于电视真人秀的选手的评论。补充内容，例如视图或角度，也可以依赖于手持的角度或其他这样的信息。特别地对于多玩家或单玩家和具有观众的视频游戏也具有许多新颖的方面。不同的玩家和观众可以使用移动装置看到不同的屏幕视图。在一个实施例中，玩家都正浏览视频显示器Iio上的同一视图，并且每人可以使用他们的移动装置115的集成显示器来放大某些特征、或者访问附加的或保密的信息。以这种方式，每个玩家可以得到不同的、取决于玩家的视频游戏内容的视图。在一些实施例中，仅有补充内容被显示在移动装置显示器120上。在其他实施例中，集成视频摄像机(未示出)可以捕获来自视频显示器110的视频内容。在其他的实施例中，视频内容可以直接地从视频源105通过输出线缆(例如，高清晰多媒体接口(HDMI)线缆)捕获。移动装置115可以访问补充内容，并在从移动装置显示器120上显示在从视频显示器110捕获的视频内容的上方或附近的所访问的补充内容。为了跟踪视频显示器110，可以使用多种不同的技术。例如，如果移动装置115具有集成摄像机，则移动装置115可以标识视频内容的大小、以及视频内容相对于移动装置的位置和方向(或者移动装置115相对于视频显示器110的位置和方向)。在一些实施例中，显示在视频显示器110上的视频内容包括一个或多个标志,所述标志被格式化以允许移动装置115跟踪所捕获的视频数据中的视频内容(并由此使用视频摄像机来跟踪视频显示器110的地点)。标志可以被放置在视频内容的角落，并且可以是点或正方形的图案(类似于条形码)。可以使用各种各样的屏幕上的标志(例如代码、图形、数字、字母、数字水印、或编码图像)。编码的音频也可以被用来作为标志。视频显示器110自身或其附件也可以作为标志。标志可以具有其他的功能性，可替换地或附加地作为用于跟踪的锚。标志中的每个图案可以代表不同的值，例如不同的二进制表示。也可以存在一个或多个值与视频内容中的每个标志关联。移动装置115可以捕获视频内容，定位标志，并标识值。因此，显示在视频显示器110上的视频内容可以包括标识视频内容的标志。移动装置115可以基于标志标识视频内容，并且补充内容(例如文本、动画、图形增强(例如，2D或3D增强)、广告、超链接、和其他信息)可以基于视频内容的标识来选择。与视频内容关联的一些值在给定的标志中可以随时间而改变。因此，显示在视频显示器110上的视频内容可以包括在特定视频内容中标识时间位置的标志(例如说明影片逝去的时间、或者特定游戏的情况)。由于视频随时间而改变，因此时间码可以允许补充内容与影片或其他视频内容同步。移动装置115可以处理标志以标识视频内容中的时间位置。补充内容可以响应于视频内容的时间位置而被选择(例如绑定于特定的场景、角色等)。因此，图案或标志可以随时间而改变，以示出时间进展、状态、游戏态势、或其他随时间变化的指示符。这也允许移动装置115获得与视频显示器110上的视频内容的紧密同步或者直接地通过输出线缆。为了同步性的目的，在视频源105和移动装置115之间可以但不必须通信。代码可以以各种各样的速率更新，例如:24帧每秒或者每1/4秒、每3秒等，直到10-15秒或更多，这取决于被显示信息的类型。移动装置115可以预先知道间隔，因此一旦存在同步，移动装置115可以只需要以一定间隔执行搜索处理。在其他实施例中，视频源105可以标识视频内容和/或视频内容的时间位置(而不是将这些信息经过标志传递)。视频源105可以将该信息(标识视频源和/或时间位置)传送给移动装置115或移动装置内容源130。然后该信息可以由移动装置115、移动装置内容源130、或它们的组合使用，以将补充内容和视频显示器110上显示的视频内容同步。因此，在各个实施例中，标识源135(可以是视频源105、视频显示器110、或它们的组合)可以传送和/或显示要由标识接收器140 (可以是移动装置115、移动装置内容源130、或它们的组合)接收或捕获的信息。这些信息可以标识视频内容、视频内容的时间位置、或它们的任何组合。在图2示出的另一组实施例中，系统200包括视频源105、视频显示器110、移动装置115-a和115-b、和取决于用户的移动装置内容源205。系统200可以是图1中的系统100的一个例子。每个移动装置115包括显示器120和视频摄像机225。取决于用户的移动装置内容源205可以是图1中的视频源105。考虑以下例子，其中视频源105正传送视频游戏以便在视频显示器110上显示给多个玩家。每个视频摄像机225都捕获视频数据，并且该视频数据包括来自视频显示器110的视频游戏。每个移动装置115都利用视频游戏内容中的标志来跟踪视频显示器。每个移动装置115都接收来自取决于用户的移动装置内容源205的补充内容。该补充内容可以是保密玩家特定的信息，其只对于每个相应的玩家是可用的。通过只在特定玩家的移动装置115 (不是在视频显示器110上)上显示保密的补充内容，可以保持信息的保密性。在另一个实施例中，补充内容可以是玩家经由移动装置115请求的信息。该特定请求的信息(例如游戏的选择性视图、指令、全面玩家特定的信息等)可以在特定玩家的移动装置115(不是在视频显示器110上)上显示。在一个实施例中，视频源105和取决于用户的移动装置内容源205 —起构成单独的视频游戏控制台装置。在另外的实施例中，视频源105可以是控制台装置，并且取决于用户的移动装置内容源205可以是远程服务器。在其他的实施例中，视频源105和取决于用户的移动装置内容205中的每一个可以是相同的远程服务器(或者不同的远程服务器)。补充信息可以显示在不具有捕获的视频游戏内容的移动装置显示器120上、在屏幕上与视频游戏内容的分离的部分中、或者与视频内容重叠或按照别的方式集成。考虑可替换的示例，其中视频源105正传送电视节目以便在视频显示器110上显示。每个视频摄像机225可以捕获视频数据，并且视频数据包括来自视频显示器110的电视节目。每个移动装置115利用电视节目内容中的标志跟踪视频显示器，并进一步地使用标志来标识电视节目和其中的时间位置。每个移动装置115用户可以请求补充内容(例如使用他们各自的移动装置115与取决于用户的移动装置内容源205(本地的或远程的)通信)。每个移动装置115可以从取决于用户的移动装置内容源205接收补充内容。该补充内容可以是角色信息、体育统计、梦幻体育联盟信息、替换的视图、琐碎的信息、示出相关信息的超链接等。通过仅仅将补充内容显示在特定请求用户的移动装置115(而不是在视频显示器110上)上，可以访问关于电视节目的取决于用户的信息，而不会干扰视频显示器110。补充信息可以显示在移动装置显示器120上而没有捕获的电视节目内容、显示在屏幕上与电视节目内容分离的部分中、或者与电视节目内容重叠或者按照别的方式集成。在图3中示出的另一组实施例中，系统300包括视频游戏控制台装置305、视频显示器110、和移动装置115-c、115-d。该系统300可以是图1中系统100的一个例子。控制台装置305可以是图1中的视频源105和移动装置内容源130。在一个实施例中，视频游戏控制台装置305直接与视频显示器110连接，并与移动装置115无线通信。每个移动装置115都包括显示器120和视频摄像机225。考虑以下示例，其中视频游戏控制台装置305正从视频游戏盘播放视频游戏，并从盘传送视频游戏以显示在视频显示器110上。每个视频摄像机225都可以捕获视频数据，并且该视频数据包括来自视频显示器110的视频游戏内容。每个移动装置115都使用视频游戏内容中的标志跟踪视频显示器110。每个移动装置115都无线地从视频游戏控制台装置305接收补充内容，并在其各自的显示器120上显示访问的补充内容。因此，在一些实施例中，视频游戏控制台装置305具有补充内容(来自视频游戏盘自身、或通过网络远程访问)。因为视频游戏控制台装置305提供要显示的视频内容和补充内容，所以这使补充内容的标识很便利(例如不使用标志)。在一些实施例中，玩家可以使用移动装置115来控制或者按照别的方式选择要显示在移动装置显示器120上的特定类型的补充内容。该内容可以是保密的、玩家特定的信息，或者可以简单地是被玩家请求的补充内容。补充信息可以被显示在移动装置显示器120上而没有捕获的视频游戏内容、显示在屏幕上与视频游戏内容分离的部分中、或者与视频游戏内容重叠或者按照别的方式集成。在图4中示出的另一组实施例中，系统400包括控制台装置405、视频显示器110、移动装置115、网络420、(多个)补充内容数据存储器410和补充内容服务器415。该系统400可以使图1中系统100的一个例子(例如(多个)补充内容数据存储器410和补充内容服务器415可以是移动装置内容源130-a，例如图1中的移动装置内容源130，控制台装置405可以是图1中的视频源105)。在一个实施例中，控制台装置405直接地与视频显示器110连接。移动装置115可以无线地与网络420连接，并且通过网络420与(多个)补充内容数据存储器410以及补充内容服务器415通信。控制台装置405可以与网络420通信，并通过网络420与(多个)补充内容数据存储器410和补充内容服务器415通信。在一个示例中，控制台装置405正在播放视频游戏或影片，并传送视频内容以在视频显示器Iio上显示。每个视频摄像机225都捕获视频数据，并且该视频数据可以包括来自视频显示器110的视频内容。每个移动装置115跟踪视频显示器110 (例如使用捕获的视频数据)。每个移动装置115经由网络420从(多个)补充内容数据存储器410和补充内容服务器415接收补充内容。每个相应的移动装置115在移动装置显示器120上显示补充内容。补充内容可以是玩家特定视频内容(例如，特别用于特定玩家的以及仅传送给玩家的移动装置115的保密信息或视图)、或者其他取决于用户的视频内容(例如与影片或电视相关的用户请求的信息或内容)。补充内容涉及视频内容、或响应于视频内容被选择。例如，在一些实施例中，补充内容是基于视频内容被选择的广告(例如，文本、动画、图形、超链接、或其他信息)。在一些实施例中，视频内容可以是已知的，但时间位置可以是未知的。补充内容服务器415可以将非时间特定补充内容传递给每个移动装置115。在其他的实施例中，补充内容服务器415可以标识视频内容的时间位置。这可以经由与控制台装置405或移动装置115 (例如移动装置115可以从标志(在其他地方被更详细地讨论)传送信息给补充内容服务器415)的通信而得知。补充内容服务器415访问(多个)补充内容数据存储器410以检索与移动装置115正捕获的视频内容相关的补充内容。该内容可以被传递给移动装置115以在视频内容的时间特定部分期间显示。还值得注意的是，补充内容可以被预先装载到移动装置115上(例如从本地或远程储存器，例如(多个)补充内容数据存储器410)。补充内容服务器415可以包括一个或多个服务器计算机、工作站、网络服务器、或其他合适的计算装置。补充内容服务器415可以全部位于单一设备中或在地理上分布，在地理上分布的情况下可以使用网络来将集成不同的组件。图5是图示了根据本发明各实施例的用于补充内容的显示的移动装置115-f的框图500。其可以但不必须是图1、2、3或4的移动装置115。移动装置115-f可以包括视频摄像机510、跟踪模块515、视频内容ID模块520、补充内容模块525、显示集成器模块530、显示器535、和接收器模块540。在一些实施例中，移动装置115-f可以仅包括这些组件中的一些，并且还值得注意的是，讨论的一些功能性可以通过与移动装置115-f通信的其他装置来执行。每个组件的所有或者部分功能性可以单独地或共同地利用一个或多个特定用途集成电路(ASICs)来实施，该特定用途集成电路适用于执行硬件中的一些或全部的可应用的功能。可替换地，可以通过一个或多个其他处理单元(或内核)在一个或多个集成电路上执行这些功能。在其他实施例中，可以使用其他型式的集成电路(例如，结构化/平台ASIC、现场可编程门阵列(FPGAs)、和其他半定制1C)，其可以以本领域公知的任意方式编程。这些功能也可以全部或部分地利用嵌入到储存器中的指令来实施，所述指令被格式化成通过一个或多个通用或特定用途的处理器来执行。在电视或其他显示装置上显示的视频内容505可以由视频摄像机510捕获。跟踪模块515可以通过分析捕获到的视频中的视频内容来跟踪视频显示器。跟踪模块515可以通过标识被捕获的视频数据中的视频内容的大小和地点、以及视频显示器相对于移动装置115-f的位置和方向，来跟踪视频显示器。该跟踪可以使用本文中其他地方讨论的标志来执行。视频还可以使用连接到源的输出端口的线缆直接从输出端口被捕获。捕获的视频可以是模拟的、数字的、或混合模拟/数字格式的。捕获的视频可以被直接地馈送给跟踪模块515，而绕过视频摄像机510。视频内容ID模块520可以将标志解码，或者按照别的方式标识视频内容(直接地通过捕获的视频内容，或者通过其他方式)。在一些实施例中，视频内容ID模块520也标识视频内容的时间位置。补充内容模块525访问补充内容。访问的补充内容响应于标识的视频内容被选择，并进一步地可以被绑定到视频内容中的时间位置。在一些实施例中，在给定的时间位置处存在多个补充内容选项，并且这些可由移动装置115-f的用户选择。视频内容ID模块520和补充内容模块525可以是集成模块545 ;可替换地，该功能性的一些或全部可以位于移动装置115-f之外(例如，参见图4中对(多个)补充内容数据存储器410和补充内容服务器415的讨论)。跟踪模块515也可以位于移动装置115-f的外部。因此，移动装置115-f的接收器模块540可以接收补充内容550 (提前或实时)。该补充内容可以从本地控制台装置(例如，图3中的视频游戏控制台装置305)或从本地或远程的补充内容数据存储器(例如，图4中的数据存储器410)接收。显示集成模块530接收通过视频摄像机510捕获的、或者通过直接输出线缆来自视频源的视频，并从跟踪模块515接收有关视频内容的位置、大小、位置、和/或方向的信息。显示集成器模块530从补充内容模块525接收补充内容。显示集成器模块530可以缩放和定向补充内容。显示集成器模块530可以为没有捕获的视频内容的显示器提供补充内容、显示在屏幕上与视频游戏内容分离的部分中、或者与视频内容重叠或按照别的方式集成。例如，显示集成器模块530可以将访问的补充内容重叠在视频内容上，并将集成的视频转发到显示器535。存在可以提供的各种各样的补充内容，包括角色标识和信息、地点背景、问答细节、玩家统计、抽象(fantasy)信息、问答游戏、待发现的隐藏的“复活节彩蛋”、多角度链接、保密玩家特定的游戏信息、以及任何其他的特别花絮。这些内容可以具有文本、动画、图形增强(例如2D或3D增强)、广告、超链接等的形式。转向图6，图示了各种显示器的一组示例图像600用来示出各种新颖的方面。假设图像605是显示器上的视频内容(例如图1、2、3或4中的视频显示器110)。在图像605中，存在某些角落中放置的标志610。如上文所述，标志610可以是点或正方形(类似于条形码)的图案。然而，在其他的实施例中，可以使用各种各样的屏幕上的标志(例如代码、图形、数字、字母、数字水印、或编码图像)。标志610可以有其他的功能性，可替换地或附加地作为用来跟踪的锚。标志610中的每个图案可以代表不同的值，例如不同的二进制表示。可以存在一个或多个值与视频内容中的每个标志610关联，并且标志可以随时间而改变以标识除内容之外的时间位置。图像625图示了对于移动装置上的显示器(例如，图1、2、3或4中的移动装置115的集成显示器120)产生的图像，而图像630 (在图像625中)示出了补充内容。在图示的实施例中，图像630-a代表文本，而图像630-b代表图形。标志610可以处理成跟踪视频显示器，并还可以处理成标识视频内容和其中的时间位置。基于一个或多个前述的因素，可以选择补充内容630。如上文所述，补充内容可以是文本、动画、图形增强(例如2D或3D增强)、广告、超链接等等。使用移动装置，用户可以看到与视频显示器上的视频内容相关的补充内容。补充内容可以包括而不局限于角色信息、体育统计、用户的当前视频游戏信息、可选择的影片或游戏视图、不同的场景、额外或特别的花絮、或类似的信息。补充内容可以自动地出现在一些实施例中，而在其他实施例中内容是用户可选择的。可以存在与视频内容相关的游戏，该视频内容可以使用移动装置播放。例如，存在与视频内容相关的问题或投票。每个玩家可以输入答案，并得到关于他们猜的或回答的问答的分数。分数可以在终端上载。对于现场体育场景，可以(例如在队员会议期间、罚球线、在击球位置)显示特定的代码以允许用户试图预测比赛或结果。赢得游戏或获得某一分数也可以解锁或赢得内容，例如下载。在一些实施例中，在公用的显示器上可存在隐藏的区域，其可以使用移动装置进行访问。此外，用户可以提供与视频内容相关的输入给他们的移动装置(例如，文本或图)，并且该输入可以显现在其他用户的移动装置(本地的或远程的)上。可以存在可用作补充内容的许多不同的视角、装置焦距、和屏幕尺寸。补充内容可以是公共视频显示器上的视频内容的按比例增加、渲染的版本-例如填充移动装置的整个显示器，即使捕获的图像仅仅占了屏幕的一半。补充内容可以包括利用图像稳定性技术处理的视频内容，以保持基本显示图像不在移动装置中移位。补充内容可以与提供链接以购买场景中示出的项目的电子零售商绑定。对于在影片中放置的产品，可以使用移动装置来点击项目以购买该项目，跳转到产品页面等。不同版本的补充内容可以通过在房间中走来走去、倾斜装置等出现。转到图7，再次使用示出了各种显示器的一组示例图像700来示出各种的新颖方面。假设图像705是显示器(例如图1、2或3中的视频显示器110)上的视频卡游戏。在图像705中，存在标志710标识放置在特定角落的二进制代码。如上文所示，在其他的实施例中，标志710可以是各种各样不同的屏幕标志。标志710可以有其他的功能性，可选择地或附加地作为用来跟踪的锚。每个标志710可以代表不同的值来标识视频内容，并且标志710也可以随时间而改变。图像725-a和725-b图示了对于不同移动装置(例如，图1、2、3、4或5中的移动装置115)捕获的视频:图像725-a是为玩家I产生的图像，图像725_b是为玩家2产生的图像。图像730-a和730-b图示了从视频显示器捕获的视频游戏内容的一部分(即捕获的图像705的一部分)。标志710可以被处理来分别跟踪图像725-a和725_b中的图像730_a和730-b。图像735-a和735_b图示了如何把不同的补充内容作为重叠内容提供给不同的玩家。例如，比较补充内容735-a和补充内容735-b的位置。图像735_a显露出玩家I的卡(但是玩家2的卡在图像725-a其余的任何地方都没有示出)；图像735-b显露出玩家2的卡(但是玩家I的卡在图像725-b其余的任何地方都没有示出)。这图示了如何保持玩家的保密视图。为了提供不同玩家特定的补充内容，补充内容可以基于用户的选择和/或观看者角度。例如，不同的用户可以(经过预先选择偏好或实时选择)规定哪种型式的补充内容是他们想要接收的。因此，移动装置可以被用来与显示器上的视频游戏内容同步，并示出游戏的不同玩家特定的视图。玩家特定游戏信息可以由移动装置渲染或接收。在一些具有保密视图的实施例中，玩家特定信息由移动装置渲染或接收。因此，用于多玩家或合作游戏中的每个玩家的“保密视图”可被提供给每个玩家各自的移动装置。每个人可以看到他们自己的游戏版本，而公共显示器示出非保密的公开信息。在知识问答游戏中，玩家可以选择或键入答案，而其他的玩家不能看到该答案。在回合制文字游戏中，第一玩家可以看到他键入的是什么字母以确保答案被正确地拼出，但是可能不想让(多个)其他玩家看到字母，因为这些玩家可能会从答案中得到提示。在体育游戏中，可以经由移动装置秘密地进入比赛。在战斗游戏中，玩家可以秘密地选择武器。这一功能性被用来允许玩家共享公共的视频显示器，但是在其他玩家的视图之外键入或看到一些信息。在一些实施例中，玩家可以在同一组中(例如，司机和枪手)_公共显示器可以提供车辆向哪里去的视图，但是每个玩家可以在他们各自的移动装置上有角色特定的视图。因此，在一些实施例中，移动装置可能需要知道在游戏中正在进行什么，并可以从控制台(例如，从图3中的控制台装置305)或通过网络(例如，从图4中的补充内容服务器415)接收上述信息。该信息可以经由标志被植入到视频游戏内容中。移动装置可以被配置成仅接收信息，或者可以被配置成传送用户选择来控制游戏的方面。转到图8，再次使用图示了各种显示器的一组示例图像800来显现各种新颖方面。假设图像805是显示器(例如图1、2、3或4中的视频显示器110)上的视频游戏。在图像805中，存在标志810标识放置在特定角落的二进制代码。标志810可以具有其他的功能性，可选择地或附加地作为用于跟踪的锚。每个代码810可以代表不同的值来标识视频内容，并且代码也可以随时间改变以标识视频内容和定时。图像825-a和825-b图示了不同移动装置的显示器:图像825_a是为玩家I产生的图像，图像825-b是为玩家2产生的图像。图像825-a包括图像805的渲染图像835_b (与图像805的捕获图像相对)。图像835-b也包括玩家I的补充内容845，示出了(重叠在渲染图像835-b之上的)该游戏的玩家I的队伍中成员的地点和数目。图像825-a也包括由涉及玩家I的游戏的文本835-a组成的补充内容。图像825-b包括图像805的捕获图像830 (与图像805的渲染图像相对)。捕获图像可以来自视频摄像机(例如视频摄像机510)或直接地来自视频源的输出线缆。图像830也包括玩家2的补充内容840 (重叠在捕获的图像830上)，示出了该游戏的玩家2的队伍中成员的地点和数目。图像825-b也包括由图形835-c组成的补充内容，包括与游戏相关的附加信息。图像825-a和825-b图示了可以如何把不同的补充内容提供给不同的玩家。值得注意的是，存在许多方式来跟踪视频显示器、标识视频内容、和/或标识其中的时间位置。例如，在一些实施例中，移动装置(例如，图1、2、3、4或5中的移动装置115)可以具有影片的低分辨率版本，并且搜索那些帧以与影片同步。影片低分辨率版本的混编可以被存储在装置中，并且装置可以执行图像匹配。在其他实施例中，可以把“不可见”的水印嵌入到视频流中以提供跟踪和/或内容标识。嵌入到内容中的数字水印可以被移动装置捕获，并用来跟踪视频内容。水印可以在屏幕上选定的可预测区域、或横穿整个屏幕以便于跟踪进而决定图像中屏幕的外形。在一个实施例中，在屏幕上有两个水印或标记部分-一个相当于锚(例如，可以是环绕或靠近边缘并且稳定的静态标记)，一个相当于代码(例如，随时间而改变-调制标记)。在一些实施例中，可以把跟踪和内容标识嵌入到图像中。可以执行全部或者部分扫描图像的傅里叶变换，并且频率横穿所分析的图像。可以把信息编码到图像中不被人感知的一部分中(例如，非常高频的图像)。信息可以与水印相关地被嵌入(例如，限定水印的地点)、或者独立于任何水印。在其他的实施例中，跟踪和内容标识可以被嵌入在字幕、徽标、或其他图像中。信息也可以在音频的边带中，以人耳不可感知但可以使用例如傅里叶变换检测的频率来编码。图像数据和音频数据的组合可以用来跟踪也可以用来捕获。还值得注意的是，标志可以用来跟踪显示器、标识视频内容、或者标识时间位置。标志可以不是在每个实施例中都需要的，因为移动装置可以以其他方式识别并跟踪显示器(例如，基于知道显示器的型号和/或尺寸)。在一些实施例中，传感器棒、背胶标签、或其他附件可以被用来跟踪显示器。此外，视频内容不需要利用标志来标识，而是通过其他的方式来标识。例如，视频内容和/或时间位置可以通过图1的视频源105来标识，并且补充内容可以基于此被选择。或者视频游戏内容可以通过图3中的视频游戏控制台装置305来标识，由此确保补充内容与视频游戏内容同步。按照这里的公开内容，许多附加的例子对于本领域技术人员都将是明显的。还值得注意的是，补充内容可以在显示视频内容之前预先下载(例如，通过下载商店、或从影片视频碟复制内容)。可替换地，一些控制台装置可以在内容重放期间使补充内容经过无线连接流向移动装置，并因此防止具有内容的便携装置的预先加载。在其他的实施例中，可以从网络流出重叠的内容。接下来参见图9，示出了图示了根据本发明各种实施例的在移动装置上提供补充内容的方法900的流程图。例如，该方法900可以整体地或部分地通过图1、2、3或4的系统100、200、300或400执行，或者更特别地，通过图1、2、3、4或5的移动装置115、图3的视频游戏控制台装置305、图4的控制台装置405、图4的补充内容服务器41、5和/或它们的任意组合来执行。在块905，与移动装置相关地来跟踪视频显示器的位置。这可以通过视频摄像机、无线位置确定系统、惯性基准单元等完成。在块910，显示在跟踪的视频显示器上的视频内容被标识。在块915，补充内容被访问，以至少一部分基于标识的视频内容选择用来访问的补充内容。在块920，访问的补充内容被显示在移动装置的集成显示器上。接下来参考图10，示出了图示了根据本发明各种实施例的标识用于移动装置的补充内容的方法1000的流程图。例如，方法1000可以整体地或部分地用图1、2、3或4的系统100、200、300或400执行，或者更特别地，用图1的移动装置内容源130、图2的取决于用户的移动装置内容源205、图3的视频游戏控制台装置305、图4的控制台装置405、图4的补充内容服务器415、和/或它们的任意组合执行。在块1005，视频显示器上的视频游戏内容被标识，视频显示器由与第一玩家关联的第一移动装置跟踪，并且由与第二玩家关联的第二移动装置跟踪。在块1010，对于第一玩家补充视频游戏内容并与视频游戏内容关联的第一玩家特定视频数据被访问。在块1015，访问的第一玩家特定视频数据被传送到第一移动装置供显示。在块1020，对于第二玩家补充视频游戏内容并与视频游戏内容关联的第二玩家特定视频数据被访问。在块1025，访问的第二玩家特定视频数据被传送到第二移动装置供显示。在一些实施例中(未示出)，玩家特定视频数据可以是文本、动画、或图形增强，并且可以与视频游戏内容分开或集成被显示在移动装置上。在一些实施例中，玩家特定视频数据是对于第一玩家可用的并且对于第二玩家不可用的保密信息。玩家特定视频数据可以是由给定玩家选择的但对于两个玩家都是可用的信息。接下来参考图11，示出了图示了根据本发明各种实施例的标识在移动装置上显示的补充内容的方法1100的流程图。例如，方法1100可以整体地或部分地用图1、2、3或4的系统100、200、300或400执行，或者更特别地，用图1、2、3、4或5的移动装置115、图3的视频游戏控制台装置305、图4的控制台装置405、图4的重叠内容服务器415、和/或它们的任意组合执行。在块1105，接收利用集成到移动装置中的视频摄像机所捕获的视频内容，该视频内容是从视频显示器捕获的并包括标志。在块1110，利用标志跟踪视频显示器的地点。在块1115，使用来自标志的信息，来标识从视频显示器捕获的视频内容。在块1120，利用来自标志的信息，来标识视频内容中的时间位置，其中标志被格式化而改变为允许标识时间位置。在块1125，存储包括单独的文本和重叠的图形的补充内容。在块1130，基于移动装置的用户的选择、标识的视频内容、和其中的时间位置，来选择和访问补充内容。在块1135，响应于跟踪到的视频显示器的位置，来缩放并定向补充内容。在块1140，在集成显示器上显示在捕获的视频内容上重叠的图形附近的文本。图12示出了适合于实施根据各个实施例的装置的硬件系统的示例。该框示了计算机系统1200，例如个人计算机、视频游戏控制台和相关的显示器(例如，图3或4的控制台装置305、405和视频显示器110)、移动装置(例如图1、2、3、4或5的移动装置115)、个人数字助理、或其他适合于实践本发明的实施例的数字装置。计算机系统1200包括用来运行软件应用并可选地运行操作系统的中央处理单元(CPU) 1205。CPU1205可以包括一个或多个同类的或不同类的处理内核。存储器1210存储CPU1205使用的应用和数据。储存器1215为应用和数据提供非易失存储器和其他计算机可读介质，并且可以包括固定的盘驱动器、可移动的盘驱动器、闪存装置、以及CD-ROM、DVD-ROM、蓝光、HD-DVD、或其他光学存储装置，以及信号传送和存储介质。用户输入装置1220将来自一个或多个用户的用户输入与计算机系统1200通信，这样的例子可以包括键盘、鼠标、游戏手柄、触控板、触控屏、静止相机或者视频摄像机、和/或麦克风。网络接口 1225允许计算机系统1200与其他计算机系统经由电子通信网络通信，并且可以包括经过局域网或广域网(例如互联网)的有线的或者无线的通信。音频处理器1230适于从CPU1205、存储器1210、和/或储存器1215提供的指令和/或数据产生模拟或数字音频输出。包括CPU 1205、存储器1210、数据储存器1215、用户输入装置1220、网络接口 1225、和音频处理器1230的计算机系统1200的组件经由一个或多个数据总线1235连接。图形子系统1240进一步与数据总线1235以及计算机系统1200的组件连接。图形子系统1240包括图形处理单元(GPU) 1245和图形存储器1250。图形存储器1250包括用来为输出图像的每个像素存储像素数据的显示存储器(例如，帧缓存器)。图形存储器1250可以集成在与GPU 1245相同的装置中，作为分离装置与GPU 1245连接，和/或在存储器1210中实现。像素数据可以直接地从CPU 1205提供给图形存储器1250。可选择地，CPU 1205给GPU 1245提供定义了期望的输出图像的数据和/或指令，GPU1245从这些数据和/或指令产生一个或多个输出图像的像素数据。定义了期望的输出图像的数据和/或指令可以存储在存储器1210和/或图形存储器1250中。在实施例中，GPU 1245包括3D渲染能力，用来从定义场景的几何形状、布光、阴影、纹理、运动、和/或摄像机参数的指令和数据来产生输出图像的像素数据。GPU 1245可以进一步包括能够执行着色器程序的一个或多个可编程执行单元。图形子系统1240周期性地从图形存储器1250输出图像的像素数据，以显示在显示装置1255上。显示装置1255可以是能够响应于来自计算机系统1200的信号以显示可视信息的任何装置，包括CTR、IXD、等离子、和OLED显示器。计算机系统1200可以提供模拟的或数字的信号给显示装置1255。根据各实施例，CPU 1205是具有一个或多个处理内核的一个或多个通用目的微处理器。其他实施例可以使用一个或多个具有微处理器架构的CPU1205来实现，该微处理器架构特别适用于高度并行以及计算密集型应用，例如媒体和交互娱乐应用。图1的系统100、图2的系统200、图3的系统300、和/或图4的系统400的组件可以经由网络连接，网络可以是以下网络类型的任意组合:互联网、IP网络、内联网、广域网(“WAN”)、局域网(“LAN”)、虚拟专网(“VPN”)、公用交换电话网(“PSTN”)、或支持在此描述的装置之间的数据通信的任何其他形式的网络。网络可以包括有线的和无线的连接两者，包括光学链路。按照这里公开的内容，许多其他的实施例对于本领域的技术人员都是可能的和明显的。在这里的讨论中，网络可以或者可以不被特别地注意到。应当注意到，上面讨论的方法、系统、和装置仅意欲作为示例。必须强调的是，各实施例可以在适当时省略、取代或增加各种过程或组件。例如，应当意识到，在替换实施例中，方法可以以与描述的不同的顺序被执行，并且可以增加、删去或组合各步骤。此外，对某些实施例描述的特征可以组合到各种其他实施例中。实施例的不同方面和元素可以以类似的方式组合。此外，应当强调的是，技术演进，并因此许多元素是示例性的，并且不应当被解释为限制了本发明的范围。说明书给出的特定细节是用于提供对实施例全面的理解。然而，本领域普通技术人员应当理解，实施例可以在没有这些特定细节的条件下实践。例如，为了避免实施例模糊不清，在没有不必要的细节的情况下示出公知的电路、处理器、算法、结构、以及技术。此外，应当注意到实施例可以描述为处理，即被描绘为流程图或框图。虽然每个处理可能将操作描述为顺序处理，但是许多操作可以并行地或并发地被执行。此外，可以重新安排操作的顺序。处理可以具有图中未包括的附加的步骤。此外，如这里所公开地，术语“存储器”或“存储单元”可以代表用来存储数据的一个或多个装置，包括只读储存器(ROM)、随机存取储存器(RAM)、磁RAM、磁芯存储器、磁盘存储介质、光学存储介质、闪存装置、或用来存储信息的其他计算机可读介质。术语“计算机可读介质”包括但是不局限于便携的或固定的存储装置、光学存储装置、无线信道、用户标识(sim)卡、其他智能卡、以及能够存储、容纳、或携带指令或数据的各种其他介质。此外，实施例可以通过硬件、软件、固件、中间件、微代码、硬件描述语言、或它们的任意组合来实施。当在软件、固件、中间件、或微代码中实施时，执行必要任务的程序代码或代码段被存储在计算机可读介质中，例如存储介质。处理器可以执行必要的任务。在已经描述了几个实施例的情况下，本领域技术人员将认识到，在不偏离本发明的精神的条件下，可以使用各种改变、替换构造、和等效。例如，上述的元件可以仅仅是更大系统的组件，其中其他的规则可以优先或者按照别的方式改变本发明的应用。此外，可以在考虑上述的元件之前、期间或之后，采取许多步骤。因此，不应认为上面的描述限制了本发明的范围。
权利要求
1.一种用于增强视频的系统，该系统包括: 视频源，被配置为向视频显示器提供视频内容；以及 具有集成显示器的移动装置，该移动装置被配置为: 标识在视频显示器上显示的视频内容； 访问响应于标识的视频内容所选择的补充内容；以及 在集成显示器上显示访问的补充内容。
2.按权利要求1所述的系统，其中该移动装置进一步包括:集成视频摄像机，被配置为捕获视频内容以便和补充内容一起显示在集成显示器上。
3.按权利要求2所述的系统，其中显示在视频显示器上的视频内容包括一个或多个标志，所述标志被格式化以允许移动装置通过使用集成视频摄像机捕获标志来跟踪视频显示器。
4.按权利要求2所述的系统，其中显示在视频显示器上的视频内容包括一个或多个标志，所述标志被格式化以标识视频内容和该视频内容中的时间位置，其中该移动装置通过使用集成视频摄像机捕获一个或多个标志，来标识视频内容和该视频内容中的时间位置。
5.按权利要求4所述的系统，其中所访问的补充内容进一步响应于视频内容的时间位置被选择。
6.按权利要求1所述的系统，其中该补充内容包含由具有移动装置的用户请求的内容。
7.按权利要求1所述的系 统，其中该视频源包含视频盘播放器，并且该补充内容被存储在视频盘播放器上并且从视频盘播放器被访问。
8.按权利要求1所述的系统，其中该视频源包含视频游戏控制台，该视频内容是视频游戏，并且该补充内容包含用于该移动装置的用户的视频游戏的第一玩家特定信息。
9.按权利要求8所述的系统，进一步包含具有集成显示器的第二移动装置，第二移动装置被配置为: 标识在视频显示器上显示的视频内容； 访问用于第二移动装置的用户的视频游戏的第二玩家特定信息，该第二玩家特定信息与该第一玩家特定信息不同；以及 在第二移动装置的集成显示器上显示该第二玩家特定信息。
10.按权利要求1所述的系统，其中该移动装置被配置为通过标识视频内容相对移动装置的位置和方向，来跟踪视频显示器。
11.按权利要求1所述的系统，进一步包含: 补充内容数据存储器，其远离视频显示器和移动装置并与移动装置通信，被配置为存储补充内容，其中该移动装置从该补充内容数据存储器访问补充内容。
12.一种用于增强视频的计算机实现的方法，该方法包含: 标识在视频显示器上显示的视频内容； 访问至少一部分基于所标识的视频内容而选择的补充内容；以及 在与该移动装置集成的显示器上显示访问的补充内容。
13.按权利要求12所述的计算机实现的方法，进一步包含: 在视频内容中定位一个或多个标志，该标志被格式化以允许视频内容被跟踪和标识。
14.按权利要求12所述的计算机实现的方法，进一步包含: 在标识的视频内容中标识时间位置；以及 至少部分基于所标识的视频内容中的时间位置来选择补充内容。
15.按权利要求12所述的计算机实现的方法，进一步包含: 缩放并定位与移动装置集成的显示器中的补充视频内容，以避免与视频内容重叠，其中该补充内容包括文本、动画、图形增强、广告、超链接、和其他信息中的至少一种。
16.一种用于增强视频的计算机实现的方法，该方法包含: 标识在视频显示器上显示的视频游戏内容，该视频显示器由与第一玩家关联的第一移动装置跟踪并由与第二玩家关联的第二移动装置跟踪； 访问用于第一玩家的补充视频游戏内容并与视频游戏内容关联的第一玩家特定视频数据； 针对第一移动装置传送访问的第一玩家特定视频数据以供显示； 访问用于第二玩家的补充视频游戏内容并与视频游戏内容关联的第二玩家特定视频数据；以及 针对第二移动装置传送访问的第二玩家特定视频数据以供显示。
17.按权利要求16所述的计算机实现的方法，进一步包含: 产生第一玩家特定视频数据，其包含要在第一移动装置上显示的文本，该文本位于与第一移动装置上的被捕获的视频内容的图像相邻的位置；以及 产生第二玩家特定视频数据，其包含要在第二移动装置上显示的图形，该图形作为叠加内容位于第二移动装置上捕获的视频游戏内容的图像上。
18.按权利要求17所述的计算机实现的方法，其中， 该第一玩家特定视频数据是第一玩家可用而第二玩家不可用的信息；以及 该第二玩家特定视频数据是第一玩家和第二玩家可用的信息。
19.按权利要求16所述的计算机实现的方法，其中， 访问该第一玩家特定视频数据的步骤包含:访问第一玩家可用而第二玩家不可用的保密视频数据；以及 访问该第二玩家特定视频数据的步骤包含:访问第二玩家所请求的视图。
20.按权利要求16所述的计算机实现的方法，其中该第一玩家特定视频数据与该第二玩家特定视频数据不同。
全文摘要
描述了用于提供在移动装置上显示的补充内容的方法、系统、装置和软件。在一个实施例中，系统包括显示视频内容的视频显示器。具有集成显示器的移动装置可以利用视频摄像机或其他方法来跟踪视频显示器，并且在跟踪的视频显示器中标识视频内容。该移动装置可以访问与标识的视频内容相关的补充内容，并在集成显示器上显示访问的补充内容。
文档编号A63F13/12GK103096986SQ201180033057
公开日2013年5月8日 申请日期2011年6月29日 优先权日2010年7月13日
发明者J·R·斯塔福德, Y·朱, S·奥斯曼 申请人:索尼电脑娱乐公司