本申请要求均于2015年12月17日提交的美国临时申请第62/268,577号和第62/268,582号和第62/268,587号的优先权，其全部内容出于所有目的通过引用的方式整体并入本文中。
本公开总体上涉及一种增强现实交互系统，并且更具体地涉及一种能够提供与正被观看的内容有关的附加信息的增强现实交互系统。
背景技术：
本部分旨在向读者介绍可能与以下描述和/或要求保护的本发明的各个方面有关的技术的各个方面。此讨论被认为是有助于向读者提供背景信息，以便更好地进行理解。因此，应该理解的是，这些陈述应当从这个角度来加以理解，而不是视为对现有技术的承认。
当用户访问大量内容并且在系列剧已经开始播放之后的某个节点开始观看内容，或者如果用户错过了系列剧的某几集，那么，可能需要附加信息来提供背景，以让用户能理解故事情节或者内容场景中不熟悉的角色。如果用户理解不了故事、错过了剧集并且无法跟上当前的故事情节，或者如果用户不知晓/不熟悉在错过的剧集中引入的角色，则用户可能会失去兴趣，并停止观看内容。
为了让观看者保持兴趣，广播公司需要找到在用户观看内容时向他们提供附加信息的方式，以帮助他们理解故事及角色，从而避免用户弄不清故事或角色或者对故事或角色感到迷惑。
因此，重要的是要研发出这样的技术：该技术能够为内容观看补充附加信息，以维持用户对内容的兴趣，由此让他们继续观看该内容的后续剧集。
当前的增强现实(ar)系统不能将内容背景中的某些项目替换为用户可能会喜欢的项目，也不能将某些项目替换为更适合于特定年龄段用户的项目。对于出现在所观看内容内的某些特定项目，当前的ar系统无法以允许每位用户观看到基于他们的观看者简档进行个性化的内容的个体化方式来对其进行替换或覆盖。
当前的增强现实(ar)交互系统不能创建出让增强现实(ar)用户能够感受到仿佛自身就是正在显示的场景中的一部分的增强型观看环境。当前的ar交互系统无法通过提供包围内容显示设备的屏幕的增强环境来对内容观看进行补充。当前的ar交互系统也不能以允许每位ar用户观看到基于他们的用户简档进行个性化的增强内容的个体化方式来提供包围正在显示的内容的背景图像。
技术实现要素：
提供了一种增强现实(ar)交互系统和方法。在一个实施例中，增强现实系统提供与内容有关的附加信息。收集增强现实系统的简档内每个特定用户的内容观看历史。提供内容以使用增强现实系统进行显示。检测与在观看历史内未包含的其他内容有关的提供的显示内容中发生的事件。关联与检测到的事件有关的附加信息。呈现与检测到的事件有关的附加信息。呈现由增强现实系统实现。在另一个实施例中，收集内容观看历史包括通过访问数据库来收集用户的观看历史的信息。在另一个实施例中，使用增强现实系统来提供内容包括提供内容以在增强现实眼镜的镜片上进行显示。在又一个实施例中，检测与在观看历史内未包含的其他内容有关的内容中发生的事件包括检测与内容观看历史中不存在的提供的显示内容内的场景中的元数据。在一个实施例中，检测到的元数据包括附加信息，该附加信息标识在增强现实系统的用户的观看历史中不存在的先前剧集、前传系列剧、情节背景和角色介绍中的至少一种。在又一个实施例中，关联与检测到的事件有关的附加信息包括在数据库中搜索与事件有关的附加信息。在再一个实施例中，呈现与检测到的事件有关的附加信息包括在增强现实系统中与显示内容同时呈现附加信息。在一个实施例中，附加数据可以呈现为字幕。在另一个实施例中，呈现与其他检测到的事件有关的附加信息包括暂停所显示的内容，这样可以在恢复内容呈现之前，向用户呈现附加信息。在又一个实施例中，在暂停所显示的内容期间呈现与检测到的事件有关的附加信息包括将附加信息呈现为字幕。在另一个实施例中，附加信息包括根据用户的偏好语言或听力能力的对话字幕、与情节有关的信息、与先前剧集有关的信息、角色背景以及基于用户的观看历史和简档的语言/文化内涵中的至少一种。在另一个实施例中，提供附加信息包括接收关于用户接口相对于内容观看设备的位置的信息，确定用于投影附加信息的位置，并且提供标识用于将附加信息投影到用户接口的位置的数据。在一个实施例中，关于用户接口相对于内容观看设备的位置的信息包括用户接口与内容观看设备之间的锚定原始位置以及用户接口的当前位置。在又一个实施例中，当用户接口的视场的中心点发生移动时，附加信息的投影不相对于内容观看设备发生移动。
在另一个实施例中，提供了一种增强现实(ar)交互系统，该ar交互系统包括用于提供与正在显示的音频/视频内容有关的附加信息的控制器设备。控制器设备包括用于接收音频/视频内容以用于显示的接口，该音频/视频内容包括标识音频/视频内容的特征的元数据。发射器/接收器与用户接口进行通信。存储设备存储用户简档和观看历史。处理器从音频/视频内容中提取元数据，并将元数据与用户简档和观看历史进行比较，以确定用户简档和观看历史中的数据是否与元数据匹配。在确定用户简档和观看历史中的至少一个与元数据不匹配时，路由器从远程服务器请求与音频/视频内容有关的附加信息。所接收到的附加信息通过发射器/接收器提供给用户接口以进行显示。在另一个实施例中，存储设备包括用于存储用户简档的用户简档数据库，该用户简档包括用户偏好信息，该用户偏好信息包括语言偏好和用户呈现偏好。在另一个实施例中，存储器包括用于存储观看历史的观看历史数据库，该观看历史包括与用户的观看历史有关的信息。在另一个实施例中，处理器提供附加信息以用于在增强现实眼镜的镜片上显示。在另一个实施例中，处理器通过检测在内容观看历史中不存在的提供的显示内容内的场景中的元数据来检测与观看历史内未包含的其他内容有关的内容中发生的事件。在又一个实施例中，由处理器检测到的元数据包括附加信息，该附加信息标识在增强现实系统的用户的观看历史中不存在的先前剧集、前传系列剧、情节背景和角色介绍中的至少一种。在再一个实施例中，处理器通过在远程数据库中搜索与事件有关的附加信息来访问与检测到的事件有关的附加信息。在一个实施例中，处理器与增强现实系统中所显示的内容同时呈现与检测到的事件有关的附加信息。附加信息可呈现为字幕。在又一个实施例中，处理器通过暂停所显示的内容来呈现与检测到的其他事件有关的附加信息，使得可以在恢复内容呈现之前向用户呈现附加信息。在再一个实施例中，处理器通过将附加信息呈现为字幕来在暂停所显示的内容期间呈现与检测到的事件有关的附加信息。在又一个实施例中，由路由器请求的附加信息包括根据用户的偏好语言或听力能力的对话字幕、与情节有关的信息、与先前剧集有关的信息、角色背景以及基于用户的观看历史和简档的语言/文化内涵中的至少一种。在再一个实施例中，处理器接收关于用户接口相对于内容观看设备的位置的信息，确定用于投影附加信息的位置，并且提供标识用于将附加信息投影到用户接口的位置的数据以及替换图像。在又一个实施例中，关于用户接口相对于内容观看设备的位置的信息包括用户接口与内容观看设备之间的锚定原始位置以及用户接口的当前位置。在又一个实施例中，当用户接口的视场的中心点发生移动时，而附加信息的投影不相对于内容观看设备发生移动。
在一个实施例中，一种与所显示的内容一起呈现个性化附加信息的方法包括访问内容观看历史和用户简档。通过提取与提供的显示内容有关的元数据来检测事件，该提供的显示内容与在内容观看历史内未包含的其他内容有关。访问与检测到的事件有关的附加信息，并呈现与检测到的事件相关的附加信息，以在内容显示设备上显示。附加信息可以在内容显示设备上呈现为字幕。在一个实施例中，呈现与检测到的事件有关的附加信息以进行显示包括将附加信息呈现给增强现实系统的用户接口。该方法可以进一步包括比较用户简档和元数据，以确定内容中的对象是否被标识为在显示器上被覆盖，然后选择用于覆盖对象的替换图像。然后，提供替换图像以用于在内容显示设备上显示。提供替换图像包括接收关于增强现实系统的用户接口相对于内容显示设备的位置的信息，确定用于投影替换图像的位置，并且提供标识用于将替换图像投影到用户接口的位置的数据。
在一个实施例中，该方法可以包括根据与内容相关联的所提取的元数据来访问背景图像。将背景内容提供给增强现实系统的用户接口，以便在包围内容显示设备上显示的内容的位置处进行投影。
提供背景内容包括接收关于用户接口相对于内容观看设备的位置的信息并且确定用于投影背景图像的位置。提供标识用于将背景图像投影到用户接口的位置的数据。
在实施例的一个方面，访问内容观看历史和用户简档包括通过访问一个或多个数据库来访问用户的观看历史以及语言偏好和用户呈现偏好的信息。通过提取与提供的显示内容有关的元数据来检测事件包括检测在内容观看历史中不存在的提供的显示内容内的场景中的元数据，其中该提供的显示内容与在内容观看历史内未包含的其他内容有关。检测到的元数据包括标识在用户的观看历史中不存在的先前剧集、前传系列剧、情节背景和角色介绍中的至少一种的信息。
在一个实施例中，用于提供与正在显示的音频/视频内容有关的附加信息的控制器设备包括驱动音频/视频内容的显示的显示接口；发送器/接收器，用于与提供音频/视频内容的网络进行通信，该音频/视频内容包括标识音频/视频内容的特征的元数据；存储设备，用于存储用户简档和观看历史；以及处理器，用于从音频/视频内容中提取元数据并将该元数据与用户简档和观看历史进行比较，以确定用户简档和观看历史中的数据是否与元数据匹配。在确定用户简档和观看历史中的至少一个与元数据不匹配时，路由器向远程服务器请求与音频/视频内容有关的附加信息，其中将所接收到的附加信息提供给显示接口，以在内容显示设备上进行显示。附加内容可以显示为字幕。
在一个实施例中，控制器设备还包括用于增强现实系统的用户接口的发射器/接收器。存储设备包括用于存储用户简档的用户简档数据库和用于存储观看历史的观看历史数据库，该用户简档包括用户偏好信息，该用户偏好信息包括语言偏好和用户呈现偏好，并且该观看历史包括与用户的观看历史有关的信息。控制器设备的处理器通过检测在内容观看历史中不存在的提供的显示内容内的场景中的元数据来检测与在观看历史内未包含的其他内容有关的内容中发生的事件。
在控制器设备的一个实施例中，处理器配置为接收关于用户接口相对于内容观看设备的位置的信息，确定在显示内容内用于投影替换图像的位置，并且提供标识用于将替换图像投影到用户接口的位置的数据以及替换图像。在一个实施例中，控制器设备的处理器配置为根据与内容相关联的所提取的元数据来访问背景图像，并且将背景内容提供给用户接口，以便在包围内容显示设备上显示的内容的位置处进行投影。
在另一个实施例中，在此的发明概念可以体现为在计算机可读介质或数据载体上的指令，所述指令在由计算机执行时使得该计算机执行在此描述的方法。另外的特征和优点是通过本公开的技术来实现的。本文详细描述了该配置的其他实施例和方面。为了更好地理解具有优点和特征的该配置，请参见描述和附图。
附图说明
参照附图，通过以下绝不具有限制性的实施例和执行示例，将更好地理解和说明本发明，在附图中：
图1描绘了根据说明性实施例的增强现实(ar)交互系统；
图2描绘了与根据说明性实施例的向用户提供附加信息的ar交互系统一起使用的一副眼镜。
图3描绘了描述根据说明性实施例的由ar交互系统执行的方法的流程图；
图4描绘了根据说明性实施例的ar交互系统，其示出了系统的元件之间的交互；
图5描绘了根据说明性实施例的由ar交互系统使用的服务器，并且示出了与系统的其他元件的交互；以及
图6描绘了根据所公开的配置的机顶盒的元件。
在任何可能的情况下，在整个附图部分将使用相同的附图标记来表示相同或相似的部分。
具体实施方式
应理解，本发明的附图和描述已经进行了简化，以便说明清楚地理解本发明所涉及到的元件，同时出于清楚性的目的，还省略了在典型的数字多媒体内容传送方法和系统中找到的许多其他元件。然而，因为这些元件在本领域中是众所周知的，所以在此没有提供所有这些元件的详细讨论。在图1至图6中，所示附图提供了纯粹作为功能性实体且并不一定对应于物理上分离的实体的示例。也就是说，它们可以以软件、硬件的形式开发，或者可以在一个或几个包括一个或多个处理器的集成电路中实现。
增强现实(ar)系统(诸如图1中所示的ar系统100)提供了物理现实世界环境的生动的直接或间接视图，此环境中的元素通过由计算机处理或生成的感官输入(如声音、视频、图形或其他此类数据)得到增强。在一个实施例中，增强现实系统100可以相应地由处理器或计算机进行增强、修改或者甚至缩小。通过这种方式并且借助于先进的ar技术，用户可获得的现实世界信息可通过数字化操作进一步增强。因此，与特定用户环境及其周围物体有关的附加信息可通过数字化增强组件覆盖在现实世界上。
图1是根据说明性实施例的增强现实(ar)交互系统100的图示。ar交互系统100包括结合用户接口120和显示器130操作的机顶盒(stb)/路由器110。stb/路由器110还经由网络115(诸如互联网或供应商网络)与远程服务器140通信。用户接口120可以是由观看者佩戴的眼镜或护目镜的形式，或者替代地是能够位于观看者的视线内但不妨碍观看在显示器上显示的内容的某些设备，例如帽舌。stb/路由器110连接以无线地或通过经由网络115提供的有线通信信道从内容供应商145接收内容。内容供应商145提供用于在显示器130上观看的内容。在由stb/路由器110接收的内容中嵌入有提供与内容有关的附加信息的元数据。使用ar交互系统观看内容的用户可以建立标识用户的简档、用户的背景以及标识用户之前观看的内容的用户观看历史。用户简档可以存储在用户接口120、stb/路由器110和远程服务器140中的任何一个中的数据库中。观看历史可以包括标识用户所观看的节目和电影的信息以及关于用户已经观看了系列剧的哪些剧集的信息。用户简档可以包括用户偏好信息，该用户偏好信息包括语言偏好和用户呈现偏好。用户在观看时将进行登录，因此用户简档可以被stb/路由器110访问。用户可使用由ar设备提供的用户接口来进行登录。ar系统附带的生物识别设备也可用于进行自动验证和登录。
也可以在用户观看新内容时手动地或自动地更新观看历史。通过对观看历史和用户简档进行分析，可以确定可能令ar用户感到满意的背景图像。也可以在ar用户观看新内容时手动地或自动地更新观看历史。
当接收内容时，可以提取嵌入在内容中的元数据，并将其与观看历史和敏感度进行比较，以确定正被观看的内容是否包括不在观看历史内的信息，或者确定用户可能受益于与正被再现的内容的场景或正被再现的内容内的角色有关的附加信息。这样的信息可以与在系列剧的各剧集期间引入的场景中角色或故事情节有关，而观看历史指出用户没有看过这些剧集。附加信息可以包括将有助于用户理解故事的背景信息，例如提供关于观看者可能不熟悉的角色或情节线索方面的标识信息。附加信息还可以包括附加情景，以帮助理解由出现在内容中的且用户不熟悉的角色所使用的动作或惯用语。元数据可以包括标识先前剧集、前传系列剧、情节背景和角色介绍中的至少一种的信息。
可以提取嵌入在内容中的元数据，并将其与观看者简档所指示的敏感度进行比较，以确定正被观看的内容内的项目是否可能会引起ar用户感到反感，是否可能不适合被ar用户看到，或者是否可能被替换为让ar用户感到愉快的项目。此外，项目的替换/覆盖可以针对使用并登录到用户接口的每个ar用户而进行个性化，即，基于每个ar用户的特定用户简档和/或观看历史，每个ar用户通过个人用户接口看到的替换项目可以是不同的。另外，用于替换每个ar用户的所显示的内容项目的替换项目可以彼此协调，并且还与放置这些替换项目的场景协调，从而保持一致性并避免了无法集中精神观看内容。替换图像可以包括但不限于任何静态图像、视频或3d渲染对象。当被覆盖的内容是3d视频或图像时，替换图像优选地是3d渲染对象。
在该配置的一个方面中，ar系统还可在显示设备正在显示内容的房间背景上显示图像。因此，房间环境变成包围所显示的内容的增强背景环境。在这种情况下，背景图像是向ar系统的用户显示的、覆盖在包围内容显示设备的房间上的图像。当接收到内容时，可以提取嵌入在内容中的元数据，并将其与用户简档进行比较或与用户简档相结合地使用，以基于内容和ar用户的偏好确定特定背景图像是否是适合的。另外，元数据可以用于搜索与内容有关的背景图像或者包括对于正在显示的内容来说是适合的背景图像。背景图像通常与正在显示的内容内的场景设置有关。背景图像还可以基于用户简档以及由用户简档标识的指示ar用户的某些偏好的敏感性，并且可以用于增强与所显示的内容相关联的观看体验。另外，背景图像可以针对使用并登录到用户接口的每个ar用户而进行个性化，即，基于每个ar用户的特定用户简档和/或观看历史，每个ar用户通过个人用户接口看到的背景图像可以是不同的。另外，每个ar用户的背景图像可以与其周围的场景相协调，从而保持一致性并避免了无法集中精神观看内容。替换图像可以包括但不限于任何静态图像、视频或3d渲染对象。当被包围的和进行增强的内容是3d视频或图像时，背景图像优选地是3d渲染对象。
应注意，用于在所显示的内容中作为字幕显示的附加信息没有要求使用ar系统。这些待显示的附加信息可以作为字幕放置，以便叠加在可显示内容上进行显示。不管ar系统的用途如何，内容可以显示在任何合适的显示设备上。然而，使用本公开的原理可以为ar系统的用户带来额外的乐趣。
与在用户的观看历史内未包含的其他内容有关的内容中发生的检测到的事件标识出附加信息可能对用户有帮助。另外，可以将用户简档与元数据进行比较，以基于他们的背景信息来确定观看者是否可能对内容中存在的任何文化或语言内涵不熟悉。如果确定用户可以受益于与场景或者文化或语言内涵的解释有关的附加信息，则可以获得对这些内涵加以解释的附加信息。在确定应该向用户提供附加信息时，stb/路由器110可以联系远程服务器140以请求该信息。附加信息可以优选地存储在远程服务器140上的远程数据库中，并且当比较指示应当向观看者提供附加信息时，可以经由stb/路由器110访问附加信息。在一个实施例中，在使用ar用户接口的系统中或者在不具有ar接口的内容显示系统中，附加信息作为字幕显示给观看者。
远程服务器140可以是接收和存储来自广播公司的信息的通用服务器、与诸如有线或卫星公司之类的内容供应商相关联的服务器或者由内容广播公司控制的服务器。替代地，服务器可以包括在stb/路由器110处，由此当从stb/路由器110被调谐到的内容中提取元数据时，服务器接收并存储附加信息。优选地，元数据将包括关于如何以及在何处访问确定应被提供给观看者的任何附加信息的信息。stb/路由器110然后将附加信息提供给用户接口120。用户接口120可以将附加信息投影到视线内的镜片上，但是在不妨碍观看正在显示的内容的位置，因此，观看者能够观看到该附加信息。替代地，与检测到的事件有关的附加信息可以与所显示的内容同时地呈现为字幕。
呈现与其他检测到的事件有关的附加信息可以包括暂停所显示的内容，使得可以在恢复内容呈现之前，将附加信息呈现给用户。在所显示的内容的暂停期间呈现与检测到的事件有关的附加信息可以将附加信息呈现为字幕。此外，附加信息可以包括根据用户的偏好语言或听力能力的对话字幕、与情节有关的信息、与先前剧集有关的信息、角色背景以及基于用户的观看历史和简档的语言/文化内涵中的至少一种。
所接收的附加信息可以包括关于信息被投影到用户接口120的镜片或显示器上的位置的信息。可以在用户接口120、stb/路由器110或远程服务器140中的任何一个中执行元数据与观看历史的比较。另外，观看历史可以存储在用户接口120、stb/路由器110或远程服务器140的数据库中。
图2示出了图1中的用户接口120。用户接口120描绘为由用户佩戴的一副增强现实眼镜150。用户接口120包括一对镜片200，每个镜片包括用于显示从主控制处理器(见图5、图6)接收到的附加信息的渲染屏幕210。用户接口120还可以包括不同的组件，这些组件可使用传感器230接收不同形式(诸如触摸、语音和身体移动)的用户输入。在一个实施例中，用户输入包括用于允许用户控制增强现实眼镜150的某些方面的触摸交互区域220。例如，观看者可使用触摸交互区域220来登录到他们的用户简档。用户接口120还包括针对机顶盒(stb)的接口260。接口260包括用于与stb/路由器110进行通信的发射器/接收器。此接口260可以是诸如wifi之类的rf接口，也可以是诸如光缆或线缆之类的有线接口。接口260实现了stb110与用户接口120之间的通信。这种通信包括用户输入到stb的传输(诸如，到stb的用户登录信息)以及stb110到用户接口120的传输(诸如由渲染屏幕21在用户接口120上0显示的信息)。
图2的实施例中的用户接口120可以经由处理器250与触摸交互区域220、传感器230和麦克风240通信。处理器250可以是一个或多个处理器。在一个实施例中，传感器230可以是运动传感器，但是在其他实施例中，传感器可以是对光、热、湿气产生反应的的各种传感器中的一种和/或还包括陀螺仪和罗盘组件。用户接口还可以包括摄像头265。摄像头265可以用于标识内容显示设备130的位置并且将用户接口120锚定到内容显示设备130，这将在下面进行描述。
在图2所示的示例中，可以提供彼此通信的多个处理器250。举例来说，处理器可以嵌入在不同区域中，一个处于触摸交互区域220中，而另一个处于眼镜150上的头戴式组件中。然而，这仅仅是一个实施例。在替代实施例中，只能使用一个处理器，并且该处理器可以是独立的。另外，处理器可与其他计算机或计算环境和网络进行处理通信。在图2的实施例中，用户接口120是头戴式的，并且形成为一副眼镜150。实际上，用户接口120可以是能够在用户视线内提供透明屏幕以便在不妨碍观看正在显示的内容的位置处投影附加信息的任何设备。眼镜包括一副透视镜片200，该透视镜片200包括渲染屏幕210。在一个实施例中，眼镜可以是可以由用户佩戴的普通眼镜，并且可以将渲染屏幕永久地和/或临时地添加到眼镜上，以便与ar系统100一起使用。
在如图2所示的一个实施例中，头戴式用户接口120可物理地连接所讨论的组件，诸如麦克风、触摸交互区域、渲染屏幕等。在一些实施例中，这些组件中的一些组件可以分开提供，但方便地位于一个壳体单元中。替代地，在其他实施例中，这些组件中的一些组件或者没有一个组件可以被连接或并置或容纳，如本领域技术人员可认识到的。如本领域技术人员可认识到的，其他实施例可使用彼此之间进行处理通信的附加组件和多个处理器、计算机、显示器、传感器、光学设备、投影系统和输入设备。也可以使用诸如智能手机和平板电脑的移动设备，所述移动设备可以包括一个或多个摄像头、微机械器件(mems)以及gps或固态罗盘。
如所指出的，图2是作为示例提供的，但是在替代实施例中，为了满足特定选择偏好和/或需求，可以替换和添加或删除组件。例如，在一个实施例中，不需要触摸交互区域。由于使用了传感器，用户仅通过手势就可提供输入。在另一个实施例中，语音和手势可以结合在一起。在其他实施例中，如果一个组件创建了类似的功能，则它可以代替另一个组件。例如，触摸交互区域220可以用移动设备(诸如手机或平板电脑)代替。
此外，头戴式用户接口120可以是嵌入或允许用户通过专用镜片看到私人屏幕的许多替代方案中的一种，并且可以是头戴式显示器(hmd)、头戴式耳机、线束、用于增强现实显示器的头盔或者本领域技术人员可认识到的其他可穿戴和不可穿戴装置的一部分。在替代方案中，没有一个组件可以进行物理连接，或者它们的子集可以选择性地进行物理连接，这是本领域技术人员可认识到的。
返回参考图2的实施例，传感器230、渲染屏幕或显示器210以及麦克风240对齐，由此按照物理世界容量向用户提供虚拟信息，并且将根据用户的头部或身体移动对它们作出相应的调整，以实现增强现实体验。
图3是示出了根据说明性实施例执行的方法的流程图。当需要观看内容时，用户可以登录系统，如s10所述。用户可使用ar设备提供的用户接口进行登录。ar系统附带的生物识别设备也可用于进行自动验证和登录。
一旦登录到了系统中，如s15所示，将用户接口锚定到将在其上观看内容的内容显示设备130。将用户接口锚定到显示器允许用户接口确定显示器相对于ar设备定位的位置。通过锚定，在佩戴用户接口120的ar用户的视野内建立了显示屏幕的参考位置。为了此描述的目的，在锚定时用户接口相对于显示器的初始位置将被称为“锚定原始位置”。当确定显示器的位置以及确定在用户接口的镜片上的何处需要投影附加信息以免模糊所显示的内容时，也可以将佩戴用户接口的用户从锚定原始位置开始的移动考虑在内。因此，当ar用户佩戴用户接口并且该用户以某种方式移动时(诸如，步行到另一个座位，转动他们的头部，或者将他们的头部置于一定角度，比如以躺下姿势而不是直立坐姿观看内容时)，用户接口能够考虑到这种移动并调整附加信息投影到镜片上的位置。这确保了附加信息将继续投影在适当的位置，以免模糊所显示的内容。通过将用户接口锚定到内容显示设备的显示屏幕，用户接口能够计算出用于在其镜片上投影附加信息而不使正在显示的内容变得模糊的合适位置。
可以使用多种方法中的任何一种方法来将用户接口锚定到显示器。其中一些方法需要在用户接口上安装摄像头。一种示例性方法涉及用户接口所进行的模式识别。由于显示屏幕通常具有标准的形状并且常常固定到表面上而处于静止状态，因此，用户接口可以在不同的方向上移动并且以不同的角度定位，而与其连接的摄像头对内容显示设备上的屏幕区域进行扫描。在通过摄像头识别到了显示屏幕之后，用户接口将能锚定到显示屏幕的位置。将用户接口锚定到显示屏幕的另一种方法包括利用正在显示的内容传输水印。当被显示来标识内容的可显示区域的边缘时，水印可以定位在内容的角落处。用户接口上的传感器能够检测这些水印，以确定所显示的内容的边界，从而将用户接口锚定到显示屏幕。将用户接口锚定到显示器的又一种方法是通过用户接口与显示器之间的类似于远程控制操作的红外(ir)通信。通过ir通信，内容显示设备可将定位信息中继给用户接口或允许用户接口检测显示器的位置。通过将用户接口锚定到显示屏幕，允许用户接口在任何时间相对于用户接口120(如ar眼镜150)的位置和方位确定内容显示设备的位置，同时还对用户接口120的任何移动进行补偿。用户接口120还能够感测其任何移动，并在感测到移动时，自动地调整附加信息的投影。此举是可能的，这是因为知晓了内容显示设备130或正在显示的内容相对于用户接口120的位置。
一旦登录到了系统中，如s20所述，访问用户的简档和观看历史。替代地，可以在将用户接口锚定到内容显示设备之前访问用户简档和观看历史。用户简档包括诸如用户偏好、用户背景(如原籍国家、语言和其他信息)等信息。在s30中，确定在内容观看期间用于获得附加信息的特征是否被启用。如果该特征未被启用，则方法进行到s40并结束。如果启用了该特征，则在s50中，系统检查元数据(监听元数据，检测元数据)并提取嵌入在正被观看的内容内的元数据，并且再将元数据与用户简档和观看历史内的数据进行比较。通过这种方式，元数据可以被认为是向观看者显示附加信息的触发条件。
在步骤s30中进行检验的特征可以包括以下中的一个或多个：(a)将不在用户的观看历史中的附加信息显示为字幕，(b)将对象覆盖到正在内容显示设备上显示的内容上，以及(c)在ar用户的视野中显示包围内容显示设备的背景图像信息。任何或所有这些特征可以同时出现。每个特征都在下面进行讨论。
在步骤s50之后，系统在s60中检查内容的显示是否完成。如果确定内容的显示已经完成，则方法前进到s40并结束。如果内容的显示尚未完成，则在s70中，系统继续检查可触发附加信息进行显示的元数据。如果未检测到元数据，则系统返回到s50并继续检查元数据。如果检测到元数据，则在s80中将元数据与用户简档和观看历史进行比较，以确定元数据是否指示出与观看者相关的信息是可用的。适用于用户的元数据可触发附加信息进行显示。如果元数据与其他内容有关(元数据包括内容标识符的列表)并且有关内容中的至少一个内容不在用户的观看历史中，则这种触发元数据可以适用。如果其他元数据指定与用户的简档信息不同的人口统计或文化背景，则可以将其确定为触发条件。嵌入在内容中的元数据可以包括与内容有关的内容id(例如，与内容有关的信息(季数和集数、角色介绍等))以及与内容的人口统计和/或文化背景有关的信息。为了确定是否应该向观看者提供附加信息，确定元数据内包括的内容id是否不存在于用户的观看历史或用户简档中，这表明了观看者没有观看与理解正被观看的内容相关的或必需的内容。
另外，如果内容的人口统计和/或文化背景不同于用户简档中的人口统计和/或文化背景，则可能需要附加信息来理解在正被观看的内容中使用的某些动作或语言。如果基于元数据与观看历史或用户简档的比较确定附加信息不是必需的，则系统返回到s50并继续检查附加元数据。如果基于元数据与观看历史或用户简档的比较确定需要附加信息，则在s90中，系统在元数据内查找附加信息或者联系远程服务器中的数据库以获取附加信息。
然后在s100中，将附加信息提供给用户接口，以在其上进行投影并由用户观看。与内容有关的附加信息可以包括关于开始的故事情节的信息，或者与如下故事情节有关的信息：其中，在观看历史内未包含的且由此被确定为观看者所错过的剧集中发生了重大情节转折。与人口统计和/或文化差异有关的附加信息可以包括对诸如握手等动作(对于具有观看者背景的人而言，其可能是不熟悉的手势)或者惯用语或语言(对于来自观看者所在地理位置的人而言，其可能被确定为不熟悉的)的解释。
在投影附加信息之前，在s110中，用户接口检测其相对于显示器位置的当前位置和当前观看倾斜度/角度。执行对用户接口相对于显示器的当前位置和倾斜度/角度的确定，以提供用于在用户接口的镜片上投影附加信息而不使所显示的内容变得模糊的合适透视映射。当显示器处于静止状态时，用户接口是移动的，并且可在例如用户改变他们的座位、将他们的头部移动到不同位置或者相对于显示器倾斜他们的头部时移动。因此，为了使信息相对于内容得到正确的映射，可以计算用户接口相对于显示器被锚定到用户接口的锚定原始位置的位移。在s120中，调整用于投影附加信息的位置。在s130中，将附加信息投影到用户接口的镜片上，而不使正在显示的内容变得模糊。例如，如果用户接口以第一位置关系锚定到显示器，则在确定应将附加信息投影到用户接口的镜片上时，用户接口可以适应用户接口的任何位置变化，从而将信息投影在用户接口的镜片上的适当位置处。如果用户将他们的头部向右侧转动20°，则应将附加信息在用户接口的镜片上的投影投影在锚定原始位置向左(或者沿与用户接口的移动方向相反的方向)以20°处。
在步骤s30中可以检测到附加特征。在步骤s30中，如果确定用于在内容显示设备上显示的内容内提供替换图像的特征被启用，则进入步骤s50。在s50中，系统检查并提取嵌入在正被观看的内容内的元数据，并将该元数据与用户简档和观看历史内的数据进行比较。基于用户简档和观看历史的敏感度，确定内容中的某些项目是否可能不适合于用户或让用户感到反感。以这种方式，元数据可以被视为是如下的触发条件：获得替换图像，并投影替换图像来覆盖内容内的被确定为不适合的或令人反感的项目。此特征可以在ar系统中实现，也可以在没有ar功能的系统中实现。然后，可根据需要采用在内容显示设备上显示的内容内提供替换图像的特征来应用步骤s60至s130。
在步骤s30中检测到的附加特征中，ar系统可在内容显示设备正在显示内容的房间背景上显示图像。因此，房间环境变成包围所显示的内容的增强背景环境。在这种情况下，背景图像是向ar系统的用户显示的、覆盖在包围内容显示设备的房间上的图像。当接收到内容时，可以提取嵌入在内容中的元数据，并将其与用户简档进行比较或与用户简档相结合地使用，以基于内容和ar用户的偏好确定特定背景图像是否是适合的。另外，元数据可以用于搜索与内容有关的背景图像或者包括对于正在显示的内容来说是适合的背景图像。背景图像通常与正在显示的内容内的场景设置有关。背景图像还可以基于用户简档以及由用户简档标识的指示ar用户的某些偏好的敏感性，并可以用于增强与所显示的内容相关联的观看体验。另外，背景图像可以针对使用并登录到用户接口的每个ar用户进行个性化，即，基于每个ar用户的特定用户简档和/或观看历史，每个ar用户通过个人用户接口看到的背景图像可以是不同的。另外，每个ar用户的背景图像可以与其周围的场景相协调，从而保持一致性并避免了无法集中精神观看内容。背景图像可以包括但不限于任何静态图像、视频或3d渲染对象。当被包围的和进行增强的内容是3d视频或图像时，背景图像优选地是3d渲染对象。
因此，如果在步骤s30中启用了在ar视野中的内容显示设备周围添加沉浸式背景的特征，则在s50中，系统检查并提取嵌入在正被观看的内容内的元数据。内容内的元数据包括将由用户接口投影的背景图像或用于获得背景图像的指令中的至少一个。标识背景图像的元数据可以与用户简档和/或观看历史进行比较，以确定背景图像是否可能不适合于ar用户或让ar用户感到反感。以这种方式，元数据可以被认为是如下的触发条件：获得并投影将要由用户接口在视线内投影以包围正在显示的内容的合适背景图像。然后，可根据需要采用在包围内容显示设备的ar环境中提供沉浸式背景的特征来应用步骤s60至s130。
图4示出了根据说明性实施例的系统的元件的交互。此附图示出了与用户接口120(ar眼镜)、显示器130和远程服务器140进行通信以向观看者提供附加信息的stb/路由器110。如通过图4上的方向箭头可以看出的，stb/路由器110从用户接口120接收标识用户的信号，如框410中所示。该信号可以指示观看者登录并访问用户的简档。在420中，stb/路由器110检查170中用户简档中包括的用户偏好，从而查看该特征是否被启用，并且如果该特征被启用，则stb/路由器110从其中包含的数据库访问用户内容观看历史。如上所述，该特征可以包括以下中的一个或多个：(a)将不在用户的观看历史中的附加信息显示为字幕，(b)将对象覆盖到正在内容显示设备上显示的内容上，以及(c)在ar用户的视野中显示包围内容显示设备的背景图像信息。任何或所有这些特征可以同时出现。
关于用户简档信息，用户的简档和观看历史可以存储在用户接口120内并可由stb/路由器110访问。内容经由网络115从内容供应商提供给stb/路由器110，然后再提供给显示器130用于观看。为了检查上述特征(a)，stb/路由器110提取嵌入在内容中的元数据，并将元数据内的内容标识符(id)与观看历史数据库中的数据进行比较。如果内容id未包含在观看历史内，则stb/路由器110确定观看者可能错过了与故事或故事内的角色有关的某些信息，并联系远程数据库以获取与正在显示的内容有关的附加信息。当接收到附加信息时，stb/路由器110检索与用户接口相对于内容显示设备的锚定原始位置有关的以及与用户接口的当前位置有关的信息，并在对用户接口相对于锚定原始位置的移动进行补偿的位置，将附加信息图像渲染给用户接口，如450所示。
为了检查上述特征(b)，stb/路由器110访问用户简档数据库170，并从其中包含的数据库180访问观看历史。替代地，用户的用户简档和观看历史可以存储在用户接口120内并可由stb/路由器110访问。内容经由网络115从内容供应商提供给stb/路由器110，然后再提供给内容显示设备130进行显示，如430中所讨论的。stb/路由器110提取嵌入在内容中的元数据，并将元数据内的内容标识符(id)或其他信息与用户简档和/或观看历史数据库中的数据进行比较，如450所述。基于此比较，stb/路由器110确定正被观看的内容内的某些项目或信息是否可能让ar用户感到反感或不适合于ar用户，并联系服务器140内的远程数据库以获取待投影到用户接口上的替换图像或信息，从而覆盖或遮挡正在显示的内容内的令人反感或不适合的图像。替代地，用户简档可以包括指示让用户感到反感的图像、项目或信息的内容id。如果与内容一起接收到的元数据包括用户简档中包括的内容id，则stb/路由器110可以确定正被观看的内容内的某些项目或信息可能让ar用户感到反感或不适合于ar用户，并联系远程数据库以获取将投影在用户接口上的替换图像或信息。在接收到替换图像或信息时，stb/路由器110将该信息提供给用户接口120进行显示。
为了检查上述特征(c)，stb/路由器110访问用户简档数据库170，并从其中包含的数据库180访问观看历史。替代地，ar用户的用户简档和观看历史可以存储在用户接口120内并可由stb/路由器110访问。内容经由网络115从内容供应商提供给stb/路由器110，然后再提供给内容显示设备130进行显示，如430中所述。stb/路由器110提取嵌入在内容中的元数据，并将元数据内的内容标识符(id)或其他信息与用户简档和/或观看历史数据库中的数据进行比较，如440所述。基于此比较，stb/路由器110选择适合的背景图像，该背景图像基于与用户简档或观看历史中所标识的用户敏感度的比较而不会让ar用户感到反感或不会不适合于ar用户，并且stb/路由器110联系服务器140内的远程数据库以获取将投影到用户接口上以包围正在显示的内容的替换图像，如450中所述。替代地，用户简档可以包括指示让用户感到反感的图像、项目或信息的内容id。如果与内容一起接收到的元数据包括用户简档中包括的内容id，则stb/路由器110可以确定某些背景图像可能让ar用户感到反感或不适合于ar用户，并联系远程数据库以获取将投影在用户接口上的替代背景图像。在接收到背景图像时，stb/路由器110检索与用户接口相对于内容显示没备的锚定原始位置有关的以及与用户接口的当前位置有关的信息，并在对用户接口相对于锚定原始位置的移动进行补偿的位置，将背景图像渲染给用户接口，如450所示。
在激活后，用户接口120将自己锚定到将在其上观看内容的内容显示设备130。将用户接口120锚定到内容显示设备130允许用户接口120确定内容显示设备130相对于用户接口120在何处进行定位。由于用户接口120是移动的并且可移动到不同的地方或在不同的角度下旋转和定位，因此，其与静止内容显示设备130的关系可以发生改变。当确定用户接口120相对于内容显示设备130的位置以及确定在用户接口120上的何处需要投影附加信息以免模糊正在显示的内容时，也必须将佩戴用户接口120的ar用户的移动以及内容显示设备130相对于用户接口120的位置考虑在内。因此，当ar用户正佩戴着用户接口120并且该ar用户以某种方式将用户接口120从锚定原始位置移开时(诸如，步行到另一个座位，转动他们的头部，或者将他们的头部置于一定角度下，比如以躺下姿势而不是直立坐姿观看内容时)，用户接口120能够考虑到这种移动并调整附加信息的投影位置。替代地，用户接口120可向stb/路由器110提供与锚定原始位置和用户接口的当前位置有关的信息，并且stb/路由器110可计算出用于用户接口120投影附加信息的正确位置。可将此信息与要投影的附加信息一起提供给用户接口120。此举确保了附加信息将继续投影到用户接口的镜片上的合适位置，而不使正被观看的内容变得模糊。如前所述，可以使用多种方法中的任何一种来将用户接口120锚定到内容显示设备130。
图5描绘了stb/路由器110、用户接口120和显示器130的交互。主控制处理器160可以集成地形式在用户接口120、stb/路由器110或连接到stb/路由器110的远程服务器(未示出)中的任何一个内。主控制处理器160可以连接到用户简档数据库170、观看历史数据库180以及覆盖内容数据库190。覆盖内容数据库可包含待显示为字幕的附加信息、用于待在显示设备上显示的内容中进行替换对象覆盖的覆盖信息以及用于在显示设备的外围显示的背景图像中的任何一种或全部。用户简档数据库170存储用户简档，这些用户简档包括用户偏好和用户的人口统计和文化背景。观看历史数据库180存储每个用户的观看历史。观看历史包括关于用户在登录到系统时所观看的内容的信息。当用户登录到系统并观看内容时，观看历史可自动更新。用户还可以手动地更新观看历史，从而将关于在未登录到系统时所观看到的内容的信息包括在内。在确定用户的观看历史指示出用户已经错过了某些剧集或与内容有关的信息和/或在内容中存在某些文化或语言差异时，覆盖内容数据库190存储表示待提供给用户的与内容有关的附加信息的数据。附加信息可能有助于用户理解内容和/或内容中存在的文化或语言差异。主控制处理器160提取内容内的嵌入元数据，并将其与来自用户简档和观看历史的数据进行比较，以确定由元数据标识的信息是否未包括在用户简档或观看历史中。如果确定在元数据中标识的信息未包括在用户简档或观看历史中，则主控制处理器160访问覆盖内容数据库190内的与标识为在用户简档和/或观看历史中不存在的信息有关的附加信息，并将该附加信息提供给用户接口120，以便在其上向用户显示。
在确定内容内的项目可能不适合ar用户或让ar用户感到反感时，数据库190还可存储如下的数据：该数据表示待向用户提供的与内容有关的附加信息和替换图像。附加信息或替换图像可以为用户提供更愉快的体验，或者可以防止用户观看到根据例如用户年龄而不适合观看的内容。主控制处理器160提取内容中的嵌入元数据，并将其与来自用户简档和观看历史的数据进行比较，以确定内容内的项目是否可能让用户感到反感或不适合用户。如果确定在元数据中标识的信息可能让用户感到反感或不适合用户，则主控制处理器160访问覆盖内容数据库190内的附加信息和替换图像，该附加信息和替换图像可替换或覆盖所标识的项目，进而为ar用户提供更愉快的体验。
在确定应将背景图像提供给ar用户观看时，数据库190还可存储表示待提供给用户接口的与内容有关的背景图像的数据。通过创建出ar用户可能感觉沉浸在所显示内容的场景中的环境，背景图像可以为用户提供更愉快的体验。主控制处理器160提取内容中的嵌入元数据，并可以将其与来自用户简档和观看历史的数据进行比较，以确定背景图像内的项目是否可能让ar用户感到反感或不适合ar用户。如果确定在元数据中标识的信息可能让ar用户感到反感或不适合ar用户，则主控制处理器160访问背景图像数据库190内的背景图像，这些背景图像被提供给用户接口，以便在其镜片上投影。如果确定在元数据中标识的信息可能让ar用户感到反感或不适合ar用户，则主控制处理器160访问背景图像数据库190内的背景图像，这些背景图像被提供给用户接口，以便在其镜片上投影。
图6描绘了根据先前讨论的各方面的机顶盒110的示例性框图。在所描绘的示例性实施例中，总线616上的处理器608对允许执行图3的方法的各元件进行控制。处理器608由控制存储器610支持，控制存储器610可存储用于处理器608的指令。这样的指令可采用非暂时性rom中的代码或其他非暂时性计算机指令的形式。这种控制存储器可以位于stb110的内部或外部。
经由图6中的用户接口发射器/接收器612向用户接口120提供服务，用户接口发射器/接收器612在用户接口120与stb110之间传送信息。网络接口发射器/接收器602实现去往和来自网络115的通信，这种通信允许访问图1的网络节点服务器140和内容供应商145。路由器604的作用是有助于处理发往和来自服务器140和内容供应商145的信息数据包。来自服务器140和内容供应商145的信息可存储在存储设备606中。这种信息可以包括待通过显示接口614和显示器130显示的内容以及相应的元数据。可以存储在存储设备606中的其他信息可以包括用户简档信息和观众历史。如结合图3、图4和图5所讨论的，处理器608使用这样的信息来确定元数据是否触发了待在用户接口120上显示的附加信息的显示。
图1的增强现实系统100可在各种情况下使用，尤其是用于在观看音频/视频内容时提供增强体验。基于用户的观看历史或者标识用户的人口统计和文化信息的简档，系统能够以无遮挡的方式提供关于内容的附加信息，而这种方式不会影响内容观看体验。另外，根据说明性实施例的系统可在电影或戏剧表演期间在剧院中使用。在这种情况下，提供服务器来将与电影或制作有关的附加信息发送给用户接口，向观看者提供故事情节的背景、角色或者与例如内容、内容的制作或参与内容创作的演员和艺术家有关的花絮。
在此描述的实施方式可以在例如方法或过程、装置、或者硬件和软件的组合中实现。即使仅在单一实施形式(例如，仅作为方法讨论)的背景下讨论，所讨论的特征的实施方式也可以以其他形式实现。例如，可以通过硬件装置、硬件和软件装置来完成实施方式。装置可以例如以适当的硬件、软件和固件来实现。方法可以在例如诸如处理器之类的装置中实现，这种装置是指任何处理设备，包括例如计算机、微处理器、集成电路或可编程逻辑器件。
另外，方法可以通过由处理器执行的指令来实现，并且这样的指令可以存储在处理器或计算机可读介质上，例如集成电路、软件载体或其他存储设备(比如，硬盘、光盘(“cd”或“dvd”)、随机存取存储器(“ram”)、只读存储器(“rom”)或任何其它磁性、光学或固态介质)。这些指令可以形成有形地体现在计算机可读介质上的应用程序，所述计算机可读介质是诸如上面列出的或本领域技术人员已知的任何介质。如此存储的指令可用于执行硬件及软件的元件，从而执行在此描述的方法的各步骤。