用于选择在用户设备上呈现媒体资产期间在用户设备附近显示的补充内容的方法和系统与流程

文档序号:17152344发布日期:2019-03-19 23:33阅读:174来源:国知局
用于选择在用户设备上呈现媒体资产期间在用户设备附近显示的补充内容的方法和系统与流程

本申请要求于2016年5月27日提交的美国实用专利申请no.15/167,035和于2016年5月27日提交的美国实用专利申请no.15/167,146的优先权。这些申请的内容通过引用整体并入本文。



背景技术:

虽然在电影院中看电影利用大型显示器和环绕声系统为用户提供了沉浸式观看体验,但是用户在家中的观看体验远没有那么具有沉浸感。这是由于各种因素的综合作用,包括由于技术和实际原因而有限的电视机尺寸。有必要找到替代方式来为用户提供同样沉浸式但更适合家庭环境的替代观看体验。

增加用户家中显示器尺寸的问题之一是缺乏空间。无论是出于技术原因还是实际原因,电视机都有尺寸限制。如果有可用的墙壁空间,那么投影仪可以提供更大的显示器,但需要更多的考虑因素,诸如可用墙壁空间的维度以及如何布置房间,使得投影仪可以投射到墙壁上而不被另一件家具挡住。为了提供沉浸式显示,有必要提供可以克服这些问题的系统。



技术实现要素:

在用户家中设置的传统电视机是有限的,并且可能无法向用户提供沉浸式观看体验。通过提供要在用户设备附近显示的补充内容,扩展媒体资产的显示以包括更加沉浸式的观看体验。通过确定要显示什么补充内容以及确定将其显示在何处以便为用户获得全部效果来完成提供沉浸式体验的附加内容的这种显示。本文提供的方法和系统不是在电视机上具有单个内容显示,而是描述确定哪些补充内容是相关的以及在用户周围的房间中显示补充内容的位置以最大化用户的沉浸式观看体验。

在一些方面,本文提供了用于在用户设备上呈现媒体资产期间选择在用户设备附近显示的补充内容的方法和系统。通常,当在用户家中显示时媒体资产的回放限于单个显示器,诸如在电视机或平板电脑上。通过在媒体资产的呈现期间选择用于在用户设备附近显示的补充内容,媒体资产的回放将涵盖多个显示器并为用户提供更沉浸式的观看体验。

在一些方面,本文提供了用于媒体指南应用的方法和系统,用于选择在用户设备上呈现媒体资产期间用于在用户设备附近显示的补充内容。媒体指南应用在用户设备上呈现媒体资产期间监测一个或多个帧。用户设备可以是电视机、平板电脑、智能电话或显示媒体资产的任何其它用户设备。媒体指南应用可以在用户设备上本地运行、在连接到用户设备的远程服务器上运行,或者其任意组合。例如,媒体指南应用可以经由远程服务器在电影显示在电视机上时监测电影。媒体指南应用在呈现媒体资产期间选择指示该媒体资产中的新场景的帧。例如,媒体指南应用可以通过监测电影来选择开始电影的新场景的帧。在另一个示例中,电影或其它媒体资产可以具有指示每个新场景的标签并且,通过监测电影和场景标签,媒体指南应用可以选择已被标记为开始新场景的帧。

媒体指南应用识别在所选择的帧中表示的物体和位置中的至少一个。例如,媒体指南应用可以分析帧以确定帧中的物体。在一些实施例中,媒体指南应用识别所选择的帧中的关键特征。关键特征是描述帧的元素的信息并且可以描述具体的结构元素,诸如帧中存在的图像的边缘、拐角、点、线、脊或区域。例如,媒体指南应用可以使用边缘检测来分析帧并确定帧中一系列边缘的存在。在一些实施例中,媒体指南应用将识别出的关键特征与物体数据库进行比较。例如,媒体指南应用可以访问包括与诸如边缘之类的关键特征相关联的物体的数据库,并将在帧中找到的边缘与和物体数据库中的每个物体相关联的边缘进行比较。在一些实施例中,媒体指南应用基于比较来识别所选择的帧中的物体。例如,基于比较,媒体指南应用可以确定在帧中找到的一些边缘与树相关联。在另一个示例中,媒体指南应用可以确定在帧中找到的一些边缘与鸟相关联。

在一些实施例中,媒体指南应用基于所选择的帧中的物体搜索动作数据库。例如,媒体指南应用可以搜索将物体与动作相关联的动作数据库,从而搜索与鸟相关联的任何动作。在一些实施例中,媒体指南应用识别在所选择的帧中发生的与物体相关联的动作。例如,基于动作数据库,媒体指南应用可以识别出在如帧中所示的朝向上的鸟与飞行动作相关联,而不是栖息在树枝上。在另一个示例中,媒体指南应用可以基于识别帧中的船来识别航行动作。

在一些实施例中,媒体指南应用在位置数据库中搜索与物体相关联的位置。例如,媒体指南应用可以在位置数据库中搜索与树相关联的位置。在一些实施例中,媒体指南应用基于与物体相关联的位置来识别所选择的帧中的位置。例如,媒体指南应用可以基于孤独棕榈树的存在来确定与该帧相关联的位置是热带气候中的一般外部场景。

在一些实施例中,媒体指南应用将所选择的帧的关键特征与包括对位置的表示的分析的位置数据库进行比较。关键特征是描述帧元素的信息片段并且可以描述具体的结构元素,诸如帧中存在的图像的边缘、拐角、点、线、脊或区域。例如,媒体指南应用可以分析帧,以确定帧的图像的特征。在一些实施例中,媒体指南应用基于将所选择的帧的关键特征与对位置的表示的分析进行比较来确定在所选择的帧中表示的位置。例如,媒体指南应用可以基于图像的特征来确定帧正在显示森林。

媒体指南应用确定与物体和位置中的至少一个相关联的情节(plot)信息。例如,媒体指南应用可以基于场景中识别出的物体确定与情节相关联的关键词。在一些实施例中,媒体指南应用搜索情节信息数据库以识别与物体和位置中的至少一个以及在所选择的帧中发生的动作相关联的情节信息。情节信息可以包括描述所选择的帧的情节的关键词。例如,如果媒体指南应用识别出游轮、棕榈树和云以确定航行动作和一般热带气候的位置,那么媒体指南应用可以搜索情节信息数据库并识别出“荒岛”、“海洋”、“船舶”、“航行”、“风暴”和“波浪”关键词形式的情节信息。在一些实施例中,指南应用确定与物体和位置中的至少一个及动作相关联的公共关键词。例如,一般热带气候的位置或航行动作可以与附加情节信息(诸如“钓鱼”)相关联。但是,由于“钓鱼”与任何识别出的物体(游轮、棕榈树和云)不关联,因此它不是公共关键词。在一些实施例中,媒体指南应用基于公共关键词来确定识别出的情节信息。

在一些实施例中,媒体指南应用检索与所选择的帧相关联的元数据。元数据可以包括与所选择的帧相关联的隐藏字幕数据和标签。在一些实施例中,媒体指南应用在情节信息数据库中搜索与物体和位置中的至少一个,以及元数据相关联的情节信息。例如,媒体指南应用可以检索与场景相关联的隐藏字幕,并在情节信息数据库中搜索与隐藏字幕数据中识别出的术语相关联的情节信息关键词。

媒体指南应用基于情节信息从数据库识别伴随媒体资产的补充内容。例如,媒体指南应用可以基于情节信息识别具有热带岛屿和海洋的补充内容。补充内容可以是要在电视机附近的房间的墙壁上显示的具体背景图像,或者基于被确定为可用的区域显示在区域周围的具有共同主题的图像的集合。补充内容可以包括视觉图像以及可以根据需要播放的替代形式的媒体(诸如声音的集合、视频剪辑或其组合)。

媒体指南应用在呈现媒体资产期间向投影设备发送用于在用户设备附近显示的补充内容。例如,媒体指南应用可以经由投影仪发送显示热带岛屿和海洋的补充内容以显示在墙壁上。媒体指南显示器可以将补充内容发送到用户设备的区域中的任何显示设备,诸如另一个电视机屏幕、平板电脑或增强现实眼镜。在一些实施例中,媒体指南应用向扬声器发送包括在补充内容中的声音的集合。例如,媒体指南应用还可以将波浪的声音发送到扬声器。

在一些实施例中,媒体指南应用从所选择的帧的一部分创建新的补充内容。在一些实施例中,媒体指南应用将新的补充内容连同与物体和位置中的至少一个关联的公共关键词一起存储在数据库中。例如,媒体指南应用可以使用显示蓝天和云的帧的一部分来创建新的补充内容,并且将补充内容存储在与发现在情节信息数据库中与云相关联的情节信息相关联的补充内容数据库中。

在一些实施例中,媒体指南应用在呈现指示下一场景的媒体资产期间选择下一帧。例如,媒体指南应用可以选择与指示新场景的下一个标签相关联的帧。在一些实施例中,媒体指南应用基于所选择的帧和所选择的下一帧确定新场景的持续时间。例如,媒体指南应用可以通过比较第一新场景的帧与开始下一个新场景的帧来确定场景的长度。在一些实施例中,媒体指南应用发送补充内容以供对于新场景的持续时间进行显示。例如,媒体指南应用可以维持补充内容的显示,直到电影到达回放中开始下一个新场景的点。

在一些方面,本文提供了用于媒体指南应用的方法和系统,用于确定用户设备附近的区域,用于在用户设备上呈现媒体资产期间显示补充内容。传统上,在房间中仅为用户显示单个内容。这个系统确定用户设备周围区域中的哪个位置显示补充内容以确保沉浸式观看体验。这样做需要监测用户设备周围的区域,确定哪些区域可用于显示补充内容,以及确定在用户设备周围的哪些区域中显示哪些补充内容。

在一些方面,媒体指南应用使用相机设备监测用户设备附近的一个或多个区域。媒体指南应用可以在用户设备上本地运行、在连接到用户设备的远程服务器上运行,或者其任意组合。例如,媒体指南应用可以基于相机反馈经由远程服务器分析电视机周围的房间、识别具有可以用于补充内容的墙壁或其它表面的房间的部分,并监测这些部分。

媒体指南应用基于监测确定用户设备附近的一个或多个区域中的每个区域的维度。例如,媒体指南应用可以基于房间的分析和监测来计算房间周围的墙壁和可用表面的维度、尺寸和朝向。在一些实施例中,媒体指南应用针对适于显示补充内容的一个或多个部分分析用户设备附近的一个或多个区域。例如,媒体指南应用可以识别没有任何障碍物的墙壁(诸如悬挂在墙壁上的绘画或中间的书架),并且基于墙壁部分是否可用于显示补充内容来分析墙壁。在一些实施例中,媒体指南应用基于分析选择适于显示补充内容的部分。例如,媒体指南应用可以选择未被遮挡因此可用于显示补充内容的墙壁区域。在一些实施例中,媒体指南应用确定指示所选择的部分的一个或多个区域的尺寸、形状和朝向的维度。例如,媒体指南应用可以选择天花板上可用于显示补充内容的区域并确定维度,包括空间的尺寸以及面向下的朝向和甜甜圈的形状,使得中央风扇或天花板灯不包括在所选择的区域中。

媒体指南应用检索与在用户设备上呈现的媒体资产的场景相关联的补充内容。例如,媒体指南应用可以从补充内容数据库中检索与在电视机上播放的电影的场景相关联的补充内容。在一些实施例中,媒体指南应用识别场景中表示的物体和位置中的至少一个。在一些实施例中,媒体指南应用基于识别出的物体和位置中的至少一个来识别与场景相关联的情节信息。在一些实施例中,媒体指南应用在补充内容的数据库中搜索与和场景相关联的情节信息匹配的补充内容。

媒体指南应用识别补充内容的维度。例如,媒体指南应用可以基于与补充内容相关联的标签来确定补充内容的预期维度。在一些实施例中,媒体指南应用识别补充内容的尺寸、形状和朝向之一。例如,一些补充内容可以被定向为从下面看,或者其它补充内容可以成形为像甜甜圈。

媒体指南应用将补充内容的维度与一个或多个区域中的每个区域的维度进行比较。在一些实施例中,媒体指南应用将补充内容的维度与一个或多个区域中的每个区域的维度进行比较还包括将一个或多个区域中的每个区域的尺寸、形状和朝向之一与补充内容的尺寸、形状和朝向之一进行比较。例如,媒体指南应用可以将区域的形状与补充内容的形状或者将区域的朝向与补充内容的朝向进行比较。

媒体指南应用基于比较来过滤一个或多个区域的子集。例如,媒体指南应用可以过滤区域以识别可用于显示识别出的补充内容的区域。在一些实施例中,媒体指南应用识别与一个或多个区域中的一个区域相关联的物体。例如,媒体指南应用可以识别出区域中存在书架。在一些实施例中,媒体指南应用将物体与已知物体进行比较,以确定该物体是否可用于显示补充内容。例如,媒体指南应用可以识别出覆盖窗口的百叶窗,并且在搜索已知物体的数据库之后,确定覆盖窗口的百叶窗可以用于显示补充内容。在一些实施例中,媒体指南应用基于比较确定物体不可用于显示补充内容。例如,媒体指南应用可以搜索已知物体的数据库以确定补充内容不能显示在书架的顶部。在一些实施例中,媒体指南应用从一个或多个区域移除一个或多个区域中的所述一个区域。例如,媒体指南应用可以从可用于显示补充内容的区域中过滤掉具有书架的区域。

在一些实施例中,媒体指南应用通过识别其中尺寸、形状和朝向与补充内容的尺寸、形状和朝向之一不匹配的一个或多个区域来识别一个或多个区域中的一个。例如,媒体指南应用可以确定该区域是甜甜圈的形状,但是补充内容是矩形的形状,因此补充内容不适合该区域。在一些实施例中,媒体指南应用从一个或多个区域中移除一个或多个区域之一。例如,媒体指南应用可以从可用于显示补充内容的区域中过滤掉甜甜圈形状的区域。

媒体指南应用向投影设备发送用于在用户设备附近的一个或多个区域的子集中显示的补充内容。在一些实施例中,媒体指南应用发送用于显示在一个或多个区域的每个子集上的补充内容。例如,媒体指南应用可以在房间的被识别为没有物体并且具有适当尺寸、形状和朝向的所有剩余区域上显示补充内容。

在一些实施例中,媒体指南应用基于每个区域的维度、每个区域的位置或补充内容的内容中的至少一个来对一个或多个区域的子集中的每个区域进行排名。例如,如果补充内容是宽景观,那么媒体指南应用可以对区域进行排名并且优先考虑墙壁上的大矩形区域而不是天花板。在一些实施例中,媒体指南应用基于排名确定一个或多个区域的子集中的一个以显示补充内容。例如,媒体指南应用可以选择接收到最高排名的区域。在一些实施例中,媒体指南应用发送补充内容以在一个或多个区域的子集之一上显示。例如,媒体指南应用可以在接收到最高排名的所选择的区域上显示补充内容。

在一些实施例中,媒体指南应用确定补充内容的多个部分。例如,补充内容可以是不同鸟的多个图像,每个图像具有不同的朝向、尺寸和形状。在一些实施例中,媒体指南应用将补充内容的多个部分中的每一个与一个或多个区域的子集中的一个匹配。例如,媒体指南应用可以基于图像的尺寸、形状和朝向将鸟的每个图像与房间周围的区域匹配。在一些实施例中,媒体指南应用生成补充内容的多个部分中的每一个以在多个空间的子集中的对应一个空间上显示。例如,媒体指南应用可以在房间周围的对应区域上显示每个图像。

应当注意的是,上述系统、方法、装置和/或方面可以应用于其它系统、方法、装置和/或方面,或者根据其它系统、方法、装置和/或方面使用。

附图说明

结合附图考虑以下详细描述,本公开的以上和其它目的和优点将变得显而易见,其中相同的标号通篇表示相同的部分,并且其中:

图1示出了根据本公开一些实施例的、在用户设备附近显示补充内容的说明性示例;

图2示出了根据本公开一些实施例的、在用户设备附近的可用区域中在用户设备附近显示补充内容的说明性示例;

图3示出了根据本公开一些实施例的补充内容数据库的说明性示例,其示出了与情节信息链接的补充内容。

图4示出了根据本公开一些实施例的、可用于在用户设备附近显示补充内容的区域的说明性示例;

图5示出了根据本公开一些实施例的、由媒体指南应用生成的显示屏的说明性示例;

图6示出了根据本公开一些实施例的、由媒体指南应用生成的显示屏的另一个说明性示例;

图7是根据本公开一些实施例的说明性用户装备设备的框图;

图8是根据本公开一些实施例的说明性媒体系统的框图;

图9是根据本公开一些实施例的、在用户设备上呈现媒体资产期间选择用于在用户设备附近显示的补充内容中所涉及的说明性步骤的流程图;

图10是根据本公开一些实施例的、用于确定与所选择的帧相关联的情节信息的说明性步骤的流程图;

图11是根据本公开一些实施例的、用于确定与所选择的帧相关联的情节信息的示例性步骤的另一个流程图;

图12是根据本公开一些实施例的、用于确定与所选择的帧相关联的情节信息的说明性步骤的另一个流程图;

图13是根据本公开一些实施例的、在用户设备上呈现媒体资产期间确定用户设备附近的区域以用于显示补充内容中所涉及的说明性步骤的流程图;以及

图14是根据本公开一些实施例的、用于过滤区域以识别用户设备附近可用于显示补充内容的区域的子集的说明性步骤的流程图。

具体实施方式

本文提供了用于在用户设备上呈现媒体资产期间选择用于在用户设备附近显示的补充内容的方法和系统。通常,当在用户家中显示时媒体资产的回放限于单个显示器,诸如在电视机或平板电脑上。通过在媒体资产的呈现期间选择用于在用户设备附近显示的补充内容,媒体资产的回放将涵盖多个显示器并为用户提供更沉浸式的观看体验。

本文提供了用于媒体指南应用的方法和系统,用于选择在用户设备上呈现媒体资产期间用于在用户设备附近显示的补充内容。传统上,在房间中仅为用户显示单个内容。这个系统确定用户设备周围区域中的哪个位置显示补充内容以确保沉浸式观看体验。这样做需要监测用户设备周围的区域,确定哪些区域可用于显示补充内容,以及确定在用户设备周围的哪些区域中显示哪些补充内容。

图1示出了根据本发明一些实施例的、在用户设备附近显示补充内容的说明性示例。用户设备102可以是电视机、平板电脑、智能电话或显示媒体资产的任何其它用户设备。用户设备102可以在显示媒体资产的同时显示包括各种物体(诸如物体104、106、108或110)的帧,物体可以包括动物、风景和角色。一旦这些物体104、106、108或110被识别出并用于确定描述在用户设备102上显示的场景的情节信息,媒体指南应用就识别要使用投影仪116显示的补充内容。补充内容可以包括与在用户设备12上显示的场景类似的特征,诸如分别与物体104和106匹配的物体112和114。补充内容可以是视觉图像,以及使用扬声器118的声音的集合。一旦在补充内容数据库中识别出包括物体112和114的补充内容,就将补充内容发送到投影仪116和扬声器118,以在用户设备102上回放场景期间在用户设备102附近显示。媒体指南应用可以在用户设备102上本地运行、在连接到用户设备102的远程服务器上运行,或者其任意组合。媒体指南显示器可以将补充内容发送到用户设备102的区域中的任何显示设备,诸如另一个电视机屏幕、平板电脑或增强现实眼镜。

媒体指南应用在用户设备102上呈现媒体资产期间监测一个或多个帧。用户设备102可以是电视机、平板电脑、智能电话或显示媒体资产的任何其它用户设备102。例如,媒体指南应用可以在电影显示在电视机上时监测电影。媒体指南应用在呈现媒体资产期间选择指示该媒体资产中的新场景的帧。例如,媒体指南应用可以通过监测电影来选择开始电影的新场景的帧。在另一个示例中,电影或其它媒体资产可以具有指示每个新场景的标签并且,通过监测电影和场景标签,媒体指南应用可以选择已被标记为开始新场景的帧。

媒体指南应用识别在所选择的帧中表示的物体(诸如物体104、106、108或110)和位置中的至少一个。例如,媒体指南应用可以分析帧以确定帧中的物体。在一些实施例中,媒体指南应用识别所选择的帧中的关键特征。关键特征是描述帧的元素的信息并且可以描述具体的结构元素,诸如帧中存在的图像的边缘、拐角、点、线、脊或区域。例如,媒体指南应用可以使用边缘检测来分析帧并确定帧中一系列边缘的存在。媒体指南应用可以通过分析关键特征来确定物体104是云、物体106是鸟、物体108是棕榈树或者物体110是人。

在一些实施例中,媒体指南应用基于所选择的帧中的物体(诸如物体104、106、108和110)来搜索动作数据库。例如,媒体指南应用可以搜索将物体与动作相关联的动作数据库,从而搜索与鸟相关联的任何动作。在一些实施例中,媒体指南应用识别在所选择的帧中发生的与物体相关联的动作。例如,基于动作数据库,媒体指南应用可以识别出物体106是与飞行动作相关联的鸟,而不是栖息在树枝上。

在一些实施例中,媒体指南应用在位置数据库中搜索与物体(诸如物体104、106、108和110)相关联的位置。例如,媒体指南应用可以在位置数据库中搜索与作为棕榈树的物体108相关联的位置。在一些实施例中,媒体指南应用基于与物体108相关联的位置来识别所选择的帧中的位置。例如,媒体指南应用可以基于是孤独的棕榈树的物体108的存在确定与帧相关联的位置是热带气候中的通用外景。

在一些实施例中,媒体指南应用将所选择的帧的关键特征与包括对位置的表示的分析的位置数据库进行比较。关键特征是描述帧元素的信息片段并且可以描述具体的结构元素,诸如帧中存在的图像的边缘、拐角、点、线、脊或区域。例如,媒体指南应用可以分析帧,以确定帧的图像的特征。在一些实施例中,媒体指南应用基于将所选择的帧的关键特征与对位置的表示的分析进行比较来确定在所选择的帧中表示的位置。例如,媒体指南应用可以基于图像的特征来确定帧正在显示森林。

媒体指南应用确定与物体(诸如物体104、106、108和110)和位置中的至少一个相关联的情节信息。例如,媒体指南应用可以基于场景中识别出的物体(诸如物体104、106、108和110)确定与情节相关联的关键词。在一些实施例中,媒体指南应用搜索情节信息数据库,以识别与物体(诸如物体104、106、108和110)和位置(诸如一般热带室外气候的位置)中的至少一个以及所选择的帧中发生的动作(诸如物体106是飞行中的鸟)相关联的情节信息。情节信息可以包括描述所选择的帧的情节的关键词。例如,媒体指南应用可以考虑与物体104、106、108和110和位置(诸如一般热带室外气候)以及在所选择的帧中发生的动作(诸如物体106是飞行中的鸟)相关联的公共关键词,以便确定情节信息“户外徒步旅行”和“荒岛”。

媒体指南应用基于情节信息从数据库中识别出伴随媒体资产的补充内容。例如,媒体指南应用可以识别包括与媒体资产中显示的元素类似的元素的补充内容,诸如分别与物体104和106匹配的物体112和114。补充内容可以是要在电视机附近的房间的墙壁上显示的具体背景图像,或者基于被确定为可用的区域显示在区域周围的具有共同主题的图像的集合。补充内容可以包括视觉图像、声音、视频剪辑或其组合。补充内容可以包括直播事件的替代馈送。例如,如果媒体资产是直播的体育赛事,那么要显示的补充内容可以包括体育赛事发生时的现场球迷反应。

媒体指南应用在媒体资产呈现期间向诸如投影仪116之类的投影设备发送用于在用户设备102附近显示的补充内容。媒体指南显示器可以将补充内容发送到用户设备102的区域中的任何显示设备,诸如另一个电视机屏幕、平板电脑或增强现实眼镜。例如,媒体指南应用可以发送显示分别与物体104和106匹配的物体112和114的补充内容,以经由投影仪116显示在墙壁上。在一些实施例中,媒体指南应用向扬声器118发送包括在补充内容中的声音的集合。例如,媒体指南应用还可以向扬声器118发送波浪的声音。

图2示出了根据本公开一些实施例的、在用户设备附近的可用区域中在用户设备附近显示补充内容的说明性示例。用户设备204可以是电视机、平板电脑、智能电话或显示媒体资产的任何其它用户设备。投影仪206a、206b和206c在房间周围投影补充内容。在一些实施例中,可以在用户设备204的区域中的任何显示设备(诸如另一个电视机屏幕、平板电脑或增强现实眼镜)上显示补充内容。相机208a、208b和208c监测房间以及用户202。图像210a和210b是补充内容中已经分别由206c和206a投影到墙壁上的一部分。媒体指南应用可以在用户设备204上本地运行、在连接到用户设备204的远程服务器上运行,或者其任意组合。

媒体指南应用使用相机208a、208b和208c监测用户设备204附近的一个或多个区域。例如,媒体指南应用可以基于来自相机208a、208b和208c的相机反馈来分析用户设备204周围的房间,识别房间中具有墙壁或可用于补充内容的其它表面的部分,并监测这些部分。

媒体指南应用基于监测来确定用户设备204附近的一个或多个区域中的每个区域的维度。例如,媒体指南应用可以基于房间的分析和监测来计算房间周围的墙壁和可用表面的维度、尺寸和朝向。在一些实施例中,媒体指南应用针对适于显示诸如图像210a和210b之类的补充内容的一个或多个部分来分析用户设备204附近的一个或多个区域。例如,媒体指南应用可以识别没有任何障碍物的墙壁(诸如悬挂在墙壁上的绘画或中间的书架),并且基于墙壁部分是否可用于显示补充内容来分析墙壁。在一些实施例中,媒体指南应用基于分析选择适于显示补充内容的部分。例如,媒体指南应用可以选择未被遮挡因此可用于显示补充内容的墙壁区域。在一些实施例中,媒体指南应用确定指示所选择的部分的一个或多个区域的尺寸、形状和朝向的维度。例如,媒体指南应用可以选择天花板上可用于显示补充内容的区域并确定维度,包括空间的尺寸以及面向下的朝向和甜甜圈的形状,使得中央风扇或天花板灯不包括在所选择的区域中。

媒体指南应用检索与在用户设备204上呈现的媒体资产的场景相关联的补充内容。例如,媒体指南应用可以从补充内容数据库中检索与在用户设备204上播放的电影的场景相关联的补充内容。在一些实施例中,媒体指南应用识别场景中表示的物体和位置中的至少一个。在一些实施例中,媒体指南应用基于识别出的物体和位置中的至少一个来识别与场景相关联的情节信息。在一些实施例中,媒体指南应用在补充内容的数据库中搜索与和场景相关联的情节信息匹配的补充内容。

媒体指南应用识别补充内容(诸如图像2i0a和210b)的维度。例如,媒体指南应用可以基于与诸如图像210a和210b之类的补充内容相关联的标签来确定补充内容的预期维度。在一些实施例中,媒体指南应用识别诸如图像210a和210b之类的补充内容的尺寸、形状和朝向之一。例如,一些补充内容可以被定向为从下面看,诸如在图像210b中从下方看到的云的图像。

媒体指南应用将补充内容(诸如图像210a和21b)的维度与一个或多个区域中的每个区域的维度进行比较。在一些实施例中,媒体指南应用将补充内容的维度与一个或多个区域中的每个区域的维度进行比较还包括将一个或多个区域中的每个区域的尺寸、形状和朝向之一与补充内容的尺寸、形状和朝向之一进行比较。例如,媒体指南应用可以将区域的形状与补充内容的形状或者将区域的朝向与补充内容的朝向进行比较。

媒体指南应用基于比较来过滤一个或多个区域的子集。例如,媒体指南应用可以过滤区域以识别可用于显示识别出的补充内容的区域。在一些实施例中,媒体指南应用识别与一个或多个区域中的一个区域相关联的物体。例如,媒体指南应用可以识别出区域中存在书架。在一些实施例中,媒体指南应用将物体与已知物体进行比较,以确定物体是否可用于显示补充内容(诸如图像210a和210b)。例如,媒体指南应用可以识别出覆盖窗口的百叶窗,并且在搜索已知物体的数据库之后,确定覆盖窗口的百叶窗可以用于显示补充内容。在一些实施例中,媒体指南应用基于比较确定物体不可用于显示补充内容。例如,媒体指南应用可以搜索已知物体的数据库以确定补充内容不能显示在书架的顶部。在一些实施例中,媒体指南应用从一个或多个区域移除一个或多个区域中的所述一个区域。例如,媒体指南应用可以从可用于显示补充内容的区域中过滤掉具有书架的区域。

媒体指南应用向投影仪206a、206b和206c发送用于在用户设备204附近的一个或多个区域的子集中显示的补充内容(诸如图像210a和210b)。媒体指南显示器可以将补充内容发送到用户设备204的区域中的任何显示设备,诸如另一个电视机屏幕、平板电脑或增强现实眼镜。在一些实施例中,媒体指南应用确定补充内容(诸如图像210a和210b)的多个部分。例如,补充内容可以是不同维度的单独图像(诸如从侧面示出树的图像210a和从下面示出云的图像210b)。在一些实施例中,媒体指南应用将补充内容的多个部分中的每个部分与一个或多个区域的子集中的一个区域匹配。例如,媒体指南应用可以将图像210a与侧壁并将图像210b与天花板上的区域匹配。在一些实施例中,媒体指南应用生成补充内容的多个部分中的每个部分用于在多个空间的子集中的对应一个空间上显示。例如,媒体指南应用可以在房间周围的对应区域上显示每个图像。

图3示出了根据本公开一些实施例的补充内容数据库的说明性示例,其示出了与情节信息链接的补充内容。用户设备302示出了媒体资产的帧,其包括游轮、棕榈树、波浪和云。一旦媒体指南应用在帧中识别出这些物体,媒体指南应用就在情节信息数据库中搜索与这些物体相关联的关键词。基于在用户设备302上显示的帧中识别出的物体,情节信息304包括关键词“荒岛”、“海洋”、“船舶”、“帆船”、“风暴”和“波浪”。媒体指南应用使用这个情节信息304来使用补充内容数据库308查找与这些关键词相关联的图像。补充内容数据库308包括图像310、312和314,其中情节信息316、318和320分别与每个图像相关联。基于将情节信息304与情节信息316、318和320进行比较,媒体指南应用挑选图像310、312和314中的哪一个是合适的补充内容以补充在用户设备302上显示的帧,

媒体指南应用在用户设备302上呈现媒体资产期间监测一个或多个帧。用户设备302可以是电视机、平板电脑、智能电话或显示媒体资产的任何其它用户设备102。例如,媒体指南应用可以在电影显示在电视机上时监测电影。媒体指南应用在呈现媒体资产期间选择指示该媒体资产中的新场景的帧。例如,媒体指南应用可以通过监测电影来选择开始电影的新场景的帧。在另一个示例中,电影或其它媒体资产可以具有指示每个新场景的标签并且,通过监测电影和场景标签,媒体指南应用可以选择已被标记为开始新场景的帧。

媒体指南应用识别在所选择的帧中表示的物体和位置中的至少一个。例如,媒体指南应用可以分析帧以确定帧中的物体。在一些实施例中,媒体指南应用识别所选择的帧中的关键特征。关键特征是描述帧的元素的信息并且可以描述具体的结构元素,诸如帧中存在的图像的边缘、拐角、点、线、脊或区域。例如,媒体指南应用可以使用边缘检测来分析帧并确定帧中一系列边缘的存在。媒体指南应用可以通过分析关键特征来确定在用户设备302上表示的物体包括在海洋中间的游轮和荒岛,

媒体指南应用确定与物体和位置中的至少一个相关联的情节信息304。例如,媒体指南应用可以基于场景中识别出的物体确定与情节相关联的关键词。在一些实施例中,媒体指南应用搜索情节信息数据库,以识别与物体和位置中的至少一个以及在所选择的帧中发生的动作相关联的情节信息。情节信息304可以包括描述所选择的帧的情节的关键词。例如,媒体指南应用可以考虑与物体和位置相关联的公共关键词和在所选择的帧中发生的动作,以便确定情节信息304包括“荒岛”、“海洋”、“船舶”、“航行”、“风暴”和“波浪”。

媒体指南应用基于情节信息304从补充内容数据库308识别伴随媒体资产的补充内容。例如,媒体指南应用可以基于将情节信息316、318和320与情节信息304进行比较来识别补充内容(诸如图像310、312和314)。补充内容可以是要在电视机附近的房间的墙壁上显示的具体背景图像(诸如图像310、312和314),或者基于被确定为可用的区域显示在区域周围的具有共同主题的图像的集合。补充内容可以包括视觉图像、声音、视频剪辑或其组合。补充内容可以包括直播活动的替代馈送。例如,如果情节信息304指示媒体资产是正在实时显示体育赛事,那么要显示的补充内容可以包括当体育赛事发生时对该体育赛事的现场球迷反应。

媒体指南应用在呈现媒体资产期间向投影设备发送用于在用户设备302附近显示的补充内容。例如,媒体指南应用可以发送补充内容(诸如图像310、312和314)。在一些实施例中,媒体指南应用向扬声器发送包括在补充内容中的声音的集合。例如,媒体指南应用也可以将波浪的声音发送到扬声器。

图4示出了根据本公开一些实施例的、可用于在用户设备附近显示补充内容的区域的说明性示例。当用户402正在观看用户设备404时,媒体指南应用正在监测区域406、408和410。可以基于可用的空间来确定每个区域。一些区域(诸如区域406)可以在该区域的中间具有项412。一旦基于在用户设备404上显示的帧识别出补充内容,媒体指南应用就可以确定项412是否可以用于显示补充内容。取决于识别出的补充内容,媒体指南应用可以确定项412可用于显示图像并在区域406上显示补充内容,使得其覆盖项412。诸如区域408之类的其它区域可以具有限制空间的尺寸或形状的结构项。区域414是区域408内排除了媒体指南应用已经确定不可以用于显示补充内容的门的区域。在这个示例中,媒体指南应用可以过滤掉包括门的区域408,并且替代地包括可能区域列表中的区域414以显示补充内容,只要非传统形状与为用户设备404上显示的帧识别出的补充内容一起工作即可。在诸如区域410之类的其它区域中,媒体指南应用可以将区域416识别为可用于显示补充内容,并且包括区域416而不是区域410作为可用于可能显示补充内容的区域之一。

媒体指南应用使用相机监测用户设备404附近的一个或多个区域(诸如区域406、408和410)。例如,媒体指南应用可以基于来自相机的相机反馈来分析用户设备404周围的房间,识别具有墙壁或可用于补充内容的其它表面的房间的部分(诸如区域406、408和410),并监测那些部分。

媒体指南应用基于监测来确定用户设备404附近的一个或多个区域(诸如区域406、408和410)中的每个区域的维度。例如,媒体指南应用可以基于房间的分析和监测来计算房间周围的墙壁和可用表面的维度、尺寸和朝向。在一些实施例中,媒体指南应用分析用户设备404附近的一个或多个区域(诸如区域406、408和410),以寻找适于显示补充内容的一个或多个部分。例如,媒体指南应用可以识别没有任何障碍物的墙壁(诸如区域414),并且基于墙壁部分是否可用于显示补充内容来分析墙壁。在一些实施例中,媒体指南应用基于分析选择适于显示补充内容的部分。例如,媒体指南应用可以选择未被遮挡因此可用于显示补充内容的墙壁区域。在一些实施例中,媒体指南应用确定指示所选择的部分的一个或多个区域的尺寸、形状和朝向的维度。例如,媒体指南应用可以选择天花板上可用于显示补充内容的区域并确定维度,包括空间的尺寸以及面向下的朝向和甜甜圈的形状,使得中央风扇或天花板灯不包括在所选择的区域中。

媒体指南应用检索与在用户设备404上呈现的媒体资产的场景相关联的补充内容。例如,媒体指南应用可以从补充内容数据库中检索与在用户设备404上播放的电影的场景相关联的补充内容。在一些实施例中,媒体指南应用识别场景中表示的物体和位置中的至少一个。在一些实施例中,媒体指南应用基于识别出的物体和位置中的至少一个来识别与场景相关联的情节信息。在一些实施例中,媒体指南应用在补充内容的数据库中搜索与和场景相关联的情节信息匹配的补充内容。

媒体指南应用识别补充内容的维度。例如,媒体指南应用可以基于与补充内容相关联的标签来确定补充内容的预期维度。在一些实施例中,媒体指南应用识别补充内容的尺寸、形状和朝向之一。例如,一些补充内容可以被定向为从下面看,诸如从下方看的云的图像。

媒体指南应用将补充内容的维度与一个或多个区域(诸如区域406、408和410)中的每个区域的维度进行比较。在一些实施例中,媒体指南应用将补充内容的维度与一个或多个区域中的每个区域的维度进行比较还包括将一个或多个区域中的每个区域的尺寸、形状和朝向之一与补充内容的尺寸、形状和朝向之一进行比较。例如,媒体指南应用可以将区域的形状与补充内容的形状或者将区域的朝向与补充内容的朝向进行比较。

媒体指南应用基于比较来过滤一个或多个区域的子集。例如,媒体指南应用可以过滤区域以识别可用于显示识别出的补充内容的区域。在一些实施例中,媒体指南应用识别与一个或多个区域中的一个区域相关联的物体。例如,媒体指南应用可以识别出区域410中存在书架。在一些实施例中,媒体指南应用将由相机识别出的物体与已知物体进行比较,以确定该物体是否可用于显示补充内容。例如,媒体指南应用可以识别出覆盖窗口的百叶窗,并且在搜索已知物体的数据库之后,确定覆盖窗口的百叶窗可以用于显示补充内容。在一些实施例中,媒体指南应用基于比较确定物体不可用于显示补充内容。例如,媒体指南应用可以搜索已知物体的数据库以确定补充内容不能显示在书架的顶部。在一些实施例中,媒体指南应用从一个或多个区域移除一个或多个区域中的所述一个区域。例如,媒体指南应用可以从可用于显示补充内容的区域中过滤掉具有书架的区域。在这个示例中,媒体指南应用可以过滤掉包括门的区域408,并且替代地包括在可能区域列表中的区域414以显示补充内容,只要非传统形状与为用户设备404上显示的帧识别出的补充内容一起工作即可。在诸如区域410之类的其它区域中,媒体指南应用可以将区域416识别为可用于显示补充内容,并且包括区域416而不是区域410作为可用于可能显示补充内容的区域之一。

媒体指南应用向投影仪发送用于在用户设备404附近的一个或多个区域(诸如区域406、414和416)的子集中显示的补充内容。媒体指南显示可以向用户设备404的区域中的任何显示设备(诸如另一个电视机屏幕、平板电脑或增强现实眼镜)发送补充内容。在一些实施例中,媒体指南应用确定补充内容的多个部分。例如,补充内容可以是不同维度的单独图像(诸如从侧面示出树的图像和从下面示出云的图像)。在一些实施例中,媒体指南应用将补充内容的多个部分中的每个部分与一个或多个区域的子集中的一个匹配。例如,媒体指南应用可以将一个图像与区域416匹配,并将另一个图像与区域414匹配。在一些实施例中,媒体指南应用生成补充内容的多个部分中的每个部分用于在多个空间的子集中的对应一个空间上显示。例如,媒体指南应用可以在房间周围的对应区域上显示每个图像。

在任何给定的内容交付系统中用户可用的内容量可以很大。因此,许多用户期望通过允许用户高效地导航内容选择并且容易地识别他们可能期望的内容的界面的媒体指南形式。提供这种指南的应用在本文中称为交互式媒体指南应用,或者有时称为媒体指南应用或指南应用。

交互式媒体指南应用可以取决于它们提供指南的内容而采取各种形式。一种典型的媒体指南应用类型是交互式电视节目指南。交互式电视节目指南(有时被称为电子节目指南)是众所周知的指南应用,除其它之外,尤其允许用户在多种类型的内容或媒体资产中导航和定位。交互式媒体指南应用可以生成图形用户界面屏幕,这使用户能够在内容之间导航、定位和选择。如本文所提到的,术语“媒体资产”和“内容”应当被理解为意指电子可消费的用户资产,诸如电视节目,以及按次计费节目、点播节目(如在点播视频(vod)系统中)、互联网内容(例如,流传输内容、可下载内容、网络广播(webcast)等)、视频剪辑、音频、内容信息、图片、旋转图像、文档、播放列表、网站、文章、书籍、电子书籍、博客、聊天会话、社交媒体、应用、游戏和/或任何其它媒体或多媒体和/或其组合。指南应用还允许用户在内容之间进行导航和定位。如本文所提到的,术语“多媒体”当应被理解为意指利用上述至少两种不同内容形式的内容,例如文本、音频、图像、视频或交互内容形式。内容可以被用户装备设备记录、播放、显示或访问,但也可以是实况表演的一部分。

用于执行本文讨论的任何实施例的媒体指南应用和/或任何指令可以在计算机可读介质上被编码。计算机可读介质包括能够存储数据的任何介质。计算机可读介质可以是暂态的,包括但不限于传播的电信号或电磁信号,或者可以是非暂态的,包括但不限于易失性和非易失性计算机存储器或存储设备,诸如硬盘、软盘、usb驱动器、dvd、cd、介质卡、寄存器存储器、处理器高速缓存、随机存取存储器(“ram”)等。

随着互联网、移动计算和高速无线网络的出现,用户在他们传统上不使用的用户装备设备上访问媒体。如本文所提到的,短语“用户装备设备”、“用户装备”、“用户设备”、“电子设备”、“电子装备”、“媒体装备设备”或“媒体设备”应当被理解为意指用于访问上述内容的任何设备,诸如电视机、智能tv、机顶盒、用于处理卫星电视的集成接收器解码器(ird)、数字存储设备、数字媒体接收器(dmr)、数字媒体适配器(dma)、流传输媒体设备、dvd播放器、dvd记录器、连接的dvd、本地媒体服务器、blu-ray播放器、blu-ray记录器、个人计算机(pc)、膝上型计算机、平板计算机、webtv盒、个人计算机电视(pc/tv)、pc媒体服务器、pc媒体中心、手持式计算机、固定电话、个人数字助理(pda)、移动电话、便携式视频播放器、便携式音乐播放器、便携式游戏机、智能手机或任何其它电视装备、计算装备或无线设备,和/或其组合。在一些实施例中,用户装备设备可以具有面向前方的屏幕和面向后方的屏幕、多个前方屏幕或多个有角度的屏幕。在一些实施例中,用户装备设备可以具有面向前方的摄像头和/或面向后方的摄像头。在这些用户装备设备上,用户可以能够在通过电视机可用的相同内容中进行导航和定位。因此,媒体指南也可以在这些设备上可用。所提供的指南可以仅用于通过电视机可用的内容,用于仅通过一个或多个其它类型的用户装备设备可用的内容,或用于通过电视机和一个或多个其它类型的用户装备设备二者可用的内容。媒体指南应用可以作为在线应用(即,在网站上提供)或作为独立应用或用户装备设备上的客户端来提供。下面将更详细地描述可以实现媒体指南应用的各种设备和平台。

媒体指南应用的功能之一是向用户提供媒体指南数据。如本文所提到的,短语“媒体指南数据”或“指南数据”应当被理解为意指与在操作指南应用中使用的内容或数据相关的任何数据。例如,指南数据可以包括节目信息、指南应用设置、用户偏好、用户简档信息、媒体列表、媒体相关信息(例如,广播时间、广播频道、标题、描述、评级信息(例如,父母控制评级、评论家的评级等)、流派或类别信息、演员信息、用于广播公司或提供商的徽标的徽标数据等)、媒体格式(例如,标准清晰度、高清晰度、3d等)、点播信息、博客、网站以及有助于用户在期望的内容选择中进行导航和定位的任何其它类型的指南数据。

图5-6示出了可以用于提供媒体指南数据的说明性显示屏。图5-6中所示的显示屏可以在任何合适的用户设备或平台上实现。虽然图5-6的显示被示为全屏显示,但是它们也可以全部或部分地覆盖在正被显示的内容上。用户可以通过选择在显示屏幕中提供的可选择选项(例如,菜单选项、列表选项、图标、超链接等)或者按下遥控器或其它用户输入接口或设备上的专用按钮(例如,guide按钮)来指示期望访问内容信息。响应于用户的指示,媒体指南应用可以向显示屏幕提供以若干方式之一组织的媒体指南数据,诸如在网格中按时间和频道、按时间、按频道、按来源、按内容类型、按类别(例如,电影、体育、新闻、儿童或其它节目类别)或其它预定义的、用户定义的或其它组织标准。

图5示出了按照时间和频道布置的节目列表显示500的说明性网格,其也使得能够访问单个显示中的不同类型的内容。显示500可以包括网格502,其具有:(1)频道/内容类型标识符504的列,其中每个频道/内容类型标识符(其是列中的单元格)识别可用的不同频道或内容类型;和(2)时间标识符506的行,其中每个时间标识符(其是行中的单元格)识别编程的时间块。网格502还包括节目列表的单元格,诸如节目列表508,其中每个列表提供在列表的相关联频道和时间上提供的节目的标题。利用用户输入设备,用户可以通过移动高亮区域510来选择节目列表。可以在节目信息区域512中提供与由高亮区域510选择的节目列表有关的信息。区域512可以包括例如节目标题、节目描述、节目被提供的时间(如果适用的话)、节目所在的频道(如果适用的话)、节目的评级以及其它期望的信息。

除了提供对线性节目的访问(例如,被安排在预定时间发送到多个用户装备设备并且根据时间表提供的内容),媒体指南应用还提供对非线性节目的访问(例如,在任何时间用户装备设备可访问和不按照时间表提供的内容)。非线性节目可以包括来自不同内容源的内容,包括点播内容(例如vod)、互联网内容(例如,流传输媒体、可下载的媒体等)、本地存储的内容(例如,存储在如上所述的任何用户装备设备或其它存储设备上的内容)或其它与时间无关的内容。点播内容可以包括电影或由特定内容提供商提供的任何其它内容(例如,提供“thesopranos”和“curbyourenthusiasm”的hboondemand)。hboondemand是时代华纳(timewarner)公司l.p.等人拥有的服务标志,并且sopranos和curbyourenthusiasm是由homeboxoffice公司拥有的商标。互联网内容可以包括web事件(诸如聊天会话或网络广播),或者可通过互联网网站点播或其它互联网访问(例如,ftp)作为流传输内容或可下载内容按需可用的内容。

网格502可以提供用于非线性节目的媒体指南数据,包括点播列表514、记录的内容列表516和互联网内容列表518。有时组合来自不同类型的内容源的内容的媒体指南数据的显示被称为“混合媒体”显示。可以被显示的、与显示500不同的媒体指南数据的类型的各种变换(permutations)可以基于用户选择或指南应用定义(例如,仅记录和广播的列表、仅点播和广播的列表等的显示)。如图所示,列表514、516和518被示为跨越网格502中显示的整个时间块,以指示这些列表的选择可以分别提供对专用于点播列表、记录的列表或互联网列表的显示的访问。在一些实施例中,可以将用于这些内容类型的列表直接包括在网格502中。附加的媒体指南数据可以响应于用户选择导航图标520之一而被显示。(按下用户输入设备上的箭头键可以以与选择导航图标520类似的方式影响显示。)

显示500还可以包括视频区域522和选项区域526。视频区域522可以允许用户收看和/或预览用户当前可用、将可用或曾经可用的节目。视频区域522的内容可以与网格502中显示的列表之一对应或者独立于其。包括视频区域的网格显示有时被称为画中画(pig)显示。在2003年5月13日授予satterfield等人的美国专利no.6,564,378和2001年5月29日授予yuen等人的美国专利no.6,239,794中更详细地描述了pig显示及其功能,这两个专利的全部内容整体上通过引用并入本文。pig显示可以包括在本文描述的实施例的其它媒体指南应用显示屏幕中。

选项区域526可以允许用户访问不同类型的内容、媒体指南应用显示和/或媒体指南应用特征。选项区域526可以是显示500(以及本文描述的其它显示屏幕)的部分,或者可以由用户通过选择屏幕上的选项或按下用户输入设备上的专用或可指派按钮来调用。选项区域526内的可选择选项可以涉及与网格502中的节目列表相关的特征,或者可以包括从主菜单显示中可用的选项。与节目列表相关的特征可以包括搜索其它的播放时间(airtimes)或者接收节目、记录节目、启用节目的系列记录、将节目和/或频道设置为喜爱、购买节目或其它特征的方式。从主菜单显示中可用的选项可以包括搜索选项、vod选项、父母控制选项、互联网选项、基于云的选项、设备同步选项、第二屏幕设备选项、访问各种类型的媒体指南数据显示的选项、订阅高级服务的选项、编辑用户的简档的选项、访问浏览覆盖层的选项或其它选项。

媒体指南应用可以基于用户的偏好被个性化。个性化的媒体指南应用允许用户定制显示和特征,以创建利用媒体指南应用的个性化“体验”。这种个性化体验可以通过允许用户输入这些定制和/或通过媒体指南应用监测用户活动以确定各种用户偏好来创建。用户可以通过登录或以其其它方式向指南应用识别他们自己来访问其个性化指南应用。媒体指南应用的定制可以根据用户简档进行。定制可以包括不同的呈现方案(例如,显示器的颜色方案、文本的字体大小等)、所显示的内容列表的各个方面(例如,仅hdtv或仅3d节目、基于最喜爱的频道选择的用户指定的广播频道、重新排序频道的显示、推荐的内容等)、期望的记录特征(例如,针对特定用户的记录或系列记录、记录质量等)、父母控制设置、互联网内容的定制呈现(例如,社交媒体内容、电子邮件、电子交付的文章等的呈现)以及其它期望的定制。

媒体指南应用可以允许用户提供用户简档信息,或者可以自动编译用户简档信息。媒体指南应用可以例如监测用户访问的内容和/或用户可能与指南应用的其它交互。此外,媒体指南应用可以获得与特定用户相关的其它用户简档的全部或部分(例如,从互联网上用户访问的其它网站(诸如www.allrovi.com)、从用户访问的其它媒体指南应用、从用户访问的其它交互式应用、从用户的另一个用户装备设备等),和/或从媒体指南应用可以访问的其它源获得关于用户的信息。因此,可以在用户的不同用户装备设备上为用户提供统一的指南应用体验。下面结合图8更详细地描述这种类型的用户体验。在ellis等人于2005年7月11日提交的美国专利申请公开no.2005/0251827、于2007年1月16日授予boyer等人的美国专利no.7,165,098以及ellis等人于2002年2月21日提交的美国专利申请公开no.2002/0174430中更详细地描述了附加的个性化媒体指南应用特征,这些通过引用整体上并入本文。

用于提供媒体指南的另一种显示布置在图6中示出。视频马赛克显示600包括用于基于内容类型、流派和/或其它组织标准组织的内容信息的可选选项602。在显示600中,列表可以提供包括封面艺术的图形图像、来自内容的静止图像、视频剪辑预览、来自内容的实况视频或向用户指示内容由列表中的媒体指南数据描述的其它类型的内容。每个图形列表还可以附带有文本,以提供关于与列表相关联的内容的进一步信息。例如,列表608可以包括多于一个部分,包括媒体部分614和文本部分616。媒体部分614和/或文本部分616可以是可选择的,以全屏收看内容或者收看与媒体部分614中显示的内容(例如,收看用于显示视频的频道的列表)。

显示600中的列表具有不同的尺寸(即,列表606大于列表608、610和612),但是如果期望的话,那么所有列表可以是相同的尺寸。列表可以具有不同的尺寸或以图形方式加强,以指示用户感兴趣的程度或者强调某些内容,如内容提供者所期望的或者基于用户偏好。在例如2009年11月12日提交的yates的美国专利申请公开no.2010/0153885中讨论了用于以图形方式加强内容列表的各种系统和方法,其通过引用整体上并入本文。

用户可以从其一个或多个用户装备设备访问内容和媒体指南应用(及其上面和下面描述的显示屏幕)。图7示出了说明性用户装备设备700的一般化实施例。下面结合图8讨论用户装备设备的更具体的实现。用户装备设备700可以经由输入/输出(以下称为“i/o”)路径702接收内容和数据。i/o路径702可以向控制电路系统704提供内容(例如,广播节目、点播节目、互联网内容、局域网(lan)或广域网(wan)上可用的内容,和/或其它内容)和数据,控制电路系统704包括处理电路系统706和存储器708。控制电路系统704可以被用来使用i/o路径702发送和接收命令、请求和其它合适的数据。i/o路径702可以将控制电路系统704(具体而言是处理电路系统706)连接到一个或多个通信路径(下面描述)。i/o功能可以由这些通信路径中的一个或多个提供,但是在图7中被示为单个路径,以避免使图过于复杂。

控制电路系统704可以基于任何合适的处理电路系统,诸如处理电路系统706。如本文所提到的,处理电路系统应当被理解为意指基于一个或多个微处理器、微控制器、数字信号处理器、可编程逻辑设备、现场可编程门阵列(fpga)、专用集成电路(asic)等的电路系统,并且可以包括多核处理器(例如,双核、四核、六核或任何合适数量的核)或超级计算机。在一些实施例中,处理电路系统可以分布在多个单独的处理器或处理单元上,例如多个相同类型的处理单元(例如,两个intelcorei7处理器)或多个不同的处理器(例如,intelcorei5处理器和intelcorei7处理器)。在一些实施例中,控制电路系统507执行存储在存储器(即,存储装置708)中的、用于媒体指南应用的指令。具体而言,控制电路系统704可以由媒体指南应用指示,以执行上面和下面讨论的功能。例如,媒体指南应用可以向控制电路系统704提供指令,以生成媒体指南显示。在一些实施例中,由控制电路系统704执行的任何动作可以基于从媒体指南应用接收的指令。

在基于客户端-服务器的实施例中,控制电路系统704可以包括适于与指南应用服务器或其它网络或服务器进行通信的通信电路系统。用于执行上述功能的指令可以存储在指南应用服务器上。通信电路系统可以包括用于与其它装备通信的电缆调制解调器、综合业务数字网络(isdn)调制解调器、数字订户线路(dsl)调制解调器、电话调制解调器、以太网卡或无线调制解调器,或者任何其它合适的通信电路系统。这种通信可以涉及互联网或任何其它合适的通信网络或路径(结合图8更详细地描述)。此外,通信电路系统可以包括使得能够实现用户装备设备的对等通信或者在彼此远离的位置的用户装备设备的通信的电路系统(下面更详细地描述)。

存储器可以是作为存储装置708提供的电子存储设备,存储装置708是控制电路系统704的一部分。如本文所提到的,短语“电子存储设备”或“存储设备”应当被理解为意指用于存储电子数据、计算机软件或固件的任何设备,诸如随机存取存储器、只读存储器、硬盘驱动器、光盘驱动器、数字视频光盘(dvd)记录器、光盘(cd)记录器、blu-ray盘(bd)记录器、blu-ray3d盘片记录器、数字视频记录器(dvr,有时称为个人录像机或pvr)、固态设备、量子存储设备、游戏控制台、游戏介质或任何其它合适的固定或可移动存储设备,和/或其任意组合。存储装置708可以被用来存储本文描述的各种类型的内容以及上述的媒体指南数据。非易失性存储器也可以被使用(例如,启动指南程序和其它指令)。关于图8描述的基于云的存储装置可以被用来补充存储装置708或代替存储装置708。

控制电路系统704可以包括视频生成电路系统和调谐电路系统,诸如一个或多个模拟调谐器、一个或多个mpeg-2解码器或其它数字解码电路系统、高清晰度调谐器或者任何其它合适的调谐或视频电路,或者这种电路的组合。还可以提供编码电路系统(例如,用于将无线(over-the-air)、模拟或数字信号转换成mpeg信号以供存储)。控制电路系统704还可以包括用于将内容上变频和下变频成用户装备700的优选输出格式的缩放器电路系统。电路系统704还可以包括用于在数字和模拟信号之间转换的数模转换器电路系统和模数转换器电路系统。调谐和编码电路系统可以被用户装备设备用来接收和显示、播放或记录内容。调谐和编码电路系统也可以被用来接收指南数据。本文描述的电路系统,包括例如调谐、视频生成、编码、解码、加密、解密、缩放器和模拟/数字电路系统,可以使用在一个或多个通用或专用处理器上运行的软件来实现。可以提供多个调谐器来处理同时调谐功能(例如,观看和记录功能、画中画(pip)功能、多调谐器记录等)。如果存储装置708被提供为与用户装备500分开的设备,那么调谐和编码电路系统(包括多个调谐器)可以与存储装置708相关联。

用户可以使用用户输入接口710向控制电路系统704发送指令。用户输入接口710可以是任何合适的用户接口,诸如遥控器、鼠标、轨迹球、小键盘、键盘、触摸屏、触摸板、触笔输入、游戏杆、语音识别接口或其它用户输入接口。显示器712可以被提供为独立的设备或与用户装备设备700的其它元件集成。例如,显示器712可以是触摸屏或触敏显示器。在这种情况下,用户输入接口710可以与显示器712集成或者与显示器712结合。显示器712可以是监测器、电视机、用于移动设备的液晶显示器(lcd)、非晶硅显示器、低温多晶硅显示器、电子墨水显示器、电泳显示器、有源矩阵显示器、电润湿显示器、电流体显示器、阴极射线管显示器、发光二极管显示器、电致发光显示器、等离子体显示器、高性能寻址显示器、薄膜晶体管显示器、有机发光二极管显示器、表面传导电子发射显示器(sed)、激光电视、碳纳米管、量子点显示器、干涉式调制器显示器或用于显示视觉图像的任何其它合适的设备。在一些实施例中,显示器712可以是具有hdtv能力的。在一些实施例中,显示器712可以是3d显示器,并且交互式媒体指南应用和任何合适的内容可以以3d显示。视频卡或图形卡可以将输出生成到显示器712。视频卡可以提供各种功能,诸如3d场景和2d图形的加速渲染、mpeg-2/mpeg-4解码、tv输出或连接多个显示器的能力。视频卡可以是以上关于控制电路系统504描述的任何处理电路系统。视频卡可以与控制电路系统704集成。扬声器714可以被提供为与用户装备设备700的其它元件集成,或者可以是独立的单元。显示器712上显示的视频和其它内容的音频成分量可以通过扬声器714播放。在一些实施例中,音频可以分发给接收器(未示出),其经由扬声器714处理和输出音频,

指南应用可以使用任何合适的体系架构来实现。例如,它可以是完全在用户装备设备700上实现的独立应用。在这种做法中,应用的指令被本地存储(例如,存储在存储装置708中),并且由应用使用的数据定期下载(例如,从带外馈送、从互联网资源,或使用其它合适的做法)。控制电路系统704可以从存储装置708检索应用的指令,并处理指令,以生成本文所讨论的任何显示。基于经处理的指令,控制电路系统704可以确定在从输入接口710接收到输入时要执行什么动作。例如,当输入接口710指示向上/向下按钮被选择时,可以通过将处理的指令来指示显示器上光标向上/向下的移动。

在一些实施例中,媒体指南应用是基于客户端-服务器的应用。通过向远离用户装备设备700的服务器发出请求,按需检索用于由用户装备设备700上实现的胖或瘦客户端使用的数据。在基于客户端-服务器的指南应用的一个示例中,控制电路系统704运行解释由远程服务器提供的网页的web浏览器。例如,远程服务器可以将用于应用的指令存储在存储设备中。远程服务器可以使用电路系统(例如,控制电路系统704)来处理所存储的指令,并生成上面和下面讨论的显示。客户端设备可以接收由远程服务器生成的显示,并且可以在装备设备700上本地显示显示的内容。以这种方式,由服务器远程地执行指令的处理,同时在装备设备700上本地提供结果显示。装备设备700可以经由输入接口710接收来自用户的输入,并且将那些输入发送到远程服务器进行处理并生成对应的显示。例如,装备设备700可以向远程服务器发送指示经由输入接口710选择了向上/向下按钮的讯息。远程服务器可以根据那个输入来处理指令,并生成与该输入对应的应用的显示(例如,向上/向下移动光标的显示)。所生成的显示然后被发送到装备设备700以供呈现给用户。

在一些实施例中,媒体指南应用被下载并由(由控制电路系统704运行的)解释器或虚拟机解释或以其它方式运行。在一些实施例中,指南应用可以以etv二进制交换格式(ebif)编码,由控制电路系统704作为合适的馈送的部分接收,并由在控制电路系统704上运行的用户代理解释。例如,指南应用可以是ebif应用。在一些实施例中,可以由一系列基于java的文件来定义指南应用,这些基于java的文件是由本地虚拟机或由控制电路系统704执行的其它合适的中间件接收并运行的。在一些此类的实施例中(例如,采用mpeg-2或其它数字媒体编码方案的实施例),可以例如在具有节目的mpeg音频和视频分组的mpeg-2对象轮播中编码和发送指南应用。

图7的用户装备设备700可以在图8的系统800中实现,作为用户电视装备802、用户计算机装备804、无线用户通信设备806或适于访问内容的任何其它类型的用户装备(诸如非便携式游戏机)。为了简单起见,这些设备在本文可以被统称为用户装备或用户装备设备,并且可以基本上类似于上述的用户装备设备。在其上可以实现媒体指南应用的用户装备设备可以用作独立设备或者可以是设备的网络的一部分。设备的各种网络配置可以被实现并且在下面被更详细地讨论。

利用上面结合图7描述的系统特征中的至少一些的用户装备设备可能不仅仅被分类为用户电视装备802、用户计算机装备804或无线用户通信设备806。例如,用户电视装备802可以像一些用户计算机装备804一样启用互联网,以允许访问互联网内容,而用户计算机装备804可以像一些电视装备802一样包括调谐器,以允许访问电视节目。媒体指南应用可以在各种不同类型的用户装备上具有相同的布局,或者可以针对用户装备的显示能力而被裁剪。例如,在用户计算机装备804上,指南应用可以被提供为由web浏览器访问的网站。在另一个示例中,可以针对无线用户通信设备806缩小指南应用。

在系统800中,通常每种类型的用户装备设备存在多于一个,但是在图8中仅示出了每种类型中的一个,以避免使图过于复杂。此外,每个用户可以利用多于一种类型的用户装备设备以及每种类型的用户装备设备中的多于一个。

在一些实施例中,用户装备设备(例如,用户电视装备802、用户计算机装备804、无线用户通信设备806)可以被称为“第二屏幕设备”。例如,第二屏幕设备可以补充在第一用户装备设备上呈现的内容。在第二屏幕设备上呈现的内容可以是补充在第一设备上呈现的内容的任何合适的内容。在一些实施例中,第二屏幕设备提供用于调整第一设备的设置和显示偏好的界面。在一些实施例中,第二屏幕设备被配置用于与其它第二屏幕设备交互或用于与社交网络交互。第二屏幕设备可以位于与第一设备相同的房间中、与第一设备不同的房间但在同一个房屋或建筑物中,或者与第一设备不同的建筑物中。

用户还可以设置各种设置,以在家用式设备和远程设备之间维持一致的媒体指南应用设置。设置包括本文描述的那些设置,以及指南应用用来做出节目推荐、显示偏好和其它期望的指南设置的频道和节目收藏、编程偏好。例如,如果用户将例如网站www.allrovi.com上的频道设置为其办公室的个人计算机上的收藏,那么相同的频道将在用户的家用式设备(例如,用户电视装备和用户计算机装备)以及用户的移动设备上出现为收藏。因此,在一个用户装备设备上进行的改变可以改变另一个用户装备设备上的指南体验,而不管它们是相同类型还是不同类型的用户装备设备。此外,所做的改变可以基于用户输入的设置以及由指南应用监测的用户活动。

用户装备设备可以耦合到通信网络814。即,用户电视装备802、用户计算机装备804和无线用户通信设备806分别经由通信路径808、810和812耦合到通信网络814。通信网络814可以是一个或多个网络,包括互联网、移动电话网络、移动语音或数据网络(例如,4g或lte网络)、有线网络、公共交换电话网络或其它类型的通信网络,或者通信网络的组合。路径808、810和812可以单独地或一起包括一条或多条通信路径,诸如卫星路径、光纤路径、电缆路径、支持互联网通信(例如,iptv)的路径、自由空间连接(例如,用于广播或其它无线信号)或任何其它合适的有线或无线通信路径或这种路径的组合。路径812用点线画出,以指示在图8所示的示例性实施例中它是无线路径,并且路径808和810被绘制为实线,以指示它们是有线路径(但是,如果期望,那么这些路径可以是无线路径)。与用户装备设备的通信可以由这些通信路径中的一个或多个提供,但是在图8中被示为单个路径,以避免使图过于复杂。

虽然在用户装备设备之间没有画出通信路径,但是这些设备可以经由通信路径(诸如上面结合路径808、810和812描述的那些)以及其它短距离点到点通信路径(诸如usb电缆、ieee1394电缆、无线路径(例如,蓝牙、红外线、ieee802-11x等))或者经由有线或无线路径的其它短距离通信彼此直接通信。蓝牙是bluetoothsig公司拥有的认证标志。用户装备设备也可以通过经由通信网络814的间接路径彼此直接通信。

系统800包括分别经由通信路径820和822耦合到通信网络814的内容源816和媒体指南数据源818。路径820和822可以包括上面结合路径808、810和812描述的任何通信路径。与内容源816和媒体指南数据源818的通信可以通过一条或多条通信路径交换,但是在图8中被示为单条路径,以避免使绘图过于复杂。此外,内容源816和媒体指南数据源818中的每一个可以不止一个,但是图8中仅示出了每个中的一个,以避免使绘图过于复杂。(以下讨论这些源中的每一个的不同类型。)如果期望,那么可以将内容源816和媒体指南数据源818集成为一个源设备。虽然源816和818与用户装备设备802、804和806之间的通信被示为通过通信网络814,但是在一些实施例中,源816和818可以经由通信路径(未示出)(诸如上面结合路径808、810和812描述的那些)直接与用户装备设备802、804和806通信。

内容源816可以包括一种或多种类型的内容分发装备,包括电视分发设施、有线系统头端、卫星分发设施、节目源(例如,电视广播公司,诸如nbc、abc、hbo等)、中间分发设施和/或服务器、互联网提供商、点播媒体服务器及其它内容提供商。nbc是国家广播公司拥有的商标,abc是美国广播公司拥有的商标,而hbo是homeboxoffice公司拥有的商标。内容源616可以是内容的发起者(例如,电视广播公司、网络广播提供商等),或者可以不是内容的发起者(例如,点播内容提供商,用于下载的广播节目的内容的互联网提供商等)。内容源816可以包括有线源(cablesource)、卫星提供商、点播提供商、互联网提供商、越顶内容提供商或其它内容提供者。内容源816还可以包括用来在远离任何用户装备设备的位置存储不同类型的内容(包括用户选择的视频内容)的远程媒体服务器。用于内容的远程存储以及向用户装备提供远程存储的内容的系统和方法结合2010年7月20日授予ellis等人的美国专利no.7,761,892更详细地讨论,该专利整体上通过引用并入本文。

媒体指南数据源818可以提供媒体指南数据,诸如上述的媒体指南数据。媒体指南数据可以使用任何合适的方法提供给用户装备设备。在一些实施例中,指南应用可以是经由数据馈送(例如,连续馈送或涓流(trickle)馈送)接收节目指南数据的独立交互式电视节目指南。可以使用带内数字信号、使用带外数字信号或通过任何其它合适的数据传输技术在在电视频道边带上向用户装备提供节目安排数据和其它指南数据。可以在多个模拟或数字电视频道上向用户装备提供节目安排数据和其它媒体指南数据。

在一些实施例中,可以使用客户端-服务器方法将来自媒体指南数据源818的指南数据提供给用户的装备。例如,用户装备设备可以从服务器拉取媒体指南数据,或者服务器可以将媒体指南数据推送到用户装备设备。在一些实施例中,驻留在用户装备上的指南应用客户端可以发起与源818的会话,以在需要时获得指南数据,例如,当指南数据过期时或者当用户装备设备从用户接收到接收数据的请求时。可以以任何适当的频率(例如,连续地、每天、用户指定的时间段、系统指定的时间段、响应于来自用户装备的请求等)向用户装备提供媒体指南。媒体指南数据源818可以向用户装备设备802、804和806提供媒体指南应用本身或者针对媒体指南应用的软件更新。

在一些实施例中,媒体指南数据可以包括观看者数据。例如,观看者数据可以包括当前和/或历史用户活动信息(例如,用户通常观看什么内容、用户在什么时间观看内容,用户是否与社交网络交互、用户在什么时间与社交网络交互以发布信息、用户通常观看什么类型的内容(例如,付费电视或免费电视)、心情、大脑活动信息等)。媒体指南数据还可以包括订阅数据。例如,订阅数据可以识别给定用户订阅哪些源或服务和/或给定用户先前订阅但后来终止访问了哪些源或服务(例如,用户已经订阅了高级服务、用户是否提高了互联网速度)。在一些实施例中,观看者数据和/或订阅数据可以识别给定用户对于超过一年的时间段的模式。媒体指南数据可以包括用于生成指示给定用户将终止对服务/源的访问的可能性的得分的模型(例如,幸存者模型)。例如,媒体指南应用可以使用该模型处理具有订阅数据的观看者数据,以生成指示给定用户是否将终止对特定服务或源的访问的可能性的值或得分。特别地,越高的得分可以指示用户将终止对特定服务或源的访问的越高的置信度。基于得分,媒体指南应用可以生成诱使用户保持通过得分被指示为用户可能终止对其的访问的特定服务或源的促销。

媒体指南应用可以是例如在用户装备设备上实现的独立应用。例如,媒体指南应用可以被实现为可以存储在存储器708中并由用户装备设备700的控制电路系统704执行的软件或可执行指令集。在一些实施例中,媒体指南应用可以是客户端-服务器应用,其中仅客户端应用驻留在用户装备设备上,而服务器应用驻留于远程服务器上。例如,媒体指南应用可以部分地被实现为用户装备设备700的控制电路系统704上的客户端应用,并且部分地作为服务器应用(例如,媒体指南数据源818)在远程服务器的控制电路系统上运行。的远程服务器上的。当由远程服务器的控制电路系统执行时(诸如媒体指南数据源818),媒体指南应用程序可以指示控制电路系统生成指南应用显示,并将生成的显示发送到用户装备设备。服务器应用可以指示媒体指南数据源818的控制电路系统发送要存储在用户装备上的数据。客户端应用可以指示接收用户装备的控制电路系统生成指南应用显示。

交付到用户装备设备802、804和806的内容和/或媒体指南数据可以是越顶内容。除了经有线或卫星连接接收的内容,ott内容交付还允许启用互联网的用户设备(包括上述任何用户装备设备)接收经互联网传送的内容(包括上述任何内容)。ott内容经由由互联网服务提供商(isp)提供的互联网连接交付,但第三方分发内容。isp可以不负责查看能力、版权或内容的再分发,并且可以仅传送由ott内容提供商提供的ip分组。ott内容提供商的示例包括经由ip分组提供音频和视频的youtube、netflix和hulu。youtube是google公司拥有的商标,netflix是netflix公司拥有的商标,hulu是hulu公司拥有的商标。ott内容提供商可以附加地或可替代地提供上述媒体指南数据。除了内容和/或媒体指南数据,ott内容的提供商可以分发媒体指南应用(例如,基于web的应用或基于云的应用),或者可以通过存储在用户装备设备上的媒体指南应用来显示内容。

媒体指南系统800旨在说明多个方法或网络配置,用户装备设备和内容源和指南数据可以为了访问内容和提供媒体指南而通过其彼此通信。本文所述的实施例可以在这些方法中的任何一个或子集中应用,或者在采用用于交付内容并提供媒体指南的其它方法的系统中应用。以下四种方法提供了图8的一般化示例的具体说明。

在一种方法中,用户装备设备可以在家庭网络内彼此通信。用户装备设备可以经由上述短程点到点通信方案、经由通过在家庭网络上提供的集线器或其它类似设备的间接路径或者经由通信网络814直接彼此通信。单个家庭中的多个个人中的每一个人可以操作在家庭网络上的不同用户装备设备。因此,可能期望在不同的用户装备设备之间传送各种媒体指南信息或设置。例如,如在2005年7月11日ellis等人提交的美国专利公开no.2005/0251827中更详细描述的,用户可能期望在家庭网络内的不同用户装备设备上维持一致的媒体指南应用设置。家庭网络中的不同类型的用户装备设备也可以彼此通信,以发送内容。例如,用户可以将内容从用户计算机装备发送到便携式视频播放器或便携式音乐播放器。

在第二种方法中,用户可以具有多种类型的用户装备,他们通过这些用户装备访问内容并获得媒体指南。例如,一些用户可以具有由家用式和移动设备访问的家庭网络。用户可以通过在远程设备上实现的媒体指南应用来控制家用式设备。例如,用户可以经由他们办公室的个人计算机或移动设备(诸如pda或启用web的移动电话)访问网站上的在线媒体指南应用。用户可以在在线指南应用上设置各种设置(例如,记录、提醒或其它设置)来控制用户的家用式设备。在线指南可以直接控制用户的装备,或者通过与用户的家用式设备上的媒体指南应用通信。例如,ellis等人在2011年10月25日授予的美国专利no.8,046,801中讨论了用于用户装备设备通信的各种系统和方法,其中用户装备设备处于彼此远离的位置,该专利整体上通过引用并入本文。

在第三种方法中,在家内部和外部的用户装备设备的用户可以使用他们的媒体指南应用来直接与内容源816通信,以访问内容。具体而言,在家里,用户电视装备802和用户计算机装备804的用户可以访问媒体指南应用,以在期望的内容之间导航并定位。用户还可以使用无线用户通信设备806在家外面访问媒体指南应用,以在期望的内容之间导航并定位。

在第四种方法中,用户装备设备可以在云计算环境中操作,以访问云服务。在云计算环境中,用于内容共享、存储或分发的各种类型的计算服务(例如,视频共享站点或社交网站)由被称为“云”的网络可访问的计算和存储资源的集合提供。例如,云可以包括服务器计算设备的集合,其可以位于集中或分布的位置,其通过通信网络814向经由网络(诸如互联网)连接的各种类型的用户和设备提供基于云的服务。这些云资源可以包括一个或多个内容源816和一个或多个媒体指南数据源818。此外或在替代方案中,远程计算站点可以包括其它用户装备设备,诸如用户电视装备802、用户计算机装备804和无线用户通信设备806。例如,其它用户装备设备可以提供对存储的视频副本或流传输视频的访问。在这种实施例中,用户装备设备可以以对等方式操作,而不与中央服务器通信。

除了其它示例,对于用户装备设备,云还提供对服务(诸如内容存储、内容共享或社交联网服务)的访问,以及对上述任何内容的访问。可以通过云计算服务提供商或通过其它在线服务的提供商在云中提供。例如,基于云的服务可以包括内容存储服务、内容共享站点、社交联网站点、或者用户来源的内容经由其分发以供所连接的设备上的其他人收看的其它服务。这些基于云的服务可以允许用户装备设备将内容存储到云并且从云接收内容,而不是在本地存储内容并访问本地存储的内容。

用户可以使用各种内容捕获设备(诸如摄像机、具有视频模式的数码相机、音频记录器、移动电话和手持式计算设备)来记录内容。用户可以直接地(例如,从用户计算机装备804或具有会话捕获特征的无线用户通信设备806)将内容上载到云上的内容存储服务。可替代地,用户可以首先将内容传送到用户装备设备(诸如用户计算机装备804)。存储内容的用户装备设备使用通信网络814上的数据传输服务将内容上传到云。在一些实施例中,用户装备设备本身是云资源,并且其它用户装备设备可以直接从用户在其上存储内容的用户装备设备访问内容。

云资源可以由用户装备设备使用例如web浏览器、媒体指南应用、桌面应用、移动应用和/或其访问应用的任意组合来访问。用户装备设备可以是依赖云计算进行应用交付的云客户端,或者用户装备设备可以具有某些功能而无需访问云资源。例如,在用户装备设备上运行的一些应用可以是云应用,即,作为服务经互联网交付的应用,而其它应用可以在用户装备设备上存储和运行。在一些实施例中,用户设备可以同时从多个云资源接收内容。例如,用户设备可以从一个云资源流传输音频,同时从第二个云资源下载内容。或者用户设备可以从多个云资源下载内容,以便更高效的下载。在一些实施例中,用户装备设备可以使用云资源来处理操作,诸如由关于图5描述的处理电路系统执行的处理操作。

如本文所提到的,术语“响应于...”是指由于...而被发起。例如,响应于第二动作而执行第一动作可以包括第一动作和第二动作之间的插入式步骤。如本文所提到的,术语“直接响应于...”是指由...造成的。例如,响应于第二动作而直接执行第一动作可以不包括第一动作和第二动作之间的插入式步骤。

图9是根据本公开一些实施例的、在用户设备上呈现媒体资产期间选择用于在用户设备附近显示的补充内容所涉及的说明性步骤的流程图。图9给出了根据本公开一些实施例的、用于识别模糊项的含义的控制电路系统(例如,控制电路系统704)的处理。在一些实施例中,这个算法可以被编码到非瞬态存储介质(例如,存储设备708)上,作为要由处理电路系统(例如,处理电路系统706)解码和执行的指令集。处理电路系统进而可以向诸如调谐、视频生成、编码、解码、加密、解密、缩放、模拟/数字转换电路系统等的包含在控制电路系统704内的其它子电路提供指令。

在902处,控制电路系统704在用户设备上呈现媒体资产期间监测一个或多个帧。用户设备可以是电视机、平板电脑、智能电话或显示媒体资产的任何其它用户设备。例如,控制电路系统704可以在电影在电视机上显示时监测电影。处理900前进到904。

在904处,控制电路系统704在媒体资产的呈现期间选择指示媒体资产中的新场景的帧。例如,控制电路系统704可以通过监测电影来选择开始电影的新场景的帧。在另一个示例中,电影或其它媒体资产可以具有指示每个新场景的标签,并且通过监测电影和场景标签,控制电路系统704可以选择已被标记为开始新场景的帧。处理900前进到906。

在906处,控制电路系统704识别在所选择的帧中表示的物体和位置中的至少一个。例如,控制电路系统704可以分析帧,以确定帧中的物体。在一些实施例中,控制电路系统704识别所选择的帧中的关键特征。关键特征是描述帧的元素的信息,并且可以描述帧中存在的图像的具体结构元素(诸如边缘、角落、点、线、脊或区域)。例如,控制电路系统704可以使用边缘检测来分析帧,并确定帧中存在一系列边缘。在一些实施例中,控制电路系统704将识别出的关键特征与物体数据库进行比较。例如,控制电路系统704可以访问包括与诸如边缘之类的关键特征相关联的物体的数据库,并且将在帧中找到的边缘与和物体数据库中的每个物体相关联的边缘进行比较。在一些实施例中,控制电路系统704基于比较识别所选择的帧中的物体。例如,基于比较,控制电路系统704可以确定在帧中找到的一些边缘与树相关联。在另一个示例中,控制电路系统704可以确定在帧中找到的一些边缘与鸟相关联。

在一些实施例中,控制电路系统704基于所选择的帧中的物体搜索动作数据库。例如,控制电路系统704可以搜索将物体与动作相关联的动作数据库,从而搜索与鸟相关联的任何动作。在一些实施例中,控制电路系统704识别在所选择的帧中发生的与物体相关联的动作。例如,基于动作数据库,控制电路系统704可以识别出帧中所示的朝向上的鸟与飞行动作相关联,而不是栖息在树枝上。在另一个示例中,控制电路系统704可以基于识别帧中的船来识别航行动作。

在一些实施例中,控制电路系统704在位置数据库中搜索与物体相关联的位置。例如,媒体指南应用可以在位置数据库中搜索与树相关联的位置。在一些实施例中,控制电路系统704基于与物体相关联的位置识别所选择的帧中的位置。例如,控制电路系统704可以基于孤独棕榈树的存在来确定与该帧相关联的位置是热带气候中的一般外部场景。

在一些实施例中,控制电路系统704将所选择的帧的关键特征与包括对位置的表示的分析的位置数据库进行比较。关键特征是描述帧元素的信息片段,并且可以描述帧中存在的图像的具体结构元素(诸如边缘、拐角、点、线、脊或区域)。例如,控制电路系统704可以分析帧以确定帧的图像的特征。在一些实施例中,控制电路系统704基于将所选择的帧的关键特征与对位置的表示的分析进行比较来确定在所选择的帧中表示的位置。例如,控制电路系统704可以基于图像的特征来确定帧正在显示森林。处理900前进到步骤908。

在步骤908处,控制电路系统704确定与物体和位置中的至少一个相关联的情节信息。例如,控制电路系统704可以基于场景中识别出的物体确定与情节相关联的关键词。在一些实施例中,控制电路系统704搜索情节信息数据库,以识别与物体和位置中的至少一个,以及在所选择的帧中发生的动作相关联的情节信息。情节信息可以包括描述所选择的帧的情节的关键词。例如,如果控制电路系统704识别出游轮、棕榈树和云以确定航行动作和一般热带气候的位置,那么控制电路系统704可以搜索情节信息数据库并识别出“荒岛”、“海洋”、“船舶”、“航行”、“风暴”和“波浪”关键词形式的情节信息。在一些实施例中,指南应用确定与物体和位置中的至少一个及动作相关联的公共关键词。例如,一般热带气候的位置或航行动作可以与附加情节信息(诸如“钓鱼”)相关联。但是,由于“钓鱼”与任何识别出的物体(游轮、棕榈树和云)不关联,因此它不是公共关键词。在一些实施例中,控制电路系统704基于公共关键词来确定识别出的情节信息。

在一些实施例中,控制电路系统704检索与所选择的帧相关联的元数据。元数据可以包括与所选择的帧相关联的标签和隐藏字幕数据。在一些实施例中,控制电路系统704在情节信息数据库中搜索与物体和位置中的至少一个以及元数据相关联的情节信息。例如,控制电路系统704可以检索与场景相关联的隐藏字幕,并在情节信息数据库中搜索与隐藏字幕数据中识别出的术语相关联的情节信息关键词。处理900前进到910。

在910处,控制电路系统704基于情节信息从数据库识别伴随媒体资产的补充内容。例如,控制电路系统704可以基于情节信息识别具有热带岛屿和海洋的补充内容。补充内容可以是要在电视机附近的房间的墙壁上显示的具体背景图像,或者基于被确定为可用的区域显示在区域周围的具有共同主题的图像的集合。补充内容可以包括视觉图像以及可以根据需要播放的替代形式的媒体(诸如声音的集合、视频剪辑或其组合)。处理900前进到912。

在912处,控制电路系统704在呈现媒体资产期间向投影设备发送用于在用户设备附近显示的补充内容。例如,控制电路系统704可以经由投影仪发送显示热带岛屿和海洋的补充内容以显示在墙壁上。媒体指南显示器可以将补充内容发送到用户设备的区域中的任何显示设备,诸如另一个电视机屏幕、平板电脑或增强现实眼镜。在一些实施例中,控制电路系统704向扬声器发送包括在补充内容中的声音的集合。例如,控制电路系统704还可以将波浪的声音发送到扬声器。

在一些实施例中,控制电路系统704从所选择的帧的一部分创建新的补充内容。在一些实施例中,控制电路系统704将新的补充内容连同与物体和位置中的至少一个关联的公共关键词一起存储在数据库中。例如,控制电路系统704可以使用显示蓝天和云的帧的一部分来创建新的补充内容,并且将补充内容存储在与发现在情节信息数据库中与云相关联的情节信息相关联的补充内容数据库中。

在一些实施例中,控制电路系统704在呈现指示下一场景的媒体资产期间选择下一帧。例如,控制电路系统704可以选择与指示新场景的下一个标签相关联的帧。在一些实施例中,控制电路系统704基于所选择的帧和所选择的下一帧确定新场景的持续时间。例如,控制电路系统704可以通过比较第一新场景的帧与开始下一个新场景的帧来确定场景的长度。在一些实施例中,控制电路系统704发送补充内容以在新场景的持续时间期间显示。例如,控制电路系统704可以维持补充内容的显示,直到电影到达回放中开始下一个新场景的点。

预期图9的步骤或描述可以与本公开的任何其它实施例一起使用。此外,关于图9的算法描述的描述可以以替代次序或并行地进行,以进一步实现本公开的目的。例如,条件语句和逻辑评估可以以任何次序或并行或同时执行,以减少滞后或提高系统或方法的速度。作为另一个示例,在一些实施例中,可以使用多个逻辑处理器线程并行地评估变量的若干实例,或者可以通过结合分支预测来增强算法。此外,应当注意的是,图9的处理可以在适当配置的软件和硬件的组合上实现,并且关于图10-14讨论的任何设备或装备可以用于实现该处理的一个或多个部分。

图10是根据本公开一些实施例的、用于确定与所选择的帧相关联的情节信息的说明性步骤的流程图。图10呈现了根据本公开一些实施例的、用于控制电路系统(例如,控制电路系统704)以识别模糊项的含义的处理。在一些实施例中,这个算法可以作为要由处理电路系统(例如,处理电路系统706)解码并执行的指令集编码到非瞬态存储介质(例如,存储设备708)上。处理电路系统又可以向控制电路系统704内包含的诸如调谐、视频生成、编码、解码、加密、解密、缩放、模拟/数字转换电路系统等的其它子电路提供指令。

在1002处,控制电路系统704选择所选择的帧的下一个关键特征。例如,如果控制电路系统704已将帧的多个区域识别为关键特征,那么控制电路系统704将选择帧的下一个区域。处理1000前进到1004。

在1004处,控制电路系统704确定下一个识别出的关键特征是否与物体数据库中的物体相关联。例如,控制电路系统704可以访问物体数据库,以确定数据库中的任何物体是否与类似于在帧中找到的区域的区域相关联。如果下一个识别出的关键特征与物体数据库中的物体相关联,那么处理1000前进到1006。否则,处理1000前进到1002。

在1006处,控制电路系统704识别与下一个识别出的关键特征相关联的物体。例如,控制电路系统704可以确定帧中识别出的区域与孤独的棕榈树相关联。在另一个示例中,控制电路系统704可以确定帧中的区域与半空中的鸟相关联。处理1000前进到1008。

在1008处,控制电路系统704确定在动作数据库中是否存在与物体相关联的动作。例如,基于与动作数据库中的每个动作相关联的物体,识别出的在半空中的鸟的物体可以与飞行动作而不是在树枝上栖息的动作相关联。如果控制电路系统704确定了与物体相关联的动作,那么处理1000前进到1010。否则,处理1000前进到1002。

在1010处,控制电路系统704基于动作数据库识别与物体相关联的动作。例如,控制电路系统704可以识别出半空中的鸟的物体与飞行动作相关联。处理1000前进到1012。

在1012处,控制电路系统704确定在所选择的帧中是否存在另一个识别出的关键特征。如果是,那么处理1000前进到1002。否则,处理1000前进到1014。

在1014处,控制电路系统704搜索情节信息数据库,以识别与所选择的帧中出现的物体和动作相关联的情节信息。例如,控制电路系统704可以使用情节信息数据库查找与每个物体和动作相关联的情节信息关键词。处理1000前进到1016。

在1016处,控制电路系统704确定与物体和动作相关联的公共关键词。例如,控制电路系统704可以确定从情节信息数据库识别出的、与识别出的物体和动作相关联的关键词集合。处理1000前进到1018。

在1018处,控制电路系统704基于公共关键词确定情节信息。例如,控制电路系统704可以从与识别出的物体和动作相关联的关键词集合中确定情节信息。

预期图10的步骤或描述可以与本公开的任何其它实施例一起使用。此外,关于图10的算法描述的描述可以以替代次序或并行地进行,以进一步实现本公开的目的。例如,条件语句和逻辑评估可以以任何次序或并行或同时执行,以减少滞后或提高系统或方法的速度。作为另一个示例,在一些实施例中,可以使用多个逻辑处理器线程并行地评估变量的若干实例,或者可以通过结合分支预测来增强算法。此外,应当注意的是,图10的处理可以在适当配置的软件和硬件的组合上实现,并且关于图9-14讨论的任何设备或装备可以用于实现该处理的一个或多个部分。

图11是根据本公开一些实施例的、用于确定与所选择的帧相关联的情节信息的说明性步骤的另一个流程图。图11呈现了根据本公开一些实施例的、用于控制电路系统(例如,控制电路系统704)以识别模糊项的含义的处理。在一些实施例中,这个算法可以作为要由处理电路系统(例如,处理电路系统706)解码并执行的指令集编码到非瞬态存储介质(例如,存储设备708)上。处理电路系统又可以向控制电路系统704内包含的诸如调谐、视频生成、编码、解码、加密、解密、缩放、模拟/数字转换电路系统等的其它子电路提供指令。

在1102处,控制电路系统704选择所选择的帧的下一个关键特征。例如,如果控制电路系统704已将帧的多个区域识别为关键特征,那么控制电路系统704将选择帧的下一个区域。处理1100前进到1104。

在1104处,控制电路系统704确定下一个识别出的关键特征是否与物体数据库中的物体相关联。例如,控制电路系统704可以访问物体数据库,以确定数据库中的任何物体是否与类似于在帧中找到的区域的区域相关联。如果下一个识别出的关键特征与物体数据库中的物体相关联,那么处理1100前进到1106。否则,处理1100前进到1102。

在1106处,控制电路系统704识别与下一个识别出的关键特征相关联的物体。例如,控制电路系统704可以确定帧中识别出的区域与孤独的棕榈树相关联。在另一个示例中,控制电路系统704可以确定帧中的区域与半空中的鸟相关联。处理1100前进到1108。

在1108处,控制电路系统704确定在位置数据库中是否存在与物体相关联的位置。例如,孤独的棕榈树可以与一般的外部热带环境相关联。如果控制电路系统704确定了与物体相关联的位置,那么处理1100前进到1110。否则,处理1100前进到1102。

在1110处,控制电路系统704基于位置数据库识别与物体相关联的位置。例如,控制电路系统704可以识别出物体(单独的棕榈树)与一般外部热带环境相关联。处理1100前进到1112。

在1112处,控制电路系统704确定在所选择的帧中是否存在另一个识别出的关键特征。如果是,那么处理1100前进到1102。否则,处理1100前进到1114。

在1114处,控制电路系统704搜索情节信息数据库,以识别与在所选择的帧中出现的物体和位置中的至少一个相关联的情节信息。例如,控制电路系统704可以使用情节信息数据库查找与每个物体和位置相关联的情节信息关键词。处理1100前进到1116。

在1116处,控制电路系统704确定与物体和位置中的至少一个相关联的公共关键词。例如,控制电路系统704可以确定从情节信息数据库识别出的、与识别出的物体和位置相关联的公共关键词的集合。处理1100前进到1118。

在1118处,控制电路系统704基于公共关键词确定情节信息。例如,控制电路系统704可以从关键词集合中确定与识别出的物体和位置相关联的情节信息。

预期图11的步骤或描述可以与本公开的任何其它实施例一起使用。此外,关于图11的算法描述的描述可以以替代次序或并行地进行,以进一步实现本公开的目的。例如,条件语句和逻辑评估可以以任何次序或并行或同时执行,以减少滞后或提高系统或方法的速度。作为另一个示例,在一些实施例中,可以使用多个逻辑处理器线程并行地评估变量的若干实例,或者可以通过结合分支预测来增强算法。此外,应当注意的是,图11的处理可以在适当配置的软件和硬件的组合上实现,并且关于图9-14讨论的任何设备或装备可以用于实现该处理的一个或多个部分。

图12是根据本公开一些实施例的、用于确定与所选择的帧相关联的情节信息的说明性步骤的另一个流程图。图12呈现了根据本公开一些实施例的、用于控制电路系统(例如,控制电路系统704)以识别模糊项的含义的处理。在一些实施例中,这个算法可以作为要由处理电路系统(例如,处理电路系统706)解码并执行的指令集编码到非瞬态存储介质(例如,存储设备708)上。处理电路系统又可以向控制电路系统704内包含的诸如调谐、视频生成、编码、解码、加密、解密、缩放、模拟/数字转换电路系统等的其它子电路提供指令。

在1202处,控制电路系统704选择所选择的帧的下一个关键特征。例如,如果控制电路系统704已将帧的多个区域识别为关键特征,那么控制电路系统704将选择帧的下一个区域。处理1200前进到1204。

在1204处,控制电路系统704确定下一个识别出的关键特征是否与位置数据库中的位置相关联。例如,识别出的区域可以与一般森林相关联。如果下一个识别出的关键特征与位置数据库中的位置相关联,那么处理1200前进到1206。否则,处理1200前进到1202。

在1206处,控制电路系统704识别与所选择的帧相关联的位置。例如,控制电路系统704可以识别该帧与一般森林相关联。处理1200前进到1208。

在1208处,控制电路系统704确定在所选择的帧中是否存在另一个识别出的关键特征。如果是,那么处理1200前进到1202。否则,处理1200前进到1210。

在1210处,控制电路系统704检索与所选择的帧相关联的元数据。例如,控制电路系统704可以检索与所选择的帧相关联的隐藏字幕数据。处理1200前进到1212,

在1212处,控制电路系统704在情节信息数据库中搜索与元数据相关联的情节信息。例如,控制电路系统704可以使用作为隐藏字幕数据被检索的文本来搜索情节信息数据库,以识别与所选择的帧相关联的情节信息。

预期图12的步骤或描述可以与本公开的任何其它实施例一起使用。此外,关于图12的算法描述的描述可以以替代次序或并行地进行,以进一步实现本公开的目的。例如,条件语句和逻辑评估可以以任何次序或并行或同时执行,以减少滞后或提高系统或方法的速度。作为另一个示例,在一些实施例中,可以使用多个逻辑处理器线程并行地评估变量的若干实例,或者可以通过结合分支预测来增强算法。此外,应当注意的是,图12的处理可以在适当配置的软件和硬件的组合上实现,并且关于图9-14讨论的任何设备或装备可以用于实现该处理的一个或多个部分。

图13是在用户设备上呈现媒体资产期间确定用户设备附近的区域以用于显示补充内容中所涉及的说明性步骤的流程图。图13呈现了根据本公开一些实施例的、用于控制电路系统(例如,控制电路系统704)以识别模糊项的含义的处理。在一些实施例中,这个算法可以作为要由处理电路系统(例如,处理电路系统706)解码并执行的指令集编码到非瞬态存储介质(例如,存储设备708)上。处理电路系统又可以向控制电路系统704内包含的诸如调谐、视频生成、编码、解码、加密、解密、缩放、模拟/数字转换电路系统等的其它子电路提供指令。

在1302处,控制电路系统704使用相机设备监测用户设备附近的一个或多个区域。例如,控制电路系统704可以基于相机反馈分析电视机周围的房间,识别具有墙壁或可用于补充内容的其它表面的房间的部分,并监测这些部分。处理1300前进到1304。

在1304处,控制电路系统704基于监测确定用户设备附近的一个或多个区域中的每个区域的维度。例如,控制电路系统704可以基于对房间的分析和监测来计算房间周围的墙壁和可用表面的维度、尺寸和朝向。在一些实施例中,控制电路系统704针对适于显示补充内容的一个或多个部分分析用户设备附近的一个或多个区域。例如,媒体指南应用可以识别没有任何障碍物的墙壁(诸如悬挂在墙壁上的绘画或中间的书架),并且基于墙壁部分是否可用于显示补充内容来分析墙壁。在一些实施例中,控制电路系统704基于分析选择适于显示补充内容的部分。例如,控制电路系统704可以选择未被遮挡因此可用于显示补充内容的墙壁区域。在一些实施例中,控制电路系统704确定指示所选择的部分的一个或多个区域的尺寸、形状和朝向的维度。例如,控制电路系统704可以选择天花板上可用于显示补充内容的区域并确定维度,包括空间的尺寸以及面向下的朝向和甜甜圈的形状,使得中央风扇或天花板灯不包括在所选择的区域中。处理1300前进到1306。

在1306处,控制电路系统704检索与在用户设备上呈现的媒体资产的场景相关联的补充内容。例如,控制电路系统704可以从补充内容数据库中检索与在电视机上播放的电影的场景相关联的补充内容。在一些实施例中,控制电路系统704识别场景中表示的物体和位置中的至少一个。在一些实施例中,控制电路系统704基于识别出的物体和位置中的至少一个来识别与场景相关联的情节信息。在一些实施例中,控制电路系统704在补充内容的数据库中搜索与和场景相关联的情节信息匹配的补充内容。处理1300前进到1308。

在1308处,控制电路系统704识别补充内容的维度。例如,控制电路系统704可以基于与补充内容相关联的标签来确定补充内容的预期维度。在一些实施例中,控制电路系统704识别补充内容的尺寸、形状和朝向之一。例如,一些补充内容可以被定向为从下面看,或者其它补充内容可以成形为像甜甜圈。处理1300前进到1310。

在1310处,控制电路系统704将补充内容的维度与一个或多个区域中的每个区域的维度进行比较。在一些实施例中,控制电路系统704将补充内容的维度与一个或多个区域中的每个区域的维度进行比较还包括将一个或多个区域中的每个区域的尺寸、形状和朝向之一与补充内容的尺寸、形状和朝向之一进行比较。例如,控制电路系统704可以将区域的形状与补充内容的形状或者将区域的朝向与补充内容的朝向进行比较。处理1300前进到1312。

在1312处,控制电路系统704基于比较来过滤一个或多个区域的子集。例如,控制电路系统704可以过滤区域以识别可用于显示识别出的补充内容的区域。在一些实施例中,控制电路系统704识别与一个或多个区域中的一个区域相关联的物体。例如,控制电路系统704可以识别出区域中存在书架。在一些实施例中,控制电路系统704将物体与已知物体进行比较,以确定该物体是否可用于显示补充内容。例如,控制电路系统704可以识别出覆盖窗口的百叶窗,并且在搜索已知物体的数据库之后,确定覆盖窗口的百叶窗可以用于显示补充内容。在一些实施例中,控制电路系统704基于比较确定物体不可用于显示补充内容。例如,控制电路系统704可以搜索已知物体的数据库以确定补充内容不能显示在书架的顶部。在一些实施例中,控制电路系统704从一个或多个区域移除一个或多个区域中的所述一个区域。例如,控制电路系统704可以从可用于显示补充内容的区域中过滤掉具有书架的区域。

在一些实施例中,控制电路系统704通过识别其中尺寸、形状和朝向与补充内容的尺寸、形状和朝向之一不匹配的一个或多个区域来识别一个或多个区域中的一个区域。例如,控制电路系统704可以确定该区域是甜甜圈的形状,但是补充内容是矩形的形状,因此补充内容不适合该区域。在一些实施例中,控制电路系统704从一个或多个区域中移除一个或多个区域之一。例如,控制电路系统704可以从可用于显示补充内容的区域中过滤掉甜甜圈形状的区域。处理1300前进到1314。

在1314处,控制电路系统704向投影设备发送用于在用户设备附近的一个或多个区域的子集中显示的补充内容。在一些实施例中,控制电路系统704发送用于显示在一个或多个区域的子集中的每个区域上的补充内容。例如,控制电路系统704可以在房间的被识别为没有物体并且具有适当尺寸、形状和朝向的所有剩余区域上显示补充内容。

在一些实施例中,控制电路系统704基于每个区域的维度、每个区域的位置或补充内容的内容中的至少一个来对一个或多个区域的子集中的每一个进行排名。例如,如果补充内容是宽景观,那么控制电路系统704可以对区域进行排名并且优先考虑墙壁上的大矩形区域而不是天花板。在一些实施例中,控制电路系统704基于排名确定一个或多个区域的子集中的一个区域以显示补充内容。例如,控制电路系统704可以选择接收到最高排名的区域。在一些实施例中,控制电路系统704发送用于在一个或多个区域的子集的一个区域上显示的补充内容。例如,控制电路系统704可以在接收到最高排名的所选择的区域上显示补充内容。

在一些实施例中,控制电路系统704确定补充内容的多个部分。例如,补充内容可以是不同鸟的多个图像,每个图像具有不同的朝向、尺寸和形状。在一些实施例中,控制电路系统704将补充内容的多个部分中的每一个与一个或多个区域的子集中的一个匹配。例如,控制电路系统704可以基于图像的尺寸、形状和朝向将鸟的每个图像与房间周围的区域匹配。在一些实施例中,控制电路系统704生成补充内容的多个部分中的每一个用于在多个空间的子集中的对应一个空间上显示。例如,控制电路系统704可以在房间周围的对应区域上显示每个图像。

预期图13的步骤或描述可以与本公开的任何其它实施例一起使用。此外,关于图13的算法描述的描述可以以替代次序或并行地进行,以进一步实现本公开的目的。例如,条件语句和逻辑评估可以以任何次序或并行或同时执行,以减少滞后或提高系统或方法的速度。作为另一个示例,在一些实施例中,可以使用多个逻辑处理器线程并行地评估变量的若干实例,或者可以通过结合分支预测来增强算法。此外,应当注意的是,图13的处理可以在适当配置的软件和硬件的组合上实现,并且关于图9-14讨论的任何设备或装备可以用于实现该处理的一个或多个部分。

图14是用于过滤区域以识别用户设备附近可用于显示补充内容的区域的子集的说明性步骤的流程图。图14呈现了根据本公开一些实施例的、用于控制电路系统(例如,控制电路系统704)以识别模糊项的含义的处理。在一些实施例中,这个算法可以作为要由处理电路系统(例如,处理电路系统706)解码并执行的指令集编码到非瞬态存储介质(例如,存储设备708)上。处理电路系统又可以向控制电路系统704内包含的诸如调谐、视频生成、编码、解码、加密、解密、缩放、模拟/数字转换电路系统等的其它子电路提供指令。

在1402处,控制电路系统704检索与在用户设备上呈现的媒体资产的场景相关联的补充内容。例如,控制电路系统704可以通过分析关键特征来识别场景中的物体,基于识别出的物体在情节信息数据库中搜索关于场景的情节信息,以及基于情节信息选择补充内容。处理1400前进到1404。

在1404处,控制电路系统704通过识别补充内容的尺寸、形状和朝向来识别补充内容的维度。例如,控制电路系统704可以确定补充内容被定向为从下方看到,并且是在中心处具有空白斑点的甜甜圈形状,就像用于灯具一样。处理1400前进到1406。

在1406处,控制电路系统704选择一个或多个区域中的下一个区域。处理1400前进到1408。

在1408处,控制电路系统704确定补充内容的尺寸、形状和朝向是否与下一个区域的维度匹配。如果是,那么处理1400前进到1410。否则,处理1400前进到1414。

在1410处,控制电路系统704识别与下一个区域相关联的物体。例如,控制电路系统704可以识别存在于该区域内的书架。处理1400前进到1412。

在1412处,控制电路系统704确定识别出的物体是否可用于显示补充内容。如果是,那么处理1400前进到1416。否则,处理1400前进到1414。

在1414处,控制电路系统704从一个或多个区域的子集中移除该下一个区域。例如,如果控制电路系统704已经确定书架不可用于显示补充内容,那么从可用于显示补充内容的区域子集的考虑中移除包括书架的区域。处理1400前进到1416。

在1416处,控制电路系统704确定在一个或多个区域中是否存在另一个区域。如果是,那么处理前进到1406。否则,处理1400前进到1418。

在1418处,控制电路系统704将补充内容发送到一个或多个区域的子集中的每个区域上以供显示。例如,控制电路系统704可以在用户设备附近的房间周围的、已被识别为可用于显示补充内容的每个区域上显示补充内容。

预期图14的步骤或描述可以与本公开的任何其它实施例一起使用。此外,关于图14的算法描述的描述可以以替代次序或并行地进行,以进一步实现本公开的目的。例如,条件语句和逻辑评估可以以任何次序或并行或同时执行,以减少滞后或提高系统或方法的速度。作为另一个示例,在一些实施例中,可以使用多个逻辑处理器线程并行地评估变量的若干实例,或者可以通过结合分支预测来增强算法。此外,应当注意的是,图14的处理可以在适当配置的软件和硬件的组合上实现,并且关于图9-13讨论的任何设备或装备可以用于实现该处理的一个或多个部分。

上面讨论的处理旨在是说明性的而非限制性的。本领域技术人员将认识到的是,在不脱离本发明的范围的情况下,可以省略、修改、组合和/或重新布置本文所讨论的处理的步骤,并且可以执行任何附加步骤。更一般而言,以上公开内容意味着是示例性而非限制性的。仅下面的权利要求意味着设置关于本发明包括的内容的界限。此外,应当注意的是,在任何一个实施例中描述的特征和限制可以应用到本文的任何其它实施例,并且与一个实施例相关的流程图或示例可以以合适的方式与任何其它实施例组合,以不同的次序完成,或并行完成。此外,本文所述的系统和方法可以被实时地执行。还应当注意的是,上述系统和/或方法可以应用到其它系统和/或方法,或者根据其它系统和/或方法来使用。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1