识别和呈现因特网可访问内容的方法和设备与流程

本申请属于申请日为2013年9月19日的中国发明专利申请no.201380058308.5的分案申请。

公开的实施方式涉及被配置成收集和呈现与播放电视节目相关联的因特网可访问内容的系统、方法和设备。

背景技术：

交互式电视技术一般地使得能够将因特网可访问功能、内容和/或服务作为覆盖添加到由有线和卫星电视提供者提供的电视信号。例如，交互式电视技术的目标中的一个是向个体消费者传递与消费者当前正在观看的特定电视节目匹配的因特网可访问功能、内容和/或服务。为此，交互式电视技术常常需要确定每个消费者正在观看什么以便传递匹配的功能、内容和/或服务。

根据先前开发的系统和方法，将诸如补充机顶盒的第二设备配置成与由有线或卫星电视提供者提供的主机顶盒一起工作。为了确定消费者正在观看什么，该补充机顶盒向主机顶盒发送查询，请求关于由消费者选择的当前播放的电视节目的信息(例如标题、演员或人物的姓名、电子节目指南信息等)。为了发送这样的查询或者另外与主机顶盒通信，补充机顶盒通常包括一个或多个特定于提供者的应用程序接口(api)，其使得能够将补充机顶盒与来自各种有线和卫星电视提供者的多种主机顶盒配对。每个api的开发要求向消费者提供主机顶盒的相应有线或卫星电视提供者的输入和合作。针对各种提供者开发api往往是低效的，并且阻碍跨多种特定于提供者的平台缩放这样的技术。

技术实现要素：

在所附权利要求的范围内的系统、方法和设备的各种实施方式每个具有若干方面，其中没有一个仅仅负责这里所述的属性。在不限制所附权利要求的范围的情况下，描述了一些突出特征。在考虑本公开之后，并且特别是在考虑名称为“具体实施方式”的部分之后，将理解如何使用各种实施方式的特征来使得能够实时地识别和呈现与同时在电视或显示器上播放的特定电视节目相关联的因特网可访问和/或基于因特网的功能、内容和/或服务。

本公开的一个方面包括在被配置成接收媒体节目的电子设备处识别和呈现与媒体节目相关联的内容的计算机实现的方法，该电子设备包括处理器和存储器。在一些实施方式中，该方法包括捕捉与媒体节目相关联的显示数据；从显示数据提取文本，其中所提取的文本与媒体节目相关联；从提取的文本生成搜索词语(searchterm)；基于所生成的搜索词语中的至少一些来执行因特网搜索以识别与之相关联的内容；以及显示搜索的结果。

在一些实施方式中，该方法还包括评估显示数据以确定显示数据是否包括包含关于媒体节目的信息的文本覆盖，并且其中，响应于确定显示数据包括文本覆盖而从显示数据提取文本。

在一些实施方式中，捕捉显示数据包括从被配置成显示媒体节目的显示设备执行屏幕捕捉。在一些实施方式中，捕捉显示数据包括将由电子设备发送到显示设备的数据解码。

在一些实施方式中，该方法进一步包括将所提取的文本与电子节目指南数据进行比较以确认对播放广播媒体节目的识别。

在一些实施方式中，该方法进一步包括：向机顶盒发送用以发起文本覆盖的显示的代码；以及响应于捕捉到显示数据而向机顶盒发送用以结束文本覆盖的显示的代码。在一些实施方式中，所述代码是红外代码。

在一些实施方式中，该方法进一步包括：检测指向机顶盒的传输；确定该传输是否包括一般地促使机顶盒在显示数据中提供文本覆盖的代码，以及其中，捕捉显示数据是响应于确定该传输包括一般地促使机顶盒在显示数据中提供文本覆盖的代码而发生的。在一些实施方式中，所述代码是红外代码。

在一些实施方式中，从显示数据提取文本包括对所捕捉的显示数据应用光学字符识别过程。在一些实施方式中，生成搜索词语包括：识别所提取的文本中的名词短语；以及选择阈值数目的名词短语作为搜索词语。

在一些实施方式中，识别名词短语包括：从所提取的文本去除节目演出数据以产生一个或多个描述性短语；以及从一个或多个描述性短语去除至少一个动词以产生一个或多个名词短语。

在一些实施方式中，识别名词短语包括将所述一个或多个描述性短语的段与电视节目、电影、体育事件的已知名称和已知专有名称进行比较。

在一些实施方式中，该方法进一步包括通过以下中的至少一个来精化(refine)所选择的阈值数目的搜索词语中的每一个：检查和校正打字错误；针对电视节目、电影、体育事件的已知名称和已知专有名称进行交叉引用；以及针对在先搜索数据进行交叉引用。

在一些实施方式中，执行因特网搜索包括对阈值数目的名词短语中的每一个执行相应因特网搜索，并且其中，每个相应因特网搜索产生相对应的搜索结果。

在一些实施方式中，该方法进一步包括：对搜索结果评分；以及基于该评分来显示搜索结果中的至少一些。在一些实施方式中，该评分包括：将搜索结果分类；基于位置数据、搜索历史和用户偏好中的至少一个来分配查询分值；基于名词短语在所提取的文本中出现的顺序来向被选择为搜索词语的阈值数目的名词短语中的每一个分配接近度分值；以及将每个查询分值乘以相应接近度分值以产生相应相关性分值。在一些实施方式中，至少基于相应相关性分值来显示搜索的结果。

本公开的另一方面包括电子设备、计算系统以及非瞬时计算机存储介质，每个具有用于执行上述方法的一个或多个步骤的指令。

本公开的另一方面包括识别媒体节目的计算机实现的方法。在一些实施方式中，该方法包括在被配置成接收媒体节目的电子设备处：从媒体节目捕捉显示数据；评估该显示数据以确定显示数据是否包括文本覆盖，该文本覆盖包括关于媒体节目的信息；以及响应于确定显示数据包括文本覆盖而从文本覆盖提取文本，其中所提取的文本与媒体节目相关联。

在一些实施方式中，捕捉显示数据包括从被配置成显示媒体节目的显示设备执行屏幕捕捉。

在一些实施方式中，捕捉显示数据包括将由电子设备发送到显示设备的数据解码。

在一些实施方式中，该方法进一步包括将所提取的文本与电子节目指南数据进行比较以确认对播放的广播媒体节目的识别。

在一些实施方式中，该方法进一步包括：向机顶盒发送用以发起文本覆盖的显示的代码；以及响应于捕捉到显示数据而向机顶盒发送用以结束文本覆盖的显示的代码。

在一些实施方式中，所述代码是红外代码。

在一些实施方式中，该方法进一步包括：检测指向机顶盒的传输；以及确定该传输是否包括一般地促使机顶盒在显示数据中提供文本覆盖的代码。捕捉显示数据是响应于确定该传输包括一般地促使机顶盒在显示数据中提供文本覆盖的代码而发生的。

在一些实施方式中，所述代码是红外代码。

本公开的又一方面包括电子设备、计算系统以及非瞬时计算机存储介质，每个具有用于执行上述方法的一个或多个步骤的指令。

附图说明

为了可以更详细地理解本公开，可以通过参考各种实施方式的特征来进行更特别的描述，在附图中图示出其中的一些。然而，附图仅仅图示本公开的更加相关特征，并且因此不应认为是限制性的，因为本描述可允许有其它有效特征。

图1a是客户端-服务器环境的实施方式的图。

图1b是包括电视上的示例性示意性屏幕显示的客户端-服务器环境的一部分的图。

图2是可作为补充机顶盒和/或电视集成设备操作的客户端设备的示例性实施方式的图。

图3是确定消费者当前正在观看什么的方法的实施方式的流程图表示。

图4是确定消费者当前正在观看什么的方法的实施方式的流程图表示。

图5是确定消费者当前正在观看什么的方法的实施方式的流程图表示。

图6是客户端-服务器环境的实施方式的图。

图7a是根据一些实施方式的电视显示器的示例性截屏的示意图。

图7b是根据一些实施方式的电视显示器和第二屏幕客户端设备(即平板)的示例性截屏的示意图。

图8是根据一些实施方式的可作为补充机顶盒、电视集成设备和/或第二屏幕客户端设备中的至少一个操作的客户端设备的示例性实施方式的图。

图9是识别和呈现与当前播放的电视节目相关联的因特网可访问内容的方法的实施方式的流程图表示。

图10是识别和呈现与当前播放的电视节目相关联的因特网可访问内容的方法的实施方式的流程图表示。

根据惯例，在图中图示出的各种特征可不按比例描绘。因此，为了明了起见可任意地扩展或减少各种特征的大小。另外，附图可能未描述给定系统、方法和设备的所有组件；因为为了简洁起见而未详尽地描述已知方法、组件以及电路。最后，遍及本说明书和各图使用相同的附图标记来表示相同特征。

具体实施方式

这里所述的各种实施方式包括使得能够实时地识别和呈现与正在电视或显示器上播放的特定电视节目相关联的因特网可访问和/或基于因特网的功能、内容和/或服务的系统、方法和/或设备作为交互式电视技术套装的一部分。在一些实施方式中，使得能够识别相关联的内容的过程以减少主机顶盒与补充机顶盒和/或电视集成设备之间的通信，从而减少对一个或多个特定于提供者的api的需要。例如，本公开的一个方面是一种方法，其通过捕捉与媒体节目相关联的显示数据、响应于确定显示数据包括文本覆盖而从显示数据提取文本、其中所提取的文本与媒体节目相关联、基于所提取的文本中的至少一些来执行因特网搜索以及显示搜索结果来识别和呈现与媒体节目相关联的内容。

在这里描述了许多细节以便提供附图中所示的示例性实施方式的透彻理解。然而，可在没有这些特定细节的情况下实践本发明。没有详尽地描述众所周知的方法、过程、组件以及电路以免不必要地使示例性实施方式的更加相关方面含糊难懂。

图1a是客户端-服务器环境100的实施方式的图。虽然图示出某些特定特征，但本领域的技术人员从本公开该将认识到为了简洁起见未图示出各种其它特征，以免使这里公开的实施方式的更加相关方面含糊难懂。为此，客户端-服务器环境100包括机顶盒103、电视(tv)110、客户端设备102(例如补充机顶盒)、第二屏幕客户端设备120(例如膝上计算机、平板计算机、智能电话等)、遥控设备112、通信网络104、媒体服务器130、广播系统140以及内容提供者150。第二屏幕客户端设备120、客户端设备102、媒体服务器130、广播系统140以及内容提供者150能够连接到通信网络104以便相互和/或与其它设备和系统交换信息。客户端-服务器环境100仅仅是为了讨论本公开的更加相关特征而提供的示例。本领域的技术人员将从本公开认识到可在客户端-服务器环境中提供任何数目的这样的设备和/或系统，并且特定设备可以完全不存在。

在一些实施方式，将媒体服务器130被实现为单个服务器系统，而在其它实施方式中，将其实现为多个服务器的分布式系统。仅仅为了便于说明，下面将媒体服务器130描述为在单个服务器系统上实现。类似地，在一些实施方式中，将广播系统140实现为单个服务器系统，而在其它实施方式中将其实现为多个服务器的分布式系统。仅仅为了便于说明，下面将广播系统140描述为在单个服务器系统上实现。类似地，在一些实施方式中，将内容提供者150实现为单个服务器系统，而在其它实施方式中将其实现为多个服务器的分布式系统。仅仅为了便于说明，下面将内容提供者150描述为在单个服务器系统上实现。此外，可以将广播系统140和内容提供者150的功能组合成单个服务器系统。另外和/或替选地，虽然在图1中为了简洁起见而图示出仅一个广播系统和仅一个内容提供者，本领域的技术人员将从本公开认识到在客户端-服务器环境的实施方式中可存在更多或更少的每个系统。

在一些实施方式中，例如在家庭或商用设置内以组合方式提供第二屏幕客户端设备120(例如平板计算机或膝上计算机等)、机顶盒103、tv110、客户端设备102以及遥控设备112。机顶盒103被配置成从广播系统140等接收包括媒体内容的信号并将其解码。在操作中，机顶盒103将从广播系统140等接收到的信号解码，并向tv110提供音频和视频内容以显示。虽然在所示示例中使用tv，但本领域的技术人员将从本公开认识到可以使用任何数目的显示设备来显示视频流并播放相关联的音频流，所述显示设备包括计算机、膝上型计算机、平板计算机、智能电话等。另外和/或替选地，在一些实施方式中，将机顶盒103和tv110的功能组合成单个设备。

在操作中，可使用遥控设备112来控制机顶盒103、tv110以及客户端设备102中的一个或多个的操作。在一个操作模式下，客户端设备102监视tv110的显示器118以确定提供节目信息覆盖(即在显示器118上显示)的时间。在另一操作模式下，客户端设备102模拟遥控设备112的功能以提示机顶盒103显示节目信息覆盖。并且在又一操作模式下，客户端设备102从遥控设备112接收指向机顶盒103的ir传输。进而，客户端设备102然后可通过通信网络104与媒体服务器130、广播系统140以及内容提供者150中的任何一个进行通信。下面参考图3-5来描述关于客户端设备102如何获取与特定用户正在观看什么有关的实时节目信息的更多特定细节。

在一些实施方式中，机顶盒103是能够连接到通信网络104、接收视频流160或数字视频流163、从视频流提取信息并呈现数字视频流163以使用tv110(或另一显示设备)显示的任何计算机设备。在一些实施方式中，将机顶盒103配置为用于有线tv和/或卫星tv的接收机、数字视频记录器(dvr)、数字媒体接收机、tv调谐器、计算机和/或输出tv信号162的任何其它设备。在一些实施方式中，tv110是可不连接到因特网并显示经由空中广播或卫星或有线连接接收到的数字和/或模拟tv内容的常规tv显示器。

类似地，在一些实施方式中，客户端设备102是能够连接到通信网络104和tv110的任何计算机设备。如下面参考图5所述，在一些实施方式中，客户端设备102能够从遥控设备112接收指向机顶盒103的红外(ir)传输。另外和/或替选地，在一些实施方式中，客户端设备102能够与第二屏幕客户端设备120进行有线和/或无线通信。在一些实施方式中，客户端设备102包括一个或多个处理器121、非易失性存储器122，诸如硬盘驱动器、以及本地数据库123。在一些实施方式中，存储器122包括应用指令122a和相关联的数据122b。如下面更详细地讨论的，处理器121根据从媒体服务器130接收到的一组指令来执行一个或多个应用。客户端设备102还可具有输入设备，诸如键盘、鼠标和/或跟踪板(未示出)。在一些实施例中，客户端设备102包括触摸屏显示器、数字相机和/或任何数目的补充设备以添加功能。

如典型的电视那样，tv110包括显示器118和扬声器(未示出)。另外和/或替选地，可以用用于向用户呈现视频内容的另一类型的显示设备来替换tv110，例如计算机、平板设备、移动电话、投影仪或其它类型的视频显示系统。可以经由无线或有线连接将显示设备耦合到机顶盒103。

如这里所使用的tv信号162是电、光或其它类型的数据传送介质，包括对应于tv频道或节目的音频和/或视频分量。在一些实施方式中，tv信号162是陆地空中tv广播信号或者在有线系统或卫星系统上分发/广播的信号。在一些实施方式中，通过网络连接将tv信号162作为数据发送。例如，机顶盒103可以从因特网连接接收数字视频流163。在此有时将tv信号162的音频和视频分量称为音频信号和视频信号。在一些实施方式中，tv信号162对应于正在tv110上显示的tv频道。

图1b是包括tv110上的示例性示意性屏幕显示(即截屏)的客户端-服务器环境100的一部分的图。再次地，tv110包括在其上面显示媒体节目的视频的显示器118。此外，在正在显示视频的同时，机顶盒103可提供文本覆盖119，其包括频道和标题信息。例如，文本覆盖119通常包括正在其上面呈现媒体节目的频道以及该媒体节目的标题。文本覆盖119还常常包括作为用户可读文本呈现的关于媒体节目的演员、人物和/或概要的信息。

进一步参考图1a，第二屏幕客户端设备120可以是能够连接到通信网络104的任何计算机设备，诸如计算机、膝上型计算机、平板设备、上网本、因特网信息亭、个人数字助理、移动电话、游戏设备或能够与媒体服务器130进行通信的任何其它设备。

通信网络104可以是有线和无线局域网(lan)和/或广域网(wan)的任何组合，诸如内部网、外部网，包括因特网的一部分或由无线运营商提供的无线网络。通信网络104提供第二屏幕客户端设备120与媒体服务器130之间的通信能力就足够了。在一些实施方式中，通信网络104使用超文本传输协议(http)来使用传输控制协议/网际协议(tcp/ip)传输信息。http允许客户端设备102访问经由通信网络104可用的各种资源。然而，在这里描述的各种实施方式不限于任何特定协议的使用。

在一些实施方式中，媒体服务器130包括前端服务器134，其促进媒体服务器130与通信网络104之间的通信。前端服务器134从客户端设备102接收内容相关信息164。如下面更详细地描述的，在一些实施方式中，内容相关信息164包括节目信息，诸如节目标题、演员姓名、人物姓名、剧情概要等。在一些实施方式中，前端服务器134被配置成向客户端设备102发送一组指令。在一些实施方式中，前端服务器134被配置成发送内容文件、指向内容文件的链接和/或与内容文件相关联的元数据。术语“内容文件”包括任何格式的任何文档或内容，包括但不限于视频文件、图像文件、音乐文件、网页、电子邮件消息、sms消息、内容馈送、广告、优惠券、播放列表或xml文档。在一些实施方式中，前端服务器134被配置成发送或接收一个或多个视频流。在一些实施方式中，前端服务器134被配置成通过通信网络104从广播系统140和/或内容提供者150直接地接收内容。

在一些实施方式中，媒体服务器130包括内容数据库133。在一些实施方式中，内容数据库133包括广告、视频、图像、音乐、网页、电子邮件消息、sms消息、内容馈送、广告、优惠券、播放列表、xml文档以及与各种媒体内容相关联的评级或其任何组合。在一些实施方式中，内容数据库133包括指向广告、视频、图像、音乐、网页、电子邮件消息、sms消息、内容馈送、广告、优惠券、播放列表、xml文档以及与各种媒体内容相关联的评级或其任何组合的链接。在一些实施方式中，内容数据库133是分布式数据库。

在一些实施方式中，广播系统140包括诸如tv节目之类的媒体内容。在一些实施方式中，广播系统140还包括与tv节目中的一个或多个相关联的元数据以及应用程序接口指令。在一些实施方式中，应用程序接口指令包括在客户端-服务器模型等下可以提供给客户端设备和/或可由广播系统140执行以便将特定tv节目与相关联的元数据链接和/或将tv节目和相关联的元数据142与外部数据和/或服务(诸如社交联网应用)链接的指令。类似地，在一些实施方式中，内容提供者150另外和/或替选地包括媒体内容，诸如tv节目以及与tv节目中的一个或多个相关联的元数据。

图2是上文参考图1a所讨论的客户端设备102的示例性实施方式的图，并且可作为补充机顶盒和/或电视集成设备操作。虽然图示出某些特定特征，但本领域的技术人员从本公开该将认识到为了简洁起见并未图示出各种其它特征，以免使这里公开的实施方式的更加相关方面含糊难懂。为此，客户端设备102包括一个或多个处理单元(cpu)402、一个或多个网络或其它通信接口408、存储器406、tv调谐器432、视频i/o430以及一个或多个通信总线404，以用于将这些和各种其它组件互连。通信总线404可选地包括将系统组件互连并控制其之间的通信的电路(有时称为芯片组)。客户端设备102还可包括用户接口412，其包括显示设备413和键盘和/或鼠标(或其它指示设备)414和/或遥控设备(等)。存储器406包括高速随机存取存储器，诸如dram、sram、ddr、ram或其它随机存取固态存储器件；并且可以包括非易失性存储器，诸如一个或多个磁盘存储器件、光盘存储器件、闪速存储器就或其它非易失性固态存储器件。存储器406可以可选地包括位于远离一个或多个cpu402处的一个或多个存储器件。存储器406或替选地存储器406内的一个或多个非易失性存储器件包括非瞬时计算机可读存储介质。在一些实施方式中，存储器406或存储器406的计算机可读存储介质存储以下程序、模块和数据结构或者其子集，包括操作系统416、网络通信模块418、ocr模块426和数据模块420。

操作系统416包括用于处理各种基本系统服务且用于执行依赖硬件的任务的过程。

网络通信模块418促进经由一个或多个通信网络接口404(有线或无线)和一个或多个通信网络(诸如因特网、其它广域网、局域网、城域网等)与其它设备的通信。

在一些实施方式中，ocr模块426使得客户端设备102能够处理截屏(例如来自tv110的图像)以获得包括在由主机顶盒103提供的节目信息覆盖中的节目信息。为此，ocr模块426包括ocr指令324和元数据325。

在一些实施方式中，数据模块420包括ocr数据161和节目信息的本地数据库123。在一些实施方式中，从广播系统和/或内容提供者接收节目信息。在一些实施方式中，ocr数据161包括文本段161-1、图像161-2和用户id信息161-3。

可将上文识别的元素中的每一个存储在前述存储器件中的一个或多个中，并且模块或程序中的每一个对应于用于执行上述功能的一组指令。该组指令可由一个或多个处理器(例如cpu402)执行。上文识别的模块或程序(即指令集)不需要被实现为分立的软件程序、过程或模块，并且因此在各种实施方式中可将这些模块的各种子集组合或者另外重新布置。在一些实施方式中，存储器406存储上文识别的模块和数据结构的子集。此外，存储器406可存储上文未描述的附加模块和数据结构。

图3是确定消费者当前正在观看什么的方法300的实施方式的流程图表示。在一些实施方式中，由诸如补充机顶盒和/或电视集成模块的设备来执行所述方法，以便使得能够确定消费者当前正在观看什么。例如，参考图1a，在一些实施方式中，由客户端设备102(即补充机顶盒)来执行方法300。如上所述，当用户通过例如使用一个或多个频道选择选项或按下“info”按钮来改变频道或请求节目信息时，主机顶盒显示包括节目信息的覆盖，该节目信息诸如当前频道、播放节目的标题和关于该节目的信息。因此，该方法包括通过监视由主机顶盒提供的显示输出并针对期望的信息解析该覆盖来识别主机顶盒提供覆盖期间的实例。另外和/或替选地，在一些实施方式中，该方法包括在没有通过用户交互(即用户按下按钮)来提示的情况下检测显示频道标识符的时间。

为此，该方法包括执行从显示由消费者通过主机顶盒等选择的电视节目的显示设备执行屏幕或显示器数据捕捉，以便获取正在显示什么的图像(301)。在一些实施方式中，从由主机顶盒提供的视频信号获得屏幕捕捉数据。另外和/或替选地，在一些实施方式中，从包括在机顶盒中的显示(即视频)卡和/或机顶盒的操作系统获得屏幕捕捉数据。另外和/或替选地，从在主机顶盒、补充机顶盒、tv以及第二屏幕设备中的至少一个上运行的tv应用获得屏幕捕捉数据。另外和/或替选地，在一些实施方式中，补充机顶盒(等)包括可操作地用于捕捉电视等的显示的图像的相机。该方法包括分析图像以识别图像是否包括正在由主机顶盒显示覆盖的指示符(302)。例如，在一些实施方式中，该指示符包括覆盖的色彩、覆盖在可见时通常覆盖的显示区的百分比、具有覆盖的文本的布置、可能将显示节目的显示的一部分与可能将显示覆盖的显示的另一部分之间的对比。

该方法包括确定是否存在如图像分析所指示的指示符中的一个或多个(303)。如果对于特定屏幕捕捉而言不存在指示符(来自303的“否”路径)，则该方法包括在捕捉另一截屏等之前等待伪随机时间量或预置延迟时间(304)。另一方面，如果存在至少一个指示符或者存在另一阈值数目的指示符(来自303的“是”路径)，则该方法包括对图像应用光学字符识别技术以便识别并提取所显示的信息(305)。已提取标题和/或节目信息，该方法包括用本地和/或远程数据库对提取的信息进行交叉引用以确保信息的有效性(306)。例如，进一步参考图1a，客户端设备102可与媒体服务器130通信，以检查所提取的显示信息的有效性。更具体地，客户端设备102可向媒体服务器130发送所提取的信息的全部或一部分。进而，媒体服务器130然后可针对内容数据库(例如图1的内容数据库133)检查所提取信息以确保所提取的数据是正确的和/或当所提取的数据不正确但可以与数据库信息匹配时向客户端设备102提供已校正的信息。

图4是确定消费者当前正在观看什么的方法400的实施方式的流程图表示。在一些实施方式中，由诸如补充机顶盒和/或电视集成模块的设备来执行所述方法，以便使得能够部分地通过模拟与主机顶盒相关联的遥控设备的操作来确定消费者当前正在观看什么。为此，该方法包括向主机顶盒发送第一红外(ir)代码(等)以便发起节目信息覆盖的显示(441)。例如，进一步参考图1a，客户端设备102和第二屏幕客户端设备120中的一个可向机顶盒103发送ir代码。

该方法然后包括执行屏幕捕捉以获取包括节目信息覆盖的截屏(即图像)(442)。已获取截屏，该方法包括向主机顶盒发送第二ir代码(等)以便发起播放电视节目上的节目信息覆盖的去除(443)。该方法包括分析图像或截屏以获得在覆盖中呈现的节目信息(444)。已提取标题和/或节目信息，该方法包括用本地和/或远程数据库对提取的信息进行交叉引用以确保信息的有效性(445)。

图5是确定消费者当前正在观看什么的方法500的实施方式的流程图表示。在一些实施方式中，由诸如补充机顶盒和/或电视集成模块的设备来执行所述方法，以便使得能够通过检测来自与主机顶盒相关联的遥控设备的ir传输来确定消费者当前正在观看什么。例如，进一步参考图1a，客户端设备102可以检测从遥控设备112指向主机顶盒103的ir传输。

为此，该方法包括检测来自与主机顶盒相关联的遥控设备的ir传输或等价物(501)。进而，该方法包括解析该传输以便识别ir传输所表示的命令(502)。已识别该命令，所述方法包括确定所识别的命令是否促使主机顶盒在提供给显示设备的视频流中提供节目信息覆盖。如果检测到的命令不可能促使主机顶盒提供节目信息覆盖(来自503的“否”路径)，则该方法包括向后循环以检测另一ir传输。另一方面，如果检测到的命令可能促使主机顶盒提供节目信息覆盖(来自503的“是”路径)，则该方法包括执行从显示由消费者通过主机顶盒等选择的电视节目的显示设备执行屏幕或显示数据捕捉，以获取正在显示什么的图像(504)。该方法包括分析图像或截屏以获得在覆盖中呈现的节目信息(505)。并且，该方法包括用本地和/或远程数据库对提取的信息进行交叉引用以确保信息的有效性(506)。

图6是客户端-服务器环境600的实施方式的图。图6中所示的客户端-服务器环境600类似于图1a中所示的客户端-服务器环境100且是从其适配而来。每个所共有的元素包括共用的附图标记，并且为了简洁起见在这里仅描述图1a和6之间的差别。此外，虽然图示出某些特定特征，但本领域的技术人员从本公开该将认识到为了简洁起见并未图示出各种其它特征，以免使这里公开的示例性实施方式的更加相关方面含糊难懂。

为此，参考图6，客户端-服务器环境600另外包括搜索服务器系统170以及任何数目的第三方内容服务器系统180-1、...、180-n。在一些实施方式中，将搜索服务器系统170实现为单个服务器系统，而在其它实施方式中，将其实现为多个服务器和系统的分布式系统。仅仅为了便于说明，下面将搜索服务器系统170描述为被实现为单个系统。类似地，在一些实施方式中，将第三方内容服务器系统180-1...180-n中的每一个实现为单个服务器系统，而在其它实施方式中将第三方内容服务器系统180-1...180-n中的每一个实现为多个服务器的分布式系统。仅仅为了便于说明，下面将第三方内容服务器系统180-n…180-n中的每一个描述为在相应单个服务器系统上实现。

在一些实施方式中，如下面参考图9更详细地描述的，客户端设备102(例如补充机顶盒、电视集成设备等)还被配置成通过捕捉与在电视110上呈现的媒体节目相关联的显示数据来识别并呈现与媒体节目相关联的因特网可访问内容。在一些实施方式中，客户端设备102被配置成从主机顶盒103接收显示信号，并将该显示信号传递至电视等。结果，在这样的实施方式中，捕捉显示数据包括处理由主机顶盒103提供的显示信号。客户端设备102然后响应于确定显示数据包括文本覆盖而从所捕捉的显示数据提取文本，其中所提取的文本与媒体节目相关联。

随后，客户端设备102通过向搜索服务器系统170提交搜索查询来基于所提取的文本中的至少一些来执行因特网搜索。进而，搜索服务器系统170通过将存储在第三方内容服务器系统180-1、...、180-n中的一个或多个上的信息和/或对信息的访问作为一组结果提供给客户端设备102来对接收到的搜索查询进行响应。客户端设备102进行操作以在电视110和第二屏幕客户端设备120(即第二屏幕设备，诸如平板计算机)中的至少一个上显示搜索结果的至少一部分。

图7a是根据一些实施方式的进行操作以显示信息框710的电视110的电视显示器118的示例性截屏的示意图。虽然图示了电视，但本领域的技术人员将从本公开认识到可与任何媒体呈现设备相结合地使用这里公开的系统和方法。在操作中，参考图6和7a，在一些实施方式中，除由主机顶盒103提供的显示信号之外，客户端设备102还向电视110提供显示指令和/或显示数据(即显示信号)。该显示指令促使电视110显示由显示数据提供的信息框710作为遮挡在显示器118上呈现的播放电视节目720的至少一部分的视觉覆盖。由主机顶盒103提供的显示信号包括用于呈现播放电视节目720的数据。在一些实施方式中，由客户端设备102提供的显示数据包括信息框710的光学属性，包括例如信息框710的相对尺寸、形状和颜色。在一些实施方式中，显示数据还包括通过上文简要地描述的过程获得的与播放电视节目720相关联的搜索结果。例如，如图7a中所示，信息框710包括与第一搜索词语相关联的搜索结果710-1的第一指示符和第一数目的可选择超链接711-1。更一般地，信息框710包括许多搜索结果指示符，高达且包括与第n搜索词语相关联的搜索结果710-n的第n指示符和第n个可选择超链接711-n。在一些实施方式中，搜索结果的每个指示符与来自一般因特网搜索、对相关联的新闻项目的定向搜索、对相关联的图像的定向搜索、对相关联的因特网可访问媒体内容(例如视频、音乐等)的定向搜索以及对相关联的社交媒体内容的定向搜索的搜索结果中的至少一个。

图7b是根据一些实施方式的电视显示器118和第二屏幕客户端设备120的示例性截屏的示意图。与图7中所示的示例相反，在第二屏幕客户端设备120的屏幕125上显示信息框730，其提供与播放电视节目720相关联的搜索结果。在操作中，参考图6和7b两者，在一些实施方式中，客户端设备102向第二屏幕客户端设备120提供显示指令和显示数据(即显示信号)。该显示指令促使第二屏幕客户端设备120将由显示数据提供的信息框730显示为遮挡屏幕125的至少一部分的视觉覆盖。在一些实施方式中，显示数据包括信息框730的光学属性，包括例如信息框730的相对尺寸、形状和颜色。在一些实施方式中，与另一应用(或程序)窗口750相结合地呈现信息框730和/或显示屏的另一部分包括不包括窗口等的其它显示区740。在一些实施方式中，显示数据还包括通过上文简要地描述的过程获得的与播放电视节目720相关联的搜索结果。例如，如图7b中所示，信息框730包括与第一搜索词语相关联的搜索结果730-1的第一指示符和第一数目的可选择超链接731-1。更一般地，信息框730包括许多搜索结果指示符，高达且包括与第n搜索词语相关联的搜索结果730-n的第n指示符和第n个可选择超链接731-n。如上所述，在一些实施方式中，搜索结果的每个指示符与来自一般因特网搜索、对相关联的新闻项目的定向搜索、对相关联的图像的定向搜索、对相关联的因特网可访问媒体内容(例如视频、音乐等)的定向搜索以及对相关联的社交媒体内容的定向搜索的搜索结果中的至少一个。

图8是根据一些实施方式的可操作为补充机顶盒、电视集成设备和/或第二屏幕客户端设备中的至少一个的客户端设备102-1的示例性实施方式的图。图8中所示的客户端设备102-1类似于图2中所示的客户端设备102且是从其适配而来。每个所共有的元素包括共同的附图标记，并且为了简洁起见在这里仅描述图2和8之间的差别。此外，虽然图示了某些特定特征，但本领域的技术人员从本公开该将认识到为了简洁起见未图示出各种其它特征，以免使这里公开的示例性实施方式的更加相关方面含糊难懂。

为此，参考图8，在一些实施方式中，客户端设备102-1的存储器406附加地包括文本评估模块810、关联内容搜索模块820和显示模块830。另外，包括在存储器406中的数据模块420进一步包括文本评估结果841、服务器提供的关联内容探试法(heuristics)高速缓存842、搜索结果高速缓存843以及显示数据高速缓存844。

如上所述，在一些实施方式中，ocr模块426使得客户端设备102-1能够处理截屏(例如来自tv110的图像)以获得包括在由主机顶盒103提供的节目信息覆盖中的节目信息。为此，ocr模块426包括ocr指令324和元数据325。

在一些实施方式中，文本评估模块810使得客户端设备102-1能够从由ocr模块426获得的节目信息识别与电视节目有关的词语。为此，文本评估模块810包括文本评估指令811和相关联的元数据812。下面参考图10来更详细地描述文本评估指令811。在一些实施方式中，文本评估指令811的执行结果导致作为文本评估结果841存储在数据模块420中的数据。在一些实施方式中，与文本评估元数据812分离的文本评估结果841包括与被用户频繁地选择的电视节目相关联的一个或多个文本串。在一些实施方式中，如下面参考图9所述，使用存储在服务器提供的关联内容探试法高速缓存842和搜索结果高速缓存843中的数据中的至少一个来精化文本串。在一些实施方式中，服务器提供的关联内容探试法高速缓存842包括由与一个或多个电视节目相关联的搜索服务器系统170和/或媒体服务器130提供的探试法。在一些实施方式中，该探试法包括从由大量其他用户和/或由内容提供者提交的在先搜索收集的数据以使得用户能够更高效地找到与当前在电视或显示器上同时地播放的特定电视节目相关联的因特网可访问和/或基于因特网的功能、内容和/或服务。在一些实施方式中，搜索结果高速缓存843包括来自从客户端设备102-1提交的在先搜索查询的数据。在一些实施方式中，基于哪些查询激起来自与客户端设备102-1相关联的一个或多个用户的最大兴趣来将来自在先搜索查询的数据排序，例如根据跟随在来自特定搜索查询的搜索结果中提供的超链接。

在一些实施方式中，关联内容搜索模块820使得客户端设备102-1能够执行对与正在电视或显示器上同时地播放的特定电视节目相关联的因特网可访问和/或基于因特网的功能、内容和/或服务的搜索。为了执行搜索，关联内容搜索模块820从由文本评估模块810识别的一个或多个相关词语产生一个或多个搜索查询，并且将所述一个或多个搜索查询发送到搜索服务器系统(例如搜索服务器系统170)。为此，关联内容搜索模块820包括关联内容搜索指令821和相对应元数据822。在一些实施方式中，如下面参考图9所述，使用存储在服务器提供的关联内容探试法高速缓存842和搜索结果高速缓存843中的数据中的至少一个来精化所述一个或多个搜索查询。

在一些实施方式中，显示模块830进行操作以向电视等提供显示指令和显示数据。为此，显示模块830包括显示指令831和相对应的元数据832。在一些实施方式中，显示指令831和元数据832包括用来显示搜索结果、用户偏好以及指引在电视和第二屏幕设备中的至少一个上的显示的指令的信息框的相对尺寸、形状和色彩。此外，在一些实施方式中，使用显示数据高速缓存844来存储被客户端设备102-1频繁地下载的图像及其它数据。

图9是识别和呈现与当前播放的电视节目相关联的因特网可访问内容的方法900的实施方式的流程图表示。在一些实施方式中，由诸如补充机顶盒和/或电视集成模块的设备来执行方法900，以便使得能够确定消费者当前正在观看什么。例如，参考图6和8，在一些实施方式中，由客户端设备102-1来执行方法900(例如补充机顶盒)。简要地，方法900包括接收对与当前播放的电视节目相关联的内容搜索的请求，用信号通知主机顶盒显示节目数据、从所显示的节目数据提取文本、基于所提取的文本中的至少一些来执行因特网搜索、以及显示搜索结果。

为此，方法900包括接收指示来自相关联的内容的请求的用户输入的用户输入数据(901)。例如，继续参考图6，客户端设备102-1从操作遥控设备112和/或第二屏幕客户端设备120的用户接收对关联内容搜索的请求。根据一些实施方式，用户选择并按下遥控设备112上或在第二屏幕客户端设备120上显示的应用接口上的“info”按钮(等)。遥控设备112或第二屏幕客户端设备120然后响应于接收到用户输入而向客户端设备102-1发送指示对关联内容搜索的请求的数据信号。

方法900然后包括向主机顶盒发送第一红外(ir)代码(等)以便发起节目信息覆盖的显示(902)。例如，进一步参考图6，客户端设备102-1和第二屏幕客户端设备120中的一个可将ir代码发送到主机顶盒103。方法900然后包括执行屏幕捕捉以获取包括节目信息覆盖的截屏(即图像数据)(903)。该方法然后可选地包括向主机顶盒发送第二ir代码(等)以便发起播放电视节目上的节目信息覆盖的去除(904)。在一些实施方式中，不发送第二ir代码(等)，并且允许覆盖保持在屏幕上直至主机顶盒进行操作以基于主机顶盒的配置而将其去除为止。方法900包括对所捕捉的截屏执行光学字符识别以获得在覆盖中呈现的节目信息文本(905)。已提取节目信息文本，方法900包括分析节目信息文本以生成具有从节目信息文本取得的相关搜索词语的一个或多个搜索查询(906)。下面参考图10来描述导致一个或多个相关搜素查询的文本分析的方法的实施方式的示例。

方法900可选地包括使用搜索启发和/或用户偏好来精化搜索查询(907)。例如，如上所述，进一步参考图6和8，在一些实施方式中，方法900包括使用存储在服务器提供的关联内容探试法高速缓存842和搜索结果高速缓存843中的数据中的至少一个来精化一个或多个搜索查询。在一些实施方式中，服务器提供的关联内容探试法高速缓存842包括由与一个或多个电视节目相关联的搜索服务器系统和/或媒体服务器提供的启发。在一些实施方式中，该探试法包括从由大量其他用户和/或由内容提供者提交的在先搜索收集的数据以使得用户能够更高效地找到与当前在电视或显示器上同时地播放的特定电视节目相关联的因特网可访问和/或基于因特网的功能、内容和/或服务。在一些实施方式中，搜索结果高速缓存包括来自从客户端设备提交的在先搜索查询的数据。在一些实施方式中，基于哪些查询激起来自与客户端设备相关联的一个或多个用户的最大兴趣来将来自在先搜索查询的数据排序，例如根据跟随在来自特定搜索查询的搜索结果中提供的超链接。

方法900包括用所述一个或多个搜索查询或精化的一个或多个搜索查询来执行对与当前在电视或显示器上同时地播放的特定电视节目相关联的因特网可访问和/或基于因特网的功能、内容和/或服务的搜索(908)。参考图10所述的示例，关于如何可以将搜索结果排序、评分和呈现、使得在所显示的搜索结果的顶部处或附近呈现更加相关的搜索结果的更多特定细节。方法900包括在电视和/或第二屏幕客户端设备上显示搜索结果(909)。

图10是识别和呈现与当前播放的电视节目相关联的因特网可访问内容的方法1000的实施方式的流程图表示。具体地，方法1000是导致一个或多个相关搜索查询的文本分析的方法的示例性实施方式。在一些实施方式中，由诸如补充机顶盒和/或电视集成模块的设备来执行方法1000，以便使得能够确定消费者当前正在观看什么。例如，参考图6和8，在一些实施方式中，由客户端设备102-1(例如补充机顶盒)来执行方1000。简要地，方法1000解析包括在显示节目数据中的文本以便识别与当前播放的电视节目相关联的相关搜索词语。

为此，方法1000包括识别通过对所捕捉的截屏应用ocr过程获得的节目信息文本中的一个或多个描述性短语(1001)。在一些实施方式中，通过从节目信息文本提取节目演出数据来识别一个或多个描述性短语。在一些实施方式中，节目显示数据包括与电视节目的演出(即电视广播)相关联的信息，例如演出时间、演出持续时间、电视台或频道名称、附加说明参考、样板文件数据等。例如，使用节目信息文本“thepriceisright10:00am–11:00amtv-gcontestantsbidforprizesthencompeteforfabulousshowcases”，方法1000的执行提取“10:00am–11:00am”作为时间短语和“tv-g”作为公共短语。并且识别的描述性短语将包括“thepriceisright”和“contestantsbidforprizesthencompeteforfabulousshowcases”。

方法1000包括从所识别的描述性短语中识别名词短语(1002)。在一些实施方式中，识别名词短语的过程包括将所识别的描述性短语的段与电视演出、电影、体育事件以及已知男演员和女演员的已知名称(即已知的专有名称)进行比较。另外和/或替选地，在一些实施方式中，使用自然语言处理工具包来识别名词短语。继续以上示例，方法1000的继续执行将“thepriceisright”、“contestants”、“prizes”和“fabulousshowcases”识别为名词短语。

方法1000包括将阈值数目的所识别的名词短语识别为用于搜索的关键字短语(1003)。例如，在一些实施方式中，将前m(例如m＝5)个名词短语识别为用于搜索的关键字短语。可选地，方法1000包括精化关键字短语以使得能够进行更精确和/或更准确的搜索(1004)。例如，在一些实施方式中，对关键字短语检查可能由ocr过程引入的打字错误。在另一示例中，在一些实施方式中，针对电视演出、电影、体育事件以及已知男演员和女演员的已知名称对关键字进行交叉引用。在另一示例中，在一些实施方式中且参考图6和8，针对存储在服务器提供的关联内容探试法高速缓存842和搜索结果高速缓存843中的数据中的至少一个对关键字短语进行交叉引用。在一些实施方式中，服务器提供的关联内容探试法高速缓存842包括由与一个或多个电视节目相关联的搜索服务器系统和/或媒体服务器提供的探试法。在一些实施方式中，该探试法包括从由大量其他用户和/或由内容提供者提交的在先搜索收集的数据以使得用户能够更高效地找到与当前在电视或显示器上同时地播放的特定电视节目相关联的因特网可访问和/或基于因特网的功能、内容和/或服务。在一些实施方式中，搜索结果高速缓存包括来自从客户端设备提交的在先搜索查询的数据。在一些实施方式中，基于哪些查询激起来自与客户端设备相关联的一个或多个用户的最大兴趣来将来自在先搜索查询的数据排序，例如根据跟随在来自特定搜索查询的搜索结果中提供的超链接。

方法100包括使用精化的关键字短语来执行因特网搜索以获得用于每个的搜索结果(1005)。方法1000包括将用于每个关键字短语的搜索结果分类(1006)。例如，在一些实施方式中，根据特定搜索结果是网页、新闻故事、图像和/或社会媒体服务链接而将用于每个关键字短语的搜索结果分类。随后，该方法1000包括向用于每个种类和/或关键字短语的前x个搜索结果分配查询排名或分值(1007)。在一些实施方式中，查询排名或分值合并了用户位置数据、搜索历史和偏好中的至少一个。方法1000然后包括基于关键字短语在节目信息文本中出现的顺序而向每个关键字短语分配接近度分值(1008)。进而，方法1000包括将每个查询分值乘以相应接近度分值以产生用于与特定关键字分值相关联的每个搜索结果的相关性分值(1009)。方法1000包括至少基于相关性分值来将搜索结果排序并至少基于相关性分值来显示搜索结果(1010)。在一些实施方式中，基于种类和相关性分值的组合来呈现搜索结果。在一些实施方式中，基于关键字短语和相关性分值的组合来呈现搜索结果。在一些实施方式中，基于关键字短语、种类和相关性分值的组合来呈现搜索结果。

还将理解的是虽然在本文中可能使用术语“第一”、“第二”等来描述各种元件，但这些元件不应受到这些术语的限制。这些术语仅仅用来将一个元件与另一个区别开。例如，第一接点可以称为第二接点，并且同样地，第二接点可以称为第一接点，其改变描述的意义，只要“第一接点”的所有出现都被一致地重命名，并且第二接点的所有出现被一致地重命名。第一和第二接点两者都是接点，但它们不是同一接点。

本文所使用的术语仅仅用于描述特定实施方式的目的且并不意图限制权利要求。如在实施方式的描述和所附权利要求中所使用的单数形式“一”、“一个”和“所述”意图也包括复数形式，除非上下文另外清楚地指明。还将理解的是在这里使用的术语“和/或”指的是且涵盖相关联地列出的项目中的一个或多个的任何和所有可能组合。还将理解的是当在本说明书中使用时，术语“包括”和/或“包含”指定所述特征、整体、步骤、操作、元件和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元件、组件和/或其群组的存在或添加。

根据上下文，可将在这里使用的术语“如果”理解成意指“当...时”或“在...时”或“响应于确定”或“根据确定”或“响应于检测到”前面所述条件为真。同样地，根据上下文，可将短语“如果确定【先前所述条件为真】”或“如果【先前所述条件为真】”或“当【先前所述条件为真】时”理解成意指“在确定...时”或“响应于确定”或“根据确定”或“在检测到...时”或“响应于检测到”先前所述条件为真。

已参考特定实施例出于说明的目的描述了先前的描述。然而，以上说明性讨论并不意图是穷举的或使本发明限于公开的精确形式。鉴于以上教导，可以有许多修改和变更。选择和描述实施方式是为了最好地解释本发明的原理及其实际应用，从而使得本领域的技术人员在预期适合于特定使用的各种修改的情况下最好地利用本发明和各种实施方式。