用于在第二设备上显示与在第一设备上播放的内容有关的内容的方法
【专利摘要】从第一客户端接收内容信息。从正在第一客户端设备上播放的视频流得到内容信息。将内容信息与内容指纹相匹配。确定与匹配的内容指纹相关联的指令集。将所确定的指令集发送给与第一客户端设备的用户相关联的第二客户端设备以执行。
【专利说明】用于在第二设备上显示与在第一设备上播放的内容有关的内容的方法
【技术领域】
[0001]本申请描述了用于在第二设备上呈现与正在第一设备上呈现的媒体内容有关的信息的系统和方法。
【背景技术】
[0002]视频内容有时包括提不观看者获取与视频内容有关的彳目息的首频消息和视觉消息。例如，电视广告可以提示用户访问与做广告的产品相关联的产品的网站来获取关于该产品的优惠券或信息。在另一个示例中，在播放电视节目或电影期间，可以显现消息，其提示观看者访问网站来查看更多与在该电视节目或电影中描绘或与该电视节目或电影相关联的人、场所或事物有关的信息。即使没有被提示，许多用户也对与他们正观看的视频内容有关的人、场所或事物感兴趣。典型地，为了获取与视频流有关的信息，用户将需要使用具有因特网能力的设备来访问网站。用于向用户提供与他们正观看的内容有关的信息的现有方法效率低下，因为它们要求用户采取在观看体验外的某一动作。而且，许多观看者可能错过或忽略提供关于视频内容的另外信息的音频消息和视觉消息，并且许多观看者在观看视频内容的同时操作计算设备可能不方便。
【发明内容】
[0003]所公开的方法和设备减少或消除了上述不足和其他问题。在本文所述的方法和系统公开了用于在第二客户端设备上显示与在第一客户端设备上播放的内容有关的内容的系统和方法。这样的方法和系统提供了广播商和内容提供商向正在观看视频内容的用户提供相关信息的有效方式。当视频流正在第一客户端设备上播放时，第一客户端设备向服务器系统发送从该视频流得到的内容信息。服务器系统通过将该内容信息与内容指纹相匹配来识别在第一客户端设备上播放的视频流。服务器系统然后基于匹配的内容指纹来生成指令集并且识别内容。该指令集包括用来显示与在第一客户端设备上显示的视频流的内容有关的内容的指令。将该指令集发送给第二客户端设备以供执行，并且将相关内容发送给第二客户端设备以供显示。第二客户端设备根据该指令集执行一个或多个应用并且显示该相关内容。
[0004]根据一些实施方式，提供了用来在第二客户端设备上显示与在第一客户端设备上播放的视频流有关的内容的系统和方法。在服务器系统处从第一客户端接收内容信息。从在第一客户端设备上播放的视频流得到内容信息。将内容信息与内容指纹相匹配。基于内容指纹来确定指令集，并且将该指令集发送给与第一客户端设备的用户相关联的第二客户端设备以供执行。
[0005]根据一些实施方式，在第二客户端设备处接收指令集。该指令集包括用来显示与在第一客户端设备上播放的内容有关的信息的指令。根据该指令集执行一个或多个应用。该一个或多个应用显示与在第一客户端设备上播放的内容有关的信息。【专利附图】
【附图说明】
[0006]图1是图示根据一些实施方式的分布式客户端-服务器系统的框图。
[0007]图2A是图示根据一些实施方式的示例性服务器系统的结构的框图。
[0008]图2B图示根据一些实施方式的示例性数据结构。
[0009]图3A是图示根据一些实施方式的示例性客户端设备的结构的框图。
[0010]图3B是图示根据一些实施方式的示例性客户端设备的结构的框图。
[0011]图4是图示在第二设备上显示与在第一设备上播放的内容有关的内容的过程的概览的流程图。
[0012]图5A、5B、5C和是根据一些实施方式的示例性截屏。
[0013]图6A和6B是图示识别在第一客户端设备上显示的内容并且确定用来在第二客户端上显示相关内容的指令集的处理的流程图。
[0014]图7是图示在第二客户端设备上显示与在第一客户端设备上播放的内容有关的信息的过程的流程图。
[0015]在整个附图中，相同参考数字是指相应部分。
【具体实施方式】
[0016]在本文所述的方法和系统公开了用于在第二客户端设备上显示与在第一客户端设备上播放的内容有关的内容的系统和方法。这样的方法和系统提供了广播商和内容提供商向正在观看视频内容的用户提供相关信息的有效方式。
[0017]图1是图示包括下述的分布式系统100的框图:客户端设备102、客户端设备140、通信网络104、服务器系统106、数字显示器110和广播系统112。服务器系统106通过通信网络104耦接到客户端设备102、客户端设备140和广播系统112。
[0018]可以将广播系统112和服务器系统106的功能性组合在单个服务器系统中。在一些实施方式中，服务器系统106被实现为单个服务器系统，而在其他实施方式中，其被实现为多个服务器的分布式系统。只是为了便于说明，在下面将服务器系统106描述为在单个服务器系统上实现。在一些实施方式中，广播系统112被实现为单个服务器系统，而在其他实施方式中，其被实现为多个服务器的分布式系统。只是为了便于说明，在下面将广播系统108描述为在单个服务器系统上实现。
[0019]通信网络104可以是任何有线或无线局域网(LAN)和/或诸如内联网的广域网(WAN)、外联网或因特网。通信网络104提供在客户端设备102和140与服务器系统106之间的通信能力是足够的。在一些实施方式中，通信网络104使用超文本传输协议(HTTP)来传输使用传输控制协议/网际协议(TCP/IP)的信息。HTTP允许客户端设备102和140访问通过通信网络104可获得的各种资源。然而，在本文所述的各种实施方式不限于对任何特定协议的使用。
[0020]在一些实施方式中，服务器系统106包括便于在服务器系统106和网络104之间的通信的前端服务器114。前端服务器114从客户端102和/或客户端140接收内容信息142。在一些实施方式中，内容信息142是视频流或其部分。在一些实施方式中，从在客户端102上播放的视频流得到内容信息142 (诸如在客户端102上播放的视频流的一部分以及该部分的一个或多个指纹)。在一些实施方式中，前端服务器114被配置成向客户端设备140发送指令集。在一些实施方式中，前端服务器114被配置成发送内容文件和/或到内容文件的链接。在这种情境下，用语“内容文件”意为任何格式的任何文档或内容，包括但不限于:视频文件、图像文件、音乐文件、网页、电子邮件消息、SMS消息、内容馈给、广告、优惠券、播放列表或XML文档。在一些实施方式中，前端服务器114被配置成发送或接收一个或多个视频流。
[0021]根据一些实施方式，视频或视频流是表示运动中的场景的图像或帧序列。应当将视频与图像相区分。视频每秒显示多个图像或帧。例如，视频每秒显示30个连续帧。相比之下，图像不与任何其他图像相关联。
[0022]内容馈给(或频道)是提供在馈给源处存在、最近添加或最近更新的内容项的列表的资源或服务。在内容馈给中的内容项可以包括与项自身相关联的内容(内容项指定的实际内容)、题目(有时被称为标题)、和/或内容的描述、内容的网络位置或定位符(例如，URL )或其任何组合。例如，如果内容项识别文本文章，则该内容项可以包括内嵌的文章自身，连同题目(或标题)以及定位符。替选地，内容项可以包括题目、描述和定位符，但是不包括文章内容。因此，一些内容项可以包括与那些项相关联的内容，而其他包含到相关联的内容的链接，但是不包括项的完整内容。内容项还可以包括提供关于内容的另外信息的另外元数据。内容的完整版本可以是任何机器可读数据，包括但不限于:网页、图像、数字音频、数字视频、可移植文档格式(PDF)文档等。
[0023]在一些实施方式中，使用诸如RSS的内容聚合格式来指定内容馈给。RSS是表示“丰富站点摘要”、“RDF站点摘要”或“真正简易聚合”的首字母缩略词。“RSS”可以指基于可扩展标记语言(XML)、用于指定内容馈给及包括在该馈给中的内容项的格式族中的任何一个。在一些其他实施方式中，可以使用诸如Atom聚合格式或VCALENDAR日历格式的其他内容聚合格式来指定内容馈给。
[0024]在一些实施方式中，服务器系统106包括存储用户数据的用户数据库130。在一些实施方式中，用户数据库130是分布式数据库。
[0025]在一些实施方式中，服务器系统106包括内容数据库122。在一些实施方式中，内容数据库122包括广告、视频、图像、音乐、网页、电子邮件消息、SMS消息、内容馈给、广告、优惠券、播放列表、XML文档或其任何组合。在一些实施方式中，内容数据库122包括到广告、视频、图像、音乐、网页、电子邮件消息、SMS消息、内容馈给、广告、优惠券、播放列表和XML文档的链接。在一些实施方式中，内容数据库122是分布式数据库。
[0026]在一些实施方式中，服务器系统106包括触发器模块118,其包括用于下述的模块:从客户端102和/或客户端140接收内容信息142、将内容信息与指纹数据库120中的内容指纹相匹配、基于匹配的指纹来确定指令集132以及向客户端140发送指令集132以供执行。
[0027]在一些实施方式中，服务器系统106包括存储内容指纹的指纹数据库120。如在本文所使用的，内容指纹是视频流和/或音频流的内容的任何类型的压缩或紧凑型表示或签名。在一些实施方式中，指纹可以表示视频流或音频流的剪辑(诸如数秒钟、分钟或小时)。或者，指纹可以表示视频流或音频流的单个瞬间(例如，视频的单个帧或与该视频帧相关联的音频的指纹)。此外，由于视频内容随着时间的推移改变，因此，该视频内容的对应指纹也将随着时间的推移改变。在一些实施方式中，指纹数据库120是分布式数据库。
[0028]在一些实施方式中，服务器系统106包括存储应用的应用数据库132。在一些实施方式中，应用数据库132是分布式数据库。
[0029]客户端设备102包括视频模块110，其从广播系统112接收视频流126、从正在客户端102上播放的视频流126提取内容信息142并且将内容信息142发送给服务器106。
[0030]客户端设备102是在一些实施方式中能够连接到通信网络104、接收视频流、从视频流提取信息并且在显示设备108上呈现视频流的任何适当的计算机设备。在一些实施方式中，客户端设备102是包括用来接收并呈现视频流的组件的机顶盒。例如，客户端设备102可以是用于接收有线电视和/或卫星电视的机顶盒、数字视频录像机(DVR)、数字媒体接收机、电视调谐器、计算机和/或输出电视信号的任何其他设备。在一些实施方式中，客户端设备102在显示设备108上显示视频流。在一些实施方式中，客户端设备102可以是没有被连接到因特网并且通过空中广播或卫星或电缆连接来显示数字和/或模拟电视内容的常规电视显示器。
[0031]在一些实施方式中，显示设备108可以是用于向用户呈现视频内容的任何显示器。在一些实施方式中，显示设备108是被配置成从客户端102接收并显示音频和视频信号或其他数字内容的电视的显示器或计算机监视器。在一些实施方式中，显示设备108是带有中央处理单元、存储器和被配置成从客户端102接收并显示音频和视频信号或其他数字内容的显示器的电子设备。例如，显示设备可以是LCD屏幕、平板设备、移动电话、投影仪或其他类型的视频显示系统。显示器108可以通过无线或有线连接耦接到客户端102。
[0032]在一些实施方式中，客户端设备102通过电视信号138接收视频流126。如在本文所使用的，电视信号是电的、光的或其他类型的数据传输介质，其包括与电视频道相对应的音频或视频分量。在一些实施方式中，电视信号138是地面空中电视广播信号或在电缆系统或卫星系统上分发/广播的信号。在一些实施方式中，电视信号138作为数据通过网络连接传输。例如，客户端设备102可以从因特网连接接收视频流。电视信号的音频和视频分量在本文有时被称为音频信号和视频信号。在一些实施方式中，电视信号对应于正在显示设备108上显示的电视频道。
[0033]在一些实施方式中，电视信号承载关于与电视频道上的音轨相对应的可听见声音的信息。在一些实施方式中，可听见声音由与显不设备108相关联的扬声器产生。
[0034]客户端设备140可以是能够连接到通信网络104的任何适当的计算机设备，诸如计算机、膝上型计算机、平板设备、上网本、因特网信息亭、个人数字助理、移动电话、游戏设备或能够与服务器系统106通信的任何其他设备。客户端设备140典型地包括一个或多个处理器、诸如硬盘驱动器的非易失性存储器和显示器。客户端设备140还可以具有输入设备，诸如键盘和鼠标(如图3中所示)。在一些实施方式中，客户端设备140包括触摸屏显示器。
[0035]在一些实施方式中，客户端设备140连接到显示设备128。显示设备128可以是用于向用户呈现视频内容的任何显示器。在一些实施方式中，显示设备128是被配置成从客户端128接收并显示音频和视频信号或其他数字内容的电视的显示器或计算机监视器。在一些实施方式中，显示设备128是带有中央处理单元、存储器和被配置成从客户端140接收并显示音频和视频信号或其他数字内容的显示器的电子设备。在一些实施方式中，显示设备128是LCD屏幕、平板设备、移动电话、投影仪或任何其他类型的视频显示系统。在一些实施方式中，客户端设备140连接到显示设备128。在一些实施方式中，显示设备128包括或另外连接到能够产生与电视信号或视频流的音频分量相对应的可听见流的扬声器。
[0036]在一些实施方式中，客户端设备140通过无线或有线连接103连接到客户端设备102。在存在这样的连接的一些实施方式中，客户端设备140可选地根据客户端设备102所提供的指令、信息和/或数字内容(共同地，第二屏幕信息105)来操作。在一些实施方式中，客户端设备102向客户端设备140发出促使客户端设备140在显示器128和/或扬声器129上呈现与客户端102在显示器108上正呈现的数字内容互补或有关的数字内容的指令。
[0037]在一些实施方式中，客户端设备140包括使客户端设备能够在客户端102播放视频内容126时从客户端102接收声音(音频内容)的麦克风。麦克风使客户端设备102能够在视频内容126被播放/观看时存储与视频内容126相关联的音频内容/声带。以与在本文针对客户端102所述的相同的方式，客户端设备140可以在本地存储该信息，然后将是下述中的任何一个或多个的内容信息142发送给服务器106:所存储的音频内容的指纹、音频内容自身、音频内容的部分/摘录、或音频内容的部分的指纹。以这种方式，服务器106能够从客户端设备140所发送的内容信息142检测触发器，即使内容正在其上被显示/观看的电子设备不是具有因特网能力的设备，诸如较旧的电视机；没有被连接到因特网(暂时地或永久地)，因此不能发送内容信息142 ;或没有记录与视频内容126有关的媒体信息或记录该媒体信息的指纹的能力。这样的安排(即，在第二屏幕设备140存储并发送内容信息142到服务器106的情况下)允许用户从服务器106接收响应于内容信息142而触发的第二屏幕内容，无论观看者正在哪里观看电视。
[0038]在一些实施方式中，客户端设备140包括指令模块124和一个或多个应用126。如在本文更详细地论述的，指令模块124根据从服务器106接收的指令集132来执行一个或多个应用。
[0039]图2A是图示根据一些实施方式的服务器系统106的框图。服务器系统106典型地包括一个或多个处理单元(CPU)202、一个或多个网络或其他通信接口 208、存储器206以及用于使这些组件互连的一个或多个通信总线204。通信总线204可选地包括使系统组件互连并且控制系统组件间的通信的电路(有时被称为芯片集)。存储器206包括高速随机存取存储器，诸如DRAM、SRAM、DDR RAM或其他随机存取固态存储器设备；以及可以包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存设备或其他非易失性固态存储设备。存储器206可以可选地包括位于远离CPU202的地方的一个或多个存储设备。存储器206，包括在存储器206内的非易失性和易失性存储器设备，包含非暂时性计算机可读存储介质。在一些实施方式中，存储器206或存储器206的非暂时性计算机可读存储介质存储下述程序、模块和数据结构或其子集，包括操作系统216、网络通信模块218、触发器模块118、内容数据库122、指纹数据库120、用户数据库124和应用136。
[0040]操作系统216包括用于处理各种基本系统服务和用于执行依赖于硬件的任务的程序。
[0041]网络通信模块218便于通过一个或多个通信网络接口 208 (有线或无线)以及诸如因特网、其他广域网、局域网、城域网等的一个或多个通信网络与其他设备的通信。[0042]内容数据库122包括内容文件228和/或到内容文件的链接230。在一些实施方式中，内容数据库122存储广告、视频、图像、音乐、网页、电子邮件消息、SMS消息、内容馈给、广告、优惠券、播放列表、XML文档以及其任何组合。在一些实施方式中，内容数据库122包括到广告、视频、图像、音乐、网页、电子邮件消息、SMS消息、内容馈给、广告、优惠券、播放列表、XML文档以及其任何组合的链接。在对图2B的论述中更详细地论述了内容文件228。
[0043]用户数据库124包括一个或多个用户的用户数据240。在一些实施方式中，相应用户240-1的用户数据包括用户标识符242和人口统计信息244。用户标识符242识别用户。例如，用户标识符242可以是与客户端设备102相关联的IP地址或用户选择或服务器分配的唯一识别用户的字母数字值。人口统计信息244包括相应用户的特征。人口统计信息可以包括可以是由下述各项组成的组中的一个或多个:年龄、性别、收入、地理位置、教育、财产、宗教、种族、民族、婚姻状况、家庭规模、就业状况和政治党派。
[0044]指纹数据库120存储一个或多个内容指纹232。指纹232包括名称234、指纹音频信息236和/或指纹视频信息238以及相关联的文件的列表239。名称234识别相应内容指纹232。例如，名称234可以包括相关联的电视节目、电影或广告的名称。在一些实施方式中，指纹音频信息236包括视频流或音频流的音频内容的剪辑(诸如数秒钟、分钟或小时)的指纹或其他压缩表示。在一些实施方式中，指纹视频信息238包括视频流的剪辑(诸如数秒钟、分钟或小时)的指纹。对指纹数据库120中的指纹232周期性地进行更新。
[0045]触发器模块118从客户端102接收内容信息142、生成指令集132并且将指令集132发送给客户端140。触发器模块118包括指令生成模块220和指纹匹配模块222。在一些实施方式中，触发器模块118还包括指纹生成模块221，其从内容信息142或服务器所保存的其他媒体内容生成指纹。
[0046]指纹匹配模块222将内容信息142的至少部分(或指纹生成模块所生成的内容信息142的指纹)与指纹数据库120中的指纹232相匹配。将匹配的指纹242发送给指令生成模块220。指纹匹配模块222包括从客户端102接收的内容信息142。内容信息142包括音频信息224、视频信息226和用户标识符229。用户标识符229识别与客户端102相关联的用户。例如，用户标识符229可以是与客户端设备102相关联的IP地址或用户选择或服务器分配的唯一识别用户的字母数字值。在一些实施方式中，内容音频信息224包括在客户端设备102上播放的视频流或音频流的剪辑(诸如数秒钟、分钟或小时)。在一些实施方式中，内容视频信息226包括在客户端设备102上播放的视频流的剪辑(诸如数秒钟、分钟或小时)。
[0047]指令生成模块220基于匹配的指纹242来生成指令集132。在一些实施方式中，指令生成模块220基于与匹配的指纹242相关联的信息和与用户标识符229相对应的用户数据240来生成指令集132。在一些实施方式中，指令生成模块220确定与匹配的指纹242相关联的一个或多个应用136，以发送给客户端设备140。在一些实施方式中，指令生成模块220基于匹配的指纹242来确定一个或多个内容文件228并且将所确定的内容文件228发送给客户端140。
[0048]在一些实施方式中，指令集132包括用来在客户端设备140上执行和/或显示一个或多个应用的指令。例如，当被客户端设备140执行时，指令集132可以促使客户端设备140显示被最小化或正运行作为后台进程的应用、或指令集132可以促使客户端设备140执行应用。在一些实施方式中，指令集132包括促使客户端140从服务器系统106下载一个或多个内容文件228的指令。
[0049]应用136包括可以在客户端设备140上执行的一个或多个应用。在一些实施方式中，应用包括媒体应用、馈给阅读器应用、浏览器应用、广告应用、优惠券簿应用和自定义应用。
[0050]可以将上面识别的元素中的每一个存储在先前提及的存储器设备中的一个或多个中，并且模块或程序中的每一个对应于用于执行上述功能的指令集。指令集可以由一个或多个处理器(例如，CPU202)执行。上面识别的模块或程序(即，触发器模块118)不必被实现为单独软件程序、过程或模块，因此，可以在各种实施方式中对这些模块的各种子集进行组合或另外重新安排。在一些实施方式中，存储器206可以存储上面识别的模块和数据结构的子集。此外，存储器206可以存储上面没有描述的另外模块和数据结构。
[0051]尽管图2A示出了服务器系统，然而，图2A比作为在本文所述的实施方式的结构示意更意在作为可以存在于服务器集中的各种特征的功能描述。实际上并且如本领域技术人员所认识到的，可以使分别示出的项相组合，并且可以使一些项分离。例如，在图2A中分别示出的一些项(例如，操作系统216和网络通信模块218)可以在单个服务器上来实现，并且单个项可以由一个或多个服务器实现。用来实现服务器系统106的服务器的实际数量和如何在它们之间分配特征将随实施方式不同而变化，并且可以部分取决于系统在高峰使用时段期间以及在平均使用时段期间必须处理的数据业务量。
[0052]图2B图示根据一些实施方式的、存储在内容数据库122中的内容文件数据结构228。相应内容文件228包括元数据246和内容254。相应内容文件228的元数据246包括内容文件标识符(文件ID)248、内容文件类型250、目标人口统计252、一个或多个相关联的指纹253、度量255以及可选地，另外信息。在一些实施方式中，文件ID248唯一地识别相应内容文件228。在其他实施方式中，文件ID406唯一地识别在内容数据库122内的目录(例如，文件目录)或其他文档集合中的相应内容文件228。文件类型250识别内容文件228的类型。例如，内容数据库122中的相应内容文件228的文件类型250指示相应内容文件228是视频文件、图像文件、音乐文件、网页、电子邮件消息、SMS消息、内容馈给、广告、优惠券、播放列表以及XML文档。相关联的指纹253识别在指纹数据库120中的与相应内容文件228相关联的一个或多个指纹。相应内容文件的相关联的指纹由文档的广播商或创建者来确定。目标人口统计252数据表示文档提供商的针对内容文件228的目标人口统计。目标人口统计数据表示文档提供商希望用文件定向的、具有特定人口统计特征的用户人口。特征可以是下述中的一个或多个:年龄、性别、收入、地理位置、教育、财产、宗教、种族、民族、婚姻状况、家庭规模、就业状况和政治党派。目标人口统计数据可以以绝对用语(例如，“年龄在18和25岁之间的女性”)或在一些实施方式中，概率地(例如，“男性84%，女性16%，0-10岁5%，年龄在11至20岁15%，年龄在20至45岁80%”)来表示。度量255提供文件228的重要性的测量。在一些实施方式中，度量255由文档的创建者或所有者设置。在一些实施方式中，度量255表示受欢迎度、观看数或出价。在一些实施方式中，多方将文件与内容指纹相关联，并且每一方出价以使其文件在检测到与该内容指纹相对应的内容时被显示。在一些实施方式中，度量255包括点进率。例如，网页可以与内容指纹相关联。
[0053]图3A是图示根据一些实施方式的客户端设备102的框图。客户端设备102典型地包括一个或多个处理单元(CPU)302、一个或多个网络或其他通信接口 308、存储器306以及用于使这些组件互连的一个或多个通信总线304。通信总线304可选地包括使系统组件互连并且控制系统组件间的通信的电路(有时被称为芯片集)。客户端设备102还可以包括用户接口，包括显示设备313和键盘和/或鼠标(或其他指示设备)314。存储器306包括高速随机存取存储器，诸如DRAM、SRAM、DDR RAM或其他随机存取固态存储器设备；以及可以包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存设备或其他非易失性固态存储设备。存储器306可以可选地包括位于远离CPU302的地方的一个或多个存储设备。存储器306或替选地在存储器306内的非易失性存储器设备包括非暂时性计算机可读存储介质。在一些实施方式中，存储器306或存储器306的计算机可读存储介质存储下述程序、模块和数据结构或其子集，包括操作系统316、网络通信模块318、视频模块126和数据320。
[0054]客户端设备102包括用于接收并输出视频流的视频输入/输出330。在一些实施方式中，视频输入/输出330被配置成从无线电传输、卫星传输和电缆线路接收视频流。在一些实施方式中，将视频输入/输出330连接到机顶盒。在一些实施方式中，将视频输入/输出330连接到卫星碟。在一些实施方式中，将视频输入/输出330连接到天线。
[0055]在一些实施方式中，客户端设备102包括用于接收视频流或电视信号的电视调谐器 332。
[0056]操作系统316包括用于处理各种基本系统服务和用于执行依赖于硬件的任务的程序。
[0057]网络通信模块318便于通过一个或多个通信网络接口 304 (有线或无线)以及诸如因特网、其他广域网、局域网、城域网等的一个或多个通信网络与其他设备的通信。
[0058]数据320包括视频流126。
[0059]视频模块126从视频流126得到内容信息142。在一些实施方式中，内容信息142包括音频信息224、视频信息226、用户标识符229或其任何组合。用户标识符229识别客户端设备102的用户。例如，用户标识符229可以是与客户端设备102相关联的IP地址或用户选择或服务器分配的唯一识别用户的字母数字值。在一些实施方式中，音频信息224包括视频流或音频流的剪辑(诸如数秒钟、分钟或小时)。在一些实施方式中，视频信息226可以包括视频流的剪辑(诸如数秒钟、分钟或小时)。在一些实施方式中，从正在客户端102上播放或在客户端102上播放过的视频流126得到视频信息226和音频信息224。视频模块126可以为相应视频流346生成数个内容信息142集。
[0060]可以将上面识别的元素中的每一个存储在先前提及的存储器设备中的一个或多个中，并且模块或程序中的每一个对应于用于执行上述功能的指令集。指令集可以由一个或多个处理器(例如，CPU302)执行。上面识别的模块或程序(即，指令集)不必被实现为单独软件程序、过程或模块，因此，可以在各种实施方式中对这些模块的各种子集进行组合或另外重新安排。在一些实施方式中，存储器306可以存储上面识别的模块和数据结构的子集。此外，存储器306可以存储上面没有描述的另外模块和数据结构。
[0061]尽管图3A示出了客户端设备，然而，图3A比作为在本文所述的实施方式的结构示意更意在作为可以存在于客户端设备中的各种特征的功能描述。实际上并且如本领域技术人员所认识到的，可以使分别示出的项相组合，并且可以使部分项分离。[0062]图3B是图示根据一些实施方式的客户端设备140的框图。客户端设备140典型地包括一个或多个处理单元(CPU)340、一个或多个网络或其他通信接口 345、存储器346以及用于使这些组件互连的一个或多个通信总线341。通信总线341可选地包括使系统组件互连并且控制系统组件间的通信的电路(有时被称为芯片集)。客户端设备140还可以包括用户接口，包括显示设备343和键盘和/或鼠标(或其他指示设备)344。存储器346包括高速随机存取存储器，诸如DRAM、SRAM、DDR RAM或其他随机存取固态存储器设备；以及可以包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存设备或其他非易失性固态存储设备。存储器346可以可选地包括位于远离CPU340的地方的一个或多个存储设备。存储器346或替选地在存储器346内的非易失性存储器设备包括非暂时性计算机可读存储介质。在一些实施方式中，存储器346或存储器346的计算机可读存储介质存储下述程序、模块和数据结构或其子集，包括操作系统347、网络通信模块348、图形模块349、指令模块124和应用355。
[0063]操作系统347包括用于处理各种基本系统服务和用于执行依赖于硬件的任务的程序。
[0064]网络通信模块348便于通过一个或多个通信网络接口 345 (有线或无线)以及诸如因特网、其他广域网、局域网、城域网等的一个或多个通信网络与其他设备的通信。
[0065]指令模块124接收指令集132以及可选地，内容文件228和/或到内容文件的链接230。指令模块124执行指令集132。在一些实施方式中，指令模块124根据指令集132执行应用355。例如，在一些实施方式中，指令模块124根据指令集132执行显示网页的web浏览器355-1。在一些实施方式中，指令模块124显示一个或多个内容文件228的内容。例如，在一些实施方式中，指令模块124可以显示广告。在一些实施方式中，指令模块124检索在链接230中引用的一个或多个内容文件。
[0066]客户端设备140包括一个或多个应用355。在一些实施方式中，应用355包括浏览器应用355-1、媒体应用355-2、优惠券簿应用355-3、馈给阅读器应用355-4、广告应用355-5以及自定义应用355-6。浏览器应用355-1显示网页。媒体应用355-2播放视频和音乐、显示图像并且管理播放列表356。馈给阅读器应用355-4显示内容馈给358。优惠券簿应用355-3存储并检索优惠券357。广告应用355-5显示广告。自定义应用355-6以在移动设备上很容易查看的格式显示来自网站的信息。应用328不限于上述应用。
[0067]可以将上面识别的元素中的每一个存储在先前提及的存储器设备中的一个或多个中，并且模块或程序中的每一个对应于用于执行上述功能的指令集。指令集可以由一个或多个处理器(例如，CPU340)执行。上面识别的模块或程序(即，指令集)不必被实现为单独软件程序、过程或模块，因此，可以在各种实施方式中对这些模块的各种子集进行组合或另外重新安排。在一些实施方式中，存储器306可以存储上面识别的模块和数据结构的子集。此外，存储器306可以存储上面没有描述的另外模块和数据结构。
[0068]尽管图3B示出了客户端设备，然而，图3B比作为在本文所述的实施方式的结构示意更意在作为可以存在于客户端设备中的各种特征的功能描述。实际上并且如本领域技术人员所认识到的，可以使分别示出的项相组合，并且可以使一些项分离。
[0069]图4是图示根据一些实施方式的、在第二设备上显示与在第一设备上播放的内容有关的内容的过程400的流程图。图4提供了在图6A和6B的论述中更详细地论述的方法600的综览。广播系统112向客户端102发送视频流(401)。客户端设备102接收并显示视频流(402)。在播放视频流时，确定来自视频流的内容信息并且将其发送给服务器106(406)。如在本申请别处所述，在一些实施方式中，来自视频流的内容信息包括视频流的音频和/或视频分量的一个或多个剪辑(诸如数秒钟、分钟或小时)、或客户端设备102从视频流的音频和/或视频分量的一个或多个剪辑生成的指纹或其他签名。在一些实施方式中，对内容信息进行格式化，因此，可以容易地将其与存储在服务器上的内容触发器进行比较。服务器106接收内容信息，并且使该内容信息与内容指纹/触发器相匹配(408)。
[0070]在一些实施方式中，内容指纹/触发器由服务器(例如，使用指纹生成模块121)在运行时间之前从第三方用户所上载的媒体内容(例如，音频和/或视频剪辑或视频帧)生成。在一些实施方式中，第三方用户指定相关联的可执行指令和/或内容项和/或将其上载到服务器106，第三方用户打算所述相关联的可执行指令和/或内容项在服务器106从客户端设备102接收匹配的内容信息时(B卩，当客户端设备102正在处理/显示包括相关联的内容触发器的视频流时)被下载到任何客户端设备102 (或在一些实施例中，具有特定设备和/或用户特征的客户端设备102)。
[0071]确定与匹配的指纹/触发器相关联(例如，通过第三方用户)的指令集(例如，可以在客户端设备140上执行的应用)(412)。在一些实施方式中，基于匹配的内容指纹来确定一个或多个内容文件(例如，媒体内容、广告)(413)。将指令集以及可选地一个或多个内容文件发送给客户端140。在一些实施方式中，可以通过客户端的到通信网络104的连接直接地或通过在客户端10和客户端102之间的连接103间接地将指令集132和一个或多个内容文件发送给客户端140。客户端设备140接收指令集以及可选地，一个或多个内容文件(416)。根据指令集在客户端设备140上执行一个或多个应用(418)。在一些实施方式中，在时间上与正由客户端102显示的视频流126协调地，在与客户端设备140相关联的显示设备128上显示一个或多个内容文件。以这种方式，诸如广告主、广播商或内容原创者的第三方能够指定当用户正在主显示设备108上观看主媒体内容——在主内容中与第三方所指明的内容触发器相关联的特定观看点处时在辅助显示设备128上向用户显示和/或执行的辅助内容(例如，内容文件或应用)。
[0072]图5A、5B、5C和图示根据一些实施方式的示例性截屏。图5A、5B、5C和每一个图示第一客户端102和第二客户端140的截屏。第一客户端102播放视频内容，而第二客户端140显示与在第一客户端102上播放的视频内容有关的内容。图5A、5B、5C、ro和5E中的图示本质上应当被视为示例性而非限制性的。在一些实施方式中，示例性截屏通过服务器106响应于服务器106将客户端指纹与存储在服务器上的内容指纹相匹配而下载到第二客户端设备140的指令/应用来生成。在一些实施方式中，示例性截屏通过存储在第二客户端设备140上的指令/应用(诸如浏览器或其他预先配置的应用)响应于响应于服务器106将客户端指纹与存储在服务器上的内容指纹相匹配而来自服务器106的用来显示特定内容项的指令来生成。
[0073]图5A图示第一客户端设备102和第二客户端设备140的截屏。第一客户端102显示电视节目502，并且第二客户端140显示馈给器阅读器应用506、内容馈给508和与电视节目502有关的内容馈给项510。当在第一客户端102上播放电视节目502时，第一客户端102将从电视节目502得到的内容信息发送给服务器系统106。服务器系统106将该内容信息与内容指纹相匹配，以识别电视节目502。在识别匹配该内容信息的内容指纹之后，服务器106生成包括用来显示与电视节目502有关的内容的指令的指令集，并且将该指令集发送给第二客户端设备140以执行。第二客户端设备140执行该指令集，其包括执行或调用馈给阅读器应用506并且检索与电视节目502有关的内容项510。当被执行时，馈给阅读器应用506显示包括与电视节目502有关的一个或多个内容项510的内容馈给508。例如，电视节目502可以关于运动队X，并且内容馈给508包括与运动队X有关的内容项510。当在客户端设备102上播放电视节目502时，在客户端设备140上执行或调用馈给阅读器应用506。
[0074]在图5B中，第一客户端102显示电视节目502，并且第二客户端140显示媒体应用512。当电视节目502被辨识时，媒体应用512执行功能。例如，当在第一客户端102上的电视节目502指示特定歌曲时，在第二客户端140上的媒体应用512提示用户将该歌曲添加到用户的播放列表。当在客户端设备102上播放电视节目502时，在客户端设备140上执行或调用媒体应用512。
[0075]在图5C中，第一客户端102显示电视节目502，并且第二客户端140显示web浏览器516和网页508。网页508包括与电视节目502有关的内容。例如，电视节目502可以指示批萨，并且网页508可以显示针对批萨的广告。当在客户端设备102上播放电视节目502时，在客户端设备140上执行或调用web浏览器516。
[0076]在图中，第一客户端102显示电视节目502，并且第二客户端140显示优惠券应用518。优惠券应用518显示与电视节目502有关的优惠券。例如，电视节目502可以包括批萨广告，并且优惠券应用518可以显示批萨的优惠券。当在第一客户端设备102上播放电视节目502时，在第二客户端设备140上执行或调用优惠券应用518。
[0077]图6A和6B图示用于在第二客户端设备上显示与在第一客户端设备上播放的内容有关的信息的方法600。这样的方法提供了广播商和内容提供商在视频内容正被播放时提供与该视频内容有关的信息的有效方式。
[0078]在具有一个或多个处理器和存储器的服务器系统106处执行方法600。服务器系统106接收内容信息142 (602)。从在第一客户端设备102上播放的视频流得到内容信息(602)。例如，视频流可以对应于在第一客户端设备102上播放的电视节目、广告或电影。在一些实施方式中，从音频流得到内容信息142。例如，可以从在第一客户端设备102上播放的歌曲得到内容信息142。在一些实施方式中，内容信息142是视频流或音频流。在一些实施方式中，内容信息142包括从由下述各项组成的组中选择的信息:内容音频信息224、内容视频信息226或内容音频信息224和内容视频信息226两者(604)。在一些实施方式中，内容音频信息224包括视频流或音频流的剪辑(诸如数秒钟、分钟或小时)(605)。在一些实施方式中，内容视频信息226包括视频流的剪辑(诸如数秒钟、分钟或小时)(605)。在一些实施方式中，内容视频信息226包括视频流的预定义数量的连续视频帧。在一些实施方式中，服务器系统106的前端服务器114接收内容信息142并且将内容信息142发送给触发器模块118。在一些实施方式中，从客户端设备102接收内容信息142。在一些实施方式中，内容信息142包括与第一客户端设备102相关联的用户的用户标识符229。
[0079]将内容信息142与内容指纹232相匹配(606)。触发器模块118的指纹匹配模块222将内容信息142与存储在指纹数据库120中的内容指纹232相匹配。通过将内容信息142与内容指纹232相匹配，服务器106识别在第一客户端102上播放的视频流或音频流。例如，通过将内容信息142与内容指纹232相匹配，服务器106能够辨识出特定电视节目、广告、歌曲或电影正在第一客户端102上播放。在一些实施方式中，内容指纹232包括从由下述各项组成的组中选择的信息:指纹音频信息236、指纹视频信息238以及指纹音频信息236和指纹视频信息238两者(608)。在一些实施方式中，内容指纹232包括识别视频流或音频流的剪辑(诸如数秒钟、分钟或小时)的指纹音频信息236 (610)。在一些实施方式中，内容指纹232包括识别视频流的预定义数量的视频帧的指纹视频信息238 (612)。在一些实施方式中，内容指纹232包括识别视频流的剪辑(诸如数秒钟、分钟或小时)的指纹视频信息238。在一些实施方式中，匹配包括将内容视频信息226的至少部分与指纹视频信息238的至少部分相匹配(614)。在一些实施方式中，匹配包括将内容音频信息224的至少部分与指纹音频信息236的至少部分相匹配(616)。在一些实施方式中，匹配包括将内容视频信息226与指纹视频信息238和内容音频信息224相匹配。
[0080]基于匹配的内容指纹242来确定指令集132(618)。在识别匹配的指纹242之后，指令生成模块220生成待在第二客户端140执行的指令集132。第二客户端设备140例如可以是移动设备或平板设备。基于与匹配的指纹242相关联的信息来确定指令集132。在一些实施方式中，匹配的指纹242包括存储在内容数据库122中、包括与对应于匹配的指纹242的内容有关的内容的相关联的文档的列表239。内容提供商或广播商可以将文件与内容指纹相关联，以使所述文件在检测到与内容指纹相匹配的内容时被显示。例如，电视节目的内容所有者可以将具有关于电视节目的信息的网页与对应于该电视节目的内容指纹相关联。当对应于该电视节目的内容信息被接收并且与对应的内容指纹相匹配时，指令生成模块220生成用来显示示出关于该电视节目的信息的网页的指令集132。
[0081]在一些实施方式中，确定包括基于匹配的内容指纹来确定一个或多个内容文件(626)。该一个或多个内容文件包括与对应于匹配的内容指纹的内容有关的信息。匹配的内容指纹包括相关联的文件的列表239。指令模块220选择相关联的文件的列表239所指定的一个或多个文件的至少子集。在一些实施方式中，指令生成模块220基于与文件相关联的度量255来选择与匹配的指纹242相关联的内容文件的子集。例如，指令模块220可以选择具有最高受欢迎度、点进率、出价或观看数的文件。
[0082]在一些实施方式中，指令生成模块220基于一个或多个内容文件的目标人口统计和与包含在内容信息142中的用户标识符229相对应的用户的人口统计信息244，来选择与匹配的指纹242相关联的内容文件中的一个或多个。在一些实施方式中，选择具有与用户的人口统计信息244相匹配的目标人口统计252的内容文件。例如，如果相应内容文件228的目标人口统计是位于加利福尼亚州、年龄18-25岁的男性，并且相应用户是在加利福尼亚州的23岁男性，则为该相应用户选择该相应文件。
[0083]在一些实施方式中，指令集132包括用来显示与从第一客户端接收的内容信息有关的内容的指令(619)。例如，指令132可以包括用来显示与在第一客户端设备上播放的电视节目有关的广告的指令。在一些实施方式中，指令生成模块220生成用来显示来自与匹配的指纹242相关联的文件的信息的指令集132。例如，指令132可以包括用来显示歌曲文件的名称的指令。在一些实施方式中，指令集132包括用来显示与匹配的指纹242相关联的一个或多个内容文件的指令。例如，指令132可以包括用来显示网页的指令。在一些实施方式中，指令集132包括用来播放与匹配的指纹242相关联的一个或多个内容文件的指令。例如，指令132可以包括用来播放歌曲或视频的指令。在一些实施方式中，指令集132包括用来下载一个或多个内容文件的指令。
[0084]在一些实施方式中，指令集132包括统一资源定位符(620)。在一些实施方式中，指令集132包括用来下载在统一资源定位符中指定的文档的指令。统一资源定位符可以链接到存储在内容数据库122中的内容文件。
[0085]在一些实施方式中，所确定的指令集132包括用来执行从由下述各项组成的组中选择的一个或多个应用的指令:音乐应用、馈给阅读器应用、浏览器应用、优惠券应用、广告应用和自定义应用(622)。在一些实施方式中，指令集132使正在客户端设备140上运行但是当前没有被显示的一个或多个应用进入视线。在一些实施方式中，指令集132包括用来从服务器106下载并执行应用136的指令。在一些实施方式中，所确定的指令集132包括用来使用一个或多个应用来显示或播放一个或多个内容文件的指令。
[0086]将指令集132发送给与第一客户端设备102的用户相关联的第二客户端设备140(624)。例如，第二客户端设备140可以是平板设备，以及第一客户端设备可以是电视。在生成指令集232之后，前端服务器114将指令集232发送给客户端设备140以执行。在一些实施方式中，将一个或多个所确定的内容文件发送给第二客户端设备140(626)。在一些实施方式中，将一个或多个应用发送给第二客户端设备140。
[0087]图7图示用于在第二客户端设备上显示与在第一客户端设备上播放的内容有关的信息的方法700。在具有一个或多个处理器和存储器的第二客户端设备140处执行方法700。在第二客户端设备处接收指令集132(702)。指令集132包括用来显示与在第一客户端设备102上播放的内容有关的内容的指令(702)。例如，指令集132可以包括用来显示包含与在第一客户端设备102上播放的电影有关的信息的网页的指令。在一些实施方式中，指令集132包括用来从位于远离第二客户端140的地方的服务器106检索一个或多个内容文件的指令(704)。在一些实施方式中，从位于远离第二客户端140的地方的服务器(例如，服务器106)检索一个或多个内容文件228 (706)。该一个或多个内容文件包括存储在内容数据库122中、与在第一客户端设备102上播放的内容有关的内容文件。例如，第一客户端设备可以显示针对批萨的广告，并且该一个或多个内容文件可以包括针对批萨的优惠券。在一些实施方式中，与指令集132 —起接收一个或多个内容文件228。在一些实施方式中，指令集132包括用来从位于远离第二客户端140的地方的服务器106检索一个或多个应用的指令。
[0088]根据指令集132执行一个或多个应用(708)。该一个或多个应用显示与在第一客户端设备上播放的内容有关的内容(708)。例如，web浏览器可以显示包含与在第一客户端设备上播放的电视节目有关的信息的网页或馈给阅读器应用可以显示与在第一设备上播放的电视节目有关的文章。可以执行与指令集132兼容的任何应用。在一些实施方式中，指令集132包括用来执行从由下述各项组成的组中选择的一个或多个应用的指令:媒体应用、馈给阅读器应用、web浏览器应用、优惠券簿、广告应用和自定义应用(710)。在一些实施方式中，执行包括显示来自一个或多个内容文件的信息(712)。例如，web浏览器可以为歌曲文件显示网页或媒体应用可以为歌曲文件显示题目和艺术家。该一个或多个应用由指令模块124执行。[0089]在本文所述的方法中的每一个可以受存储在非暂时性计算机可读存储介质中并且由一个或多个服务器(例如，服务器系统106)的一个或多个处理器执行的指令控制。图6A、6B和7中所示的操作中的每一个可以对应于存储在计算机存储器或计算机可读存储介质中的指令。
[0090]出于说明目的，已参考特定实施方式描述了前面描述。然而，上述说明性论述并不意在穷尽或将所述方法和系统限制在所公开的精确形式。鉴于上述教导，许多修改和变化是可能的。选择并描述了实施方式，以便最好地说明所述方法和系统及其实际应用的原理，从而使本领域技术人员能够凭借适于预期的特定用途的各种修改，最好地利用各种实施方式。
[0091]此外，在前面描述中，阐述了大量具体细节来提供对本实现的全面理解。然而，对本领域技术人员将显而易见的是，可以在没有这些特定细节的情况下，实践在本文所述的方法。在其他情况下，没有详细地描述对本领域技术人员众所周知的方法、过程、组件和网络，以避免使本实现的方面含混不清。
【权利要求】
1.一种方法，包括: 在具有一个或多个处理器和存储待由所述一个或多个处理器执行的一个或多个程序的存储器的服务器系统处: 从第一客户端接收内容信息，其中所述内容信息从正在所述第一客户端设备上播放的视频流得到； 将所述内容信息与内容指纹相匹配； 基于所匹配的内容指纹来确定指令集；以及 将所确定的指令集发送给与所述第一客户端设备的用户相关联的第二客户端设备以执行。
2.根据权利要求1所述的方法，其中所述内容信息包括从由下述各项组成的组中选择的信息:内容音频信息、内容视频信息以及内容音频信息和内容视频信息两者。
3.根据权利要求2所述的方法，其中所述内容音频信息识别视频流或音频流的剪辑，以及其中所述 内容视频信息识别所述视频流的预定义数量的视频帧。
4.根据任何前面权利要求所述的方法，其中所述内容指纹包括从由下述各项组成的组中选择的信息:指纹音频信息、指纹视频信息以及指纹音频信息和指纹视频信息两者。
5.根据任何前面权利要求所述的方法，其中所述内容指纹包括识别视频流或音频流的剪辑的指纹音频信息。
6.根据任何前面权利要求所述的方法，其中所述内容指纹包括识别视频流的预定义数量的视频帧的指纹视频信息。
7.根据任何前面权利要求所述的方法，其中所述匹配包括将所述内容音频信息的至少部分与所述指纹音频信息的至少部分相匹配。
8.根据任何前面权利要求所述的方法，其中所述匹配包括将所述内容视频信息的至少部分与所述指纹视频信息的至少部分相匹配。
9.根据任何前面权利要求所述的方法，其中所述指令集包括用来显示与从所述第一客户端接收的所述内容信息有关的内容的指令。
10.根据任何前面权利要求所述的方法，其中所述指令集中的项包括统一资源定位符。
11.根据任何前面权利要求所述的方法，其中所确定的指令集包括用来执行从由下述各项组成的组中选择的一个或多个应用的指令:音乐应用、馈给阅读器应用、优惠券应用、广告应用和Web浏览器应用。
12.根据权利要求1所述的方法，进一步包括基于所述信息集来确定一个或多个内容文件，并且将所述一个或多个内容文件发送给所述第二客户端设备。
13.一种存储被配置成供服务器系统的一个或多个处理器执行的一个或多个程序的非暂时性计算机可读存储介质，所述一个或多个程序包括待由所述一个或多个处理器执行以便执行权利要求1-12中的任何一个所述的方法的指令。
14.一种服务器系统,包括: 一个或多个处理器；以及 存储供所述一个或多个处理器执行的一个或多个程序的存储器； 所述系统包括用于执行权利要求1-12中的任何一个所述的方法的装置。
15.一种方法，包括:在具有一个或多个处理器和存储待由所述一个或多个处理器执行的一个或多个程序的存储器的第二客户端设备处: 确定是否已从正在监视正由第一客户端设备播放的第一媒体内容的服务器接收了指令集，所述指令集包括用来显示与所述第一媒体内容有关的辅助内容的指令； 响应于确定接收了所述指令集: 根据所述指令集来执行一个或多个第一应用，其中所述一个或多个应用显示所述辅助内容； 响应于没有确定接收了所述指令集: 执行显示关于所述第一媒体内容的元内容的一个或多个第二应用。
16.根据权利要求15所述的方法，其中所述指令集包括用来从所述服务器检索一个或多个内容文件的指令。
17.根据权利要求16所述的方法，进一步包括检索所述一个或多个内容文件，其中所述一个或多个内容文件包括与所述第一媒体内容有关的内容，以及其中执行所述一个或多个应用包括显示来自所述一个或多个内容文件的信息。
18.根据任何前面权利要求所述的方法，其中所述一个或多个应用从由下述各项组成的组中来选择:音乐应 用、馈给阅读器应用、优惠券应用、广告应用和web浏览器应用。
19.一种存储被配置成供第二客户端设备的一个或多个处理器执行的一个或多个程序的非暂时性计算机可读存储介质，所述一个或多个程序包括待由所述一个或多个处理器执行以便执行权利要求15-18中的任何一个所述的方法的指令。
20.—种第二客户端设备,包括: 一个或多个处理器；以及 存储供所述一个或多个处理器执行的一个或多个程序的存储器； 所述第二客户端设备包括用于执行权利要求15-18中的任何一个所述的方法的装置。
21.—种方法,包括: 在具有一个或多个处理器和存储待由所述一个或多个处理器执行的一个或多个程序的存储器的服务器系统处: 从具有因特网能力的电子设备接收内容信息，其中所述内容信息从正在显示设备上播放的视频流得到； 将所述内容信息与内容指纹相匹配； 基于所匹配的内容指纹来确定指令集；以及 将所确定的指令集发送给第二屏幕设备以执行。
22.根据权利要求22所述的方法，其中所述内容信息包括从由下述各项组成的组中选择的信息:内容音频信息、内容视频信息以及内容音频信息和内容视频信息两者。
23.根据权利要求21-22中的任何一个所述的方法，其中所述内容音频信息识别视频流或音频流的剪辑，以及其中所述内容视频信息识别所述视频流的预定义数量的视频帧。
24.根据权利要求21-23中的任何一个所述的方法，其中所述内容指纹包括从由下述各项组成的组中选择的信息:指纹音频信息、指纹视频信息以及指纹音频信息和指纹视频息两者。
25.根据权利要求21-24中的任何一个所述的方法，其中所述内容指纹包括识别视频流或音频流的剪辑的指纹音频信息。
26.根据权利要求21-25中的任何一个所述的方法，其中所述内容指纹包括识别视频流的预定义数量的视频帧的指纹视频信息。
27.根据权利要求21-26中的任何一个所述的方法，其中所述匹配包括将所述内容音频信息的至少部分与所述指纹音频信息的至少部分相匹配。
28.根据权利要求21-27中的任何一个所述的方法，其中所述匹配包括将所述内容视频信息的至少部分与所述指纹视频信息的至少部分相匹配。
29.根据权利要求21-28中的任何一个所述的方法，其中所述指令集包括用来显示与从所述电子设备接收的所述内容信息有关的内容的指令。
30.根据权利要求21-29中的任何一个所述的方法，其中所述指令集中的项包括统一资源定位符。
31.根据权利要求21-30中的任何一个所述的方法，其中所确定的指令集包括用来执行从由下述各项组成的组中选择的一个或多个应用的指令:音乐应用、馈给阅读器应用、优惠券应用、广告应用和web浏览器应用。
32.根据权利要求21所述的方法，进一步包括基于所述信息集来确定一个或多个内容文件，并且将所述一个或多个内容文件发送给所述第二屏幕设备。
33.根据权利要求21-32中的任何一个所述的方法，其中所述第二屏幕设备是移动电子设备，以及所述显示设备是电视或计算机显示器。
34.根据权利要求21所述的方法，其中所述第二屏幕设备和所述电子设备是同一设备。
35.根据权利要求21所述的方法，其中所述内容指纹和所确定的指令集与广告主相关联；使得当在所述第二屏幕设备上显示时，所确定的指令集显示所述广告主指定或与所述广告主相关联的广告相关内容。
36.一种存储被配置成供服务器系统的一个或多个处理器执行的一个或多个程序的非暂时性计算机可读存储介质，所述一个或多个程序包括待由所述一个或多个处理器执行以便执行权利要求21-35中的任何一个所述的方法的指令。
37.一种服务器系统,包括: 一个或多个处理器；以及 存储供所述一个或多个处理器执行的一个或多个程序的存储器； 所述系统包括用于执行权利要求21-35中的任何一个所述的方法的装置。
【文档编号】H04N21/4402GK103748897SQ201280037605
【公开日】2014年4月23日 申请日期:2012年5月29日 优先权日:2011年6月2日
【发明者】尼克·阿里尼, 戴比·奥沙利文 申请人:谷歌公司