自动内容辨识指纹序列匹配的制作方法
背景技术：
媒体消费装置(例如智能电视(tv))可存取广播数字内容且从数据网络(例如因特网)接收数据(例如流式媒体)。流式媒体是指其中可在请求后经由电话线、电缆、因特网等等将媒体内容(例如电影或新闻)提供给终端用户的服务。举例来说，用户可在不需要离开其住所的情况下观看电影。并且，用户可在不需要亲自前往学校或教育机构的情况下存取各种类型的教育内容(例如视频演讲)。
由于媒体消费装置的数目持续增加，视频内容产生及递送可类似地增加。随着对用以存取流式媒体的媒体消费装置(例如智能电话、平板计算机及智能电视)的使用的增加，内容或网络提供者(例如本地广播电台、多通道网络及其它内容拥有者/分配者)可将上下文相关材料分配给正消费流式媒体(例如，媒体节目)的观看者。举例来说，本地广播电台可包含上下文相关广告及与流式媒体互动的内容。
附图说明
将从下文所给出的详细描述及从本发明的各种实施例的附图更完全地理解本发明。然而，不应将图式视为将本发明限制于特定实施例，而是仅出于解释及理解的目的。
图1图解说明根据一个实施例的具有客户端侧自动内容辨识(acr)指纹本地匹配的内容分配网络的系统图式。
图2图解说明根据一个实施例的与在客户端媒体装置上执行指纹匹配的acr客户端通信的内容管理器。
图3图解说明根据一个实施例的具有客户端侧acr指纹本地匹配的内容分配网络的系统图式。
图4图解说明根据一个实施例的媒体内容的媒体装置指纹识别及指纹的本地匹配的方法的流程图。
图5图解说明根据另一实施例的媒体内容的媒体装置指纹识别及指纹的本地匹配的方法的流程图。
图6图解说明呈计算机系统的实例性形式的机器的图解性表示，可在所述计算机系统内执行用于致使所述机器执行本文中所论述的方法中的任何一或多者的指令集。
具体实施方式
媒体内容广播或流(例如电视(tv)或因特网表演广播)可为对广告产品及服务、将信息提供给观看者或其任何组合有吸引力的地点。因此，广播电台希望知晓个别观看者正观看何种节目(或频道)及时间，使得那些节目的主题(及商业广告的时间)可用于使广告及其它有用、任选地非商业性信息准确地将所述观看者定为目标。举例来说，非商业性可包含新闻警报、公告或教育信息。因此，确定用户正观看或将要观看的节目且将节目信息的标识发送到用户的媒体装置或发送到广告服务器以用于此类有目标性的行动将是有利的。
为了做出此确定，可使用自动内容辨识(acr)从用户正观看的媒体内容(例如，电视节目或频道)产生查询指纹。可将这些查询指纹与存储于数据库內的指纹进行比较以找出匹配。此数据库历史性地存储于指纹被发送到的服务器(例如，acr服务器)处以找出一或多个匹配，使得产生频道的标识，从所述标识可确定当前正被流式传输(或不久将被流式传输)的电视节目。服务器接着将媒体内容(例如，电视节目)的标识发送到请求实体(例如智能电视或广告服务器)，所述请求实体可使用所述信息来在商业插播期间或作为对媒体内容(可或可不在商业插播期间发生)的叠加使广告将用户定为目标。
由于对频道的知晓因为商业时隙随不同频道改变而是时间敏感性的，因此媒体装置(例如电视或机顶盒)连续地(举例来说，每秒或每几秒)查询服务器。随着流式传输媒体内容的媒体装置的数目增长，存在服务器以询问以确认每一用户正观看哪一频道的查询被试通的次数的指数增长。这在带宽及处理能力方面对服务器造成显著负担。本发明寻求缓解对不断查询服务器的此需要。
举例来说，媒体装置及方法可包含：计算机可读存储媒体，其存储指令；及处理装置，其用以执行所述指令以产生用户正消费的媒体内容的第一查询指纹。所述媒体装置将所述第一查询指纹发送到服务器，且响应于所述服务器找出与所述第一查询指纹的匹配而从所述服务器接收所述用户正观看的第一频道的标识。所述媒体装置可连续地从所述服务器接收从所述媒体内容的位于所述用户正观看所述媒体内容之处前面的位置中产生的多个指纹，且将所述多个指纹存储于所述计算机可读存储媒体的本地数据库中。所述媒体装置可接着将所述媒体内容的第二(及任何后续)查询指纹与所述多个指纹进行比较以确定所述用户未改变到不同于所述第一频道的第二频道。只要本地数据库继续传回与相同频道的匹配，对所述服务器的任何进一步查询是不必要的。
然而，当本地数据库传回任何后续(或第二)指纹不与所述相同频道匹配的回答时，媒体装置可再次查询服务器以确定用户已将媒体装置改变到的新频道。一旦知晓新频道，服务器可继续将指纹(同样地，在用户正观看的点前面产生)发送到媒体装置以在本地存储。媒体装置可接着继续通过将后续指纹与本地数据库中新存储的指纹进行比较而确认用户保持于所述新频道上。
此外，除电视节目或频道的多个指纹外，媒体装置还可连续地从服务器接收来自附近频道(例如，按顺序在用户当前正观看的频道附近)的媒体内容的多个指纹及/或来自用户频繁观看的频道的多个指纹。当本地匹配发生时，媒体装置仍可在本地在附近频道或用户最喜爱的频道中的一者的指纹内寻找匹配(甚至在用户改变频道之后)，借此避免再次查询服务器的需要。以此方式，可将对用户的观看行为的知晓与本地匹配组合以最大程度地减少服务器上的带宽及处理负担。
媒体装置(或服务器)可将确定用户正观看的电视节目的频道的标识发送到查找服务器。查找服务器可接着向广告服务器通知所述电视节目且从广告服务器接收与媒体节目的主题上下文相关的广告。查找或广告服务器可接着将广告(或其它内容)递送到媒体装置以在媒体节目中的商业中断期间显示为叠加或替换广告(也可为信息片段)。替代地，可将叠加覆叠于电视节目的一部分的顶部(可称为叠加广告的主题)上。
为了给观看者提供媒体内容，个体或组织可决定例如通过经由因特网将媒体内容递送到观看者而将媒体内容流式传输给观看者。个体或组织所使用的媒体内容可为从一或多个实时广播媒体馈源获取的媒体内容(例如视频数据)。举例来说，媒体内容提供者可经由因特网给用户提供线性媒体频道(例如，从实时媒体馈源提供到观看者的媒体)。
词语“内容”可用于指媒体或多媒体。词语“内容”还可为意指媒体的主题而非媒体本身的特定术语。同样地，词语“媒体”及包含“媒体”的一些复合词语(例如，多媒体、超媒体)替代地是指内容，而非指信息通过其递送到终端用户/观众的频道。媒体或媒体内容可包含图形表示，例如视频、电影、电视表演、商业广告、流式视频等等，文本，图形，动画，静止图像，互动性内容形式等等。通常称为媒体类型的内容的类型的实例是称为“电影”的“运动图片”。
在一个实施例中，内容叠加系统或内容叠加装置可使得能够组合媒体内容与特定实时及/或目标叠加内容(例如广告)。内容叠加系统或内容叠加装置可使得叠加内容提供者能够通过邀请观看者对内容叠加内的呼吁行动(例如，参与内容叠加的邀请)做出响应而吸引观看者。邀请观看者参与呼吁行动的一个优点可为给观看者请求额外信息、提出问题、提供输入、联系所广告的服务或产品的提供者等等提供返回路径或沿循路径。邀请观看者参与呼吁行动的另一优点可为给广告商提供额外信息、进一步吸引观看者、收集关于观看者的额外信息、回答观看者关于所广告的产品或服务的问题等等提供返回路径或沿循路径。在另一实例中，一旦观看者已观看媒体节目的叠加内容及/或与媒体节目的叠加内容互动，内容叠加系统或内容叠加装置便可使得广告商能够使用交叉平台重定目标活动。
图1图解说明根据一个实例的内容分配网络100的系统图式。在内容分配网络100中，内容提供者102可向本地提供者106广播内容馈源。本地提供者106可包含头端104及自动内容辨识(acr)指纹识别器服务器105。来自内容提供者102的内容馈源可在本地提供者106的头端104处接收。头端104可基于所接收内容馈源而产生本地内容馈源。举例来说，头端104可为从国家或全球广播电台接收具有节目及广告的网络通道的本地分支广播电台。
头端104可将本地内容馈源传达到acr指纹识别器服务器105、空中(ota)广播电台108及/或多通道视频节目分配者(mvpd)110。ota广播电台108及/或mvpd110可将本地内容馈源传达到媒体装置115。媒体装置的一些实例包含客户端装置118及120、将提供者内容流式传输到客户端装置118及120的机顶盒114以及用户可通过其流式传输(例如，无线地)本地内容馈源的其它装置116。
在一个实例中，ota广播电台108可使用传统本地电视或无线电频道广播本地内容馈源。在此实例中，客户端装置118及120可包含天线(例如tv或无线电天线)且接收本地内容馈源。在另一实例中，mvpd110(例如电缆或卫星广播电台)可将本地内容馈源传达到机顶盒114。在此实例中，机顶盒114可针对客户端装置118及120将内容馈源格式化且可将经格式化内容馈源传达到客户端装置118及120。客户端装置118及120可包含用以向观看者显示本地内容的显示装置，例如电视屏幕或触摸屏。内容分配网络100的各种组件可集成或耦合到客户端装置118及120。举例来说，智能电视可在单个单元中包含天线、机顶盒114及显示装置。
acr指纹服务器105可分析本地内容馈源且确定指纹信息(例如，指纹)。acr指纹服务器105可将指纹传达到acr系统124或126。acr系统124及126可为由装置制造商(例如智能tv制造商)选择的不同acr系统。
在一些实施例中，自动内容辨识可在如本文中所描述的分配式架构中执行。在这些实施例中，acr客户端125(例如，本地acr系统或本地acr指纹匹配器)可驻存于任何媒体装置115上。acr客户端125可执行如本文中所描述的acr指纹本地匹配。下文关于图2及3更详细地描述acr客户端125与acr指纹服务器105(或图1或者图2的其它系统)的互动。
acr指纹服务器105可分析本地内容馈源且捕获指纹，所述指纹可包含来自本地内容馈源的有序帧序列。acr指纹服务器105可将指纹传达到acr系统124或126。acr系统124及126可为由装置制造商(例如智能tv制造商)选择的不同acr系统。在一个实例中，acr指纹服务器105可针对不同acr系统124及126将指纹格式化。acr系统124及126可与不同媒体装置115建立通信连接。媒体装置115可分别将指纹信息传达到acr系统124及126。当acr系统124或126接收到来自媒体装置115的acr指纹信息时，acr系统124或126可将所接收指纹与由acr指纹服务器105产生的那些指纹进行匹配。当匹配发生且内容已被识别时，acr系统124或126可将acr事件传达到内容管理器122。
在另一实例中，acr系统124或126可从媒体装置115接收acr指纹信息，且可将所接收指纹与由acr指纹服务器105产生的那些指纹进行匹配。当匹配发生且内容已被识别时，acr系统124或126可向媒体装置115通知acr事件，且接着媒体装置115可将那些acr事件传达到内容管理器122。替代地或另外，acr系统124或126可将acr事件直接传达到内容管理器122。acr指纹信息可包含：到观看者的本地内容馈源中的广告的显示、到观看者的本地内容馈源中的所选择或所标记内容的显示、媒体装置115处内容频道的改变等等。
来自不同acr系统124及126的事件信息可呈不同格式，且内容管理器122可在将数据存储到数据库123中之前将数据正规化为共同格式。举例来说，内容管理器122可从acr系统124及126接收包含类似但不完全相同数据(例如具有相同内容但以不同方式格式化的数据)的不同数据集。内容管理器122可处理不同数据集且将不同数据集重新格式化以创建单个数据模型或格式(例如，经重新格式化数据集)，且经重新格式化数据集可被填充到内容管理器122中的数据库123中。
在一个实施例中，为了将来自acr系统124及126的不同数据集正规化，内容管理器122可对数据集中的数据进行清理或滤波。举例来说，一些数据集可含有可与内容管理器122不相关的字段或数据。在此实例中，内容管理器122可对不相关数据(例如，可被移除或忽略的数据)进行清理或滤波。在另一实例中，一些数据集可包含不完整或不正确数据或数据集的例子，且内容管理器122可对不完整或不正确数据或数据集进行清理或滤波。在另一实施例中，为了将来自acr系统124及126的不同数据集正规化，内容管理器122可对数据集的字段进行映射。举例来说，当内容管理器122接收到来自acr系统124的第一数据集及来自acr系统126的第二数据集时，第一数据集及第二数据集的数据字段中的至少一些可为第一及第二数据集两者共同的。然而，共同数据字段可位于第一及第二数据集中的不同地点处。在此实例中，内容管理器122可将第一及第二数据集的不同数据字段映射为经正规化字段且在数据库123中的相同数据字段位置中具有相同数据字段。
在另一实施例中，为了将来自acr系统124及126的不同数据集正规化，内容管理器122可从数据集导出数据。举例来说，来自acr系统124及126的数据可不含有将数据字段填充于数据库中所需的所有字段。然而，内容管理器122可使用来自acr系统124及126的数据集中的其它字段来导出用于这些数据字段的数据。
在一个实例中，数据库123可包含例如国家字段中的州、指定市场区域(dma)及郡县及/或城市字段等数据字段，但来自acr系统124及126的数据集可仅包含地区改进计划(zip)代码。在此实例中，内容管理器122可使用zip代码来导出用于数据库中的字段的数据。在另一实例中，数据集可不含有任何地理位置信息，但可包含acr系统124及126的因特网协议(ip)地址。在此实例中，内容管理器122可使用geo-ip查找服务来导出州、dma、郡县、城市及zip代码信息。
在另一实例中，数据库123可包含人口统计字段，例如年龄字段、性别字段、家庭收入字段等等。然而，来自acr系统124及126的数据集可不包含人口统计字段或人口统计数据。在此实例中，acr系统124及126可给内容管理器122提供媒体装置115的ip地址。内容管理器122可使用所述ip地址来确定人口统计数据以将数据字段填充于数据库中。
在另一实例中，来自acr系统124的第一数据集中的字段可包含本地时间分区信息(例如山区日光时间(mdt)分区)，且来自acr系统126的第二数据集可包含来自另一时间分区(例如协调世界时间(utc)分区)的信息。数据库可使用utc存储所有数据，且内容管理器122可在将数据存储于数据库123中之前将本地时间转换为utc。
在一个实施例中，内容管理器122可使用经正规化数据来产生关于跨越不同acr技术供应商及智能tv或其它因特网连接的视频装置的用户观看行为的报告或数据(观看数据)。内容管理器122及媒体装置115可包含用以在媒体装置115与内容管理器122之间传达信息(例如叠加内容)的通信接口。在一个实例中，通信接口可使用蜂窝式网络及/或无线网络传达信息。在一个实例中，通信网络可为蜂窝式网络，蜂窝式网络采用第三代合作伙伴计划(3gpp)版本8、9、10、11或12或者电气与电子工程师协会公司
在一个实例中，内容管理器122还可指令媒体装置115用叠加内容替换从ota广播电台108或mvpd110接收的本地内容馈源的部分。在另一实例中，内容管理器122可指令媒体装置115将叠加内容叠加或叠置到本地内容馈源的部分上。内容管理器122可聚合跨越多个acr系统124及126的acr信息，且可将叠加内容传达到不同媒体装置115(例如来自不同装置制造商的客户端装置)。
内容管理器122还可与其它装置116建立通信连接。在一个实例中，其它装置116可与客户端装置118及120通信且提供额外屏幕(例如，第二屏幕)以显示叠加内容。举例来说，客户端装置118及120可从ota广播电台108或mvpd110接收本地内容馈源且向用户显示本地内容馈源。当acr事件发生时，其它装置116也可将acr事件信息传达到acr系统124及126，如先前段落中所论述。当内容管理器122接收到acr事件信息时，内容管理器122可将叠加内容传达到其它装置116。
在一个实例中，客户端装置118及120可在其它装置116显示叠加内容时继续显示本地内容馈源。在另一实例中，客户端装置118与120及其它装置116两者均可显示叠加内容。在另一实例中，客户端装置118与120及其它装置116可显示叠加内容的一部分及本地内容馈源的一部分。在另一实例中，客户端装置118与120及其它装置116可显示不同本地内容馈源及/或叠加内容。
在一个实例中，客户端装置118及120及/或其它装置116可在接收到叠加内容时显示叠加内容。在另一实例中，客户端装置118及120及/或其它装置116可延迟显示叠加内容达阈值时间段。阈值时间段可为预定义时间段，或者内容管理器122可选择客户端装置118及120及其它装置116延迟显示叠加内容的时间段。
图2图解说明根据一个实施例的与在媒体装置上在本地执行指纹匹配的媒体装置115的acr客户端125通信的内容管理器122。内容提供者202可经由网络219将媒体内容流式传输到媒体装置115，所述流式传输可在媒体内容向媒体装置115的流式传输之前或与其同时由acr内容管理器122拦截。内容管理器122还可与广告服务器(或“广告(ad)”服务器)230通信，例如向广告服务器230发送请求与媒体内容一起(或作为对媒体内容的叠加)来提供广告的广告调用以将目标定为媒体内容的主题及/或用户的关注点，如将更详细地解释。
内容管理器122可包含acr引擎204、查找服务器206、叠加决策引擎210及广告目标确定器212。内容提供者202可将媒体内容上传到acr引擎204。acr引擎204可对媒体内容进行指纹识别。在一个实例中，可通过对馈源的每一帧、馈源的每隔一个帧、帧序列等等进行指纹识别而产生指纹。举例来说，acr引擎204可通过执行馈源的帧的离散余弦变换(dct)且将所得系数(例如，低频率系数)的子集指定为指纹而产生所述帧的指纹。
进一步参考图2，acr引擎204可将acr指纹传达到查找服务器206，查找服务器206可查找且确定电视节目(或类似物)及电视节目内对应于从acr系统124或126接收的acr事件的位置。馈源的片段的每一指纹可与时间戳相关联。时间戳可在由acr引擎204接收时属于馈源的片段的个别帧。时间戳可为馈源内从任意开始点的帧编号。查找服务器206可将指纹与其相应时间戳相关联地进行存储，且帮助广告目标确定器212及叠加决策引擎210对馈源的媒体内容内用户正观看的内容进行计时及定目标。
在一个实施例中，acr引擎204与各种媒体装置115(图1)处的acr客户端125互动。acr客户端125可在本地对指纹进行匹配且确认用户是否已改变频道来观看不同电视节目。下文关于图3描述关于acr客户端125的细节。
媒体装置115可包含可周期性地、连续地或半连续地将用户指纹信息传达到查找服务器206的acr客户端(在本文中也称为acr客户端125)。查找服务器206可确定何时可存在acr指纹信息(举例来说，存储于查找服务器206处)与用户指纹信息之间的匹配。当存在肯定匹配时，查找服务器206可将肯定匹配指示符传达到acr客户端125。acr客户端125可将请求媒体内容叠加的叠加请求发送到叠加决策引擎210。
在一个实例中，叠加请求可包含媒体内容识别符(id)。在另一实例中，叠加请求可包含叠加信息或叠加参数(如先前段落中所论述)。在一个实例中，叠加决策引擎210可使用内容id、叠加信息、及/或叠加参数来识别目标叠加内容。在另一实例中，叠加决策引擎210可使用内容id、叠加信息及/或叠加参数来识别叠加格式。叠加决策引擎210可将内容id、叠加信息及/或叠加参数与叠加数据库进行比较以识别目标叠加内容及/或叠加格式。可在周期性或连续基础上由内容提供者或广告商用新的叠加内容及/或叠加格式更新叠加数据库。
当叠加决策引擎210识别出目标叠加内容时，叠加决策引擎210可将目标叠加内容传回到媒体装置115。在一个实例中，叠加决策引擎210可(例如经由无线通信网络)将目标叠加内容直接传达到媒体装置115。在另一实例中，叠加决策引擎210可经由统一资源定位符(url)将目标叠加内容传达到媒体装置115。在一个实例中，当多个目标叠加内容与内容id、叠加信息及/或叠加参数匹配时，叠加决策引擎210可选择满足最大数目个参数及/或其它信息(例如，大于其它叠加内容)的目标内容叠加。在另一实例中，当多个目标叠加内容与内容id、叠加信息及/或叠加参数匹配时，叠加决策引擎210可随机地选择满足参数及其它信息的叠加内容。在另一实例中，当多个目标叠加内容与内容id、叠加信息及叠加参数匹配时，叠加决策引擎210可选择与内容id、叠加信息及/或叠加参数匹配的预定叠加内容。可用动态内容(例如，可以周期性间隔更新或刷新的内容)填充叠加内容。动态内容可存储于本地数据库或外部系统中。
媒体装置115的acr客户端125可在acr指纹信息与用户指纹信息匹配时将叠加内容叠置于内容馈源上。在一个实例中，客户端装置208可在超文本标记语言(html)浏览器中将叠加内容叠置于内容馈源上。在另一实例中，客户端装置208可将叠加内容叠置于来自ota广播电台或有线广播电台的内容馈源上。当将叠加内容放置于内容馈源上时，可经由媒体装置115的显示器向用户显示叠加内容。在一个实例中，叠加内容可包含对可向用户显示的动作选项的一或多个调用。在此实例中，用户可使用输入装置(例如tv遥控器、键盘、智能电话或平板计算机)与叠加内容互动以创建反馈信息。acr客户端125可将反馈信息传达到广告目标确定器212。另一个体(例如广告商)可存取反馈信息且分析反馈信息以确定所要信息，例如叠加内容中的用户关注点。
acr客户端125可监视内容馈源以确定叠加内容与内容馈源匹配何时停止及/或阈值时间段何时到期。在一个实例中，当叠加内容与内容馈源匹配停止及/或阈值时间段到期时，媒体装置115可停止叠置叠加内容以在媒体装置115上显示。
在其它实施例中，acr客户端125可针对指纹匹配中的一些或全部在本地执行一些指纹匹配。即，acr客户端可在客户端装置208上而非在服务器(例如，查找服务器206)上在本地执行这些计算。应注意，本文中所描述的acr运算不需要在叠加系统上下文中使用。即，由acr客户端125进行的acr指纹本地匹配可用于其它系统中，比叠加的上下文中所描述的其它系统少或多。
图3图解说明根据一个实施例的具有客户端侧acr指纹本地匹配的内容准备系统300。内容准备系统300可包含内容装置302(例如器具或其它装置)、acr云310(例如，上文关于图1及图2所描述的服务器侧acr运算)及广播云312。内容装置302可包含捕获守护程序304、捕获卡306及软件更新器308。捕获守护程序304可进一步包含处理链内的捕获器314、片段编码器316及上传器318以及内容帧320及用以指纹识别由捕获器314捕获的媒体内容的acr指纹识别器322。内容装置302可从内容馈源接收媒体内容(在本文中也仅称为“内容”)且将所述内容准备为包含可递送到消费媒体内容的媒体装置315的上下文相关材料以供用户观看。媒体装置315可包含用于执行acr指纹本地匹配的acr客户端325。内容馈源可使用捕获卡306接收。
捕获卡306可用于从内容馈源捕获并转换媒体内容(例如音频及/或视频内容)，所述内容馈源是例如使用由运动图片与电视工程师学会开发的hd-sdi(高清串行数字接口)编码的流。在一个实例中，捕获卡306可使用同轴电缆端口接收内容馈源。在另一实例中，捕获卡306可使用高清多媒体接口(hdmi)端口接收内容馈源。捕获卡306可包含串行数字接口(sdi)端口。sdi端口可经配置以接收内容(输入端口)或发送内容(输出端口)。捕获卡306可使用sdi端口接收一或多个内容馈源。当捕获卡306接收多个内容流时，可对每一内容馈源进行指纹识别、编码及上传，如先前所论述。举例来说，捕获卡306可分别使用sdiin1及sdiin2接收两个内容馈源。在此实例中，捕获守护程序304可并行处理内容馈源。
当捕获卡306接收内容馈源上的内容时，捕获盒可将内容发送到捕获器314。捕获器314可为用以控制捕获卡306且与捕获卡306互动的软件。捕获器314可指令捕获卡306使用sdi端口作为输入及/或指令捕获卡306如何获得传入媒体内容，例如音频/视频(“a/v”)数据。捕获器314可使用捕获卡306来获得先进媒体内容信息及执行先进功能(例如，隐藏式字幕信息、在馈源内递送的时间代码)且调整媒体内容数据，例如色彩空间转换或比例缩放。
当捕获器314从捕获卡306接收内容时，捕获器314可将内容提供到acr指纹识别器322及编码器316两者。举例来说，捕获器314可将a/v数据提供到acr指纹识别器322及编码器316两者，例如，将内容分裂以供递送到acr指纹识别器322及编码器316。在一个实例中，捕获器314可与广播云312通信以指示何时经由捕获卡306接收到媒体内容以上传到广播云312，例如，流式传输状态。
在另一实例中，捕获器314可从广播云312接收指示广播云312从捕获守护程序304接收流式内容的状态(例如，接收状态)的状态消息。举例来说，捕获守护程序304可使用轮询方法与广播云312通信。在此实例中，捕获守护程序304可发送状态消息以向广播云312通知捕获守护程序304的流式传输状态(例如内容准备好流式传输或无当前内容用于流式传输)，且可另外从广播云312检索接收状态。
在又一实例中，捕获器314可将系统度量信息提供到广播云，例如中央处理单元(cpu)利用、存储器利用、驱动利用、操作温度等等。在另一实例中，软件更新器308可经配置以更新内容装置302。举例来说，内容装置302可使用轮询方法来与广播云312通信以确定何时已安排更新。
片段编码器316(下文中编码器316)可从捕获器314接收内容且将内容编码以提供安全内容以供在广播云312与媒体装置315(例如客户端装置118或120)之间传送数据。编码器316还可将数据编码或转换以调整为适于媒体消费装置的不同显示大小、处理能力、网络状况及/或电池能力。编码器316可将内容片段写入到编码器316的磁盘或存储器。当已将内容编码时，编码器316可接着将经编码内容传达到上传器318。在已将内容传达到上传器318之后，可从编码器316的磁盘或存储器删除内容片段。当上传器318接收到经编码内容时，上传器318可将经编码内容或经编码内容的片段上传到广播云312。当上传器318已将经编码内容上传时，上传器318可向广播云312通知已将经编码内容编码，且提供内容元数据，例如内容被捕获卡306捕获的时间及/或媒体内容的持续时间。
广播云312可在递送内容或片段以供在媒体装置315处播放之前处理所上传经编码内容或片段。由广播云进行的此处理可包含将内容或片段转码成多个位速率以支持适应性位速率播放，且将所有所得片段上传到内容递送网络(cdn)。
与将内容传达到编码器316并行地，捕获器314可将内容帧320传达到acr指纹识别器322。在一个实例中，内容帧320可为音频数据。在另一实例中，内容帧320可为视频数据。在此实例中，视频内容可由原始视频帧构成。当acr指纹识别器322接收到内容帧320时，acr指纹识别器322可确定如何处理内容帧320，例如如何处理原始视频帧。
在一个实例中，可个别地指纹识别视频帧。在另一实例中，可以集合或序列指纹识别视频帧。acr指纹识别器322可基于由acr指纹识别器322使用的acr算法而确定何时个别地或顺序地指纹识别视频帧。在另一实例中，acr指纹识别器322可针对不同广播电台或用户以不同方式指纹识别内容帧320。在此实例中，acr指纹识别器322可包含不同acr供应商的不同acr指纹识别算法。在一个实例中，不同acr指纹识别算法可为预定的且存储于acr指纹识别器322的存储器上。在另一实例中，不同acr指纹识别算法可由第三方acr供应商提供。当不同acr指纹识别算法由第三方acr供应商提供时，acr指纹识别器322可聚合不同acr指纹识别算法。在一个实例中，acr指纹识别可使用在yuv4:2:2色彩空间内且处于高分辨率的原始视频。当在捕获卡306处接收到视频内容时，捕获器314可将视频内容转换为yuv4:2:0色彩空间且将其分辨率比例缩小为阈值分辨率水平以供由编码器316编码。
当acr指纹识别器322已指纹识别媒体内容的内容帧320时，acr指纹识别器可将指纹(包含频道信息、时间代码及指纹信息)发送到acr云310，acr云310可为任何本地或远程服务器，如参考图1及2所论述。在一个实例中，可对相同媒体内容使用不同acr指纹识别算法以将不同指纹信息提供到不同acr供应商的acr云310。指纹识别相同内容的优点可为将上下文相关广告及互动内容提供到媒体消费装置(例如媒体装置315)的不同观看者。在另一实例中，内容帧320可包含来自不同馈源的媒体内容。在此实例中，可对不同馈源的内容使用不同acr指纹识别算法以将不同指纹识别信息提供到不同acr供应商的acr云310。
可分别将不同指纹识别信息上传到不同acr供应商的acr云310。不同acr供应商可集成于由不同合同设备制造商(cem)制造的观看装置上。举例来说，由
在一个实例中，acr云310可使用acr指纹识别信息来进行数字广告替换(dar)。在另一实例中，acr指纹识别信息可用于广告或内容增强及数据收集。可将指纹识别信息发送到acr云310，其中acr云310可使用指纹识别信息来将经编码内容与上下文相关广告及互动内容进行匹配。所匹配经编码内容、上下文相关广告及互动内容可接着被提供到媒体装置315以用于显示。在另一实例中，可将关于匹配事件的信息传达到广播云312以分析内容匹配。
在一个实例中，可在可将经编码片段从广播云312传达到acr云310之前将acr指纹识别信息递送到acr云310。在另一实例中，可在已将整个片段编码时将经编码片段上传到acr云310。在另一实例中，可连续地指纹识别内容，且可将所得指纹识别信息连续地传达或以选定速率传达到acr供应商云。所选择速率可基于不同acr供应商。举例来说，一个供应商可递送acr指纹识别信息数次/秒，而另一供应商可递送此信息一次/2-5秒。
在一个实例中，内容装置302可对媒体内容进行编码、加密且将媒体内容上传到广播云312。在另一实例中，内容装置302可从广播电台接收广播电台特定调度元数据(关于在于捕获卡306处接收的内容馈源中有何种表演及广告的数据)。内容装置302可将元数据传达到广播云312。在另一实例中，广播云312可将元数据(例如广播电台特定调度元数据)传达到acr云310或不同供应商的不同acr云310，使得供应商可使用元数据来按照从acr指纹识别器322接收的指纹信息进行匹配。
提供编码、上传及指纹识别的内容准备系统300的优点可为随acr指纹识别提供故障容忍内容流式传输。举例来说，当acr指纹识别器322出故障时，内容流式传输可在不中断的情况下继续且acr指纹识别可重新开始。在一个实例中，内容准备系统300可将acr指纹识别作为与内容编码及上传分开的过程来执行以在提供流式内容进行观看时避免故障。
在一个实例中，acr指纹识别器322可在内容准备系统300中的广播分配上游执行acr指纹识别。在另一实例中，针对内容准备系统300，acr指纹识别可发生于广播链中，其中可递送广播馈源以进行编码及上传。执行在可递送广播馈源以进行编码及上传的情况下发生的acr指纹识别的优点可为，使得内容准备系统300能够将acr指纹识别及编码以及上传组合到单个器具中。执行在可递送广播馈源以进行编码及上传的情况下发生的acr指纹识别的另一优点可为，利用单个广播馈源来执行acr指纹识别及编码以及上传。当使用单个广播馈源时，待购买、安装、监视及维护以进行acr指纹识别及编码以及上传的装置及应用的数目可减少。举例来说，资本支出(capex)及/或运营支出(opex)可减少，例如减少的系统设施(机架空间、电力及因特网连接性)。另外，当使用单个广播馈源时，从广播电台的分配放大器产生的广播馈源的数目可减少。
内容装置302可从内容馈源接收媒体内容且将所述内容准备为包含可递送到媒体装置315的上下文相关材料。媒体装置315可包含用于在媒体装置上在本地执行acr指纹匹配的acr客户端325。最初，将请求发送到服务器装置(例如acr指纹识别器服务器105或查找服务器206)以识别视频。一旦成功，便将与视频相关联的指纹集下载到请求的媒体装置315。从所述点继续，用于进行匹配的大多数请求可在请求的媒体装置上在本地执行，直到产生低信任结果(例如，媒体内容的指纹不再匹配所下载指纹集)为止。响应于匹配新指纹的失败，可将新请求发送到服务器装置以匹配新指纹，所述新指纹可与新频道匹配，且过程重复进行。理想地，每视频或频道将仅一个请求发送到服务器装置。然而，在一些实施例中，每视频或频道可做出到服务器装置的多于一个请求；然而，这些请求可少于在不具有如本文中所描述的本地指纹匹配的情况下由媒体装置做出的请求。
在另一实施例中，以下伪码表示可如何在客户端装置上执行acr指纹本地匹配。
在一个实施例中，acr客户端使用本地匹配算法来执行acr指纹匹配。其可使用服务器来仅在必要时进行匹配，因此减少强加于服务器上的计算及通信要求。
图4图解说明根据一个实施例的媒体装置自动内容辨识(acr)指纹识别及本地匹配的方法400的流程图。方法400可至少部分地由处理逻辑执行，所述处理逻辑可包含硬件(例如，电路、专用逻辑、可编程逻辑、微码等)、软件(例如，由处理装置执行的指令)、固件或其组合。方法400可由媒体装置115(例如图1的装置114到120中的任一者)的处理逻辑执行。在相关实施例中，acr客户端125或325可执行方法400。替代地，方法400可由各种类型的用户装置、便携式装置、电视、投影仪或其它媒体装置中的其它处理装置执行。
参考图4，方法400以由acr客户端向acr服务器发送基于指纹识别媒体内容的请求开始(402)。acr客户端可产生帧序列(例如取决于内容流式传输的速度，值两到三秒的帧)作为发送到服务器以进行acr匹配的指纹。服务器执行服务器侧匹配以识别媒体内容，且将与所识别媒体内容相关联的指纹集发送回到acr客户端。acr客户端从acr服务器接收指纹集(404)。acr客户端在客户端媒体装置上执行与对应于媒体内容的指纹集的本地指纹匹配(406)。acr客户端还确定匹配度量(例如匹配的质量或信任水平)且将匹配度量对照阈值匹配水平进行比较(408)。当匹配度量小于阈值时，acr客户端返回到框402以将新请求发送到acr服务器以确定与新频道的匹配。然而，当匹配度量等于或大于阈值时，acr客户端继续执行本地指纹匹配(406)。以此方式，acr客户端不必继续对acr服务器进行试通(ping)以确认媒体内容是从相同频道或电视节目流式传输。
图5图解说明根据另一实施例的媒体内容的媒体装置指纹识别的指纹的本地匹配的方法500的流程图。方法500可至少部分地由处理逻辑执行，所述处理逻辑可包含硬件(例如，电路、专用逻辑、可编程逻辑、微码等)、软件(例如，由处理装置执行的指令)、固件或其组合。方法400可由媒体装置115(例如图1的装置114到120中的任一者)的处理逻辑执行。在相关实施例中，acr客户端125或325可执行方法400。替代地，方法400可由各种类型的用户装置、便携式装置、电视、投影仪或其它媒体装置中的其它处理装置执行。
参考图5，所述方法以媒体装置115或315产生由用户消费的媒体内容的第一查询指纹开始(510)。媒体装置将第一查询指纹发送到acr服务器以进行内容匹配(520)。媒体装置响应于服务器找出与第一查询指纹的匹配而接收用户正观看的第一频道的标识(530)。媒体装置接着接收从媒体内容的位于用户正观看媒体内容之处前面的位置中产生的多个指纹(540)。媒体装置将从服务器接收的多个指纹存储于媒体装置的计算机可读媒体内的本地数据库中(550)。媒体装置的计算机可读存储媒体可为先进先出(fifo)存储器，其中在所述存储器填满时多个指纹中的最老指纹首先存在。在其中媒体内容并非实时视频流(例如，其已被预存储)的实例中，服务器可在第一频道上发送节目的所有指纹(假设媒体装置可存储其全部)。
媒体装置接着继续将下一查询指纹与多个本地存储的指纹进行匹配且在如此做时确定用户是否仍观看同一频道或节目(560)。可根据满足下一查询指纹与已从服务器接收并存储于本地数据库中的多个指纹中的任一者之间的匹配度量阈值的水平来确定匹配。匹配度量阈值可反映匹配结果的误差足够低使得存在匹配的充分高概率的信任水平。
当仍在多个指纹中发现匹配时，仍在观看第一频道且方法循环回到框540，继续接收从媒体内容的位于用户正观看之处前面的位置中产生的多个指纹(540)，且将多个指纹存储于本地数据库中(550)以继续进行本地acr匹配。
当未发现匹配时，媒体装置上的频道已改变且方法返回到框520，其中将未匹配指纹发送到acr服务器以找出与用户已在媒体装置上改变到的第二频道的匹配。所述方法接着如前述继续从服务器接收第二频道的标识及第二频道的媒体内容的多个指纹以进行本地存储。
进一步参考框540，服务器可不仅发送用户当前正观看的第一频道的媒体内容的多个指纹，而且发送正被流式传输到频道指南上位于第一频道附近的频道的媒体内容的第二多个指纹。举例来说，如果cbs是第一频道且位于nbc与cbs之间，那么媒体装置还可从服务器接收正被流式传输到nbc及cbs的内容的多个指纹。
替代地或另外，acr服务器(任选地，联合图2的广告目标确定器212)可跟踪用户最长看的频道(例如，用户最喜爱的频道及/或节目)且还在连续基础上将多个指纹发送到那些频道以进行本地acr匹配。在最后两个实例(附近本地频道及用户最喜爱的频道)的情况下，可设定流式传输多少个指纹以存储于媒体装置上的上限，取决于流式传输指纹的大小，所述上限受一些媒体装置(例如智能tv或手持式装置上的应用程序)上的存储空间的实际限制约束。
图6图解说明呈计算机系统600的实例性形式的机器的图解性表示，在计算机系统700内可执行用于致使所述机器执行本文中所论述的方法中的任何一者或多者的指令集。在一些替代实施例中，所述机器可连接(例如，网络连接)到lan、内联网、外联网或因特网中的其它机器。所述机器可在客户端-服务器网络环境中的服务器或客户端装置的容量内操作，或作为对等(或分布式)网络环境中的对等机器操作。所述机器可为个人计算机(pc)、平板pc、机顶盒(stb)、个人数字助理(pda)、蜂窝式电话、智能电话、web器具、服务器、网络路由器、交换机或桥接器或者能够执行规定将由所述机器采取的动作的指令集(顺序的或其它)的任何机器。此外，虽然图解说明仅单个机器，但还应将术语“机器”视为包含个别地或联合地执行一指令集(或多个指令集)以执行本文中所论述的方法中的任何一者或多者的任何机器集合。
计算机系统600可对应于图1的acr指纹识别器服务器105。计算机系统600可对应于图1的媒体装置115，或对应于图3的媒体装置315或者对应于图1及2的内容管理器122的全部或部分中的任一者。计算机系统600可对应于基于云的计算机系统的至少一部分，例如本文中所论述。
计算机系统600包含处理装置602、主存储器604(例如，只读存储器(rom)、快闪存储器、动态随机存取存储器(dram)(例如同步dram(sdram)或dram(rdram))等)、静态存储器606(例如，快闪存储器、静态随机存取存储器(sram)等)及数据存储装置618，所述装置经由总线630彼此通信。
处理装置602表示一或多个通用处理装置(例如微处理器、中央处理单元等等)。更特定来说，所述处理装置可为复杂指令集计算(cisc)微处理器、精简指令集计算机(risc)微处理器、极长指令字(vliw)微处理器或实施其它指令集的处理器或者实施指令集的组合的处理器。处理装置602也可为一或多个专用处理装置(例如，专用集成电路(asic)、现场可编程门阵列(fpga)、数字信号处理器(dsp)、网络处理器等等)。在一个实施例中，处理装置602可包含一或多个处理核心。处理装置602可经配置以执行用于执行本文中所论述的操作的镜射逻辑的指令626。
计算机系统600可进一步包含可通信地耦合到网络620的网络接口装置608。计算机系统600还可包含视频显示单元610(例如，液晶显示器(lcd)或阴极射线管(crt))、字母数字输入装置612(例如，键盘)、光标控制装置614(例如，鼠标)、信号产生装置616(例如，扬声器)或其它外围装置。此外，计算机系统600可包含图形处理单元622,、视频处理单元628及音频处理单元632。在另一实施例中，计算机系统600可包含芯片集(未图解说明)，芯片集是指经设计以与处理装置602一起工作的集成电路或芯片群组且控制处理装置602与外部装置之间的通信。举例来说，芯片集可为将处理装置602链接到极高速装置(例如主存储器604及图形控制器)以及将处理装置602链接到外围装置的较低速外围总线(例如usb、pci或isa总线)的母板上的芯片集。
数据存储装置618可包含其上存储有体现本文中所描述的功能的方法中的任何一者或多者的指令624的计算机可读存储媒体626。指令626还可在其由计算机系统604执行期间完全地或至少部分地驻存于主存储器602内及/或处理装置600内，主存储器604及处理装置602也构成计算机可读存储媒体。
计算机可读存储媒体624还可用于利用含有调用以上应用的方法的逻辑及/或软件库来存储指令626。虽然在实例性实施例中将计算机可读存储媒体624展示为单个媒体，但术语“计算机可读存储媒体”或“计算机可读媒体”应视为包含存储一或多个指令集的单个媒体或多个媒体(例如，集中式或分布式数据库及/或相关联高速缓冲存储器及服务器)。术语“计算机可读存储媒体”还应视为包含能够存储、编码或载运供由机器执行且致使机器执行本发明实施例的方法中的任何一者或多者的指令集的任何媒体。因此，术语“计算机可读存储媒体”应视为包含但不限于固态存储器以及光学媒体及磁性媒体。
在以上描述中，陈述众多细节。然而，受益于本发明的所属领域的技术人员将明了，可在不具有这些特定细节的情况下实践实施例。在一些例子中，以框图形式而非详细地展示众所周知的结构及装置以避免使描述模糊。
尽管本文中可参考特定集成电路(例如在计算平台或微处理器中)描述了实施例，但其它实施例可适用于其它类型的集成电路及逻辑装置。本文中所描述的实施例的类似技术及教示可应用于其它类型的电路或半导体装置。举例来说，所揭示实施例不限于桌上型计算机系统或ultrabookstm，且还可用于其它装置(例如手持式装置、平板计算机、其它薄笔记型计算机、系统单芯片(soc)装置)及嵌入式应用中。手持式装置的一些实例包含蜂窝式电话、因特网协议装置、智能电话、数字相机、个人数字助理(pda)及手持式pc。嵌入式应用通常包含微控制器、数字信号处理器(dsp)、系统单芯片、网络计算机(netpc)、机顶盒、网络集线器、广域网(wan)交换机或可执行下文所教示的功能及操作的任何其它系统。
尽管本文中参考处理器或处理装置描述了实施例，但其它实施例适用于其它类型的集成电路及逻辑装置。本发明的实施例的类似技术及教示可适用于可受益于较高流水线吞吐量及经改进性能的其它类型的电路或半导体装置。本发明的实施例的教示适用于任何处理器或执行数据操纵的机器。然而，本发明不限于执行512位、256位、128位、64位、32位及/或16位数据运算的处理器或机器，且可适用于其中执行数据的操纵或管理的任何处理器及机器。另外，以下描述提供实例，且附图出于说明的目的而展示各种实例。然而，这些实例不应解释为具限制意义，因为这些实例仅打算提供本发明的实施例的实例而不打算提供本发明的实施例的所有可能实施方案的穷尽性列表。
详细描述的一些部分是就对计算机存储器内的数据位的运算的算法及符号表示方面而呈现。这些算法描述及表示是由数据处理技术领域的技术人员用以最有效地将其工作的实质传达给所属领域的其它技术人员的手段。算法在此处且大体地设想为达到所要结果的始终一致的运算序列。所述运算是需要对物理量的物理操纵的那些运算。通常(但并非必要地)，这些量呈现能够被存储、传送、组合、比较及以其它方式加以操纵的电信号或磁信号的形式。已证明，主要出于常用的原因，将这些信号称为位、值、元素、符号、字符、项、数字等等有时比较方便。本文中所描述的块可为硬件、软件、固件或其组合。
然而，应记住，所有这些术语及类似术语均与适当的物理量相关联，且仅作为应用于这些量的方便标签。除非如从以上论述明了另有具体陈述，否则应了解，在本描述通篇中，利用例如“检测”、“起始”、“确定”、“继续”、“停止”、“接收”、“记录”等等术语的论述是指计算系统或类似电子计算装置的动作及过程，其对表示为计算系统的寄存器及存储器内的物理(例如，电子)量的数据进行操纵并将其变换成类似地表示为计算系统存储器或寄存器或者其它此类信息存储、发射或显示装置内的物理量的其它数据。
本文中使用词语“实例性”或“示范性”来意指用作实例、例子或说明。在本文中描述为“实例性”或“示范性”的任一方面或设计未必应视为比其它方面或设计优选或有利。而是，打算使用词语“实例性”或“示范性”来以具体方式呈现概念。如本申请案中所使用，术语“或”打算意指包含性“或”而非排他性“或”。即，除非另有规定或从上下文清楚，否则“x包含a或b”打算意指自然包含性排列中的任一者。即，如果x包含a，x包含b，或x包含a及b两者，那么在前述例子的任一者下满足“x包含a或b”。另外，如本申请案及所附权利要求书中所使用的冠词“一(a及an)”应通常视为意指“一或多个”，除非另外规定或从上下文清楚其针对于单数形式。此外，通篇使用术语“一实施例”或“一个实施例”或“一实施方案”或者“一个实施方案”不打算意指相同实施例或实施方案，除非如此描述。并且，如本文中所使用的术语“第一”、“第二”、“第三”、“第四”等意为在不同元件间进行区分的标签且可不必具有根据其数字标示的次序意义。
本文中所描述的实施例还可涉及用于执行本文中的操作的设备。此设备可出于所需目的被专门构造，或其可包括通用计算机，所述通用计算机由存储于计算机中的计算机程序选择性启动或重新配置。此计算机程序可存储于非暂时性计算机可读存储媒体中，所述非暂时性计算机可读存储媒体是例如但不限于，任何类型的磁盘(包含软盘、光盘、cd-rom及磁光盘)、只读存储器(rom)、随机存取存储器(ram)、eprom、eeprom、磁性或光学卡、快闪存储器或适于存储电子指令的任何类型的媒体。术语“计算机可读存储媒体”应视为包含存储一或多个指令集的单个媒体或多个媒体(例如，集中式或分布式数据库及/或相关联高速缓冲存储器及服务器)。术语“计算机可读媒体”还应视为包含能够存储、编码或载运供由机器执行且致使机器执行本发明实施例的方法中的任何一者或多者的指令集的任何媒体。术语“计算机可读存储媒体”应相应地视为包含但不限于，固态存储器、光学媒体、磁性媒体、能够存储供由机器执行且致使机器执行本发明实施例的方法中的任何一者或多者的指令集的任何媒体。
本文中所呈现的算法及显示并非固有地与任何特定计算机或其它设备相关。各种通用系统可与根据本文中的教示的程序一起使用，或其可证明构造更专业设备来执行操作是方便的。各种这些系统的所需结构将从以下描述显而易见。另外，未参考任何特定编程语言而描述本发明实施例。将了解，各种编程语言可用于实施如本文中所描述的实施例的教示。
以上描述陈述众多特定细节(例如特定系统、组件、方法等等的实例)以便提供对数个实施例的良好理解。然而，所属领域的技术人员将明了，可在不具有这些特定细节的情况下实践至少一些实施例。在其它例子中，未详细描述或以简单框图形式呈现众所周知的组件或方法以避免不必要地使本发明教示模糊。因此，上文所陈述的特定细节仅为示范性的。特定实施方案可与这些示范性细节不同，且仍预期在本发明实施例的范围内。
应理解，以上描述打算为说明性而非限制性。所属领域的技术人员在阅读及理解以上描述后将明了许多其它实施例。因此，本发明实施例的范围应参考所附权利要求书连同此权利要求书被授权的等效物的全部范围来确定。
- 还没有人留言评论。精彩留言会获得点赞！