用于具有任意非均匀粒度的粒状元内容的关联引擎和方法

用于具有任意非均匀粒度的粒状元内容的关联引擎和方法
【专利摘要】一种公开的方法包括：接收关于与主要内容(201)相关的多个元内容元素(203)的关联指令。主要内容(201)可以是多媒体内容，诸如但不限于视听内容。该方法包括：响应于接收指令，执行关联。关联在元内容元素(203)之间，其中，元内容元素(203)每个都具有限定元内容片段(207)的任意粒度。该方法基于关联返回结果。另一种所公开的方法包括：接收具有关于多个元内容元素(203)的关联指令的请求，其中，元内容元素(203)与主要内容(201)相关。再次，每个元内容元素都具有限定元内容片段(207)的任意粒度。该方法包括：响应于接收到该请求，基于关联指令，确定多个元内容元素(203)的元内容片段(207)的合成物。
【专利说明】用于具有任意非均匀粒度的粒状元内容的关联引擎和方法
[0001] 相关申请的交叉参考
[0002] 本公开涉及共同未决美国专利申请No. 13/528, 911"CONTENT RIGHTS PROTECTION WITH ARBITRARY CORRELATION OF SECOND CONTENT" 代理机构案号 No. CS39043;以及共同 未决美国专利申请 No. 13/528,922 "PRIVACY MANAGER FOR RESTRICTING CORRELATION OF META-CONTENT HAVING PROTECTED INFORMATION BASED ON PRIVACY RULES"代理机构案号 No. CS40207 ;均被分配给与本申请相同的受让人。

【技术领域】
[0003] 本公开主要涉及内容元数据、或元内容、以及访问和利用元数据或元内容。

【背景技术】
[0004] 内容和已被开发的多种类型或形式的内容在使用共同称为元数据的相关数据时 被展示。元数据的开发本身演变至元数据类型和形式的阵列。在其最早表示中，元数据提 供与内容相关的基本信息。例如，照片可能具有用于提供取得照片的时间、用于取得照片的 特定相机和相机设定、以及甚至标识版权持有人的信息的相关元数据。随着元数据演进，可 以与内容相关地存储的信息量可以被看作另一种形式的内容本身，即，"元内容"，元内容可 以独立于内容存在，并且呈现其本身的独立目的。换句话说，元内容可以独立于其相关"主 要"内容存在。虽然术语"元内容"可能看起来模糊作为数据的形式的内容和元数据之间的 分界线，但是术语"元内容"应该被理解为是指提供关于主要内容的信息的辅助内容，或者 可替换地与主要内容相关的辅助内容。例如，搜索引擎可以使用元内容，以使得能够产生用 于关于主要内容的准则的宽范围的搜索结果。可替换地，元内容可以包括关于主要内容的 学习或分析的信息。
[0005] 给出可以关于任何给定主要内容存在的广泛多种元内容，访问和管理元内容变得 成比例地困难。甚至给出可用技术，涉及元内容的一些处理仍然在某些程度上以手动方式 被执行。例如，创建主要内容、或者关于主要内容的辅助内容（诸如，新闻视频、剪辑等）通 常仍然要求通过多种形式的元内容分类，以便获取期望元内容片段。元内容的多种其他使 用可能同样令人沮丧。
[0006] 在当前视频分配系统的示例上下文中，视听内容（即，"主要"内容）的每个实例通 常都与主要内容相关的目录元数据的形式的唯一程序标识符相关。这样的目录元数据通常 在最高层级处限定。换句话说，目录元数据描述符通常仅与视听内容的一个特定实例相关。
[0007] 主要内容可以具有多种相关辅助内容，即，元内容，诸如，相关视频剪辑、话外音和 /或不独立可标识的独立部分，诸如，标题、本地新闻、国际新闻、体育、天气、娱乐等。结果， 这样的元内容不对使用传统目录元数据架构的独立描述符注解开放。另外，视听内容可以 具有多于一个类型的并行目录元数据流。
[0008] 其实例包括用于主要内容（诸如，以上简单提及的，其中，标题、相关视频剪辑、以 及话外音描述每个部分）的文本描述的同步流、基于视听信号处理和场景边界检测的场景 分割、特定部分与将与特定部分排他性相关的辅助内容相关的并行馈送插入、具有自动记 事板制作的关键帧提取等。自然地，这不限于电视新闻广播，而是应用至多种主要内容，诸 如但不限于电影产品、体育广播、以及很多其他视听内容目录。

【专利附图】

【附图说明】
[0009] 图1是根据实施例的包括关联引擎的系统架构的框图。
[0010] 图2是图示内容与多种粒状元内容元素的关系的框图，其中，每个元内容元素粒 度都限定元内容片段和项。
[0011] 图3是根据一些实施例的系统架构的框图，其中，流处置器包括关联引擎。
[0012] 图4是根据实施例的提供在具有分布式文件系统的网络内具有关联引擎的系统 架构400实例的详情的框图。
[0013] 图5是图示根据多种实施例的关联引擎的示例高级操作的流程图。
[0014] 图6是图示根据多种实施例的关联引擎的示例高级操作的流程图，其中，关联引 擎接收关联指令以及标识主要内容的信息。
[0015] 图7是图示根据多种实施例的关联引擎的示例高级操作的流程图，其中，关联引 擎接收关联指令以及标识主要内容的信息和标识元内容元素的集合的信息。
[0016] 图8是图示根据多种实施例的关联引擎的示例高级操作的流程图，其中，关联引 擎接收关联指令以及标识元内容元素的集合的信息，并且返回主要内容的身份。
[0017]图9是当关联指令涉及包括在时间上合并和排序的视频、音频和闭合字幕结果的 时间相关信息聚合时，如图5中的513、图6中的609、图7中的711和图8中的809中所示 的确定步骤的详细实例。
[0018] 图10是当关联指令涉及按照指定顺序定位包括FLASH帧、徽标和黑帧的视频事件 序列、以及包括站标识符音乐签名的音频事件时，如图5中的513、图6中的609、图7中的 711和图8中的809中所示的确定步骤的详细实例。
[0019]图11是当关联指令涉及标识涉及戏曲电视节目的具有在时间上接近包含射击的 音频分析结果的词语"停止、警察"的闭合字幕文本时，如图5中的513、图6中的609、图7 中的711和图8中的809中所示的确定步骤的详细实例。
[0020] 图12是当关联指令涉及关于新闻广播并且包含短语"选择结果"的闭合字幕分析 结果时，如图5中的513、图6中的609、图7中的711和图8中的809中所示的确定步骤的 详细实例。
[0021] 图13是当关联指令涉及热图相对于在元内容元素的结合分组内的元内容项的简 单计数或复杂聚合统计的构造时，如图5中的513、图6中的609、图7中的711和图8中的 809中所示的确定步骤的详细实例。

【具体实施方式】
[0022] 本公开提供一种用于关联具有任意粒度和/或任意索引方案的元内容元素的方 法和装置。应用的宽阵列是可以的，并且通过这样的元内容元素的关联被实现，这样的元内 容元素的关联创建相关标准化索引，以实现多种形式的分析信息的提取和元内容元素之间 的新语义关系的创建。
[0023] 所公开的实施例实现多种类型的并行目录元数据流（在此称为"元内容元素"）之 间的关联。实施例可以创建这样的元内容元素之间的关联，不管它们是在初始创建/记录 (在创建者或分配者提供目录元数据的情况下）或特定查看（在观察者或其他源直接或间 接生成目录元数据的情况下）之前、期间还是之后被创建。另外，在不同语义层级处的关系 可以通过交叉参考来自属于主要内容的特定部分的多个流的目录元数据和/或元内容被 建立。然后，可以分析并且开发这些元内容元素，以进一步推断关于例如视听内容的主要内 容的特定部分的信息。
[0024] 一种所公开的方法包括：通过关联引擎，接收关于多个元内容元素的关联指令，其 中，元内容元素与主要内容相关。关联引擎执行元内容元素之间的关联，其可以每个都具有 限定元内容元素的元内容片段的任意粒度。基于关联的结果被返回。该结果可以包括相关 元内容片段。
[0025] 关联指令可以经由来自客户端应用的请求被发送至关联引擎。在执行关联之前， 关联引擎可以将每个元内容元素的任意粒度调节至均匀粒度。在执行关联之前，关联引擎 还可以标准化每个元内容元素的任意索引，以创建标准化索引。标准化索引可以是基于时 间的索引、基于位置的索引、或者基于上下文的索引。
[0026] 由客户端应用发送的请求可以包括多种信息，诸如，标识主要内容的信息、标识与 主要内容相关的元内容元素的集合的信息、和/或根据所建立的索引方案通过索引标识主 要内容的一部分的信息。
[0027] 一种所公开的方法包括：接收具有关于具有限定元内容片段的任意粒度的多个元 内容元素的关联指令的请求。响应于接收关联指令，关联引擎基于关联指令确定元内容片 段的合成物。该方法可以包括：关联引擎将每个元内容元素的任意粒度调节为均匀粒度，以 及在执行关联之前，标准化每个元内容元素任意索引方案，以在多个元内容元素之间创建 标准化索引。标准化可以包括：标准化每个元内容元素任意索引方案，以创建标准化索引， 其中，标准化索引包括基于时间的索引、基于位置的索引、或者基于上下文的索引中的至少 一个。
[0028] 另一种所公开的方法包括：接收具有关于与主要内容相关的多个元内容元素的关 联指令的请求，每个元内容元素都具有限定元内容片段的任意粒度。该方法包括：基于索引 方案，在元内容元素之间执行关联，其中，每个元内容元素都具有任意索引方案；以及基于 关联的结果，确定主要内容的身份。
[0029] 该方法还可以包括：在执行关联之前，将每个元内容元素的任意粒度调节为均匀 粒度，并且标准化每个元内容元素任意索引方案，以在多个元内容元素之间创建标准化索 弓丨。索引可以是基于时间的索引、基于位置的索引、或者基于上下文的索引中的一个。
[0030] 本公开的另一方面提供一种装置，具有至少一个可编程处理器、以及操作地耦合 至可编程处理器的存储器。存储器包含用于由至少一个处理器执行的可执行指令，其中，一 旦执行可执行指令，至少一个处理器操作用于接收关于与主要内容相关的多个元内容元素 的关联指令；响应于接收该指令，执行关联，并且基于关联返回结果。上述可执行指令还可 以由非易失性、非暂时性存储器存储，其可以被加载到至少一个处理器用于执行。
[0031] 现在转到附图，其中，类似数字表示类似组件，图1图示根据实施例的包括关联引 擎101的系统架构100。关联引擎101根据实施例关联并且对元数据和/或元内容做索引。 关联引擎101可以是网络103的一部分或者包含在网络103内。网络103可以是任何合适 网络，然而，网络103可以包含以下将进一步详细描述的分布式文件系统。网络103还可以 包含或能够在一些情况下经由另一个网络连接111与多种数据源113通信。根据实施例， 关联引擎101能够访问如由通信路径109所示的数据源113。多种数据源113可以提供主 要内容、以及从多个提供商接收的相关元数据和/或元内容。多个提供商可以提供例如目 录元数据115和多种形式的主要内容117,诸如但不限于视频内容、音频内容等。目录元数 据115可以是独立元数据和/或元内容，或者可以与对应段主要内容117相关。根据实施 例，图1中所示的系统架构100包括多个客户端105,其可以是具有可以与关联引擎101交 互的多种客户端应用的设备。客户端105可以经由网络连接111与位于数据源113中的元 内容元素119交互，如以下进一步论述的。
[0032] 如在此使用的术语"客户端"可以指电子设备、诸如，例如智能电话、膝上型电脑、 个人数字助理（PDA)、电子书阅读器、平板电脑、个人计算机（PC)等，其中任何一个都可以 采用任何合适网络接入技术，以便访问网络103。"客户端"在此还可以被用于指web服务、 服务器、多种应用，诸如但不限于分析应用、报告发生器、或后端系统内的其他组件，其中任 何一个还可以采用任何合适网络接入技术，以便访问网络103。即，在此使用的术语"客户 端"还共同指"客户端应用"或"应用"，其可以是在电子设备的处理器上运行的软件，并且其 可以将请求107发送至关联引擎101。例如，任一个客户端105都可以将请求107发送至关 联引擎101，以获得关于主要内容117或者与主要内容117相关的元内容的信息，和/或获 得主要内容117、相关元内容元素119、目录元数据115或多种合成物。关联引擎101通过通 信路径109可以与数据源113通信，以当必要时，获取对目录元数据115和/或元内容元素 119的访问。例如，一个或多个客户端105可以是通过多种元内容工作的应用。客户端105 之一可以包括可以将请求107发送至关联引擎101的应用，关联引擎101包括关联指令，并 且还可以提供关于主要内容117或者关于与主要内容相关的元内容元素的标识信息。请求 107还可以包括目录元数据115作为用于主要内容117或元内容元素119的标识信息。如 以下进一步详细描述的，根据实施例，关联引擎101根据在请求107中接收的关联指令，执 行关联。关联引擎101返回与主要内容相关的结果，所述结果可以包括元内容元素、元内容 片段、元内容项、或者这些中的任一个的合成物。关联引擎101还可以返回与多种元内容元 素相关的主要内容的身份、元内容元素的合成物、或者元内容片段或项的合成物，如以下进 一步详细描述的。关联指令可以是可执行代码，或者在一些实施例中，是对可执行代码的参 考、或者两者的组合。可执行代码可以被存储在本地存储器中或者远程地存储在例如服务 器上。可执行代码可以是本机代码、通用字节代码或者脚本语言。例如，在一个实施例中， 关联指令可以用结构化查询语言（SQL)编写。在替代实施例中，关联指令可以包含对所存 储SQL过程的参考。在一些实施例中，关联指令可以用高级域专用语言编写，和/或可以按 照一阶谓词逻辑编写。
[0033] 图2图示主要内容201与相关元内容元素203的关系。如图2中所示，主要内容 201可以与诸如元内容元素205、211、215和217的多个元内容相关。诸如元内容元素205 的每个元内容元素都具有相关但是任意粒度。元内容元素的粒度可以涉及基于时间间隔、 位置、或任何其他合适准则的分割。如图2中所示，元内容元素205包括被进一步再分为元 内容项209的元内容片段207。
[0034] 如在此使用的术语"元内容"可以包含或者包括与一段内容相关的多种类型和形 式的元数据。即，在此使用的术语元内容可以指可以被认为是在其中和其本身的元数据。 例如，这样的元内容可以是多媒体元内容或者其他视听内容，诸如，电影内容的"导演的剪 辑"，或者可以是从视觉检测器或一些其他分析工具输出的分析。换句话说，元内容可以包 括其他内容（即，"第二"或"辅助"内容），其提供但不限于关于或涉及重要或主要内容的信 息、分析、上下文信息等。这样的元内容可以包括但不限于日期信息、时间信息、位置信息、 注解、内容的多种特性、关键帧、激励等级、相关Twitter?邮件（post)、面部识别信息、光符 号识别、对象识别、语音到文本或其他语音识别信息、闭合字幕、文本流（诸如，闭合字幕） 的分析，以产生关键项提取、指定实体识别、其他文本分析、相关内容、相关片段、Twitter? 馈送、激励等级、分析的聚合、概要等。如在此使用的"元内容元素"是指一段元内容，为上 述多种元内容形式中的任一种，其可以被做索引并且可使用索引方案搜索。当一项对应于 元内容元素的"颗粒"或粒度时，元内容元素可以被再分为"元内容项"。例如，如图2中所 示，元内容元素205可以具有基于时间的粒度，其中，元内容项209可以被限定为以秒、毫秒 等为单位的时间间隔。如图2中所示，多组连续元内容项在此被称为"元内容片段"，诸如元 内容片段207。
[0035] 因此，在图1中提供的实例中，数据源113可以提供多种形式的元内容元素119,其 可以包括相关目录元数据115,并且可以包括闭合字幕信息、视觉检测器分析数据、音频、导 演的剪辑视频等。即，任何特定段主要内容117都可以具有多种相关元内容元素119、以及 相关目录元数据115。根据实施例，附加元内容元素还可以由多种客户端105在任何时间 创建和/或添加。元内容元素119每个都包括可以被看作划分元内容元素的粒状片段。例 如，如图2中所示，元内容元素205具有元内容片段207和粒状元内容项209。在一些实施 例中，粒状片段可能涉及时间周期，但是不限于时间。例如，电视新闻广播可以由多个故事 构成，每个都具有其本身的唯一相关元内容片段。元内容的粒状分割是任意的，这是因为粒 度由如何生成元内容来确定。例如，客户端105之一的视觉检测器分析工具可以产生包括 不同于元内容元素205的粒度的元内容元素。即，粒度在元内容元素之间是不均匀的，并且 是任意的，这是因为其由生成元内容元素的方法或应用确定。
[0036] 根据实施例，关联引擎101可以分析元内容元素119中的每个元内容元素的粒状 片段，并且可以创建多种片段和/或多种元内容元素119的项之间的关联。在执行关联之 前，关联引擎101还可以标准化由任何元内容元素119使用的索引方案。关联引擎101还 可以增加或减小元内容元素片段和项的粒度，以便于索引标准化。即，关联引擎101可以执 行元内容分割的一些等级的同步和/或对准。例如，关联引擎101可以创建在元内容元素 205和211的特定粒状片段之间的关联。在元内容元素205和211的粒状分割是基于时间 的实例情况中，当需要实现同步时，关联引擎101可以增加一个或两个元内容元素的粒状 分割。然而，元内容元素片段之间的关联可以基于多种其他准则，诸如但不限于位置、上下 文、或其他分析相关准则。例如，元内容元素的关联可以是位置相关关联。在其他优点中， 标准化实现在元内容片段和/或元内容项的层级处，在元内容元素之间形成关联。
[0037] 系统架构100可以包括经由网络连接操作地相互耦合的多种服务器和数据储存 器等。例如，在一些实施例中，元内容元素119可以被存储在内容服务器或数据仓库上。关 联引擎101还可以位于服务器上，并且在一些实施例中，可以是在若干个服务器之间分布 的分布式功能。关联引擎101可以经由在关联引擎101和元内容（即，到任何内容服务器、 数据仓库等）之间提供通信路径109并且通过网络或任何其他合适连通性推动的可操作耦 合来访问元内容。
[0038] 图3图示根据一个实施例的示例系统架构300。系统架构300实现目录元数据和/ 或元内容元素的注解、存储、检索、以及利用，以便增强与诸如但不限于视听内容、原文内容 或视频游戏的主要内容相关的目录元数据和/或元内容元素或流的多样性的语义和解释。
[0039] 系统架构300包括多个流供给器301，所述流供给器301经由例如网络连接305操 作地耦合至流处置器303。流供给器301提供与主要内容相关的多种元内容元素，并且除 其他之外可以包括所编写的元内容元素309、所分析的元内容元素311、组合的元内容元素 313或其他元内容元素315,所有都可以通过多种相关客户端应用或工具生成或产生。根据 实施例的流处置器303包括可操作耦合至流接口 325的访问控制管理器317,访问控制管理 器317可以基于条件规则、和/或隐私和安全性要求，限制对元内容元素的访问。关联引擎 327还操作地耦合至流接口 325,并且因此访问控制管理器317或关联引擎327可以从多个 流供给器327访问元内容元素。当必要时，流处置器303还可以访问用于存储元内容元素 和元数据的流和配置仓库307。
[0040] 图4提供流处置器403包括在分布式文件系统401中的另一个示例实施例。流处 置器403包括关联引擎405。根据一个实施例，分布式文件系统可以例如是基于HADOOP/ HDFS的分布式文件系统409。如图4中所示，目录元数据419和诸如视频421的主要内容 可以通过流供给器415结合分析服务器417被利用。多个流供给器415可以经由例如AVRO 适配器413将数据提供给分布式文件系统401，以在流供给器415和分布式文件系统401之 间读取和写入数据文件时提供简单整合。换句话说，AVRO适配器允许文件计划与文件一起 被存储在分布式文件系统401内，使得任何客户端411都可以通过使用所限定的计划访问 文件。即，与每个所存储文件相关的计划可以被呈现在存储于分布式文件系统401内的每 个文件中。如本领域普通技术人员理解的，可以使用例如JavaScript对象表示法（JSON)来 限定AVRO计划。然而，使用其他数据交换格式的其他文件方案可以在多种实施例中使用。 类似于参考图1论述的示例实施例，多个客户端411通过接入网407访问分布式文件系统 401，以与包含在流处置器403内的关联引擎405通信。
[0041] 假设目录元数据419存在，"子程序"目录元数据和/或其他元内容元素可以通过 流供给器415被添加至分布式文件系统401。例如，返回图3,所编写的元内容元素309可 以使用元内容编写控制台（即，编写"客户端应用"或者"工具"）创建，其可以给操作者提 供手动生成元内容元素的能力。同样地，分析后的元内容311可以经由目录元数据或元内 容分析器创建，目录元数据或元内容分析器可以位于图4中所示的分析服务器417上。这 样的分析器可以是能够处理诸如在目录元数据仓库中参考的视听内容的主要内容，并且生 成在特定域上并且与主要内容或元内容元素的持续时间内的给定时间相关的细粒状描述 符的客户端应用或工具的家族中的一员。实例包括但不限于闭合字幕发生器和场景改变检 测器。
[0042] 这样的分析器还可以给上述元内容编写控制台提供建议，以便帮助元内容元素的 手动生成。在一个实例中，操作者可以使用元内容编写控制台手动地输入关于主要内容的 编辑信息。如果主要内容是电影，则操作者可以输入编辑信息用于电影中的所有场景，并且 场景分割信息可以由元内容分析器自动地提取，并且被提供给元内容编写工具。信息可以 经由用户界面被呈现给操作者，以帮助引导例如用于电影的每个场景的目录元数据的手动 编辑。
[0043]为了图3和图4的实例的目的，元内容元素被示出为"流"（或元内容流），诸如， 多媒体流、闭合字幕、以及其他实时文本等。将理解，本实例有助于解释多种实施例的特征 和优点，但是多种实施例不限于这样的"流"。在图3实例中，流和配置仓库307存储与多段 主要内容相关的元内容元素（即，在本实例中为流）。流可以通过编写工具或者元内容分析 器被生成，并且被添加至流和配置仓库307。流供给器301的编写工具或元内容分析器可以 访问流接口 325,以请求用于诸如视听内容的给定主要内容的给定域类型的新流的创建，或 者打开用于该主要内容的给定域类型的现有流。流接口 325可以经由访问控制管理器317 的配置管理器323,访问流和配置仓库307。访问控制管理器317可以包括若干模块，诸如， 策略管理器319、隐私管理器321、以及配置管理器323。策略管理器319可以确定请求访 问的实体是否具有访问所请求元内容的授权，并且是否具有执行诸如但不限于观察、分析、 编辑等的多种使用活动的许可。隐私管理器321可以访问用户历史、和/或包含用户特定 信息的用户简档。例如，多种流供给器301可以具有诸如以上提供的编写工具的工具，其具 有相关用户历史和/或用户简档。隐私管理器321可以限制或禁止特定信息被收集到元数 据或元内容中，其中，信息涉及用户和用户对主要内容或元内容的访问。在具有隐私管理器 321的实施例中，隐私管理器与访问控制管理器317策略管理器319 -起工作，以确保在它 们的上下文中不要求数据集合的用户不被示出或者提供主要内容或元内容，其中，用于该 主要内容或元内容的使用策略要求来自用户的数据集合，以便被消耗。换句话说，一些主要 内容和/或元内容作者或拥有者可以设置使用策略，其中，条件规则集合要求从用户收集 特定类型的信息。因为这样的信息集合可能不适用于特定用户，在一些实施例中，隐私管理 器321可以阻止用于那些特定用户的内容和/或元内容。
[0044]假设所请求类型的流存在用于该请求，配置管理器323可以将用于所请求元内容 流的句柄（handle)返回到流接口 325。如果所请求类型的流不存在用于所指示的主要内 容，则访问控制管理器317可以给予许可，以在流和配置仓库307中创建给定类型的元内容 流，并且配置管理器323可以使用主要内容的唯一标识符使其与主要内容相关，将对新空 流的句柄返回到流接口 325。在一些实施例中，配置管理器323可以在流和配置仓库307中 存在的每一个流上保持具有信息的头部。头部可以包括诸如但不限于主要内容标识符的信 息，诸如，视听内容标识符、目录元数据域类型、主要内容持续时间、用于特定目录元数据流 的时间单位、以及流句柄等。一旦流接口 325具有流句柄，则可以使得其对于流供给器301 可用，用于由例如元内容分析器或元内容编写控制台使用，以被嵌入从那些模块到流和配 置仓库307的未来读取或写入请求中。同样地，一旦元内容可用于给定主要内容和域类型， 则经由例如安全和访问控制连接，基于对外部应用的策略（经由策略管理器319和隐私管 理器321)，使得其可用并且可访问用于读取和写入操作。
[0045]在图3实例中，通过流接口 325作出对读取或写入元内容的请求。流接口 325通过 支持诸如插入、添加和删除的典型列表数据结构操作，来处理流写入。写入请求还包括流句 柄、流中的期望插入点（顺序地在最后或者通过特定索引号）、以及将被插入所请求的插入 点处的元内容元素。其中，元内容元素除其他之外可以包括开始时间单元、结束时间单元、 放置索引、以及期望注解。
[0046] 读取请求可以使用多种方法由流接口 325处理。对于元内容流的请求将指示流句 柄以及其他信息。例如，可以请求整个元内容流，在该情况下，将返回所有目录元数据节点 的列表的合适表示。可以请求在给定索引处的目录元数据，在该情况下，将返回单个目录元 数据节点的合适表示。可以请求给定索引范围内的目录元数据，在该情况下，将返回包括多 个目录元数据节点的列表的合适表示。可以请求给定标准化时间或时间范围处的目录元数 据，在该情况下，流接口 325可以访问关联引擎327,其可以基于用于主要内容的主要实例 的标准化时间，关于当前元内容流计算等效索引或索引范围，导致系统返回包括多个目录 元数据节点的列表的合适表示。
[0047] 在多于一个目录元数据节点被返回的请求的情况下，该请求还必须指示如果突然 期待所返回的内容，则在时间上被同步为推事件（仅传递准时节点），或者在时间上被同步 为拉事件（仅传递准时节点）。
[0048] 流接口 325还可以处理读取请求，其中，要求多于一个或可能所有关于主要内容 的元内容流。在该情况下，流接口 325接收指示主要内容标识符和期望的元内容流的域类 型的请求、以及返回模式。该返回模式可以是突然在时间上被同步为推事件（仅传递准时 节点），在时间上被同步为拉事件（仅传递准时节点），或者在空间上被同步（仅传递物理 上接近客户端的节点）。流接口 325还将接收关于是否寻找整个元内容流或者期望从多个 流同步信息的一个或多个时间间隔的指示，作为请求的一部分。流接口 325将通过关联引 擎327处理这些请求，关联引擎327根据指定参数聚合所请求的数据，并且将其提供回流接 口 325,以由任何请求客户端处理。
[0049] 图5提供根据一个实施例的关联引擎的操作500的方法。如所示的操作500的方 法开始于501，关联引擎可以从与关联引擎交互的客户端应用接收请求503,以获取关于主 要内容的结果。请求503还可以涉及元内容元素，或者可以用于获得关于元内容元素本身 的信息的目的。请求503包括关联指令511，并且还可以包括标识主要内容505的信息、标 识包括具有所建立方案507的索引的主要内容的一部分的信息、和/或标识元内容元素509 集合的信息。换句话说，关联引擎将接收关联指令511和可能的标识内容或元内容的其他 信息，并且可能提供索引信息。如框513中所示，关联引擎可以基于所接收的关联指令511， 确定关于元内容元素的元内容片段的合成物、以及任何所接收的索引信息。然后，关联引擎 在515处将返回合成元内容片段，其结束该方法，如框517中所示。
[0050] 框513表示由关联引擎执行的确定，并且可以包括基于在请求503中接收的多种 关联指令的多种确定中的任一种。在以下论述的图9至图13中提供这样的确定的实例。
[0051] 图6和图7用于图示请求（图6的603和图7的703)可以包含比图5中所示的 请求503中所示的更少的信息的目的。例如，在图6中，方法600开始于601，请求603由关 联指令607和标识主要内容605的信息构成。响应于请求603,关联引擎将基于所接收的关 联指令，确定与关于主要内容的元内容元素相关的合成元内容片段，如框609中所示。关联 引擎在611中返回元内容片段的合成物作为结果，并且处理在框613处结束。
[0052] 在图7中，方法700开始于701，并且图示请求703可以包括关联指令709、标识主 要内容705的信息和标识元内容元素707集合的信息。在一些实施例中，客户端应用仅将 关联指令发送至关联引擎。换句话说，在此使用的"请求"可以单独指关联指令，或者可以 指与标识主要内容和/或元内容的其他信息结合的关联指令。即，根据实施例，在此使用至 少要求关联指令从客户端应用被发送至关联引擎的请求。在示例方法700中，在框711，关 联引擎基于关联指令709确定关于元内容元素并且进一步关于主要内容的元内容片段的 合成物。关联引擎在713中返回元内容片段的合成物并且在715中停止。
[0053] 图8图示方法800,其开始于801，并且其中，关联引擎确定关于元内容元素的主要 内容的身份并且基于关联指令，如框809中所示。请求803包括关联指令807和标识元内 容元素805集合的信息。关联引擎返回主要内容的身份，如框811中所示，并且方法如所示 在813处结束。
[0054] 图9是方法900的流程图，当关联指令要求时间相关信息聚合时，其是图5的513、 图6的609、图7的711和图8的809的确定步骤的实例。例如，客户端应用可以请求接收 关于主要内容并且在时间上被合并和排序的视频、音频和闭合字幕分析结果。在框903中， 关联引擎可以在请求中将由视频元内容元素使用的索引方案转换为由客户端应用提供的 索引方案。如905中所示，关联引擎可以使用应用提供索引过滤视频元内容元素，以限定元 内容片段"A"。根据本实例，关联引擎还将执行关于音频和闭合字幕部分的操作。因此，在 框907中，关联引擎可以将由音频元内容元素使用的索引方案转换为由客户端应用提供的 索引方案，并且使用合适索引过滤音频元内容元素，以限定元内容片段"B"，如框909中所 不〇
[0055] 如框911中所示，关联引擎将对闭合字幕索引执行类似操作，并且如框913中所 示，对闭合字幕元内容元素执行合适滤波，以限定元内容片段"C"。如框915中所示，关联引 擎可以对元内容片段A、B和C执行合并-分类操作。然后，当可应用时，该方法在合适时可 以返回到图5的515、图6的611、图7的713或图8的811中的任何一个。
[0056] 图10提供当关联指令要求针对元内容元素内的项搜索时的确定步骤（图5的 513、图6的609、图7的711或图8的809)的实例。例如，客户端应用可以请求按照该特 定顺序搜索具有FLASH帧、徽标检测、和/或黑帧的视频事件序列的所有视频分析结果。应 用请求可以进一步要求搜索音频事件是站标识符音乐签名的音频事件。在一个实例中，音 乐签名可以指示用于在体育或商业广告中的重放的场景改变。因此，在1001中，关联引擎 可以选择元内容元素"A"的子集，该子集具有指定主要内容是体育广播的目录元数据。如 1003中所示，关联引擎可以通过从子集A选择子集"B"执行滤波操作，子集A具有包括视 频事件和音频事件的元内容元素类型。然后，关联引擎可以执行开始于框1005的关于子集 B的循环操作，如图所示。即，关联引擎可以针对包含FLASH(动画）、徽标、以及黑帧的事件 序列而扫描视频元素，如1007中所示。如果如1009中所示，所要求的事件序列被找到，则 关联引擎可以执行针对由在关联指令中限定的请求应用提供的音频签名样式而扫描音频 元素的下一个操作。该操作由框1013图示出。如果如框1015中所示，音频签名匹配被找 到，则关联引擎可以确定准则是否在所要求的时间窗口内，如框1017中所示。如果由判定 框1009U015或1017限定的任何准则都未被找到，则关联引擎可以跳到下一个元内容元 素，如在循环操作的框1011中所示。然而，如果在判定框1017处满足所有准则，则关联引 擎可以执行元内容元素的索引标准化，如在框1019中所示。然后，关联引擎可以将元内容 片段添加至返回集合列表，如在框1021中所示，并且将主要内容的身份添加至返回集合列 表，如框1023中所示。然后，当可应用时，该方法在合适时可以继续并且返回到图5的515、 图6的611、图7的713或图8的811中的任何一个。
[0057] 图11提供当关联指令说明要求针对元内容元素内的项搜索时的确定步骤（图5 的513、图6的609、图7的711或图8的809)的实例。例如，由应用请求的搜索可以要求搜 索关于戏剧表演的在时间上接近包含射击的音频分析结果的包含词语"停止、警察"的闭合 字幕分析结果。从而，在1101中，关联引擎可以从整个集合选择具有指定主要内容是戏剧 的目录元数据的所有元内容元素子集"A"。如1103中所示，关联引擎可以过滤子集A，以选 择具有用于闭合字幕和音频分析的元内容元素。然后，关联引擎可以输入开始于框1105的 关于元内容元素子集B的循环操作，如图所示。即，关联引擎可以针对所要求词语"停止、警 察"而扫描闭合字幕元内容元素，如1107中所示。如果如判定框1109中所示，所要求的闭 合字幕文本被找到，则关联引擎可以针对由请求应用提供并且在关联指令中限定的所请求 射击音频签名而扫描音频元内容元素，如在框1113中所示。如果如判定框1115中所示，找 到指定音频，则关联引擎可以检验出，如判定框1117所示，准则发生在所请求的时间窗内。 如果在判定框1109U115或1117中要求的任何标准都未被找到，则关联引擎将跳到下一个 元内容元素，如循环操作的框1111中所示。假设所有准则都被找到并且被满足，如由判定 框1117所要求的，则关联引擎可以执行如框1119中所示的元内容元素的索引标准化，并且 如框1121中所示将元内容片段添加至返回集合列表。关联引擎可以将主要内容的身份添 加至返回集合列表，如框1123中所示。然后，当可应用时，该方法在合适时可以继续并且返 回到图5的515、图6的611、图7的713或图8的811中的任何一个。
[0058] 图12图示当关联指令说明针对元内容元素内的项搜索应该搜索包含关于词语 "选择结果"的新闻广播的所有闭合分析结果时的确定步骤（图5的513 ;图6的609 ;图7 的711 ;或者图8的809)的实例。例如，在1201中，关联引擎可以创建具有指定主要内容是 新闻广播的目录元数据的所有元内容元素的子集"A"。然后，关联引擎可以执行如框1203 中所示的滤波操作。在框1203中，关联引擎可以选择具有用于闭合字幕的元内容元素的子 集"B"。然后，关联引擎可以执行开始于框1205的关于子集"B"内的元内容元素的循环操 作，如图所示。如在框1207中所示，关联引擎可以扫描包含短语"选举结果"的闭合字幕元 素。如果找到闭合字幕文本，如判定框1209中所示，则关联引擎可以将主要内容的身份添 加至返回集合列表，如框1213中所示。否则，该方法进行至下一个元内容元素，如1211中 所示。在框1213之后，当可应用时，该方法在合适时可以继续并且返回到图5的515、图6 的611、图7的713或图8的811中的任何一个。
[0059] 图13提供当关联指令要求针对元内容元素的结合分组内的元内容项的简单计数 或复杂聚合统计构造"热图"时的确定步骤（图5的513、图6的609、图7的711或图8的 809)的实例。例如，应用可以请求元内容项的类型键入计数比主要内容的时间分段组块。 因此，在框1301中，关联引擎可以基于在请求中发送的应用提供关联指令，来确定时间分 段组块的长度。在1303中，关联引擎可以确定如在由应用提供的请求中限定的元内容元素 的最大粒度。在框1305中，关联引擎可以在每个应用提供元内容元素内限定每时间片段组 块一个元内容片段。在1307中，关联引擎可以创建集合"A"，该集合包括参考相同片段组 块的所有元内容片段。然后，关联引擎可以开始于1309的关于所限定的集合A进入循环操 作，如图所示。如框1311中所示，关联引擎可以对每个类型的元内容项的数目计数，并且创 建返回集合，如框1315中所示。关联引擎将在循环操作中执行用于每个元内容元素的计数 操作，如由框1313所示。然后，当可应用时，该方法可以在合适时继续，并且返回到图5的 515、图6的611、图7的713或图8的811中的任何一个。
[0060] 根据实施例，关联引擎以及流接口和访问控制管理器可以以多种方式被实现。例 如，关联引擎、流接口和/或访问控制关联器可以被实现为在一个或多个可编程处理器、 ASIC、DSP、硬线逻辑或其组合上执行的软件和/或硬件。在图1的实例中，关联引擎101可 以被认为是在服务器的一个或多个处理器上执行的软件和/或固件。一个或多个处理器操 作地耦合至非易失性、非暂时性存储器，并且当要求时，一个或多个处理器可以与存储器通 信，以执行在其中存储的软件和/或固件的可执行指令，以根据多种实施例，执行在此描述 的方法和操作。
[0061] 因此，多种实施例的另一方面是计算机可读介质，换句话说，非易失性非暂时性存 储器存储用于由至少一个处理器执行的可执行指令。根据多种实施例，当执行可执行指令 时，至少一个处理器操作用于执行在此描述的方法和操作。
[0062] 虽然图示和描述了多种实施例，但是将理解，本发明不受其限制。在不脱离由所附 权利要求限定的本发明的范围的情况下，本领域技术人员将想到许多修改、改变、变化、替 换和等同物。
【权利要求】
1. 一种方法，包括： 接收关于多个元内容元素的关联指令，所述元内容元素与主要内容相关； 响应于接收到所述关联指令，执行关联，所述关联是在所述元内容元素之间，所述元内 容元素每个具有任意粒度，所述任意粒度限定了所述元内容元素的元内容片段；以及 基于所述关联来返回结果。
2. 根据权利要求1所述的方法，其中，基于所述关联来返回结果的步骤包括： 返回至少一个元内容片段。
3. 根据权利要求1所述的方法，包括： 从客户端应用接收请求，所述请求包括所述关联指令。
4. 根据权利要求1所述的方法，包括： 在执行所述关联之前，将每个元内容元素的所述任意粒度调节为均匀粒度。
5. 根据权利要求1所述的方法，包括： 在执行所述关联之前，标准化每个元内容元素的任意索引，以在所述多个元内容元素 之间创建标准化索引。
6. 根据权利要求1所述的方法，包括： 基于下述中的至少一个执行所述关联：基于时间的索引、基于位置的索引、或者基于上 下文的索引。
7. 根据权利要求3所述的方法，其中，从客户端应用接收请求，所述请求包括所述关联 指令，包括： 接收标识所述主要内容的信息。
8. 根据权利要求3所述的方法，其中，从客户端应用接收请求，所述请求包括所述关联 指令，包括： 接收标识与所述主要内容相关的元内容元素集合的信息。
9. 根据权利要求3所述的方法，其中，从客户端应用接收请求，所述请求包括所述关联 指令，包括： 根据所建立的索引方案，接收通过索引而标识一部分所述主要内容的信息。
10. -种方法，包括： 接收请求，所述请求具有关于多个元内容元素的关联指令，所述元内容元素与主要内 容相关，每个元内容元素具有任意粒度，所述任意粒度限定了所述元内容元素的元内容片 段； 响应于接收到所述请求，基于所述关联指令，确定所述多个元内容元素的元内容片段 的合成物。
11. 根据权利要求10所述的方法，包括： 响应于所述请求来执行关联，基于索引方案，所述关联是在所述元内容元素之间，每个 元内容元素具有任意索引方案。
12. 根据权利要求11所述的方法，包括： 在执行所述关联之前，将每个元内容元素的所述任意粒度调节为均匀粒度；以及 在执行所述关联之前，标准化每个元内容元素任意索引方案，以在所述多个元内容元 素之间创建标准化索引。
13. 根据权利要求12所述的方法，包括： 标准化每个元内容元素任意索引方案，以创建所述标准化索引，其中，所述标准化索引 包括基于时间的索引、基于位置的索引、或者基于上下文的索引中的至少一个。
14. 一种方法，包括： 接收请求，所述请求具有关于多个元内容元素的关联指令，所述元内容元素与主要内 容相关，每个元内容元素具有任意粒度，所述任意粒度限定了所述元内容元素的元内容片 段； 响应于所述请求来执行关联，基于索引方案，所述关联是在所述元内容元素之间，每个 元内容元素具有任意索引方案；以及 基于所述关联的结果，确定所述主要内容的身份。
15. 根据权利要求14所述的方法，包括： 在执行所述关联之前，将每个元内容元素的所述任意粒度调节为均匀粒度；以及 在执行所述关联之前，标准化每个元内容元素任意索引方案，以在所述多个元内容元 素之间创建标准化索引。
16. 根据权利要求15所述的方法，包括： 标准化每个元内容元素任意索引方案，以创建所述标准化索引，其中，所述标准化索引 包括基于时间的索引、基于位置的索引、或者基于上下文的索引中的至少一个。
17. -种装置，包括： 至少一个可编程处理器；以及 存储器，所述存储器操作地耦合至所述可编程处理器，包含用于由所述至少一个处理 器执行的可执行指令，其中，一旦执行所述可执行指令，所述至少一个处理器操作用于： 接收关于多个元内容元素的关联指令，所述元内容元素与主要内容相关； 响应于接收到所述指令来执行关联，所述关联是在所述元内容元素之间，所述元内容 元素每个具有任意粒度，所述任意粒度限定了所述元内容元素的元内容片段；以及 基于所述关联来返回结果。
18. 根据权利要求17所述的装置，其中，一旦执行所述可执行指令，所述至少一个可编 程处理器操作用于： 将每个元内容元素的所述任意粒度调节为均匀粒度； 标准化每个元内容元素的任意索引方案，以在所述多个元内容元素之间创建标准化索 引；以及 基于所述关联指令来执行所述关联，基于所述标准化索引，所述关联是在所述元内容 元素之间。
19. 根据权利要求17所述的装置，其中，一旦执行所述可执行指令，所述至少一个可编 程处理器操作用于： 基于所述关联，确定所述多个元内容元素的元内容片段的合成物，并且返回元内容片 段的所述合成物作为结果。
20. 根据权利要求17所述的装置，其中，一旦执行所述可执行指令，所述至少一个可编 程处理器操作用于： 基于所述关联，确定所述主要内容的身份。
【文档编号】G06F17/30GK104487969SQ201380039019
【公开日】2015年4月1日 申请日期:2013年5月30日 优先权日:2012年6月21日
【发明者】阿方索·马丁尼兹·史密斯, 保罗·C·戴维斯, 乔舒亚·B·赫维茨, 道格拉斯·A·库尔曼, 希伦·M·芒达利亚, 洛伦·J·里特勒, 克鲁纳尔·S·沙赫 申请人:摩托罗拉移动有限责任公司