用于自动文件检测的对来自基于文件的媒体的特有信息的获取、恢复和匹配的制作方法
【专利说明】用于自动文件检测的对来自基于文件的媒体的特有信息的获取、恢复和匹配
[0001]相关申请的交叉引用
[0002]本申请要求于2013年4月5日提交的第61/809，001号美国临时专利申请的优先权，其整体通过引用合并到本文中。
技术领域
[0003]本发明一般地涉及媒体处理系统，具体地涉及用于自动文件检测的对来自基于文件的媒体的特有信息的获取、恢复和匹配。
【背景技术】
[0004]对于收益，广播网络和运营商的收入依赖于商业广告(commercial)。然而，商业广告由许多不同的单位和个人生产和提供。嵌入非商业性的普通节目素材内的商业广告对于许多观众/听众而言可能具有诸如响度不合理的讨厌的特征。假设广播网络或运营商的节目潜在地有大量的听众，则广播网络或广播运营商可能收到对具有讨厌的特征的商业广告的大量投诉(complaint)，其中这些讨厌的特征在节目中。
[0005]如法律所要求的为了应对这些投诉并且遵守相关的观众保护规定，广播网络或运营商在监视广播网络或运营商的广播频道或者广播网络或运营商接收或发送/广播的媒体数据比特流中可能需要部署相当数量的人力资源。通过监视收集的信息可以用于响应于投诉或审计来确定这些频道或比特流是否包括具有讨厌的特征的商业广告。即使当广播网络或运营商在监视其节目上花费大量资源时，是否能够有效地识别这些商业广告的问题也还是成问题的。
[0006]在本部分中描述的方法是能够被执行的方法，但是不一定是先前已经被构思或执行的方法。因此，除非另有说明，否则不应该假定:在该部分中描述的任何方法仅因其被包括在该部分中而被认为是现有技术。类似地，除非另有说明，否则不应该假定关于一种或更多种方法而识别出的问题在基于该部分的任何现有技术中已经被意识到。
【附图说明】
[0007]在附图的图中以示例性方式而非限制性方式来说明本发明，其中，相同的附图标记指代相同的要素，并且其中:
[0008]图1图示了媒体指纹档案系统；
[0009]图2图示了媒体测量系统；
[0010]图3图示了搜索媒体数据中的次要媒体内容部分以及对媒体数据中的次要媒体内容部分执行测量的示例算法或处理流程；
[0011 ] 图4A和图4B图不了不例处理流程；以及
[0012]图5图示了可以在其上实现如本文中所描述的计算机或计算设备的示例硬件平台ο
【具体实施方式】
[0013]本文中描述了涉及用于自动文件检测的对来自基于文件的媒体的特有信息的获取、恢复和匹配的示例实施方式。在下面的描述中，出于说明的目的，阐述了大量特定细节以提供对本发明的全面理解。然而，明显地，在没有这些特定细节的情况下，仍然可以实践本发明。在其他实例中，并不会无遗漏地详细描述已知的结构和装置，以避免不必要地封闭本发明、使本发明含糊不清或者混淆本发明。
[0014]在本文中根据以下概要来描述示例实施方式:
[0015]1.总体概述
[0016]2.媒体数据和媒体内容部分
[0017]3.媒体指纹档案系统
[0018]4.媒体测量系统
[0019]5.检测次要内容部分的算法
[0020]6.示例处理流程
[0021]7.实现机构一一硬件概述
[0022]8.等同、扩展、替代和其他
[0023]1.总体概述
[0024]本概述提供本发明的实施方式的一些方面的基本描述。应当注意，该概述并不是实施方式的各方面的广泛的或穷尽的概括。此外，应当注意，此概述不意在被理解为识别实施方式的任何特别显著的方面或要素，也并不意在被理解为具体地叙述实施方式的任何范围，也并不意在被理解为一般地叙述本发明。此概述仅以简述和简化的形式提供与示例实施方式有关的一些概念，并且此概述应当仅被理解为下面紧接着的示例实施方式的更详细描述的概念性序言。
[0025]在一些实施方式中，如由商业广告整合者(commercial aggregator)、媒体网络、广播公司、大网络运营商等操作的具有指纹引擎或服务器侧指纹导出单元的媒体指纹档案系统对要与下游媒体系统中的媒体数据中的主要媒体内容部分嵌入在一起的次要媒体内容部分进行处理；根据次要媒体内容部分的媒体数据单元生成媒体指纹；并且将媒体指纹存储在指纹档案库中。
[0026]如本文中所用，指纹档案库可以是在线的基于云的数据库、专有数据库等。“媒体数据单元”可以包括持续某时间单位的媒体样本数据。媒体数据单元的示例可以是32毫秒、64毫秒等的时间单位的多个连续的媒体样本或帧。“次要媒体内容部分”可以是各种类型的媒体中的商业广告、促销广告(promot1nal advertisement)等。“主要媒体内容部分”可以是各种类型的媒体中的节目、表演、比赛广播、音乐会、电影等。“媒体数据”可以包括例如在分配的广告时间间隙中嵌入有次要媒体内容部分的主要媒体内容部分。媒体的示例包括但不限于:纯音频、纯视频、音频视频、媒体文件、媒体比特流等。除了媒体指纹以外，包括但不限于除了媒体指纹，针对相应次要媒体内容部分顺序分配的标识符，针对相应次要媒体内容部分的特有字母数字标记等以外的其他特有标识符的其他信息也可以被存储、被存档并且可以使用指纹档案库中的媒体指纹使这些其他信息可访问。
[0027]媒体指纹档案系统可以被配置成支持一个或多个(下游)媒体测量系统。在一些实施方式中，指纹引擎或下游媒体测量系统的客户端侧指纹导出单元能够实时地、近实时地、离线地、非实时地等从传入的信号、比特流、文件等提取/导出/生成媒体指纹。
[0028]在示例实施方式中，如由网络运营商或网站等操作的媒体测量系统对要被广播、下载或以其他方式分发给观众/听众的媒体数据进行处理；从媒体数据的媒体数据单元生成查询指纹；将指纹识别查询发送至媒体指纹档案系统；以及从媒体指纹档案系统接收指纹识别响应，以确定查询指纹中的任一查询指纹是否与媒体数据中的次要媒体内容部分相对应。
[0029]响应于指示存在特定的次要媒体内容部分的肯定指纹识别响应，针对特定次要媒体内容部分能够执行包括但不限于响度测量等的一组媒体测量。
[0030]如果未容易地发现查询指纹和存档的指纹之间的指纹匹配，则能够对媒体数据内的媒体特征和其他识别信息进行分析。例如，下游媒体测量系统能够对媒体数据中的日期(time of day)、持续时间、场景变换的频率、面部识别、图/表(figure/form)识别、语音存在、音乐存在、音频瞬态的识别、视觉频谱内容、音频频谱内容、视频效果、备忘录(tickler)、预先存在的次要节目标识符、网络水印、等级水印、加字幕的/嵌入的文本、掌声、节目和场景变换、响度等进行分析。能够使用分类器或分类算法并使用基于这样的分类器的存在或出现的加权来确定特定媒体内容部分或媒体数据单元是否为次要媒体内容部分。出于本发明的目的，应当注意，除了那些本文中列举的以外，分类器或分类算法可以使用其他媒体特征来确定媒体内容类型。能够对大量“次要媒体内容”(例如，训练数据、标记数据等)的分析进行分析，以确定应该使用什么样的分类器或者应该为它们相应的分类器分配什么权重值，以便对媒体内容类型进行分类。另外，能够对多个分类器进行组合以增强它们对媒体内容类型进行正确分类的实力。例如，能够在组合的分类器中将面部识别与语音的存在进行组合，以识别画外音(voice-over)(例如，在屏幕上没有一个人的语音等)，画外音可以用作确定特定内容部分是否为次要媒体内容部分的因素。
[0031]在一些实施方式中，如果媒体内容部分被确定为次要媒体内容部分(例如，商业广告等)，则次要媒体内容部分的(例如，多音频频道)音量水平或响度设置可以被确定、被加标签或者甚至被调整成符合法律和/或商业要求。如果确定媒体内容部分不是次要媒体内容部分(例如，不是商业广告等)，则媒体内容部分可以保持例如如由电影制作人、广播公司、媒体艺术家等期望的原始音量水平或响度设置。
[0032]在一些实施方式中，媒体指纹档案系统和媒体测量系统可以被部署在同一地理位置处。在一些其他实施方式中，媒体指纹档案系统和媒体测量系统可以被部署在不同的地理位置处。这些系统可以通过网络云进行通信或者访问媒体指纹识别服务。在示例实施方式中，媒体测量系统可以位于运营商设施处，而支持在线访问并且向媒体测量系统提供在线指纹识别服务的媒体指纹档案系统可以位于商业广告整合设施处。
[0033]作为一个可能的非限制性应用，如由降低商业广告响度(CALM)法案要求的，如本文中描述的技术能够用于对媒体节目进行抽查。能够使用这些技术对媒体网络或在具有大量(例如，50兆，200兆等)任一时长的潜在商业广告的运营商的所有频道上的运营商的媒体节目执行抽查。
[0034]代替对数小时的、包括混合有商业广告内容的大量主要节目素材的节目安排进行捕获，人工地监视/识别节目安排中的广告内容时段，以及如在其他方法中对具有显著用户介入/牵连的商业广告内容进行测量，如本文中描述的技术提供对媒体网络或运营商的媒体节目中的广告内容的自动且可靠的检测、测量和控制，而无需携带识别次要媒体内容部分的带内数据。尽管如本文中描述的技术能够在存在带内数据的情况下工作，但是通常携带这样的带内数据能够给编码的媒体信号增加比特开销要求。另外，可以容易地使用这样的带内数据来识别商业广告，从而方便了于在家庭观看环境中绕过那些商业广告的商业广告绕过技术(这对内容提供者来说是糟糕的)。
[0035]如本文中描述的技术可以被部署在广泛的媒体系统中:从很大的媒体网络/媒体运营商/媒体站的媒体系统到本地有线网络中的前端的媒体系统或者到小的停播的广播电台的媒体系统。如本文中描述的媒体测量系统可以被设置为专用系统或除了媒体测量以外还具有其他功能或具有在一个或多个计算设备上运行的媒体测量应用程序的媒体系统中包括的模块。技术可以被实现和/或发布为软件、硬件、固件或前述中的两个或更多个的组合。还能够为第三方系统提供者提供工具包(例如，系统开发工具包或SDK等)，以在他们相应的系统中实现如本文中描述的技术。
[0036]在一些实施方式中，如本文中描述的机构形成媒体处理系统的一部分，包括但不限于:整合系统、分发系统、接收系统、广播网络系统、广播站系统、广播运营商系统、有线广播系统、卫星广播系统、无线(over-the-air)广播系统、有线分发系统、卫星分发系统、无线收发器系统、有线接收系统、卫星接收系统