用于图像帧识别和视频流比较的方法和装置与流程

文档序号:13734518阅读:334来源:国知局
技术领域本发明涉及图像处理领域,更具体地,涉及在识别图像帧和比较视频流中使用的方法和装置。

背景技术:
存在有在视频流中识别单独的图像帧的需求。一般来说,使用时间码来识别帧,其中,每个图像帧与适合于该图像帧在流中的时间位置的相应的编码的时间值相关联。作为一个例子,现有技术中已知的有用于商业广播电视和电影系统的SMPTE292M或SMPTE424M等SMPTE时间码标准。这些时间码通常用作专业广播和电影系统的串行数字接口(SDI)标准的一部分。已知的时间码帧识别系统出现了一些困难。例如,通过一些类型的视频编辑设备不能准确地保持时间码。在一个视频流中的时间码可能变得不可靠,并且将多个不同源的视频流混合在一起可能在组合的视频流中产生不一致的时间码。这些时间码可能损坏,并且一些设备或传输系统可能甚至从视频流中完全移除时间码。作为另一种选择,已知的是执行图像帧的水印,即,增加标志元素,该标志元素对于普通观看者通常是不容易看到的。然而,水印需要编辑对视频流的访问,并且通过增加水印侵入性地改变图像内容。还存在有准确识别给定的视频图像流的需求。具体地,需要确定当前视频流是否已经被预先观察到,或者与来自不同源的视频流相匹配。然而,由于上述相同的理由,时间码和水印等已知的图像帧识别系统不能充分地解决这种困难。本发明讨论的示例实施例解决了相关技术的这些困难中的一个或多个。本领域技术人员可以理解的是,根据对本发明的教导的理解,这些示例实施例可能解决其他问题。在一个例子中,存在提供用于在视频流中识别图像帧的方法和装置的需求。

技术实现要素:
根据本发明,提供给了如在所附的权利要求所述的装置和方法。从从属权利要求和以下描述中可以明显看出本发明的其他特征。在一个例子中,描述了用于识别在视频流中的图像帧的装置,包括:摘要值产生单元,其具有下述电路:该电路配置为接收包括多个第一图像帧的多个第一视频流,检查每个所述第一视频流以产生包括多个第一摘要值的相应的第一摘要流并且在有形的存储介质上将所述第一摘要流记录在摘要记录中,每个所述第一摘要值与所述多个第一图像帧中的相应的一个第一图像帧相关联;以及摘要值匹配单元,其具有下述电路:该电路配置为检查候选第二视频流的至少一个第二图像帧以产生相应的第二摘要值,将所述第二摘要值与所述摘要记录中的所述多个第一摘要值进行比较,并且输出比较结果,该比较结果表明所述候选第二视频流和所述多个第一视频流中的相应的一个第一视频流之间的匹配。在一个例子中,描述了由计算机设备实现的用于识别图像帧和比较视频流的方法,该方法包括:从多个第一视频源中的每一个视频源接收多个第一视频流,每个所述第一视频流包括多个图像帧;检查所述第一视频流中的每个第一视频流为每个所述第一视频流产生第一摘要流,每个所述第一摘要流包括多个第一摘要值,每个所述第一摘要值与所述多个图像帧中的相应的一个图像帧相关联;在摘要记录中记录所述多个第一摘要流;接收候选第二视频流;检查所述候选第二视频流以产生包括第二摘要值的相应的第二摘要流;将所述第二摘要流的所述第二摘要值与所述摘要记录中的所述第一摘要流的所述多个第一摘要值进行比较;根据相应的第一和第二摘要值,当所述比较表明所述候选第二视频流和所述多个第一视频流中的相应的一个第一视频流之间的匹配时,输出比较结果。在一个例子中,提供了一个有形的非易失计算机可读介质,其具有记录在其上的指令,当执行这些指令时,致使计算机执行本发明限定的任意方法的步骤。附图说明下面参照附图举例说明的描述有助于更好地理解本发明,以及如何实行本发明的实施例。图1为用于识别图像的示例装置的示意图;图2为用于识别图像的另一示例装置的示意图;图3为示例图像帧识别系统的示意图;图4为可能采用示例实施例的示例视频处理系统的示意图;图5为可能采用示例实施例的另一示例视频处理系统的示意图;图6为可能采用示例实施例的示例广播传输系统的示意图;图7为用于识别图像的示例装置的示意图;图8为用于识别图像的示例装置的示意图;图9为用于识别图像的示例装置的示意图;图10为示例方法的示意流程图;图11为另一示例方法的示意流程图。具体实施方式以下将参照内容替换系统对示例实施例进行描述,其中,该内容替换系统可能用于替代电视视频图像中的内容。在一个例子中,该系统布置为向广播电视节目提供广告牌的照片真实替代。然而,根据本文的教导对于本领域技术人员显而易见的是,这里描述的方法和装置可能应用于许多其他具体实施方式中,其可能涉及视频图像的其他形式或与感兴趣的其他主题图像有关。这里讨论的示例实施例与例如,在公开文献WO2001/58147(Rantalainen)、WO2009/074710(Rantalainen)、和WO2012/143,596(Suontama)中所述的执行动态图像处理系统尤其相关。这些文献可能为进一步的背景信息所考虑,当考虑到以下详细说明时,它们中的内容可能是有用的。简单地说,WO2001/58147涉及用于改变电视视频图像的方法,其中,使用不可见的电磁辐射,如红外线,识别广告牌或其他可见对象。WO2009/074710描述了通过确定共享区域改变电视视频图像的方法,在该共享区域,通过添加具有预定的图形覆盖率的图形(即,图形覆盖)覆盖预期目标区域,根据没有被添加的图形覆盖的剩余覆盖率添加替代内容。WO2012/143,596描述了如果有已经在任何特定的时间被添加在视频信号的帧中的图像元素的话,检测该图像元素的方法。在一个例子中,描述了一种用于识别视频流中的图像帧的方法,包括:接收包括第一多个图像帧的第一视频流;检查该第一视频流以产生包括多个第一摘要值的第一摘要流,每个第一摘要值均与第一多个图像帧中的相应的一个图像帧相关联;以及在摘要记录中记录该第一摘要流。在一个例子中,该方法包括:检查第二视频流中的至少一个第二视频帧以产生相应的第二摘要值;将该第二摘要值与摘要记录中的多个第一摘要值进行比较;以及根据比较的摘要值输出表明第二图像帧和第一多个图像帧中相应的一个图像帧之间的比较结果的比较结果。在一个例子中,该方法包括:为多个视频流中的每个视频流在摘要记录中记录摘要值;将来自候选视频流中的摘要值与记录的摘要值进行比较;以及输出比较结果。该比较结果可能表明已经找到在多个视频流中的一个匹配的视频流。该比较结果可能表明在比较的视频流中没有找到匹配的视频流。在一个例子中,第一摘要流是与第一视频流分开记录的。该方法可能包括通过第一通信通道将第一视频流从源位置传输到目的位置,以及通过第二通信通道将第一视频流从目标位置传输到源位置。该方法可能包括使用第一摘要流将辅助视频流与第一视频流同步。在一个例子中,该方法包括:将从候选视频流从获得的摘要值序列与在摘要记录中的相应的摘要值序列进行比较;以及输出表明候选视频流和在第一视频流中的相应的图像帧序列之间的匹配的比较结果。在一个例子中,该方法包括:计算候选摘要值和在摘要记录中的一个或多个摘要值之间的距离,并且根据计算出的距离选择匹配。在一个例子中,通过在容差阈值内不精确地匹配摘要值确定匹配。在一个例子中,通过来自摘要记录的两个或两个以上最接近候选之间的最近邻比率阈值确定匹配。在一个例子中,获得摘要值包括:检查多个像素值的样本组以提供数字的样本值,并且在样本值上执行维度降低以提供摘要值。在一个例子中,该方法包括:从图像帧中提取噪声特性,并且在提取出的噪声特性上执行维度降低以提供摘要值。在一个例子中,描述了一种方法,其包括:过滤原图像以提供噪声过滤图像;从噪声过滤图像上减去原图像以提供噪声残余图像;从噪声残余图像上采样像素值以提供多个样本值;以及执行维度降低以从多个样本值中获得摘要值。在一个例子中,描述了一种用在识别图像帧的过程中的方法,包括:从图像帧的像素数据中获得摘要值;以及在与图像帧相关联的摘要记录中记录摘要值。该方法可能包括分别从图像帧系列中的每个系列获得摘要值。在一个例子中,通过从图像帧中提取像素值组,并且从提取出的像素值组中导出图像摘要值,获得每个图像摘要。提取的组可能是小于图像帧中的像素值的总数的子组。提取的组可能包含分布在图像帧的区域上的像素值。提取的像素值可能是非连续的,从图像帧内的彼此不相邻的位置导出的。在一个例子中,在每个样本组采样更大数量的像素增加了唯一地检测或识别图像的可能性,但是可能花费更长的时间。因此,该方法可能适于在每个样本组选择适当数量的像素值。每个样本组可能,例如,采样图像中的全部像素、像素子组或者只是相对的一些像素。在一个例子中,在图像帧内重复多次采样。可能从每个采样组中获得多个样本值。可能从多个样本值中导出图像摘要值。摘要合适地为数字数组,即,包括数值列表的数组,其中,每个数值均通过采样图像的子部分导出。通常,数组的大小合适地为N个值,其中,N为正整数。每个值可能有相对大的量,和/或可能是浮点数。在一个例子中,维度降低处理将数字数组的每个数字减少为相对短的位串(如,8位或者更少,并且在一些例子中只有一位)以提供预定长度的二进制字节数组。在一个例子中,该方法包括检查各提取出的像素值的样本组以提供数字的样本值,接着在样本值上执行维度降低以提供相应的一位或多位字节数组的组。在一个方面,描述了识别图像帧的方法,包括:从第一图像帧获得第一图像摘要值;从第二图像帧获得第二图像摘要值;计算第一图像摘要值和第二图像摘要值之间的距离;以及根据该距离输出图像比较结果。在一个例子中,该距离是在图像空间中的距离。在一个例子中,该距离是两个不同图像之间的视觉差异的度量。在一个例子中,该距离是第一和第二摘要值的海明距离(hammingdistance)(例如,在摘要位向量中的不同的位的数量的计数)。在示例实施例中可以应用许多其他的距离计算。在一个例子中,获得的图像摘要具有与图像帧的像素值成比例的值。因此,相同的两个图像在图像内的相同位置处包含相同的像素值。在这种情况下,从那两个图像帧获得的摘要值是相同的。类似地,大致相似的图像将具有大致相似的图像摘要值。相比之下,不相似的两个图像在它们各自的摘要值之间将具有相对大的距离。这里所述的摘要机制允许图像摘要产生作为每个图像的标识符。在一个例子中,对于相应的图像每个摘要均是唯一的。视觉上相似的两个图像产生比较相似的图像摘要值,并且两个图像摘要之间的差异或距离相对较小。同时,视觉上比较不同的图像(即,包括许多与另一图像的相应像素不相关的像素值)产生同样不相关的摘要。在一个例子中,图像摘要基于图像内的噪声。噪声信号与图像的原视觉内容分离。因此,即使视觉上非常相似的图像(如静态景观的静态摄像机拍摄),每个图像帧也可以具有可辨别的差异摘要。在示例实施例中,图像过滤器的适当特征提取器找到图像的“感兴趣”部分,该部分给出作为每个图像的标识符的独特摘要值。示例的摘要机制同时是强大和灵活的。在该方法中许多因素可以改变以适应每个具体的实际实施方式。可以改变在每个样本中的像素的数量。可能改变样本的数量。可能改变摘要的长度。示例实施例可能产生大小较小的摘要值,如小于1Kb。有利的是,在与图像流并存的元数据中容易运载这样的摘要值。示例实施例具有高性能和相对轻的计算影响。示例实施例允许为高清晰度图像实时计算图像摘要。也就是说,视频流以例如每秒60或120帧的帧速率产生图像,该示例方法能够在为每个帧导出图像摘要的同时维持视频流的吞吐量。尤其是,计算每个图像摘要的时间远小于每个图像帧的时间周期。示例实施例是相对强健的。示例图像摘要值很适合于互联网等高速网络上的传输。此外,即使已经通过压缩、过滤其他视觉增强等转换了图像帧,这里所述的摘要机制也可以产生有良好相关性的摘要值。也就是说,原图像帧产生第一摘要值,在压缩/解压缩或过滤等转换之后的相同图像帧产生第二摘要值,其中,第一和第二摘要值是有相对良好相关性的。在一个例子中,图像摘要非常适合使用在对图像帧或图像帧序列的改变的检测中。也就是说,图像摘要非常适合于使用在对已经以某种方式,如通过应用图像转换、或者通过改变图像内容(例如,增加或移除图形层),进行处理的图像的检查中。在示例实施例中,为了生成摘要值,可以使用许多不同的具体方案。然而,实践证明,如这里所述的一些具体示例摘要方案提供显著提高的结果。图1为用于识别在视频流中的视频帧的示例装置的示意图。摘要值产生单元300布置为检查图像帧10,并且产生摘要值310。在示例实施例中,对于各图像帧10摘要值310是唯一的。因此,摘要值310概括了各图像帧10的图像内容。在一个例子中,摘要值导出为使得具有大致相同图像内容的另一图像产生大致相等的摘要值。相比之下,具有不相关的图像内容的图像产生大不相同的摘要。有利的是,在示例实施例中,具有相对低的可能性的是,两个随机的图像帧将具有相等的摘要值,即,错误匹配的可能性非常低。在示例实施例中,摘要提供了单向功能,其从(较大的)输入数据集中导出(较小的)有代表性的数字值。该单向功能不允许从摘要中重新创建原数据集。摘要是可重复的功能,因为相同的输入数据集将总是产生相同的输出摘要值。如图1所示,示例图像帧10包括均具有各自的像素值12的像素11。作为一个例子,全高清电视图像总共包括1920×1080个像素,或者2.1百万个像素。每个像素值可能包括24位或更多位的数据(例如,三个或三个以上通道的RGB数据、YUV数据等)。作为一个例子,图像帧10的摘要值310同时具有约1Kb(1024位)的大小。然而,示例实施例可能应用于任何合适的图像格式以提供任何所需长度(大小)的图像摘要。图2为用于识别图像的示例装置的示意图,其中,摘要值产生单元300检查视频图像流20内的每个图像帧10。合适地,依次单独地检查图像帧10。例如,以每个图像帧10均包括未压缩的静止图像的原始视频图像流的格式提供视频图像流20。可能以例如每秒25帧提供图像帧。例如,本领域技术人员熟知的是以串行数据接口(SDI)提供视频流20。在本实施例中,摘要值产生单元3000产生摘要值序列310,其中,每个摘要值310对应于图像帧10中的相应一个图像帧。因此图像帧A、C、C依次提供相应的摘要值#a、#b和#c。合适地,摘要值310循序地集合在摘要值流320中。在一个例子中,摘要值记录在摘要值存储单元400中。任何合适形式的永久、非易失存储器,如硬盘驱动或固态存储器,可能用作示例实施例中的摘要值存储单元。有利的是,摘要值可以作为与视频流20相关联的元数据运载。然而,需要注意的是,摘要流320可以与视频流20分开记录。摘要流320可以被传输和运载到与传输或运载视频流20分开的另一位置。因此,在示例实施例中,不需要将摘要流320与视频流直接集成。然而,在其他实施例中,摘要流320可以确实与视频流20结合,若这么做方便的话。合适地,摘要值310记录在保持在存储单元400上的摘要记录或数据库410中。该摘要数据库可能是索引数据库。例如,索引的每个项均包括顺序索引编号(如从适当的起点开始的帧的数量)和相应的摘要值。因此,索引可能将帧编号“1”识别为具有摘要值“123456789”、将帧编号“2”识别为具有与摘要值“456789123”等等。摘要数据库310可能包括从单个视频流取得的摘要值,或者可能扩展为包括与多个检查的视频流有关的摘要值。图3为图像帧识别系统的示意图,包括上述摘要值产生单元300,以及图像摘要匹配单元500。如上所述,示例摘要值产生单元300从单独的图像帧中导出图像摘要值,并且可能进一步产生摘要值流320。图像摘要值310从相应的图像帧10-A、10-B、10-C中导出,摘要值流320包括单独的摘要值序列310-1等。在一个例子中,通过图像值产生单元300从原图像10中计算出第一图像摘要值310-1,并且记录该第一图像摘要值310-1。而后,通过图像摘要匹配单元500从另一图像10-2(例如,可能是相同存储的文件,或者是原文件的副本)中计算出第二图像摘要值310-2。现在,当第二图像摘要值310-2与预先获得和记录的第一图像摘要值310-1匹配时,可以确定地识别(认出)候选图像帧10-2。因此,当前未知的候选图像帧10-2可以与一个或多个已知的、预先索引的图像帧10-1进行比较,并且使用它们各自的单独图像摘要310-1和310-2认出。反之,候选图像帧可以确定为不用与任何记录的摘要值比较,表明该特定的图像帧预先没有被观察。此外,在示例实施例中,从候选第二视频流20-2获得的第二摘要流320-2中的多个摘要值可能与来自数据库410的相应摘要值序列(即,早先记录的从第一摘要流320-1导出的序列或窗)进行比较。值得注意的是,对于相应的图像帧序列,单独的摘要值310将跟随同时在摘要流320-1和320-2中相同的模式。因此,候选视频流20-2可以与记录在摘要数据库410中的一个或多个预先检查的视频流20-1进行比较,并且使用相应的图像摘要值识别或区分。这些图像摘要匹配的示例形式有很多优点和很多潜在使用。下面的示例实施例讨论使用图像摘要单独地或在视频流中识别图像帧的各种具体形式。在示例实施例中,当向大量观众实况显示橄榄球或足球比赛时,实现高的值。该观众可能是不同地理位置的,例如,全球范围的,因此需要创建多个不同的交替的广播馈送,从而提供给要使用本地传送广播站在不同领地传送(例如,一个国家接一个国家或一个地区接一个地区)的广播系统。在实况赛事中,内容替代装置应当可靠和有效地运行,并且应当导致最小延迟。在示例实施例中,通过增加一个或多个静止图片(例如,JPEG图片文件)和/或一个或多个运动图片(例如,MPEG运动图片文件)等替代内容改变广播馈送。作为另一个例子,替代内容可能包括本领域技术人员熟知的3D交换格式(如COLLADA、Wavefront(.OBJ)或Autodesk(.3DS)文件格式)的三维物体。替代内容合适预先准备好,并且记录在连接到内容替换系统的永久存储介质上。因此,内容替换系统产生一个或多个输出馈送,其中,广告牌等感兴趣的观察到的对象可用替代内容取而代之。理想地,在替代馈送内的图像应当显得逼真,这样普通观众通常不会注意到已经被电子修改的对象。因此,精确地确定定义了每个视频图像内的对象广告牌的位置的遮蔽区域是很重要的。并且,精确地识别观察到的对象的位置何时已经被运动员、裁判员等干预对象掩盖也是重要的。需要注意的是,干预对象或多个干预对象可能是快速移动的,并且可能出现在摄像机和对象之间的不同距离处。此外,以对于观看者更令人愉快的并且不明显的或不显眼的方式产生包含替代内容的替代馈送较为可取。因此,需要考虑延迟和同步,以及图像内容处理的准确性。作为一个例子,实况运动赛事通常由大量的独立摄像机覆盖。例如,足球比赛可能由多达30台的独立摄像机覆盖。汽车比赛可能由多达80台的独立摄像机覆盖。通常,需要对于多个潜在源识别或认出视频图像流内的图像,如识别哪个摄像机当前正在实况广播。图4为根据一个示例实施例的用于图像识别的示例装置的示意图。在这个例子中,图像摘要匹配单元500从多个潜在视频图像源中识别出哪个视频图像源当前处于活动状态,并且,在这种情况下,从可用的摄像机流中识别出哪个摄像机流当前正在实况广播。图4显示了简化的示例实施例,其中,多个图像源30(例如,摄像机)向混合器40提供相应的输入馈送32。除了其他操作外,该混合器40可能选择当前要在清洁的馈送42中使用实况广播的摄像机馈送。作为一个例子,混合器40是适合于广播电视环境的视频产生切换器。例如,可向美国加利福尼亚州圣弗朗西斯科市的GrassValleyUSALLC购买的KAYAKTM视频切换机。在这个例子中,三个摄像机301-303产生相应的摄像机馈送321-323,将由混合器40选择当前要实况广播的其中一个摄像机馈送。图像摘要匹配单元500将摄像机馈送321-323与清洁的馈送42进行比较,从而确定这些摄像机馈送中的哪一个正在被混合器40用作实况广播。在一个示例实施例中,从摄像机馈送321-323中分别准备多个遮蔽信号,并且在要应用到清洁馈送42的任何一次,选择这些遮蔽信号中的一个遮蔽信号。因此,确定当前广播的摄像机能够选择正确的遮蔽信号。图像摘要匹配单元500适当包括或连接到上述图像摘要产生单元300,该图像摘要产生单元300从多个摄像机流的每个摄像机流分别产生摄像机馈送摘要流#1、#2、#3,进入合适的摘要数据库410。图像摘要匹配单元500通过将清洁馈送图像摘要#CF与摄像机馈送图像摘要#1、#2、#3进行比较和匹配确定当前广播的摄像机。可以理解的是,实际的实施方式通常比这个解释性例子更复杂。例如,在简单地选择其中一个摄像机馈送以外,混合器40可能执行一个或多个图像处理步骤。例如,混合器40可能执行色彩校正、值合法化、剪裁(例如,超白或超黑剪裁)等等。混合器可能引起行降,其中,图像向下移动一行或几行。可能引入其他混合器伪像。该混合器可能引入噪声。因此,在清洁摘要#CF中的摘要值将不会与摄像机摘要#1、#2、#3中的任何摄像机摘要精确匹配。因此,示例实施例有利地允许确定不精确的匹配。在一个例子中,即使相关图像已经进行了上述图像处理,仍可以实现摘要匹配。即使通过图像处理轻微改变了个别的像素值,图像内容仍是大致相同的。有利的是,这种类似的图像内容产生大致相同的摘要值。最近邻比率(NNR)可能用作阈值。因此,图像摘要匹配单元500可能从与目标图像(即,清洁的馈送图像)比较的多个候选图像(即,在这个例子中的摄像机馈送)中找出两个最接近的匹配。当第二最接近匹配相比第一匹配距离为两倍以上,那么第一匹配可以被认为是正确的匹配。这种NNR阈值有利地允许以高准确率确定匹配。然而,可以采用其他方案来确定是否已经实现足够的匹配。在一个例子中,假设目标图像将与至少一个候选图像匹配,因为已经在时间的任意特定点从至少一个摄像机图像中导出清洁馈送。相反地,可以确定观察到的图像帧没有匹配任何记录的摘要值,表明这个特定的图片帧已经被改变得识别不出,或者来自另一未识别的源,因此不与任何可用比较图像匹配。图4的实施例还可以用于静态图像匹配,即,将一个候选图像与多个预先检查的库文件进行比较,反之亦然。因此,将理解的是,这种使用图像摘要的图像匹配机制是强大的、广泛适用的技术。如上所述,当这种技术特别地应用在与多个源之间的图像切换相关的图4所示的上下文中,派生出进一步的优点。需要注意的是,示例实施例不需要对混合器40的普通运行进行任何改变或干扰。因此,混合器40正常运行。通过监视图像混合装置的有关输入和输出非侵入性地、简单地应用图像匹配处理。在许多实际情况下,这种非侵入性功能是非常重要的。图5为根据一个实施例的用于图像识别的示例装置的示意图。通常,当前图像帧的摘要值与来自一个或多个预先观察到的视频图像流的库图像的摘要值进行比较。同样地,一组邻近的图像帧(即,短的视频序列)可能用于搜索和匹配。在这个例子中,图像摘要匹配单元500识别延迟或延迟事件。如图5所示,检查包含连续的图像A、B、C、D的图像流。图像摘要产生单元300为这些图像帧的每个图像帧创建摘要值#a、#b、#c、#d,并且在合适的数据缓存、存储库或库400中存储这些摘要。图像摘要产生单元300同样地获得各当前图像帧的图像摘要。注意到,图像A是当前输出的,并且图像A已经被预先检查,图像摘要匹配单元500现在可能在适当的时候表明已经找到预先检查的图像。本实施例对于检测延迟事件尤其有用,其中,体育动作的现场直播被暂时停止,为观众再次重播重要的或有趣的事件。例如,通过观察从混合器40输出的清洁馈送图像填充库400,每个新的图像摘要均与预先存储的摘要进行比较以寻找以前一段时间看到过的相同的(或大致相同的)图像帧的重复次数。有利的是,下游设备现在可能通过例如适合于检测到的预先观察到的图像帧或多个图像帧的遮蔽信号,提供改进的用于动态内容替换等的图像内容处理。此外,再次参考图4,可能通过来自输入到混合器40的观察到的摄像机图像流321-323中的每一个摄像机图像流的摘要值填充库400。这里,可能发生延迟事件,其中,来自预先未使用的摄像机馈送的短序列被插入清洁馈送CF,从而给观众已经观察到的赛事的不同视角。例如,在实况动作中的关键事件最初通过广播来自摄像机1,而延迟的重放使用摄像机2代替。通过观察每个相关图像流321-323的摘要并且将其记录在库400中,匹配单元500现在可能快速和有效地将当前图像帧摘要值与来自每个预先观察到的图像流的摘要值进行比较。在示例实施例中,可能接着选择预先准备的适当的遮蔽信号,并将其应用于识别的图像流。在一个实施例中,匹配单元500首先尝试将当前的帧与可用的实况图像源(实况摄像机馈送)进行匹配,然后接着尝试与例如时间上越来越久的预先观察到的图像源(记录或延迟的图像馈送)进行匹配,直到找到适当的摘要匹配。然后可能选择适当的遮蔽信号,并将其应用到当前图像帧,用于改进的动态内容替换。如果没有找到匹配,那么可以应用故障保护选型,如输出接收到的图像无需任何动态处理。观众因此总是看到合适的图像流。示例实施例对于视频处理设备的单独项的同步也是有用的。例如,该系统通过同时观察上述图4的混合器40的输入和输出获得图5的图像序列。该图像摘要匹配单元500可能将来自混合器输出的候选图像与在输入端的预先观察到的图像进行比较,因此允许在混合器40内的帧延迟的非侵入性测量。例如,观察到帧D是当前输入的,而帧B是输出的,表明在混合器40中有两帧的延迟。也就是说,候选图像与在时间上连续的已知图像的序列进行比较,以确定那些图像中的相关匹配。需要注意的,对于特定的视频图像馈送,希望暂时相邻的图像在视觉上是大致相似的,并且因此相对难以在视觉上检测相应图像之间的微小差异。在一个例子中,可能通过查找感兴趣的视频流中的突然场景变化(切点)实现匹配。在另一个例子中,通过考虑对于每个图像均是唯一的噪声伪像,即使在看似相同的图像中,也能实现精确的匹配。图6是在远离图像摘要值的位置执行图像摘要匹配的另一示例实施例的示意图。如图6所示,在第一位置(如体育体育场1)捕获和处理图像。采用本领域技术人员所熟知的方式创建广播馈送(不洁的馈送),从体育场周围的各种摄像机捕获实况运动行为。图形和标志(当前比分、运动员统计等)可能覆盖到清洁馈送图像上,以产生不洁馈送。接着,通过任何合适的传输通道2将不洁馈送DF传输到远程位置3。在这个例子中,不洁馈送被上传到卫星,并且向下传送到位于远程位置3的广播设备,从而实现到当地观众和订阅者的向前传输。在这个例子中,需要使用在单独传输的辅助信号流中提供的辅助图像信号AUX,在远程位置3执行动态图像处理。该辅助流可能使用与不洁馈送大致相同的通信通道(即,通过相同的卫星或光钎通信通道,作为另一图像流运载),或者可能使用完全分开的并且不同的传输通道(例如,互联网)。辅助流运载识别不洁图像的部分的遮蔽信号是便利的,该部分要采用交替内容电子替代或取代。辅助信号流AUX的遮蔽信息与单独传输的不洁馈送DF的图像流的精确同步出现了困难。具体地,图像流可能具有不同的传输延迟,在单个广播期间或实况事件的过程中,可能改变这些延迟。然而,示例实施例使用这里所述的图像摘要和图像匹配技术解决了这种困难。如图6所示,在不洁馈送的传输之前,摘要单元300在发送站(在这种情况下为体育场1)创建了不洁馈送的图像摘要。因此,摘要流#DF可以同时与不洁馈送和辅助流的有关图像同步。便利地,这些图像摘要#DF可以作为辅助流AUX的一部分运载。需要注意的是,不洁馈送流DF没有以任何方式得到根本改变。此外,在许多实际情况中,这种非侵入性过程都是很重要的。同时,在远程位置3的图像摘要匹配单元500将当前接收到的传输的不洁馈送DF的图像与早前准备的并且作为辅助流AUX的一部分在这里传输的图像摘要#DF进行比较。因此,识别出不洁馈送图像流的当前可用部分,辅助流的遮蔽信号与不洁馈送图像流同步。接着,可能继续如本领域已知的图像内容替换处理。有利的是,可以快速、有效和可靠地实现独立传输的流之间的同步。在示例实施例中,可以使用许多不同的具体方案,以便生成摘要值。然而,已经发现,一些特定示例摘要方案提供了明显改进的改善的效果。图7为包括特征提取单元701和维度降低单元702的图像摘要值产生单元300的示例实施例的示意图。特提取单元701从考虑中的图像10提取相关特征。在一个例子中,根据图像10中的多个采样到的像素11的像素值,提取特征。在一个例子中,这些特征是直接基于数字像素值(例如,R、G、B颜色值或YUV值)。在另一例子中,提取的特征使图像10内的噪声伪影隔离。维度降低单元702降低由特征提取单元701获得的数据的数量,以便产生所需大小或长度的摘要值310。同城,维度降低将原数据从高维度空间降低到较低维度空间。例如,可能应用线性投影来执行维度降低。维度降低通常应用函数F(X)->Y,其中,函数F将高维度的向量X映射为低维度的向量Y。示例实施例选择容易计算但是仍保持距离的函数F,因此,如果在高维度空间中点X1和X2离得远,那么低维度的点F(X1)和F(X2)仍应当有很大概率彼此离得远。相反地,如果在高纬度空间中点X1、X2彼此靠近,那么在低维度空间中F(X1)和F(X2)也将彼此靠近。图8为更详细地展示了图像摘要产生装置的一个实施例的示意图。在这个例子中,摘要值产生单元300包括像素值采样单元801、像素特征计数单元802、计数值列表单元803和计数值比较单元804。采样单元801配置为根据预定采样模式选择相应的图像帧10内的像素的子组。可能预先定义多种采样模式,并且将这些采样模式适当应用在预先确定的采用序列中。可选地,可以在预先定义的组中随机选择采用模式,采样模式相对于产生的摘要值310记录。可以根据实施的具体环境,即,取决于被检查的图像、图像摘要的传输所涉及的传输系统的类型、存储空间、带宽等,实践这些实施方式的细节。在图7所示的简化的例子中,采样单元801应用从图像帧10中选择像素P1、P2、P3和P4的采样模式,因而获得采样组S1中的每个采样到的像素的各像素值12。像素特征计数单元802对每个采样到的像素值P1-P4的选择的特征进行计数。在一个例子中,需要对每个像素值的最低有效位(LSB)进行计数。在示例实施例中,每个采样组包含全帧图像的假定210万个像素中的假定1024个像素。便利地,采样到的像素分散到图像区域。采样到的像素的分布模式可能是随机的或拟随机的,意在产生相对平均的分布。作为选择,采样到的像素可能有意聚集在考虑中的图像已知感兴趣的区域。为了学习产生考虑中的图像帧的最优结果的采样模式,可能进行采样模式训练。因此,采用一种类型的分布模式,体育场或户外活动的广角镜头可能获得更好的效果,然而,采用其他类型的采样模式,比赛中的运动员或演播间的解说员的特写镜头可能表现得更好。像素特征计数单元802合适地对来自采样到的像素值的最低有效位进行计数,因为该位是对图像内容中的改变最敏感的位。同样的,其他实施例可能对第二最低有效位进行计数,如,在图像敏感的需求稍微较弱的情况下。计数单元304根据计算出的特征的出现次数产生计数值C1。在这个例子中,计数值对应于计算出的值为“1”的位的数量。计数值列表单元803布置为存储由上述采样单元801和计数单元802产生的每个计数值的列表。合适地,用过重复执行采样和计数步骤获得N+1个计数值,其中,N为正整数。计数值比较单元804将列表中的各计数值对进行比较,以导出摘要值310的一个位。为了将计数值减少为图像摘要310的单独的位,该比较是有用的。例如,该对的第一个成员与该对的第二个成员进行比较。在该对的第一个成员大于第二个的情况下,那么摘要的相应位设定为值“1”,否则为“零”(反之亦然)。因此,计数值比较单元306将列表中计数的大量像素值减少为摘要中的相对少量的位。这种机制对于图像内容中的细微改变是相对宽容的,其中,图像内容的相对细微改变在产生的摘要值中产生相对小的差异。图8的示例实施例实际上是根据对这种情况下的最低有效位的数量进行计数的直方图。因此,该机制在这里称为“最低有效位(leastsignificantbit,LSB)直方图”。在每个像素内观察到的特征(在这种情况下为最低有效位)的相对频率与图像内容成比例。LSB直方图机制是快速和有效的,处理开销(CPU时间、内存消耗等)相对较低。需要注意的是,在原图像经受图像转换的情况下,如平移(在一方向移动若干像素)、锐化、亮度、对比度、色彩校正等,接着,与原图像的相应的摘要值比较,由LSB直方图机制产生的图像摘要将明显不同。因此,在无需这样的图像转换的情况下,LSB直方图机制尤其有用。图9为用于识别图像帧的装置的另一示例实施例的示意图。在这个例子中,图像摘要值产生单元300通过提取噪声特征产生摘要值,其包括噪声过滤单元901、图像相减单元902、维度降低单元903和位提取单元904。有趣的是,图像捕捉设备(如摄像机)和图像处理设备(如混合器)可能将噪声引入进每个图像帧的图像内容。该噪声信号对于该图像帧是唯一的。因此,即使摄像机产生观察完全相同的场景的两个连续的图像帧,噪声信号也在那两个图像帧之间引入细微的差别。因此,噪声信号变成可辨认的踪迹伪影,如果提取和观察该踪迹伪影,其可以用于唯一地识别相关的图像帧。噪声过滤单元901将噪声过滤器应用到原图像“I”以产生噪声过滤的图像“F”。可能采用任何合适的噪声过滤器。例如,使用包含白噪声模式的噪声过滤器已经被观察到有良好的效果,该白噪声模式展示很少甚至没有与原图像的相关性。高质量的噪声过滤已经被观察到可以得到更好的效果。作为一个例子,使用非局部平均(NLM)的噪声过滤器已经被观察到实现良好的效果。人们认为NLM过滤主要影响平的低对比度图像区域,而特征显著的细节区域相对不会改变。噪声信号在这些平的低对比度图像区域相比在特征显著的细节区域更显而易见,因此容易在这些区域分离出噪声信号。图像相减单元902从原图像I中减去噪声过滤的图像F以产生剩余图像‘R’。因此该剩余图像R代表噪声过滤之前的原图像I和噪声过滤之后的相同图像F之间的差别,对应于由噪声过滤算法对原图像做出的改变。可能提供维度降低单元903来降低剩余图像R的大小。也就是说,噪声过滤通常应用在原图像I的整个图像区域上以产生噪声过滤的图像F。接着,维度降低单元305将剩余图像R从原始大小(例如,2.1百万像素)降低为更小的大小,更便于导出摘要值。合适地,维度降低单元305应用将剩余图像R投影到一组不相关的基向量‘B’上的投影。这些基向量是由伪随机发生器制造的合适的图像大小数量序列。这些基向量合意地选择为相对稀疏和正交,其加快了计算。方便地,大多数基向量设定为值零,剩余的值要么为+1要么为-1。这些非零剩余值基向量根据分布模式合适地分别在图像区域上。可能通过学习过程改变或应用基向量分布模式,如上像素采样模式所述的。因此该基向量模式允许适当检查图像的所有区域或选择的感兴趣区域。维度降低单元903通过将基向量矩阵B乘以剩余图像R的像素值产生摘要向量‘D’。在这种情况下,剩余图像R可以被认为是像素值的一个长向量。因此,剩余图像向量R和基向量B的内积给出了剩余图像向量到基向量的投影,该内积的符号给出了摘要值的相应位。位提取单元904合适地提取摘要值310的位作为向量D中的每个值的符号。也就是说,剩余像素值的相加和相减一起产生了具有正号或负号的结果值。在结果值的符号为正的情况下,那么摘要位的值为“1”,否则为“0”(反之亦然)。执行上述计算多次产生具有所需位数的摘要值310。在示例实施例中,摘要值310合宜地具有1024位的大小。图10展示了可能通过这里所述的装置和系统执行的示例方法。步骤1001包括接收包括第一多个图像帧的第一视频流。步骤1002包括检测该第一视频流以产生包括多个第一摘要值的第一摘要流,每个第一摘要流与第一多个图像帧中的相应一个图像帧相关联。步骤1003包括在摘要记录中记录第一摘要流。图11展示了可能通过这里所述的装置和系统执行的示例方法。步骤1101包括形成这里所述的摘要记录数据库。步骤1101可能包括在摘要数据库中为多个视频流中的每个视频流记录摘要值。步骤1102包括检查第二视频流的至少一个第二图像帧以产生相应的第二摘要值。步骤1103包括将第二摘要值与在摘要数据库410中的多个第一摘要值进行比较。步骤1104包括输出表明第二图像帧和第一多个图像帧的相应一个图像帧之间的匹配的比较结果。也可能实现没有足够的匹配,在这种情况下,可能输出负指示。步骤1104可能包括将来自候选视频流的摘要值与在摘要数据库410中记录的摘要值进行比较。在来自多个单独的视频流的摘要值记录在数据库中的情况下,步骤1104可能包括输出表明多个视频流中与候选视频流最匹配的相应一个视频流的对比结果。在一个例子中,通过对采样的像素组的任何合适的显著特征的计数获得计数值。在一个例子中,该方法包括检查每个提取的像素值的至少一个位,并且从提取出的位中导出计数值。在一个例子中,检查每个像素值的最低有效位。在一个例子中,从具有定义值的若干检查的位中导出计数值,如“一”或“零”的数量的计算。在一个例子中,该方法包括在列表中记录计数值。该方法可能包括重复提取像素组,检查每个提取的像素值的一个或多个位,已经为在列表中的多个记录的计数值进行计数,以致列表包含N+1个计数值,其中,N为正整数。在一个例子中,通过将从列表中选择的计算值彼此进行比较获得图像摘要值。在一个例子中,计算值对彼此进行比较以导出图像摘要值的单个位。取决于比较的结果,每个这样的比较合适地将图像摘要的一个或多个相应位设定为值“1”或“0”。该比较可能比较该对的一个成员是否高于或低于该对的另一个成员。这些对可能是列表中的邻近计数值。通过这种方式,N次这样的比较从列表的成员中导出图像摘要的N位值。在一个例子中,该方法包括使用噪声特征提取处理从图像帧中提取噪声特征,然后在噪声特征上执行维度降低以提供摘要值。在一个例子中,根据提取的噪声特征获得采样值。维度降低处理产生与样本相关的相应的摘要值,或者与该样本相关的摘要值的相应部分。在一个例子中,通过过滤原图像以提供噪声过滤的图像来获得图像摘要值。该过滤由非局部平均过滤器等噪声过滤器执行。通过从噪声过滤的版本减去原图像(反之亦然)获得差别图像或剩余图像。因此,该剩余图像代表原图像和噪声过滤版本之间的差别,相当于噪声信号。因此,示例实施例可能根据在原图像中检测到的噪声信号获得剩余图像。有利的是,压缩或过滤等图像处理功能可以明显降低原始噪声信号,但是不倾向于完全移除原始噪声信号。因此,上述剩余噪声摘要机制倾向于为具体图像产生较相似的摘要值,即使在该图像经过一些形式的图像处理以形成相应的转换的图像之后。示例实施例已经被观察例如,存有单独的图像帧的高质量JPEG压缩。有趣的是,在非常高维度的图像空间中视觉上彼此接近的图像在上述剩余噪声摘要机制所使用的子空间投影中也相互接近。采用合适的基向量,已经发现低维度子空间足以区分不同图像彼此之间的区别,而且是快速和有效的。根据这里讨论的内容,示例实施例的工业应用是显而易见的。这里讨论的示例实施例的至少部分可能使用专门的专用硬件。这里使用的“部件”、“模块”或“单元”等术语可能包括但不限于硬件设备,如分立元件或集成元件形式的电路、现场可编程门阵列(FPGA)或专用集成电路(ASIC),其执行某些任务或者提供相关的功能。在一些实施例中,所述元件可能配置为存在于有形的、永久的、可访问的存储介质中,并且可能配置为执行一个或多个处理器。在一些实施例中,这些功能元件可能包括,例如,软件组件、面向对象的组件、类组件和任务组件等组件、进程、功能、属性、数据结构、表格、数组和变量。虽然已经参考这里所述的部件、模块和单元对示例实施例进行了描述,这样的功能元件可能组合为更少的元件或分为额外的元件。这里已经描述了可选特征的各种组合,将可以理解的是,所述特征可能合并在任何合适的组合中。特别是,在合适的情况下,任意一个实施例的特征可能与任意其他实施的特征组合,除非这些组合相互排斥。在整个说明书中,术语“包括”或“包含”意味着包括指定的部件,但是不排除存在其他部件。虽然已经显示和描述了一些示例实施例,但是可以理解的是,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围,本发明专利的保护范围应以所附权利要求为准。
当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1