专利名称：利用超级直方图和帧标记的紧凑可视提要的制作方法
技术领域：
本发明概括地说是涉及生成视频资料可视提要，尤其涉及使用超级直方图(superhistogram)和帧标记(frame signature)产生紧凑可视提要的一种系统和方法。
背景技术：
市场上有着种类繁多的录像机。许多人拥有或熟悉磁带录像机(VCR)。这种盒式录像机将视频节目录制在磁性录像带上。近来市场上已经出现一种录像机是利用计算机磁盘而不是磁带来储存视频节目。例如ReplayTM录像机和TiVOTM录像机使用例如MPEG视频压缩标准以数字方式将电视节目录在硬盘驱动器上。此外，一些录像机可以将节目录制在可读/可写的数字通用盘(DVD)上而不是磁盘上。
录像机的广泛使用已经产生并将继续产生大量的视频资料。这些庞大的资料的需要有一种系统能够生成这些资料的提要。视频资料提要可以是可视提要，音频提要，或文字提要，或可视，音频和文字提要的结合。现有的产生可视提要的方法涉及从该视频资料中提取关键帧。一种产生可视提要的改进方法涉及从该关键帧提取帧标记，然后利用该帧标记将关键帧过滤。但是，这些方法仍然在过滤处理已经完成之后留下大量的关键帧。
现有的许多装置其存储容量有限。例如，个人数字助理(PDA)和其他类似的装置都不能储存大量的数据。这类装置不可能有效地使用包含大量关键帧的可视提要。
因此需要一种改进的系统和方法能产生紧凑可视提要。需要一种改进的系统和方法能有选择地产生比现有技术包含更少的关键帧的紧凑可视提要。
发明概述本发明的目的是提供一种改进的产生紧凑可视提要的系统和方法。
本发明的另一个目的是提供一种改进的使用超级直方图和帧标记产生紧凑可视提要的系统和方法。
在一种优选的实施方案中，本发明的装置包括一个可视提要控制器，该控制器能够(1)接收视频资料的关键帧，和(2)从该关键帧提取帧标记，和(3)利用帧标记从该关键帧产生超级直方图，和(4)利用该帧标记和该超级直方图产生该视频资料的紧凑可视提要。该可视提要控制器使用该超级直方图过滤和群集关键帧，并且将来自该被群集关键帧的相应帧加到紧凑可视提要上。
可视提要控制器还包括一可视提要检索模块，根据用户的请求该模块从储存器中检索可视提要并将该可视提要加以显示。
以上已经相当广泛地概括了本发明的特点和技术优点，所以本领域技术人员可以更好地理解下面对本发明所做的详细描述。构成本发明权利要求主题的本发明的其他特点和优点将在下面进行阐述。本领域技术人员应该知道他们可以轻易地使用这些概念和具体实施方案作为基础去改进或设计用以完成本发明相同目的的其它结构。本领域内的技术人员还应该认识到这种等效的结构就其最广泛形式而言并没有偏离本发明的构思和范围。
在对本发明进行详细描述之前，对本发明文献中所使用的某些词和术语加以定义是有益的术语“包含”和“包括”以及它们的派生词意指包括而无限制；术语“或”是包含性的，意指和/或；短语“与...有关”和“与之相关”以及它们的派生短语可以指包括，包括在内，与之互连，包含，包含在内，连接到或与之连接，耦合到或与之耦合，与之连系，与之合作，交替，并置，贴近，结合到或与之结合，有，具有性能，或等；术语“控制器”，“处理器”或“装置”意指任何装置，系统或控制至少一种操作的它们的部分，这样一种装置可以用硬件，固件或软件，或相同件的至少2个的某种组合加以实现。应当注意，与任何特定控制器相连系的功能性不论就地或遥控都可以集中也可以分散。特别地，控制器可以包括1个或多个数据处理器，以及相关的输入/输出装置和存储器，执行1个或多个应用程序和/或操作系统程序。对某些词和短语的定义适用于本发明文件全文。本领域中的普通技术人员应当懂得即使不是在大多数情况下也是在许多情况下，这种定义适用于这种被定义的词和短语的现在以及未来的使用。
为了更完全地理解本发明和它的优点，参照附图作如下说明，其中对相同的对象采用相同的数字，其中
图1展示一种示范性系统的方框图，该系统用于产生包括本发明的一种优选实施方案的可视提要；图2展示本发明的一种优选实施方案可以使用的计算机软件；图3展示包括3族直方图的一种示范性超级直方图；和图4展示表明本发明一种方法的优选实施方案的流程图。
发明详述以下讨论的图1至图4，以及在本发明文献中用于说明本发明原理的各种实施方案都只是为了展示目的而不应当成为对本发明范围的任何限制。在随后对示范性实施方案的说明中，本发明被集成到或用于连系到一种产生可视提要的特殊系统类型。本领域内的技术人员将认识到本发明的示范性实施方案可以容易地加以修改以用于产生可视提要的其他系统类型。
图1展示一种产生视频提要的示范性系统100的方框图。系统100包括视频处理器110。视频处理器110接收视频信号，将它格式化成帧，然后识别关键帧。Dimitrova等人在2000年10月24日发布的题为“Significant Scene Detection and Frame Filtering for aVisual Indexing System”的NO.6,137,544美国专利中描述了这类视频处理器的一个实例。在本发明应用中将美国专利NO.6,137,544及其内容引为参考。
视频处理器110将关键帧储存在存储器120内。存储单元120可以包括随机存取存储器(RAM)。存储单元120可以包括非易失随机存取存储器(RAM)，如闪速存储器。存储器单元120可以包括海量数据储存装置，如硬盘驱动器(未示出)。存储器单元120也可以包括读出读/写DVD或可重写CD-ROM的附属外围设备或可移动盘驱动器(无论内置式或附属的)。如图1中所示，这种类型的可移动盘驱动能够接收和读出可重写CD-ROM盘125。
视频处理器110给本发明的控制器130提供关键帧。控制器130能够从视频处理器110接收控制信号并将控制信号发送至视频处理器110。控制器130还通过存储单元120和视频处理器110连接。如下面将要更详尽地说明那样，控制器130能够从视频处理器110接收的关键帧产生紧凑可视提要。控制器130产生的紧凑可视提要较之于现有的可视提要系统所产生的可视提要含有较少的关键帧数目。控制器130将每一紧凑可视提要储存在存储单元120内。视频处理器110，根据用户的请求，访问储存在存储器120内的该紧凑可视提要并将该紧凑可视提要输出给用户观看的显示器(未示出)。
如图1所示，控制器130包括关键帧过滤器模块140，彩色信息模块150，直方图和关键帧选择模块160，可视提要模块170，和可视提要检索模块180。如将要更为详尽地说明的那样，关键帧过滤器模块140从该关键帧提取帧标记，然后使用该帧标记过滤由控制器130从视频处理器110接收的关键帧。彩色信息模块150从过滤后的关键帧发生彩色信息。直方图和关键帧选择模块160，从该彩色信息导出超级直方图并从该超级直方图选择表示的关键帧。可视提要模块170然后利用所选的关键帧图像产生紧凑可视提要。可视提要模块170将压缩的可提要储存在存储单元120内。
可视提要检索模块180，根据通过视频处理器110接收的用户请求，访问那些符合用户请求的可视提要。当找到符合要求的可视提要后，可视提要检索模块180给视频处理器110识别合适的可视提要。然后视频处理器110将该可视提要输出给用户显示(未示出)。
控制器130必须识别合适的关键帧用于产生紧凑可视提要。本发明的一种有利的实施方案包括计算机软件200，该软件能够识别用于产生该视频资料的紧凑可视提要的合适的关键帧。图2展示所选择的存储单元120部分，它包括本发明的计算机软件200。存储单元120包括操作系统界面程序210，关键帧过滤器应用程序220，彩色信息应用程序230，超级直方图应用程序240，关键帧选择应用程序250，可视提要应用程序260，以及可视提要储存位置270。
控制器130和计算机软件200一起包括能够实施本发明的可视提要控制器。在储存在存储单元120内的计算机软件200内的指令的引导下，控制器130给该视频资料产生紧凑可视提要，将该紧凑可视提要储存在可视提要储存位置270，并且在用户的请求下重放所储存的可视提要。操作系统界面程序210将计算机软件210的操作同控制器130的操作系统加以协调。
为了产生紧凑可视提要，本发明的可视提要控制器(包括控制器130和软件200)首先执行过滤器应用程序220以便从控制器130已经从视频处理器110接收的关键帧提取帧标记。然后关键帧过滤器应用程序220使用该帧标记对关键帧加以过滤。这种过滤处理减少了关键帧的数量。
然后控制器130执行彩色信息应用程序230以便从被过滤的关键帧得到彩色信息。此后控制器130执行超级直方图应用程序240以便从该彩色信息导出超级直方图。超级直方图应用程序240按照N.Dimitrova等人文章中所讨论的原理进行工作，N.Dimitrova等人的论文题为“Color Super Histograms for Video Representation”发表在1999年10月在日本举行的有关图像处理的IEEE的国际会议的会议文集的第3卷的314-318页上。因此此处将该文引入作为参考。超级直方图应用程序240按照Martino等人在1998年7月16日共同中请的美国专利中所讨论的原理工作，该专利的专利申请号为NO.09/116,769，其题为“A Histogram Method for CharacterizingVideo Content”。此处在许多场合将该美国专利No.09/116,769引入作为参考。
超级直方图应用程序240通过对单个镜头计算彩色直方图，然后按照一种比较量度方法将该直方图合并到被称为族直方图的单一累积直方图中从而计算超级直方图。族直方图最初代表两个镜头的彩色联合。随着新帧的加入，该族直方图从相应的镜头累积新的彩色。如果新帧的直方图不同于先前构造的族直方图，则形成新的族直方图。一个完整的电视节目，例如，可以用若干族直方图代表。则该组族直方图按它们所代表的视频时间区段的长度加以排序。而这种被排序的族直方图称之为超级直方图。
如在文章“Color Super Histograms for Video Representation”中所说明的那样，直方图的差别可以用下面任何一种方法加以计算(1)L1距离量度法，和(2)L2距离量度法，和(3)直方图交叉，和(4)χ平方，和(5)Bin-Wise直方图交叉。超级直方图应用程序240对那些等于用影像剪切之间距离加权后的关键帧间的直方图之差的集群计算距离量度。
图3展示包含3族直方图的一种示范性超级直方图。在图3中所示的超级直方图是用χ平方距离量度和百分之五十(50％)的阈值得到的。3族直方图分别记为“族0”、“族1”和“族2”。在该展示性实例中，族0有四十二个(42)关键帧，族1有十七个(17)关键帧，族2有一个(1)关键帧。该3个族直方图(同有关的信息一起)构成该超级直方图。
下面表1包括一组利用自动提取的关键帧的超级直方图提取方法的示范性最终结果。该方法在“Color Super Histograms for VideoRepresentation”一文中有更为详细的说明。表1示出利用不同阈值所得到的5种直方图差方法的结果(即比较方法)。如结果所示，对较小的阈值所得到的族的数目从一百八十(180)至五百(500)。但是，随着相似性阈值的增长，得到的族的数目减少，但间期较长(即帧的数目较大)。
表1
表1汇总了一种选定的电视节目(即Seinfeld电视节目的一个片段)在不同阈值下和对不同的直方图差方法的超级直方图族。表1中，字母“A”表示形成的族的编号。字母“B”表示帧中最长族的间期。字母“C”表示最长族中关键帧的数量。
就如在“Color Super Histograms for Video Representation”一文中更为详细地说明那样，通过对直方图距离量度方法修改其阈值该超声直方图方法可以产生所希望的关键帧族(即集群)数目。可以选择该数得到“紧凑的”可视提要。
例如，假定希望从Seinfeld电视节目该片段的超级直方图得到代表五(5)个族的五(5)帧。可以使用50％的阈值和L2距离量度法。该数五(5)位于表1中L2距离量度法的百分之五十(50％)阈值下的A列之中。另一个例子，假定想从Seinfeld电视节目该片段的超级得到代表二(2)个族的二(2)帧。可以使用七十五(75％)的阈值和L1距离量度法。该数二(2)位于表1中L1距离量度法(或直方形交叉法)的七十五(75％)阈值下的A列之中。
控制器130执行关键帧选择应用程序250以选择每一超级直方图的代表性关键帧图像。所选择的代表性关键帧图像可以选自下列任何图像之一(1)该族直方图中的第1幅图像，(2)该超级直方图中最有意义的图像，(3)随机选择的一幅图像或最靠近该集群(族)中心的一幅图像。术语“有意义的图像”可以指具有一个人面部，一种重要的文字等的一帧。然后可视提要应用程序260使用所选取的关键帧图像来产生一种紧凑可视提要。
在可视提要应用程序260完成它的操作之后，控制器130将得到的最终紧凑可视提要储存在存储单元120的一个可视提要储存位置270。可视提要检索模块180能够搜索储存在存储单元120中的紧凑可视提要并且使被检索到的紧凑可视提要按前面描述的方式加以显示。
根据用户的请求，控制器130能够存取由紧凑可视提要所汇总的视频资料的所选部分。被选取的视频资料部分由视频处理器110加以显示。为了访问该视频资料控制器130接收识别和选择一关键帧图像的用户请求。然后控制器130从包含该被选的关键帧图像的存储单元120检索紧凑可视提要。控制器130使用该紧凑可视提要访问该视频资料的对应位置(即识别其位置)。然后控制器130将该视频资料的位置信息发送给视频处理器110。视频处理器110则将视频资料所选取部分加以显示。
根据用户的请求，控制器130还能够利用紧凑可视提要将提要后的视频资料的所选部分加以汇编形成新的视频资料。为了产生这种新的视频资料，控制器130接收识别和选择关键帧影像的用户请求。然后控制器130从包含该被选关键帧图像的存储单元120检索紧凑可视提要。控制器130使用该紧凑可视提要访问该视频资料的对应部分(即识别其位置)。然后控制器130将位置信息汇编成用户所规定的一种新的安排。该位置信息将所选择的视频资料部分安排到新的视频资料中。此后控制器130将这种新的视频资料的单个的所选部分的位置信息发送到视频处理器110。然后视频处理器110显示新的视频资料。
图4是一流程图，示出本发明方法的一种优选实施方案。该方案的实施步骤总体用数字400表示。控制器130从视频处理器110接收关键帧(步骤405)。然后控制器130从该关键帧提取帧的标记并且对关键帧加以过滤(步骤410)。在此之后，控制器130从过滤后的关键帧导出彩色信息(步骤415)。
控制器130然后从该彩色信息导出超级直方图(步骤420)。此后控制器130对每族直方图选取一代表性的关键帧或多个关键帧的代表性的一组(步骤425)。控制器130从所选取的关键帧图像产生紧凑可视提要(步骤430)。尔后控制器130将该紧凑可视提要储存在存储单元120内的一个可视提要储存位置270上(步骤435)。当用户请求时，可视提要检索模块180从存储单元120检索可视提要并使之显示(步骤440)。
以上参照一些实施方案已经对本发明做了详细的说明，但是本领域技术人员应当懂得他们可以在本发明内进行各种改变，替代修改，更迭和配合，就其最广泛的形式而言它不会偏离本发明的概念和范围。
权利要求
1.一种产生视频资料的紧凑可视提要的装置，它用在能够产生视频资料的可视提要的系统之中，所说的装置包括能够接收该视频资料关键帧的可视提要控制器；其中所说的可视提要控制器能够从所述关键帧提取帧标记，和能够利用该帧标记从关键帧产生超级直方图，和能够利用该帧标记和该超级直方图产生所说视频资料的紧凑可视提要。
2.权利要求1所要求保护的装置，其中所说的可视提要控制器在使用帧标记产生超级直方图以便产生视频资料的紧凑可视提要之前能够对关键帧加以过滤并从过滤后的关键帧提取帧标记。
3.权利要求2中所要求保护的装置，其中所说的可视提要控制器通过利用该超级直方图群集过滤后的关键帧和通过将来自被群集的关键帧的一代表性关键帧加到视频资料的紧凑可视提要的手段，能够产生所说的视频资料的紧凑可视提要。
4.权利要求2中所要求保护的装置，其中所说的帧标记是一种直方图。
5.权利要求3中所要求保护的装置，其中用于群集的距离量度等于用如下方法之一计算的直方图差异L1距离量度法，L2距离量度法，直方图交叉法，χ平方检验法，和bin-wise直方图交叉法。
6.权利要求3中所要求保护的装置，其中所说的可视提要控制器能够为每一超级直方图选择一代表性的图像，其中所说的代表性图像是下列图像之一每族直方图中的第1幅图像，每个超级直方图中的最有意义的图像，一随机选择图像，和最靠近该群集中心的一幅图像。
7.权利要求5中所要求保护的装置，其中所说的可视提要控制器能够选择一族直方图以用于产生视频资料的紧凑可视提要。
8.权利要求1中所要求保护的装置，其中所说的可视提要控制器进一步包括一种可视提要检索模块，它能够根据用户的请求检索储存在存储单元内的紧凑可视提要并且将所说的紧凑可视提要加以显示。
9.权利要求3中所要求保护的装置，其中所说的可视提要控制器能够利用紧凑可视提要访问所说的视频资料的至少一个部分。
10.权利要求3中所要求保护的装置，其中所说的可视提要控制器能够使用紧凑可视提要产生新的视频资料。
11.一种能够产生视频资料的可视提要的系统，所说的系统包括产生视频资料的一种紧凑可视提要的装置，该装置包括一种能够接收所说的视频资料的关键帧的可视提要控制器；其中所说的可视提要控制器能够从关键帧提取帧标记，和能够使用该帧标记产生所说的关键帧的超级直方图，和能够使用该关键帧和该超级直方图产生视频资料的一种紧凑可视提要。
12.一种产生视频资料的紧凑可视提要的方法，它用于能够产生视频资料的可视提要的系统之中，该方法包括在一可视提要控制器内接收视频资料的关键帧；从该关键帧提取帧标记；使用该帧标记从关键帧产生超级直方图；和使用该帧标记和该超级直方图产生所说的视频资料的紧凑可视提要。
13.储存在计算机可读储存介质上用于产生视频资料的紧凑可视提要的计算机可执行指令，该指令用在能产生视频资料的可视提要的一种系统之中，该计算机一可执行指令包括步骤在可视提要控制器内接收所说的视频资料的关键帧；从该关键帧提取帧标记；使用该帧标记从关键帧产生超级直方图；和使用该关键帧和该超级直方图产生所说的视频资料的紧凑可视提要。
全文摘要
公开了一种产生视频资料的紧凑可视提要的改进的装置和方法，它用在能够产生视频资料的可视提要的系统之中。在一种优选实施方案中，本发明的装置包括一可视提要控制器，该控制器能够接收视频资料的关键帧，和能够从关键帧提取帧标记，和能够使用帧标记从关键帧产生超级直方图，和能够使用帧标记和超级直方图产生视频资料的紧凑可视提要。可视提要控制器使用超级直方图对关键帧过滤和群集，然后将来自群集后的关键帧的代表性关键帧加到紧凑可视提要。根据用户的请求，可视提要检索模块搜索并显示紧凑可视提要。
文档编号G06F17/30GK1659545SQ02801837
公开日2005年8月24日 申请日期2002年5月22日 优先权日2001年5月25日
发明者N·迪米特罗瓦, L·阿尼霍特里, T·F·M·麦吉 申请人:皇家菲利浦电子有限公司