专利名称：用于生成基于内容的内容表格的方法、系统和程序产品的制作方法
技术领域：
本发明一般涉及用于为节目生成基于内容的内容表格的方法、系统和程序产品。具体地，本发明能够基于节目片断(sequence)中的视频、音频和文本内容选择来自节目片断的关键帧。
随着电脑和音频/视频技术的快速涌现，为消费者的消费电子设备提供越来越多的附加功能。具体地，诸如用于观看有线和卫星电视节目的机顶盒、用于录制节目的硬盘记录装置(例如TIVO)的装置已经在许多家庭得到了普及。在对消费者提供附加功能的过程中满足了许多要求。这样的要求之一是消费者期望访问特定节目的内容表格。当消费者开始观看已经开始的节目时，内容表格是有用的。在此情况下，消费者能够参考内容表格以了解节目已经播放的时间、发生的片断等。
迄今为止，已经提供了用于为节目索引或生成节目的内容表格的系统。遗憾的是，没有一个现有的系统基于节目的内容生成内容表格。具体地，现有的系统不能够从基于节目的确定类型和每个片断的分类所选择的关键帧生成内容表格。例如，如果节目是具有“凶杀片断”的“恐怖片”，可从片断中选择某些关键帧(诸如第一帧和第五帧)，这是由于该片断是“恐怖片”中的“凶杀片断”。就此而言，在节目中选自“凶杀片断”的关键帧与选自“对白片断”的关键帧不同。现有系统不能提供此功能。
考虑到上述问题，存在对用于为节目生成基于内容的内容表格的方法、系统和程序产品的需求。就此而言，存在对于有待确定的节目的类型的需求。还存在对于有待分类的节目中的每个片断的需求。还存在对应用于节目的一套规则的需求，该规则为内容表格确定合适的关键帧。还存在对将类型和分类以及关键帧联系起来的一套规则的需求。
一般而言，本发明提供用于为节目生成基于内容的内容表格的方法、系统和程序产品。具体地，本发明确定具有内容片断的节目的类型。一旦确定了类型，为每个片断分配分类。基于片断中的视频内容、音频内容和文本内容分配分类。基于类型和分类，从片断选择关键帧(也称为关键元素或关键段)，用于在基于内容的内容表格中使用。
按照本发明的第一方面，提供用于为节目生成基于内容的内容表格的方法。该方法包括(1)确定具有内容片断的节目的类型；(2)基于内容为每个片断确定分类；(3)基于类型和分类标识片断中的关键帧；以及(4)基于关键帧生成基于内容的内容表格。
按照本发明的第二方面，提供用于为节目生成基于内容的内容表格的方法。该方法包括(1)确定具有多个片断的节目的类型，其中片断包括视频内容、音频内容和文本内容；(2)基于视频内容、音频内容和文本内容为每个片断分配分类；(3)通过应用一套规则，基于类型和分类标识片断中的关键帧；以及(4)基于关键帧生成基于内容的内容表格。
按照本发明的第三方面，提供用于为节目生成基于内容的内容表格的系统。该系统包括(1)用于确定具有多个内容片断的节目的类型的类型系统；(2)用于基于内容确定每个节目片断的分类的分类系统；(3)用于基于类型和分类标识片断中的关键帧的帧系统；以及(4)用于基于关键帧生成基于内容的内容表格的表格系统。
按照本发明的第四方面，提供存储在可记录介质上用于为节目生成基于内容的内容表格的程序产品。该程序产品包括(1)用于确定具有多个内容片断的节目的类型的程序代码；(2)用于基于内容确定每个节目片断的分类的程序代码；(3)用于基于类型和分类标识片断中的关键帧的程序代码；以及(4)用于基于关键帧生成基于内容的内容表格的程序代码。
因此，本发明提供用于为节目生成基于内容的内容表格的方法、系统和程序产品。
通过以下结合附图对本发明不同方面的详细描述，将更容易理解本发明的这些和其它的特征，附图中
图1示出按照本发明的具有内容处理系统的计算机化系统。
图2示出图1的分类系统。
图3示出按照本发明生成的示例性内容表格。
图4示出按照本发明的方法流程图。
附图仅仅是示意性的表示法，并不用于描绘本发明的具体参数。附图仅用于示出本发明的典型实施例，因此不应被认为限定本发明的保护范围。在附图中，相同的标号表示同样的元素。
一般而言，本发明提供了为节目生成基于内容的内容表格的方法、系统和程序产品。具体地，本发明确定了具有内容片断的节目的类型。一旦确定了类型，为每个片断分配分类。基于片段内的视频内容、音频内容和文本内容分配分类。根据类型和分类，从片断选择关键帧(也称为关键元素或关键段)，用于在基于内容的内容表格中使用。
参考图1，其示出了计算机化系统10。计算机化系统10用于表示任何能够“实现”节目34的电子设备，节目包括音频和/或视频内容。典型的例子包括用于接收有线或卫星电视信号的机顶盒或用于存储节目的硬盘记录装置(诸如TIVO)。此外，这里使用的术语“节目”用于意指任何配置的音频、视频和/或文本内容(诸如电视、电影、图像等)。如图所示，节目34典型地包括一个或多个片断36，每个片断具有一个或多个音频、视频和/或文本内容的帧或元素38。
如图所示，计算机化系统10一般包括中央处理器(CPU)12、存储器14、总线16、输入/输出(I/O)接口18、外部设备/资源20和数据库22。CPU 12包括单一处理器单元或者分布在一个或多个位置的一个或多个处理单元(诸如在客户端和服务器上)。存储器14包括任何已知类型的数据存储和/或传输媒体，包括磁性媒体、光学媒体、随机访问存储器(RAM)、只读存储器(ROM)、数据高速缓存、数据对象等。此外，和CPU 12类似，存储器14驻留在包括一个或多个种类的数据存储器的单一物理位置，或者以不同形式分布在多个物理系统上。
I/O接口18可包括任何用于与外部源交换信息的系统。外部设备/资源20可包括任何已知种类的外部设备，包括扬声器、阴极射线管(CRT)、液晶显示器(LED)屏幕、手持式设备、键盘、鼠标、语音识别系统、语音输出系统、打印机、监视器、传真机、传呼机等。总线16在计算机化系统10中提供每个组件之间的通信链路，同样，总线可包括任何已知种类的传输链路(包括电子、光、无线等)。此外，虽然图中未示出，但也可将诸如数据高速缓存、通信系统、系统软件等的附加组件结合在计算机化系统10中。
数据库22可为实现本发明所需要的信息提供存储。其中，这样的信息可包括节目、分类参数、规则等。同样，数据库22可包括一个或多个存储设备(诸如磁盘驱动器或光盘驱动器)。在另一个实施例中，数据库22包括分布在诸如局域网(LAN)、广域网(WAN)或存储区网络(SAN)(未示出)的数据。也可以用本领域一般技术人员会将数据库解释为包括一个或多个存储设备的方式配置数据库22。
存储在计算机化系统10的存储器14中的是内容处理系统24(图示为程序产品)。如图所示，内容处理系统24包括类型系统26、分类系统28、帧系统30和表格系统32。如上所示，内容处理系统24为节目34生成基于内容的内容表格。应该理解已将内容系统10如图所示做了一点划分以更好地描述本发明。
然而，本发明的教导不应局限于任何特定的结构，并且可通过其它系统、模块等提供图示为任何特定系统、模块等的部分的功能。
一旦提供了节目34，分类系统26将确定节目的类型。例如，如果节目34是“恐怖片”，分类系统26会将类型确定为“恐怖”。就此而言，分类系统26可包括用于解释“视频向导”的系统以确定节目34的类型。或者，可将类型作为数据包含在节目34中(诸如作为报头)。在此情况下，类型系统26将从报头读取类型。在任何情况下，一旦确定了节目34的类型，分类系统28将为每个片断36分类。一般而言，分类包括检查每个帧内的内容并且使用存储在数据库22中的分类参数将特定分类分配给每个帧内的内容。
参考图2，其示出分类系统28的更详细的框图。如图所示，分类系统28包括视频检查系统50、音频检查系统52、文本检查系统54和分配系统56。在试图确定每个片断的分类的过程中，视频检查系统50和音频检查系统52分别检查每个片断的视频和音频内容。例如，在试图确定每个片断中正在发生什么时，视频检查系统50可检查面部表情、背景景物、视觉效果等，而听觉检查系统52可检查对白、爆炸声、掌声、笑话、音量电平、语音音调等。文本检查系统54检查每个片断中的文本内容。例如，文本检查系统可在片断期间从隐藏式字幕(closed captions)或对白中导出文本内容。就此而言，文本检查系统54可包括用于导出/抽取文本内容的语音识别软件。在任何情况下，从检查收集的视频、音频和文本内容(数据)可应用于数据库22中的分类参数以为每个片断确定分类。例如，假设节目34是“恐怖片”。同时假设节目34中的特定片断具有一个人正在刺杀另一个人的视频内容和包括尖叫声的音频内容。分类参数一般将类型与视频内容、音频内容以及分类联系起来。在此示例中，分类参数可指示“凶杀片断”的分类。这样，分类参数例如可以类似于以下表格
一旦确定了片断的分类，通过分配系统54将分类分配给对应的片断。应该理解上述分类参数仅仅是用于示意性的，许多等效的参数也是可能的。此外，应该理解在片断的分类过程中可采用许多方法。例如，可在本发明中实现M.R.Naphade等在1998年出版的ICIP’98论文集第三卷“概率多媒体对象(多对象)多媒体系统中视频索引和检索的新方法”的第536-540页中公开的方法(其内容通过引用结合于本文中)。
在将每个片断分类后，帧系统30(图1)将访问数据库22中的一套规则(例如，一个或多个规则)以确定来自每个片断的关键帧，该关键帧应该用于内容表格40。具体地，内容表格40典型地包括来自每个片断的代表关键帧。为了选择最突出隐藏片断(underlyingsequence)的关键帧，帧系统30应用一套将确定类型映射至确定分类和合适的关键帧(即将确定类型与确定分类以及合适的关键帧联系起来)的规则。例如，某些类型的节目中某些种类的段最适合用取自段的开始和段的结尾的关键帧表示。规则提供了类型、分类和片断的最相关的部分(关键帧)之间的映射功能。下表所示为一套示例性的映射规则，如果节目34是“恐怖片”，则可应用该规则。
这样，如果节目34是“恐怖片”并且一个片断是“凶杀片断”，该套规则可将片断的开头和结尾指定为最重要的。因此，检索(拷贝、参考等)关键帧A和Z以在内容表格中使用。应该理解，类似于以上所示的分类参数，以上示出的该套规则仅仅是示意性的，而不是用于限定目的。
在确定规则的理想帧时，可实现不同的方法。在典型的实施例中，如上所示，基于片断分类(种类)、音频内容(例如无声、音乐等)、视频内容(例如场景中面孔的数量)、照相机的移动(例如摇镜头、变焦、倾斜等)和类型来选择关键帧。就此而言，可通过首先确定对于节目而言最重要的片断(例如对于“恐怖电影”而言的“凶杀片断”)，然后确定对于这些片断中每个而言最重要的关键帧来选择关键帧。在作出决定的过程中，本发明可实现以下的帧细节计算如果(边缘#+纹理+对象#)＜阈值1，则帧细节＝0如果阈值1＜(边缘#+纹理+对象#)＞阈值2，则帧细节＝1如果(边缘#+纹理+对象#)＞阈值2，则帧细节＝0一旦计算了帧的帧细节，则可以将帧细节同“重要性”及可变加权因子组合起来以产生帧重要性。具体地，在计算帧重要性的过程中，为将预置加权因数应用于存在的片断的不同信息块。这样的信息的例子包括片断重要性、音频重要性、面部重要性、帧细节和移动重要性。这些信息块表示不同的模态(modality)，需要将这些模态组合以产生单一帧号。为了它们组合，将每个加权并加在一起以产生帧的重要性测量。相应地，可按照以下公式计算帧重要性
帧重要性＝W1*片断重要性+w2*音频重要性+w3*面部重要性+w4*帧细节+w5*移动重要性在变焦和缩小情况下，第一和最后一个帧的移动重要性＝1，所有其它帧的移动重要性＝0。
在摇镜头情况下，中间帧的移动重要性＝1，所有其它帧的移动重要性＝0在静态、倾斜、移动摄影车等情况下，所有帧的移动重要性＝1在选择了关键帧后，表格系统32使用关键帧生成基于内容的内容表格。参考图3，其示出示例性的基于内容的内容表格40。如图所示，内容表格40可包括每个片断的列表60。每个列表60包括片断标题62(片断标题典型地包括对应的片断分类)和对应的关键帧64。关键帧64是当根据类型和分类将一套(即一个或多个)规则应用于每个片断时基于该套规则所选择的关键帧64。例如，当使用以上所示的该套规则时，“片断II-谋杀Jessica”是片断的帧1和帧5(即，由于将片断分类为“谋杀片断”)。当用户使用遥控器或其他输入设备时可在每个列表中选择并观看关键帧64。这给用户提供了特定片断的快速提要。由于许多原因(诸如快速浏览节目、跳到节目中的特定点以及观看节目的精彩场面)，这样的内容表格40对用户是有用的。例如，如果节目34是在有线电视网上播放的“恐怖片”，用户可利用机顶盒的遥控器访问节目34的内容表格40。一旦用户访问，其随后选择已经过去的片断的关键帧64。先前的从节目选择帧的系统不能够真正依赖于节目的内容(如本发明一样)。应该理解图3中所示的内容表格40仅仅是用于示例性的目的。具体地，应该理解内容表格40也可包括音频、视频和/或文本内容。
参考图4，其示出方法100流程图。如图所示，方法100的第一步骤102确定具有内容片断的节目的类型。第二步骤104基于内容确定每个片段的分类。第三步骤106基于类型和分类标识片断内的关键帧。第四步骤108基于关键帧生成基于内容的内容表格。
应该理解本发明可以用硬件、软件或硬件与软件的组合实现。任何种类的计算机/服务器系统-或其它适用于实现这里所描述的方法的装置都是适合的。硬件和软件的典型的组合是具有计算机程序的通用计算机系统，当加载并执行该计算机程序时，控制计算机化系统10以使其实现这里所描述的方法。或者，也可利用包含专用硬件用于实现本发明一个或多个功能任务的特殊用途计算机。本发明也可实施在计算机程序产品中，该程序产品包括所有能够实现这里所描述的方法的特征，并且当在计算机系统中加载该程序产品时，该程序产品能够实现这些方法。一套指令的计算机程序、软件程序、程序或软件(在本文中意指以任何语言、代码或符号的任何表达式)用于使具有信息处理能力的系统直接或在以下的两个或任何一个过程后执行特定功能(1)转变为另一种语言、代码或符号；和/或(2)以不同的材料形式复制。
上文已经出于图示和描述的目的对本发明优选实施例进行了描述。以上描述并不用于穷举或将本发明限定在所公开的准确形式，很明显，许多修改和改变也是可能的。对本领域的技术人员而言显而易见的这样的修改和改变用于包括在本技术中。
权利要求
1.一种用于为节目生成基于内容的内容表格的方法，包括确定具有内容片断的节目的类型；基于所述内容确定每个所述片断的分类；基于所述类型和分类标识片断中的关键帧；基于所述关键帧生成基于内容的内容表格。
2.如权利要求1所述的方法，其特征在于通过应用一套规则标识所述关键帧，所述一套规则将所述类型与所述分类以及所述关键帧相关。
3.如权利要求1所述的方法，其特征在于所述确定每个所述片断的分类的步骤包括检查每个所述片断的内容；以及基于所述内容为每个所述片断分配分类。
4.如权利要求1所述的方法，其特征在于基于所述片断中的视频内容和音频内容确定所述分类。
5.如权利要求1所述的方法，其特征在于所述内容表格还包括语音内容、视频内容和文本内容。
6.如权利要求1所述的方法，其特征在于还包括在所述标识步骤之前访问数据库中的所述一套规则。
7.如权利要求1所述的方法，其特征在于所述标识步骤包括计算所述片断的帧重要性。
8.如权利要求1所述的方法，其特征在于所述标识步骤包括将所述类型映射到所述分类以标识所述片断的关键帧。
9.如权利要求1所述的方法，其特征在于还包括操纵所述内容表格以浏览所述节目。
10.如权利要求1所述的方法，其特征在于还包括操纵所述内容表格以访问所述节目中的特定片断。
11.如权利要求1所述的方法，其特征在于还包括操作所述内容表格以访问所述节目的突出部分。
12.一种为节目生成基于内容的内容表格的方法，包括确定具有多个片断的节目的类型，其中所述片断包括视频内容、音频内容和文本内容；基于所述视频内容、所述音频内容和所述文本内容为每个所述片断分配分类；基于所述类型和所述分类通过应用一套规则标识所述片断中的关键帧；以及基于所述关键帧生成基于内容的内容表格。
13.如权利要求12所述的方法，还包括在所述分配步骤之前检查所述片断的所述视频内容和所述音频内容以确定每个所述片断的分类。
14.如权利要求12所述的方法，其特征在于所述基于内容的内容表格包括所述关键帧。
15.如权利要求12所述的方法，其特征在于所述一套规则将所述类型与所述分类以及所述关键帧相关。
16.一种为节目生成基于内容的内容表格的系统，包括类型系统，用于确定具有多个内容片断的节目的类型；分类系统，用于基于所述内容确定节目的每个片断的分类；帧系统，用于基于所述类型和所述分类标识所述片断中的关键帧；表格系统，用于基于所述关键帧生成基于内容的内容表格。
17.如权利要求16所述的系统，其特征在于通过应用一套规则标识所述关键帧，所述一套规则将所述类型与所述分类以及所述关键帧联系起来。
18.如权利要求16所述的系统，其特征在于所述分类系统包括音频检查系统，用于检查所述片断内的音频内容；视频检查系统，用于检查所述片断内的视频内容；文本检查系统，用于检查所述片断内的文本内容；以及分配系统，用于基于所述音频内容、所述视频内容和所述文本内容为每个所述片断分配分类。
19.如权利要求16所述的系统，其特征在于所述内容表格包括从所述应用步骤确定的所述关键帧。
20.如权利要求16所述的系统，还包括在所述应用步骤之前访问数据库中的所述一套规则。
21.一种存储在可记录介质上用于为节目生成基于内容的内容表格的程序产品，当执行所述程序产品时，其包括用于确定具有多个内容的片断的节目的类型的程序代码；用于基于所述内容确定每个所述片断的分类的程序代码；用于基于所述类型和所述分类标识所述片断中的关键帧的程序代码；以及用于基于所述关键帧生成基于内容的内容表格的程序代码。
22.如权利要求21所述的程序产品，其特征在于通过应用一套规则标识所述关键帧，所述一套规则将所述类型与所述分类以及所述关键帧相关。
23.如权利要求21所述的程序产品，其特征在于用于确定分类的所述程序代码包括用于检查所述片断内的音频内容的程序代码；用于检查所述片断内的视频内容的程序代码；用于检查所述片断内的文本内容的程序代码；以及用于基于所述音频内容、所述视频内容和所述文本内容为每个所述片断分配分类的程序代码。
24.如权利要求21所述的程序产品，其特征在于所述内容表格包括从所述应用步骤确定的关键帧。
25.如权利要求21所述的程序产品，还包括在所述应用步骤之前访问数据库中的所述一套规则。
全文摘要
本发明提供用于为节目生成基于内容的内容表格的方法、系统和程序产品。具体地，本发明确定具有片断的节目的类型。一旦确定了类型，为每个片断分配分类。基于片断中的视频内容、音频内容和文本内容分配分类。基于类型和分类，从片断中选择关键帧，用于在基于内容的内容表格中使用。
文档编号G06T1/00GK1672210SQ03817764
公开日2005年9月21日 申请日期2003年7月17日 优先权日2002年8月1日
发明者L·阿格尼霍特里, N·迪米特罗瓦, S·古特塔, D·李 申请人:皇家飞利浦电子股份有限公司