专利名称：用于赶上正在播放的广播或存储内容的方法和设备的制作方法
技术领域：
本发明通常涉及播放内容流，尤其涉及提供自动对内容流提取摘要及定制摘要。
有时，观看诸如在电视广播中或数字通用光盘(DVD)上的娱乐内容流的观众可能希望在错过其中的一部分之后，可以不必观看整个被错过的部分，“赶上(catch up)”内容流里的情节发展。在这些情况下，利用自动内容分析及摘要方法生成的摘要可能是比较有利的。
因此，在技术上需要一种更有效的方法来自动对正在播放的广播或存储的内容部分提取摘要。
为了解决上面讨论的现有技术中存在的缺陷，本发明的主要目的是为了在内容呈现系统中使用，使用把节目映射到新的分段空间的摘要功能，并依赖于内容部分是内容流的开头、中间还是结尾部分，对节目的部分内容流进行自动摘要提取。所生成的摘要也取决于提取摘要的分段的持续时间、摘要的选定长度、节目类型(直播还是从存储器重放)、流派、以及个性化的用户简档信息。如果可用的话，可以将整个节目的全摘要用于生成内容部分摘要。自动视频内容分析以及字幕或辅助信息源分析，如果其中的一种是可用的话，可用来生成摘要。对于本领域技术人员来说，从下列附图、描述和权利要求中了解本发明的其它技术优势是显而易见的。
在阅读下面的本发明详细描述之前，阐明本专利文献中通篇使用的特定词或短语的定义是比较有利的术语“包括”和“包含”以及其它派生词都表示不受限制的包含；术语“或”是包含性的意思，意味着以及/或；短语“相关联”和“与之关联”以及其它派生词表示包括、包括于、相互连接、包含、包含于、连接、耦合、可通信、协同、交织、并列、接近、固定于、具有、具有……的属性以及类似的词；术语“控制器”表示控制至少一个操作的任意装置、系统或它们的一部分，不管这种装置以硬件、固件、软件或其中至少两种的某种组合的方式来实现。应该注意到，与任意特定控制器相关联的功能可以集中管理或者分布式管理，不管是本地的还是远程的。贯穿该专利文献始终，提供了特定词或短语的定义，本领域普通技术人员将理解这些定义应用于许多现有技术的例子中，即使不是大部分的例子里，同时未来也会使用所定义的这些词和短语。
为了更完整地理解本发明及其所具有的优点，可以参照以下结合附图的描述来理解本发明，附图中的相同编号表示相同的对象，其中
图1描述了一种根据本发明实施方案的组合内容呈现及自动提取摘要的系统。
图2是图示根据本发明实施方案的提取一部分节目的摘要的过程的高层流程图；以及图3图示了根据本发明的一个实施方案对节目的不同部分自动提取摘要。
下面讨论的图1至3和本专利文献中用于描述本发明原理的不同实施方案仅仅用于描述本发明，不应以任何方式解释为限定本发明的保护范围。本领域技术人员可以理解本发明的原理可以在任何合适地配置的设备中实现。
图1描述了一种根据本发明实施方案的组合内容呈现及自动提取摘要的系统。系统100包括一个具有连接102的处理器或控制器101，该连接连接到无线广播、地面或卫星天线、广播电缆或可经其接收视频和/或音频内容的因特网中的一个或多个。替代地，或者除连接102之外，系统100还包括连接103，用于从诸如数字通用光盘(DVD)、光盘(CD)、安全数字(SD)存储器及其类似的存储介质中检索所存储的内容。处理器101也连接到包含可由处理器101执行的软件的存储器104，所述软件用以控制系统100的操作，在输出装置105(例如，视频显示器和/或音频扬声器)上生成连接102和/或103上接收到的内容的显示，以及执行在下面将进一步详细描述的自动提取摘要。系统100可选地包括远程控制装置106，优选可编程的，该远程控制装置106为用户提供了一组用于操作系统100以及可选地实现一部分提取摘要处理的用户控制。例如，远程控制装置106包括一专用按钮，该按钮用于启动自动对所错过内容部分提取摘要。
本领域技术人员将意识到在附图或本文的描述中并没有描述出内容呈现及自动摘要系统100的完全构造和操作。替代地，出于简化或清楚的考虑，仅描述了内容呈现及自动摘要系统中那些为了理解本发明所必需的或本发明独有的部分。另外，本领域技术人员将意识到内容呈现及自动摘要系统100可以实现为诸如电视系统、视频或音频接收器、视频或音频播放器、这些设备的任意组合以及个人数字助理(PDA)等中的一种或多种。
仅仅为了说明起见，根据本发明的摘要提取将参考来自地面或广播视屏内容流或者记录在视频存储介质中的视频内容进行描述。通常，用于广播视频内容的电子节目向导(EPG)提供了正在播放的节目的简要描述，还提供了诸如标题、流派、演员表等高级信息。另外，通常是相对于整个节目而言，摘要提取技术允许生成视频内容的较短表示。本发明所要解决的问题涉及加入到一个已播放的节目中，并赶上被错过的节目部分中的事件，或者迅速获得电影或其它节目的任意部分的摘要。例如，如果观众在棒球比赛开始之后30分钟才开始观看，摘要系统应给出到目前为止比赛的最精彩场面。
本发明提供了智能的、自适应的摘要提取技术，该技术通过考虑节目总长度(如果知道的话)、已播放的节目长度、流派以及一般的全摘要(如果可用的话)，给出最佳摘要结果。基于那些信息生成的追加摘要应根据不同观众进行个性化。
图2是图示根据本发明一个实施方案的提取一部分节目摘要的过程的高层流程图。过程200是由处理器101通过执行来自存储器104的软件程序，并对输入102和/或103上接收到的内容进行操作来执行的。过程200开始于启动对一部分接收到的内容(或节目)提取摘要(步骤201)。首先，为节目p得出总摘要函数S(p)，基于内容中某些特征的出现或不出现，该函数把连续的原始节目映射到的新的分段空间(步骤202)。为具有可利用的全摘要F(p)的节目检索该全摘要(可选步骤203)。基于用户简档中的期望摘要长度、摘要中要包括的媒体元素(图像、音频、文本)、摘要中的内容元素等，利用对正播放的节目部分操作的摘要函数S(p)，以及全摘要F(p)-如果可用的话，得出错过部分(根据用户加入正播放的节目的时间或按用户定义确定)的追及摘要C(p)。在最简单的情况中，追及摘要C(p)可以是一个仅从摘要S(p)和F(p)中挑选特定元素的线性函数，如下面所进一步详细描述的。
本发明的目的是仅提取节目的一部分的摘要，以赶上电影、或任何正播放的节目或者定期广播。假设系统100具有把节目内容和元数据信息存储到存储器104的记录能力，并耦合有在处理器101上执行来分析节目内容的软件。虽然已经知道了一般摘要技术，但是仅对节目的一部分的摘要提取需要解决当正播放的节目的一部分已经被呈现并且观众希望在节目的当前点处加入而不必观看整个被错过的部分时，自动提取被错过的内容的摘要的问题，。
图3图示根据本发明一个实施方案使节目的不同部分自动提取摘要。在本发明中，所生成的摘要取决于是要对正播放的节目的开始、中间还是结尾部分提取摘要。在快速启动的情况下，观众期望在节目启动n分钟之后开始观看节目。在播放中间出现中断的情况下，观众的注意力被临时转移到另一个诸如接打电话之类的任务上，用户只想用比她实际缺席更少的时间来简单“赶上”她缺席期间所播放的内容，而不是观看整个被错过的部分。对体育消息广播来说，这一特征是很有用的，在体育消息广播中，用户并不希望耽搁该广播的整个剩余部分，而是更希望了解刚刚播放的内容(例如发生的什么有趣事件)，然后在当前临时点重新加入正在播放的节目。最后，在快速结束的情况下，在接近节目结尾时，用户可能更希望去作其它事情(例如出去)，而不是观看节目的所有剩余部分，但也不希望因此而错过结尾。
本发明基于被提取摘要的正播放的节目300的一部分分别是节目的开头、中间还是结尾部分301-303，来提供正播放的节目300的一部分的“追及”摘要。这意味着基于被提取摘要部分相对于节目的实际长度而言是开头和结尾的部分，普通的摘要算法将被“偏置(biased)”，以致于使自适应摘要器不但要考虑特征，而且还对提取摘要进行多次迭代以确定最终的摘要。也应该基于诸如可用时间、被错过的时间、对文本、立体或多媒体摘要的偏爱、流派以及观看摘要的位置等用户偏好来个性化摘要。
此外，根据是否存储及预分析了节目或者节目是否涉及直播内容，摘要会有不同。在直播的情况下，必须基于节目中迄今已知的内容，来决定要提取摘要的内容，而不用考虑稍后节目中可能出现的重要部分。在对已存储的内容(或者在存储介质上，或者来自存储器的广播)提取摘要时，其中整个节目是可用的，基于稍后事件的重要顺序，可偏置提取开头或中间部分的摘要。例如，如果一个人起初是作为一个小角色出现，但后来变成一个关键人物，那么在节目300的开头及中间部分301、302的摘要中，可以包括比仅被那些部分的内容所保证的多得多的关于这个人物的信息。
对于所存储的内容，应该考虑要进行摘要处理的内容的来源DVD、广播或Web下载电影。在DVD或者类似的存储介质的情况下，追及摘要可包括预览宣传片或在存储介质上包括的其它信息。此外，摘要系统可以选择性地聚焦在特定事件或人上。如果存储介质上包括电影剧本(filmography)，摘要算法也可以使用那些剧本。
在下载的电影的情况下，可以把来自其它Web站点的附加信息提供给摘要算法，例如提供关于情节和故事结尾的信息的全部抄本或节目播出顺序表，即使对于所存储的视频来说，字幕数据是不可用的也是如此。可以使用来自评论家和影迷的电影评论，来反复核查电影里的重要事件和人物。使用这种信息需要经细化的语义原文和视听分析的链接，例如通过字幕。如果没有完善的分析可以利用，那么至少可以通过给出额外的观点的方式，利用这些评论来丰富摘要。
对于存储的内容或者下载的内容(如果因特网连接是可用的)或者来自另一资源的外部信息，从那些源可用的信息可以影响摘要提取过程。例如，可以使用关于第二次世界大战的Web站点来给一个第二次世界大战电影增加新的信息。
摘要完整性和摘要呈现是生成摘要时要考虑的两个因素。对于摘要完整性来说，要考虑使用全摘要的必要性和全摘要对部分摘要的影响，而不管是否使用了“快速结束(fast finish)”选项。为用户呈现摘要的不同模式可以根据用户想如何得到摘要、以及可用的摘要时间、被错过的时间、用户偏好、流派，来提供例如即时摘要、快速浏览或完整(长)摘要中的一种。
严格为了举例起见，根据本发明对电影提取摘要可以按照以下方式进行对于快速开始的摘要(摘要电影的开头部分)来说，摘要包括预告片(如果可用的话)、标题页、来自电子节目向导的标题演员表、以及在有最大时间限制的条件下电影内容的映射(即，15分钟映射成2分钟，以及45分钟也映射到2分钟)。对于中间或中部的摘要来说，选择个性化的摘要内容来呈现新奇项，基于个人检测和事件检测(例如爆炸)、新人物的出现、以及根据结尾(如果可用的话)来加入摘要内容。对于结尾部分的快速结束的提取摘要来说，摘要提供给观众关于剧情高潮(例如，杀手的识别或中心人物是否结婚)的信息、每个重要人物发生的事情、电影里事件的完全摘要和任何悬念的解决(对于一个“缓慢的“快速完成来说)，以及如果存在的话，正文的收场段落。
在本发明中，优选提供远程控制106上的特定按钮或可编程用户控制，从而使用户访问该追及功能。基于用户偏好，立即呈现该追及摘要。可以根据从开始播放节目还是在运行期间加入等，或者基于用户输入来自动选择所生成的摘要类型(开头、中间或结尾)。通过连续以不同次数操作追及(catch-up)按纽，用户可以选择摘要呈现的级别(即，细节或持续时间量)。可以对开头、中间及结尾这三种追及摘要使用相同的接口。在结尾的情况下，用户可以操作该控制，然后出去，期待该设备会依据用户偏好中关于应该何时交付追及摘要而执行—也就是说，电影结尾的摘要可以一直在家庭电影服务器上等待，直到该观众返回，或者观众可期待来自家庭媒体服务器的包括结尾描述的电话。
利用把节目内容映射到新的分段空间的摘要功能，本发明允许为用户自动提取任意内容流部分的摘要，提取摘要的不同取决于被提取摘要的部分是内容流的开头、中间段或者内容流的结尾。所生成的摘要也取决于被提取摘要的分段的持续时间、摘要的选定长度、节目类型(直播或从存储器重放)、流派以及个性化的用户简档信息。整个节目的全摘要，如果可用的话，可以用于生成部分摘要，并且可以迭代摘要提取过程来获取最终的摘要。自动视频内容分析，以及字幕或辅助信息源分析，如果其中的一个是可用的话，可用于生成摘要。
值得注意的是，当在全功能系统的上下文中描述本发明时，本领域技术人员将意识到本发明的至少一些部分机制可以以机器可用介质的形式分发，该机器可用介质包含不同形式的指令，并且本发明平等地得到应用，而不管用来实际实施分发的承载信号的媒介的特定类型是什么。机器可用介质的例子包括非易失性、诸如只读存储器(ROM)或电可擦除只读存储器(EEPROM)之类的硬编码型介质，诸如软盘、硬盘驱动器和光盘(CD-ROM)或数字通用光盘(DVD)之类的可记录型介质，以及诸如数字及模拟通信链路和帧或分组之类的数据传输型介质。
虽然已详细描述了本发明，但本领域技术人员将理解在不脱离本发明的精神和范围的前提下，对本文公开的发明进行的各种改变、替换、变更、提高、细微差异、渐变、更小的形式、更替、修改、改进及删减都可以以最宽的形式来做出。
权利要求
1.一种内容呈现系统[100]，包括输入端[102，103]，在该输入端上接收内容流[300]；存储器[104]，在其中存储至少一部分接收到的内容流[300]；以及控制器[101]，其耦合到存储器[104]上，并对接收到的内容流的选定部分提取摘要，其中由控制器[101]生成的摘要取决于接收到的内容流的选定部分是内容流[300]的开头部分、中间部分还是结尾部分[301-303]。
2.根据权利要求1所述的内容呈现系统[100]，其中由控制器[101]生成的摘要取决于内容流[300]的选定部分的长度和摘要长度。
3.根据权利要求1所述的内容呈现系统[100]，其中由控制器[101]生成的摘要取决于内容流[300]的已经历的时间和内容流[300]的总长度。
4.根据权利要求1所述的内容呈现系统[100]，其中由控制器[101]生成的摘要取决于内容流[300]包括的是直播还是所存储内容的重放。
5.根据权利要求1所述的内容呈现系统[100]，其中控制器[101]执行将内容流[300]的选定部分映射到新的分段空间以生成摘要的摘要功能。
6.根据权利要求5所述的内容呈现系统[100]，其中如果可用的话，摘要功能使用整个内容流[300]的全摘要。
7.根据权利要求5所述的内容呈现系统[100]，其中摘要功能包括视频内容分析、字幕分析、以及对从与内容流[300]相分离的源检索的辅助信息的分析中的一种或多种。
8.一种包括根据权利要求1所述的内容呈现系统[100]的视频显示设备，该视频显示设备包括显示器[105]，在该显示器上呈现内容流[300]和摘要；以及远程控制单元[10]，选择性地控制视频显示设备的操作。
9.根据权利要求8所述的视频显示设备，其中远程控制单元[106]包括通过控制器[101]选择性地启动摘要的生成的用户控制。
10.一种内容呈现方法[200]，包括接收内容流[300]；存储至少一部分接收到的内容流[300]；以及对接收内容流[300]的选定部分提取摘要，其中通过摘要提取而生成的摘要取决于接收到的内容流[300]的选定部分是内容流[300]的开头部分、中间部分还是结尾部分。
11.根据权利要求10所述的方法[200]，其中摘要取决于内容流[300]的选定部分的长度和摘要长度。
12.根据权利要求10所述的方法[200]，其中摘要取决于内容流[300]的已经历时间和内容流[300]的总长度。
13.根据权利要求10所述的方法[200]，其中摘要取决于内容流[300]包括的是直播还是所存储内容的重放。
14.根据权利要求10所述的方法[200]，其中通过执行把内容流[300]的选定部分映射到新的分段空间的摘要功能来生成摘要。
15.根据权利要求14所述的方法[200]，其中如果可用的话，摘要功能使用整个内容流[300]的全摘要。
16.根据权利要求14所述的方法[200]，其中摘要功能包括视频内容分析、字幕分析、以及对从与内容流[300]相分离的源中检索到的辅助信息的分析中的一种或多种。
17.根据权利要求10所述的方法[200]，进一步包括响应于用户控制在远程控制装置[106]上的操作来启动摘要的生成。
18.一种视频系统[100]，包括显示器[105]；以及控制器[101]，该控制器选择性地启动对显示器[105]上正显示的内容流[300]的选定部分的摘要的显示，其中摘要取决于该选定部分是内容流[300]的开头部分、中间部分还是结尾部分。
19.根据权利要求18所述的视频系统[100]，其中摘要取决于下列项中的一项或多项内容流[300]的选定部分的长度；用户选定的摘要的长度；内容流[300]的已经历时间；内容流[300]的总长度；以及内容流[300]包括的是直播还是所存储内容的重放。
20.根据权利要求18所述的视频系统[100]，其中响应于和视频系统[100]相关联的远程控制[106]上的摘要用户控制的操作，控制器启动摘要的显示。
全文摘要
自动提取节目的内容流(300)的部分(301－303)的摘要利用把节目映射到新的分段空间的摘要功能并根据内容部分的开头、中间还是结尾部分。所生成的摘要也依赖于被提取摘要的分段的持续时间、摘要的选定长度、节目类型(直播还是从存储器重放)、流派、以及个性化的用户简档信息。如果可用的话，可以利用整个节目的全摘来生成这部分内容的摘要。自动视频内容分析，和字幕或辅助信息源分析一起，如果其中的一个是可用的话，可用来生成摘要。
文档编号G11B27/10GK1977262SQ200580012371
公开日2007年6月6日 申请日期2005年4月21日 优先权日2004年4月23日
发明者N·迪米特罗瓦, M·巴比里, L·阿尼霍特里 申请人:皇家飞利浦电子股份有限公司