专利名称：动态关键帧的生成与使用的制作方法
技术领域：
本发明一般涉及处理电视(TV)节目的视频源帧的方法和系统，更具体地说，涉及这种动态并受控于视频处理系统中存储的算法的处理。
如果电视(TV)用户在电视节目初始部分已经播放后打开电视，则用户可能决定观看该电视节目的剩余部分，但却不知道该电视节目的初始部分，也不知道他或她是否可能喜欢观看该电视节目的剩余部分。因此，需要一种方法和系统来帮助这样的电视用户决定是否观看电视节目的剩余部分。
本发明提供一种用于处理视频源帧的方法，所述方法包括提供视频处理系统(VPS)，该系统包括处理器、存储器结构和视频输入装置，其中处理器连接到存储器结构和视频输入装置；通过该视频输入装置将视频源帧从视频源输入到VPS；由处理器执行视频源帧；在执行期间，从视频源帧中动态且非连续地抽取关键帧，所述抽取根据存储器结构中存储的帧抽取算法而实现并由处理器执行；在存储器结构的第一存储器中存储抽取的关键帧；以及在视频源帧的所述执行完成前终止抽取关键帧。
本发明提供了一种用于处理视频帧的系统，所述系统包括视频帧抽取算法，在视频源帧的执行期间从视频源帧动态且非连续地抽取关键帧；处理器，执行视频源帧并执行视频帧抽取算法；视频输入装置，从视频源接收视频源帧；其中视频输入装置连接到处理器；
存储器结构，连接到处理器，其中存储器结构存储视频帧抽取算法，并且其中存储器结构的第一存储器存储抽取的关键帧；以及终止机制，在视频源帧执行完成前终止关键帧的抽取。
本发明提供了一种方法和结构，用于帮助电视(TV)用户决定在其打开电视时电视节目的初始部分已经播出的情况下是否观看该电视节目的剩余部分。
图1显示根据本发明的实施例的视频处理系统的方框图；图2显示根据本发明的实施例的关键帧抽取；图3显示根据本发明的实施例，结合相关关键帧的抽取、存储和清除的视频源帧实时域。
图1显示根据本发明的实施例的视频处理系统(VPS)10的方框图。VPS10包括处理器12、连接到处理器12的存储器结构14、连接到处理器12的视频输入装置18、连接到处理器12的用户输入装置19、连接到处理器12的视频处理装置34、以及连接到处理器12的输出显示器20。系统10可表示计算机系统(例如，台式、膝上型、掌上型计算机系统)、电视(TV)用机顶盒等。
存储器结构14包括一个或多个存储装置或其中的区域(例如，存储装置或区域22或24)，所述装置或区域可包括临时存储器、永久性存储器和可移动存储器。存储在临时存储器中的数据在VPS10的电源断开时会消失。临时存储器可包括随机存取存储器(RAM)等。存储在永久存储器中的数据在VPS10的电源断开时仍然存在。永久存储器可包括硬盘存储器、光存储器等。可移动存储器可以方便地从VPS10中取出。可移动存储器可包括软盘或磁带等。
视频输入装置18是用于接收视频信号和视频信号中的视频帧的一个或多个视频输入装置(例如，天线、圆盘式卫星电视天线等)。用户输入装置19是一个或多个用户输入装置，其中可包括遥控器、键盘、鼠标等。输出显示器20包括显示视频帧中所包含内容(即一个或多个视频帧)的任何显示器，如电视显示器、计算机监视器等。输出显示器20也许能够显示所有内容(视频、音频、文本等)或其中的部分内容(例如，仅限于视频内容、仅限于音频内容、仅限于文本内容等)。
图1显示的视频源30是一个或多个视频节目源。视频源30是可由VPS10通过通信媒体或路径25(如电视电缆线路)接收的视频节目源。视频源30可包括电视(TV)广播系统、电视卫星系统、因特网网站、本地设备(如VHS磁带播放器、DVD播放机)等。虽然本发明的实施例针对的是电视节目，但本发明的范围包括可通过VPS10从视频源30传递到用户的任一视频节目(即任一视频帧的节目序列)。因此，视频源30也可包括通过因特网广播视频节目的因特网网站，其中此类因特网广播的节目可由VPS10通过技术上可行的任一通信媒体或路径25(如电话线、电视电缆线路等)接收。
图1也显示了通过用户输入装置19和输出显示器20与VPS10通信的用户40。
在图1中，视频源帧(如电视节目)通过通信媒体或路径25从视频源30传送到VPS10的视频输入装置18。本发明的一个方面是从上述视频源帧中抽取称为关键帧的帧子集，如图2所示。
图2显示了根据本发明的实施例的关键帧抽取。在图2中，对视频源帧44(表示为A1，A2，...，A12)进行处理以形成关键帧48(表示为B1、B2、B3)。关键帧48的构成在两个方面少于所有视频源帧44。第一方面是，只对视频源帧44的初始部分45(即帧A1，A2，...，A6)进行抽取以生成关键帧48，而视频源帧44的剩余部分46(即帧A7，A8，...，A12)不存在抽取的可能性。实际上，在帧A6的处理完成时，帧抽取方法或机制便已停止或禁止。第二方面是，B1、B2和B3的关键帧48是非连续地从视频源帧44的初始部分45中抽取的。非连续抽取意味着并非抽取初始部分45的所有帧，即在形成关键帧48时，初始部分45中至少一帧没被抽出。由于第二方面的原因，后续回放关键帧48所需要的时间少于初始部分45的实时播放时间。
关键帧48可以有利地用于下面的情况，其中电视用户40(参见图1)在电视节目初始部分已经播出后打开电视。如果在电视节目的初始部分45执行(即播放)时已实时生成了从电视节目的视频源帧44的初始部分45抽取的关键帧48，则用户随后可浏览(如回放)关键帧48以决定是否观看该电视节目的剩余部分46。由于关键帧48只是暂时使用，因此关键帧48可存储在临时存储器(如RAM)中，并在该关键帧48不再需要(如已浏览了该关键帧48后)时便立即清除。这样，关键帧48不代表VPS系统10的存储容量上的主要负担(参见图1)。
回到图1，且如上所述，视频源帧通过通信媒体或路径25从视频源30传送到VPS10的视频输入装置18。随着视频源帧进入VPS系统10并由处理器12处理或控制，视频源帧会由处理器12实时地进行所谓的“执行”。视频源帧通过视频路径26传递到视频处理装置34，然后通过视频路径27进入存储器结构。视频处理装置34执行从视频源帧抽取关键帧所需的对视频源帧进行的任何硬件处理。
关键帧的抽取是根据存储器结构14中存储的帧抽取算法32实现的。帧抽取算法32确定要抽取视频源帧的哪些帧，并且其中可包括本领域的普通技术人员所知的任一帧抽取方法。基于内容的帧抽取算法的示例是美国专利6137544(2000年10月24日，Dimitrova等人)中公开的场景检测关键帧方法，这里通过引用将该专利的全部内容结合到本文中。美国专利6137554公开了四种场景检测关键帧方法，名为方法1(第5列，第27行-第6列，第31行)、方法2(第6列，第32行-第7列，第22行)、方法3(第7列，第23行-第8列，第18行)及方法4(第8列，第19行-第9列，第43行)。通常，帧抽取算法32可包括确定抽取视频源帧中哪些帧的任一方法。也可使用独立于内容的帧抽取方法，如仅抽取奇数帧(即编号为1、3、5...的帧)。帧抽取算法32可以是由处理器12执行的软件包的一部分，并且可以存储在存储器结构14的RAM等中。或者，帧抽取算法32可编码在硬件中，如编码到只读存储器(ROM)芯片等上。注意，帧抽取算法32的具体情况决定是否需要视频处理装置34，因为帧抽取算法32可能不要求视频源帧进行硬件处理，并可能只要求将视频源帧从输入装置26传递到存储器结构14。
在对视频源帧进行实时动态执行时生成关键帧。动态抽取意味着在执行视频源帧时的实时抽取。关键帧存储在存储器结构14中并可存储在临时存储器(如RAM)、永久存储器(如硬盘存储器)或可移动存储器(如软盘或磁带存储器)中。将关键帧存储在RAM中的优点是对RAM的数据访问要快于对永久存储器的数据访问。此外，如果只是暂时使用关键帧，由此在它们生成后不久便将被清除，则无需存储关键帧的永久存储器。另外，永久存储器可能变满，这样临时存储器是存储附加数据唯一可用的存储器。将关键帧存储在永久存储器的优点是由于处理器正在并行运行其它应用而其它应用具有密集的RAM要求，因此可能没有足够可用于存储关键帧的RAM。此外，对于需要保留以备将来使用的那些关键帧，永久存储器可使关键帧即使在VPS10电源断开后也存在。将关键帧存储在可移动存储器中的优点是如果需要可方便存储关键帧以备将来使用，而不会影响RAM、硬盘等存储资源。
对于本发明的典型用法，关键帧抽取将在视频源帧执行完毕前终止。例如，如果视频源帧涉及60分钟的电视节目，用户40可能在该节目播放了15分钟后打开电视，然后浏览关键帧以决定是否观看电视节目剩余的45分钟。由于浏览关键帧可能要一或二分钟，因此留给用户后续观看该电视节目的时间将少于45分钟，从而留下了时间差，以下将结合图3的讨论说明该时间差。
用户40可采取措施终止关键帧抽取，如操作用户输入装置19等。例如，如果用户输入装置19是遥控装置，则可以通过按压遥控装置上的按钮触发关键帧抽取的终止。或者，抽取算法32可包括在预定条件发生时终止关键帧抽取的功能。许多预定条件的示例可用于终止关键帧抽取。第一个示例包括从视频源帧执行开始(例如，执行30分钟电视节目的前5分钟)的预定时段的执行。第二个示例包括执行视频源帧的预定部分或百分比或数量(如分别为执行对应于30分钟电视节目的前6分钟的2000帧视频源帧的0.20或20％或100帧)。上述示例说明的情况是用户40预计无法观看电视节目的初始部分，但能够估计大约何时他或她将能够打开电视观看电视节目的剩余部分。VPS10也可包括由算法32在预定条件发生时使其发声的铃或蜂鸣器，从而提醒用户40及时开始浏览关键帧。
关键帧抽取终止后，算法32可表明关键帧抽取在视频源帧序列的何处终止(即关键帧抽取终止时抽取的视频源帧的指示)。随后，可以通过生成包括该指示的特殊关键帧等方法并将该特殊关键帧附在存储器结构14中存在的已抽取关键帧上来记录此指示(如视频源帧编号的特定帧编号)。如果视频源帧由VPS10记录和保存，则记录此指示使用户40能够确定视频源帧未抽取的剩余部分的开始之处。用户40的这个确定使其可在以后以有序组合方式观看关键帧和视频源帧的剩余部分。
出于用户浏览的目的，已抽取关键帧可通过输出显示器20进行浏览，该显示器可以是电视显示器或计算机监视器等。“可浏览”指的是能够具有可供浏览的已抽取关键帧的视频、音频和文本帧内容，或其中的部分(如仅限于视频内容、仅限于音频内容、仅限于文本内容等)。已抽取关键帧从存储器结构14移动(例如复制)到输出显示器20。用户40通过输出显示器20动态实时地浏览关键帧，并因此决定是否观看电视节目的剩余部分，即在用户40浏览完关键帧后进入VPS10的剩余视频源帧。例如参见以上讨论的图2中视频源帧44的剩余部分46。
在图1中，如果用户40不再使用关键帧，则可以清除关键帧。因此，用户可诸如通过操作用户输入装置19等激活对关键帧的清除。例如，如果用户输入装置19是遥控装置，则可以通过按压遥控装置上的按钮触发对关键帧的清除。或者，抽取算法32可包括在预定条件发生时清除关键帧的功能。许多预定条件的示例可用于清除关键帧。第一个示例包括在用户40浏览了关键帧后经过预定时间量(例如浏览后的2分钟)进行清除。第一个示例假定关键帧在浏览后无需保留，但仍允许用户有时间缓冲(如2分钟)，在此缓冲时间内决定返回并启动第二次关键帧浏览。第二个示例包括完成视频源帧的执行，假定用户40无法确定在电视节目结束后他或她将不需要再次浏览关键帧。当然，用户40可决定不清除关键帧，或者可决定保存关键帧以备将来使用。如果用户40希望保存关键帧以备将来使用，并且如果关键帧存储在临时存储器(如RAM)或永久存储器(如硬盘存储器)中，则用户40可执行将关键帧复制到可移动存储器(例如软盘存储器或磁带)。临时存储器或永久存储器中的关键帧在复制到可移动存储器后可被清除。
图3说明根据本发明的实施例，结合相关关键帧的抽取、存储和清除执行视频源帧的实时域。在图3中，从时间t1到t2进行视频源帧的执行的步骤50，其中，t1＜t2。从时间t1到tA进行从视频源帧抽取关键帧的步骤52，其中，t1＜tA＜t2。因此，抽取关键帧52在视频源帧的实时执行50期间动态(且如上所述非连续地)进行。可通过上述任一方法在时间tA终止抽取关键帧52。将已抽取关键帧存储在存储器结构14(见图1)的步骤54与抽取关键帧的步骤52并行进行，即从时间t1到tA。用户40浏览已抽取关键帧的步骤56(见图1)可如图3所示在tA或tA之后开始，并在时间tB结束，其中，tA＜tB＜t2。浏览了已抽取关键帧后，用户40(见图1)可选择执行步骤58中的观看从时间tW到时间t2的剩余视频源帧，其中，tB＜tW＜t2。
上述时间顺序留下了时间差51(从时间tA到时间tB)，在该时间差期间，视频帧在执行但用户40看不到，因为抽取步骤52在时间tA终止，而浏览步骤56在时间差51期间发生。此问题的解决方法是在时间tB而不是在时间tA终止抽取步骤52，这样在抽取步骤52仍在执行时进行浏览步骤56，并且浏览步骤56因而早于抽取步骤52的终止而进行。此解决方法使用户40(见图1)浏览的关键帧包括了步骤58中观看的那些视频源帧前的所有视频源帧。
本发明的优点在于已抽取关键帧一般在浏览后便不再需要并因此被清除，这释放了已抽取关键帧占用的存储器结构14中的空间(见图1)。相应地，在浏览步骤56结束时或结束后不久，即在时间tE，其中tE＜tB，可启动清除已抽取关键帧的步骤60。清除步骤60在时间tC终止。与本文所讨论的其它时间标度(如抽取时段或浏览时段)相比，清除时段即tC-tE是很短的。在独立应用中，用户40(见图1)可选择保持已抽取帧以便在视频源帧完全执行后使用。在此类独立应用中，清除步骤60可在视频源帧执行完成的时间t2之后执行。
虽然以上论述集中在对应于一个电视节目的一组视频源帧，但本发明的范围一般包括同时处理一组或多组这种视频源帧。这种同步处理N个视频源帧包括动态且非连续地抽取对应于N组视频源帧中的每一组的关键帧组，其中N＞1。这种同步处理使用户40(见图1)能够在有N个节目且每个节目已播放一部分的情况下决定观看N个对应电视节目中的哪个节目。
虽然本文说明性地讨论了本发明的特定实施例，许多修改和变化对本发明的技术人员都是显而易见的。因此，所附权利要求书旨在包括在本发明的真实精神和范围之内的所有此类修改和变化。
权利要求
1.一种处理视频源帧(44)的方法，它包括提供视频处理系统(VPS)(10)，该系统包括处理器(12)、存储器结构(14)和视频输入装置(18)，其特征在于，所述处理器(12)连接到所述存储器结构(14)和所述视频输入装置(18)；通过所述视频输入装置(18)将视频源帧(44)从视频源(30)输入到所述VPS(10)；由所述处理器(12)执行(50)所述视频源帧(44)；在所述执行(50)期间，从所述视频源帧(44)中动态且非连续地抽取(52)关键帧(48)，所述抽取(52)根据所述存储器结构(14)中存储的帧抽取算法(32)而实现并由所述处理器(12)执行；在所述存储器结构(14)的第一存储器中存储(54)所述已抽取关键帧(48)；以及在所述视频源帧(44)的所述执行(50)完成前终止抽取(52)关键帧(48)。
2.如权利要求1所述的方法，其特征在于，还包括在所述第一存储器中记录所述终止发生时执行(50)的视频源帧(44)的指示。
3.如权利要求1所述的方法，其特征在于，由所述VPS(10)的用户(40)的操作触发所述终止。
4.如权利要求1所述的方法，其特征在于，所述终止在预定条件出现时发生。
5.如权利要求1所述的方法，还包括由所述VPS(10)的用户(40)浏览(56)所述关键帧(48)，其特征在于，所述浏览(56)是通过连接到所述处理器(12)的输出显示器(20)进行的。
6.一种处理视频帧(44)的系统，它包括视频帧抽取算法(32)，在所述视频源帧(44)的执行(50)期间，从所述视频源帧(44)动态且非连续地抽取(52)关键帧(48)；处理器(12)，执行(50)所述视频源帧(44)并执行所述视频帧抽取算法(32)；视频输入装置(18)，从视频源(30)接收所述视频源帧(44)的，其特征在于所述视频输入装置(18)连接到所述处理器(12)；存储器结构(14)，它连接到所述处理器(12)，其特征在于所述存储器结构(14)存储所述视频帧抽取算法(32)，以及其中所述存储器结构(14)的第一存储器存储(54)所述已抽取关键帧(48)；以及终止机制，在所述视频源帧(44)的执行(50)完成前终止所述关键帧(48)的抽取(52)。
7.如权利要求6所述的系统(10)，其特征在于，还包括记录机制，它在关键帧(48)的所述抽取(52)终止时，在所述第一存储器中记录执行(50)的视频源帧(44)的指示。
8.如权利要求7所述的系统(10)，其特征在于，所述记录机制将所述指示记录在添加到所述已抽取关键帧(48)的特殊关键帧中。
9.如权利要求6所述的系统(10)，其特征在于，所述终止机制包括用户控制装置。
10.如权利要求6所述的系统(10)，其特征在于，所述终止机制在预定条件出现时终止所述抽取(52)。
11.如权利要求10所述的系统(10)，其特征在于，所述预定条件包括抽取(50)所述视频源帧(44)的预定部分或百分比。
12.如权利要求10所述的系统(10)，其特征在于，所述预定条件包括抽取(50)预定数量的视频源帧(44)。
13.如权利要求10所述的系统(10)，其特征在于，所述预定条件包括从所述视频源帧(44)的所述执行(50)开始经过的预定时段。
14.如权利要求6所述的系统(10)，它还包括输出显示器(20)，用户(40)可通过该显示器浏览所述已抽取关键帧(48)，其特征在于，所述输出显示器(20)连接到所述处理器(12)。
15.如权利要求14所述的系统(10)，其特征在于，所述系统(10)允许在所述视频源帧(44)的执行(50)完成前浏览(56)所述关键帧(48)。
16.如权利要求15所述的系统(10)，其特征在于，所述系统(10)允许在所述终止机制终止抽取(52)所述关键帧(48)之时或之后浏览(56)所述关键帧(48)。
17.如权利要求15所述的系统(10)，其特征在于，所述系统(10)允许在所述终止机制终止抽取(52)所述关键帧(48)之前浏览(56)所述关键帧(48)。
18.如权利要求14所述的系统(10)，其特征在于，所述系统(10)允许在所述视频源帧(44)的执行(50)完成之时或之后浏览(56)所述关键帧(48)。
19.如权利要求14所述的系统(10)，其特征在于，还包括清除机制，该机制在所述用户(40)浏览(56)完所述关键帧(48)之时或之后从所述第一存储器清除(60)所述关键帧(48)。
20.如权利要求6所述的系统(10)，它还包括所述存储器结构(14)的第二存储器和传送机制，其特征在于，所述传送机制将所述关键帧(48)从所述第一存储器传送到所述第二存储器，并且其中所述第二存储器包括可移动存储器。
21.如权利要求20所述的系统(10)，它还包括清除机制，所述清除机制在所述传送机制完成所述关键帧(48)从所述第一存储器到所述第二存储器的传送后，从所述第一存储器清除(60)所述关键帧(48)。
全文摘要
利用视频处理系统(VPS)(10)处理视频源帧(44)(如电视电影)的动态方法和系统，视频处理系统包括处理器(12)、存储器结构(14)、输入装置(19)和输出显示器(20)。VPS(10)从视频源(30)接收的视频源帧(44)由处理器(12)执行。在执行(50)视频源帧(44)时，从视频源帧(44)抽取称为关键帧(48)的帧子集(44)，并将其存储(54)在存储器结构(14)中。关键帧(48)的抽取(52)是根据帧抽取算法(32)而实现的。抽取(52)在视频源帧(44)的执行(50)完成前终止。抽取(52)终止后，用户(40)通过输出显示器(20)浏览(56)关键帧(48)，以确定是否观看视频源帧(44)的剩余部分。关键帧(48)在浏览(56)后清除(60)。
文档编号H04N5/44GK1459188SQ02800615
公开日2003年11月26日 申请日期2002年2月20日 优先权日2001年3月13日
发明者S·古塔, K·库拉帕蒂, A·科尔梅纳雷兹 申请人:皇家菲利浦电子有限公司