专利名称：选择图像序列中的位置的方法和装置的制作方法
技术领域：
本发明涉及选择图像序列中的位置的方法，所述方法包括显示图像序列的表示；提供构造成沿所述表示移动的位置指示器；以及与位置指示器的当前位置对应地选择图像序列中的位置。
本发明还涉及用于选择图像序列中的位置的系统，它包括浏览装置，用于显示图像序列的所述表示和构造成沿所述表示移动的位置指示器；以及选择装置，用于与位置指示器的当前位置对应地选择图像序列中的位置。
从美国专利5903264得知上述方法和系统的一个实施例。在观看诸如视频流等图像序列时，常需要能够导航到图像序列的某一具体位置或视点。这样观众就可跳过序列中不感兴趣的部分，或重复播放很有趣的部分。为此，传统的视频重放系统都配备有快进和快倒按钮，使用户可以提高前进或倒退的速度。
或者，某些视频点播系统包括对每个电影的快进和快倒流，称为特技播放流。当用户想对电影快进和快倒时，他选择快进或快倒选项，于是在用户正在观看的适当的点，快进或快倒的特技播放流就会取代正常的播放流传送给用户。这样就模拟了正在观看的电影的快进或快倒版。
在这种快进或快倒的操作中，电影重放的速度可以改变。可以反复按压适当的按钮以增加速度。但是，不论速度有多快，观众仍需注视视频流滚动过。上述美国专利公开了一种系统，它可在电视机或显示装置上显示一种图形条，用来跳到视频流的不同位置。用户可以确定滑块沿所述图形条的位置来选择视频流中的位置。然后，系统将图形条上的滑块位置翻译成视频流中的时间位置，并启动或恢复在所述位置上的视频流的重放。
此已知系统的缺点是观众只能看见视频流中对应于图形条上滑块位置的帧(画面)。这使他很难建立所述画面发生在视频流中的上下文，也就难于在视频流中导航。
本发明的一个目的就是提供一种方法，它为观众在选择图像序列的位置时提供适当的上下文。
本发明的此目的用以下方法可以达到，所述方法的特征是获取关键帧的集合，每一个关键帧与所述表示的一部分相关联；从所述关键帧集合中选择一个其关联部分包含滑块当前位置的当前关键帧；以及显示所述当前关键帧。关键帧是代表图像序列一部分的帧。例如，在视频流中一个新场景的第一帧可以用来代表所述场景的关键帧。这样关键帧集合就可提供图像序列的总体概念。每个关键帧与所述表示的一部分相关联，因为它代表所述部分。现在，当滑块沿所述表示移动时，它也沿这些部分移动。当滑块定位在某一特定部分中时，与所述部分关联的关键帧就被显示，这就为观众提供了关于其前后关系的直观视觉线索。
在一个实施例中图像序列构成视频流。由于视频流的平均长度问题，选择视频流中的位置特别困难，因此当图像序列构成视频流时本发明的方法就特别具有优越性。
在另一实施例中，通过从视频流中自动产生多个关键帧来获得所述关键帧集合。对于通常都是非常大的视频流来说，要手动产生代表视频流的关键帧集合非常困难和麻烦。各种从视频流中自动识别和提取关键帧的技术业已开发，并在技术方面已众所周知。利用这种技术来获得关键帧集合，可以把本发明的方法用于任何视频流，即使在事先未识别关键帧时也可使用。
在另一实施例中，所述方法还包括显示所述集合中在系列上与当前关键帧邻近的另一关键帧。虽然单一关键帧确已提供足够的前后关系来识别当前位置，但是常希望能提供更多的上下文。通过从集合中至少提供与当前帧邻近的另一关键帧，可提供更多的上下文。
在另一实施例中，所述方法还包括显示以下四帧关键帧集合中当前帧的下一帧，作为关键帧集合中当前帧的后继帧；关键帧集合中当前帧的前一帧，作为关键帧集合中当前帧的前趋帧；关键帧集合中再下一关键帧，作为关键帧集合中下一帧的后继帧；以及关键帧集合中再前一帧，作为关键帧集合中前一帧的前趋帧。实践中发现显示五帧(包括当前关键帧)特别有利。五个关键帧可以用足以进行单个识别的分辨率一起显示，而它们在图像序列中通常又有足够的距离，对提供图像序列的比较大的部分可以提供足够的上下文。
在另一实施例中，滑块配置成可由用户操作而沿所述表示定位。当滑块自动移动时，用户通过观看随时间而改变的当前关键帧来快速了解图像序列的概要。他可以在某些点表明他希望恢复或开始图像序列的重放。但如果由用户控制滑块的移动，他就可很快将滑块定位在所需位置。这样，例如，如果他知道感兴趣的帧位于最后的什么地方，他就可跳到图像序列的最后部分。
在另一实施例中，所述方法还包括沿所述表示显示关键帧集合中至少一个关键帧的指示器，显示位置对应于与所述至少一个关键帧相关联的部分。关键帧一般不会沿所述表示均匀分布，特别是当它们是自动产生时。这意味着，在滑块沿所述表示移动时，当前关键帧在明显随机的时刻发生变化。如果提供所述表示的至少一个关键帧的视觉指示，那么，用户就可对此方法的工作获得更好的反馈。
在此实施例的一个变型中，每当滑块沿关键帧集合中一个关键帧的指示位置移动时，就进行当前关键帧的选择。如果在视觉上表明沿所述表示确有关键帧的出现，那么符合逻辑的是当滑块沿所述指示移动时就更新关键帧。从一个关键帧转换到另一关键帧就对应于滑块经过某一指示。
在另一实施例中，所述方法还包括为对“暂停”动作作出响应而以基本上全屏方式显示当前关键帧。关键帧通常以缩小的画面显示，特别是当一次显示多个关键帧时。由于是缩小的画面，观众就很难识别细节。所以如果他能以全屏分辨率观看当前关键帧，就很有利。使用“暂停”动作(通常由用户在遥控器上按压“暂停”按钮来实现)是一种直观方法要求关键帧的全屏显示，因为按压“暂停”按钮通常导致显示单一画面。所述显示不需要完全全屏，因为可能需要在屏幕上也保持有所述表示和滑块。
本发明的另一目的是提供前言中所述的系统，它在选择位置时为用户提供适当数量的上下文。
根据本发明，此目的在以下系统中实现，所述系统的特征是排序装置，用于获取关键帧集合，每一个关键帧与所述表示的一部分相关联；以及当前帧选择装置，用于从所述关键帧集合中选择当前关键帧，所述当前帧的关联部分包含滑块的当前位置，所述浏览装置配置成进一步显示当前关键帧。当启动浏览装置时，显示所述表示和滑块，并且可以确定所述滑块沿所述表示的位置。关键帧集合(例如通过自动产生关键帧而获得)用来向用户提供所需数量的上下文。
在一个实施例中，所述系统配置成第一次发生加速动作时，以比正常显示速度快的显示速度显示图像序列，再次发生加速动作时，启动浏览装置。通常，观众利用他的快进和快倒按钮在图像序列中导航。按压这些按钮之一就相对于正常显示速度而言提高了显示速度，这样用户就能浏览图像序列。反复按压此按钮可以再提高速度。由于本发明的方法和系统给用户提供了一种更快的图像序列的导航途径，所以可以被认为是快进和快倒动作的“最高级”。所以，再次发生启动浏览装置的加速动作是有利的。
本发明还涉及一种计算机程序产品，它使可编程装置可以起根据本发明的系统的作用。
参考附图中所示的实施例，本发明的这些以及其他方面得到阐述、使其一目了然，附图中
图1示意地示出包括本发明的系统的电视接收机；以及图2示意地示出在本发明的系统工作时电视接收机的显示器。
在所有图中，同样的标号表示类似或相应的特征。图中表示的某些特征通常以软件实现，也代表软件实体、例如软件模块或对象。
图1为包括本发明的系统的电视接收机示意图。由天线1从能媒(ether)或者从有线网络接收调制在射频(RF)信号上的数字广播流。广播流可以按例如数字视频广播(DVB)标准格式化。调谐器2包括标准的模拟RF接收装置，它能接收所述RF信号并选择其中之一输出到解调器3。调谐器2选择哪个信号、取决于从中央处理单元(CPU)5接收的控制数据。解调器3基于从中央处理单元(CPU)5接收的控制信号，将模拟信号转换成数字分组流。然后，所述分组流被输出到多路分解器4，它根据从中央处理单元(CPU)5接收的控制数据选择属于某特定节目的分组，并将分组流分解为基本的声频、视频和数据流。虽然以下参考视频流对系统进行讨论，但是一般也可以使用任何图像序列。
除了广播信号外，电视接收机也可适合于接收其它来源的信号，例如来自(数字)录像机或DVD重放机、来自互联网、或来自数字用户线等。节目或节目属性不需从同一来源获得。例如，有关广播节目的属性和属性值可以从互联网站点获得。
视频处理器8对从多路分解器4或CPU5接收的视频流进行解码。解码后的视频数据被发送到显示屏9。声频处理器6对从多路分解器4接收的声频流进行解码。解码后的声频数据被发送到扬声器系统7。
多路分解器4输出基本数据流至CPU5。基本数据流有两种类型的数据控制数据和内容数据。内容数据是指，例如交互程序；控制数据是指复用中的各种表，这些表规定了诸如复用结构、频道调制的频率以及可以找到各种内容组成和(其他)表的地址等事项。CPU5包括一个或多个微处理器，能够执行存储在只读存储器(ROM)12中的程序指令。或者，程序指令也可存储在例如硬盘等随机存取存储器中。这些程序指令包括软件模块部分，尤其是包括指令模块13和偏爱简档模块14。由所述软件模块处理的数据、例如DVB-SI数据和偏爱简档信息，可存储在非易失性存储器11中。指令模块13能够控制电视接收机的功能，像调谐和对选择进行多路分解以及将数据发送给视频处理器8供显示屏9显示。
用户指令单元10例如通过遥控器(未示出)接收用户指令，并将它们发送到指令模块13处理。例如，当用户输入频道数字，模块13就控制调谐器2和多路分解器4来选择所述频道中的相应广播流和数据分组，并把图形数据发送给视频处理器8在屏幕9上显示反馈，例如当前号码、频道名称等，显示数秒钟。
偏爱简档模块14解释例如从多路分解器4作为DVB-SI数据接收的节目属性以收集关于在接收的广播流中可利用的频道(或用DVB的术语“业务”)，以及关于为那些频道安排的节目(或用DVB的术语“事件”)等信息。偏爱简档模块14可以配置成从用户的观看行为中学习。例如偏爱简档模块14可以从指令模块13接收指令并从所述指令确定哪些节目用户会感兴趣。偏爱简档模块14将用户的偏爱和兴趣记录在用户的偏爱简档中。偏爱简档模块14可以保存偏爱简档集合。
在正常重放视频流期间，当用户按压按钮向用户指令单元10发送信号以提高前进或倒退方向的显示速度、例如按压遥控器上的快进按钮或快倒按钮时，指令模块13就控制视频处理器8以更高的速度对视频流进行解码。反复按压快进按钮或快倒按钮可使视频处理器8以甚至更高的速度对视频流进行解码。用户反复按压几次所述按钮后，浏览模块15被启动。
浏览模块15产生图像序列的所述表示，并提供能沿所述表示移动的滑块。然后例如通过将所述表示和滑块馈送到视频处理器8而将它们显示在显示器9上。
排序模块16获得此视频流的关键帧的集合。最好，排序模块16从视频流自动产生关键帧。下面将作详细说明。
图2为在本发明的系统工作时显示器9的示意图。视频流的所述表示200显示为一个水平条。此水平条可以是彩色的，或用其他方式表示。还可以利用表示所述视频流的长度的指示、例如在条的右边显示视频流的总长度或在条的下方设置时间刻度来增强所述表示200。这就给观众提供了视频流的长度指示，使他可以很快跳到视频流中的具体位置。
当然，所述表示200不一定是水平条，或甚至可根本不是条。所述表示200也可以是垂直条，或有某种程度的弯曲。重要的是用户能够认识这种表示200。
设置位置指示器，此处是滑块206的形式。滑块206配置成可以沿所述表示200移动。在图2所示的实施例中，滑块叠加在所述表示200上。最好滑块配置成可由用户操作而沿所述表示200定位。为此，用户的遥控器上可以配备有“前进”或“后退”按钮；四个方向的光标；慢进轮；滚动轮；或其他表示滑块206要移动的方向的输入机件。或者，用户指令单元10可以配置成接收语音指令，并且浏览模块15配置成可根据适当的语音指令沿所述表示200移动滑块206。如果本发明的系统在计算机系统上实现，可以用诸如鼠标或光标键等输入装置来确定所述滑块沿所述表示200的位置，方法是沿所述表示200选择并拖动滑块206，或者在所需位置上击鼠标，于是滑块206就定位在那里。
滑块206相对所述表示200的当前位置可以翻译成视频流中的当前位置。例如，滑块206定位在所述表示200的中间，可以翻译成视频流中间的位置，这种翻译在本专业已众所周知，见例如上述美国专利。
可以使用任何其他类型的位置指示器来代替使用滑块206。例如，使所述表示200的一部分增亮显示以指明所述表示200上的当前位置。如果所述表示200是弯曲的，则最好使用指针或钟表指针来指明当前位置。
当选中视频流中的一个位置时，视频流的重放就可在所述点开始或恢复。但最好要等一个明确的用户操作表明在所述点应开始重放或恢复。例如，如果用户将滑块206定位沿所述表示200的某一具体位置，然后在遥控器上按压播放按钮，在用户按压播放按钮那一瞬间的滑块206的当前位置就应被翻译成视频流中的位置。于是就在所述位置开始重放或恢复。
可以由用户启动显示关键帧210-214。如果用户启动所述关键帧之一，那么，视频流的重放就在由选中的那一个关键帧的位置所代表的视频流的位置处开始。这样，用户就不需要沿所需关键帧的位置精确定位滑块206。可以通过提供用户可以例如用渐进轮、滚动轮、或其他的输入机件移动的光标或其他屏幕上的指针来实现启动。如果所述指针在关键帧上移动，任选地接着又按下一个键，那么，视频流的重放就在由选中的那一个关键帧的位置所代表的视频流的位置处开始。如果本发明的系统在计算机系统上实现，可以使用通常由鼠标控制的光标以及相关联的单击或双击机件。
排序模块16获得按时间顺序排列的视频流关键帧集合。关键帧就是代表图像序列一部分的帧。例如，视频流中一个新场景的第一帧可以用作代表所述场景的关键帧。或者，也可手动创建典型的图像而不是从图像序列中选择图像。
对于某些视频流，例如DVD，与视频流一起还提供用于所述视频流的关键帧集合。于是，可以容易地利用所述集合。不过，实际上常常不是这样，即使是这种情况，这种序列中关键帧的数量十分有限，在本发明的方法中用处不大。
因此，最好用排序模块16从视频流中检测多个有代表性的关键帧而自动产生关键帧集合。通过对包含视频流的帧进行分析，就可检测和选择代表有意义的视频流的帧。代表这种场景的帧被标识为关键帧并加入到集合中。在国际专利申请WO98/55942(AttorneyDocket PHA 23253)以及国际专利申请WO98/55943(Attorney DocketPHA 23252)中公开了用于此目的的两种适用技术。
WO98/55942公开了一种视频索引系统，它可分析源视频信号的内容并利用所选图像建立可视内容表。分析源视频信号以便检测一个场景到另一场景的视频切换以及静态场景。为每个有意义的场景选择关键帧。一种关键帧滤波过程滤除不大需要的帧，包括例如单色帧、或其对象与主聚焦或主聚焦之一的对象相同的帧。从关键帧滤波后留下的那些帧中建立可视索引并存储起来供检索用。
WO98/55943公开了一种用于检测有意义场景的系统，它根据DCT系数和宏块检测一个场景到另一场景的视频切换以及静态场景。一种关键帧滤波过程滤除不大需要的帧，包括例如单色帧、或其对象与主聚焦或主聚焦之一的对象相同的帧。
用于从视频流中自动提取关键帧的其它适用技术在技术上已众所周知，可很容易地用于本发明。关键帧是按时间顺序的，也就是说，如果第一帧在集合中比第二关键帧发生迟些，那么第一帧在图像序列中也比第二关键帧发生迟些。
所述集合中的每个关键帧都与所述表示200的一部分相关联。当集合是自动产生的时，这些部分对应着从中提取各关键帧的有意义场景。如果所述集合由手动创建，则还需要手动识别关键帧所属的部分。
按照本发明，要在所述集合中选择一帧作为当前关键帧212。由于所述选择是为滑块206的定位给用户提供可视反馈，故所述选择应与滑块206的当前位置有关。当滑块206沿着所述表示200移动时，它是沿着所述表示200中存在集合中相关联的关键帧的部分移动的。所以，可以选择当前关键帧212作为其关联部分包含滑块206当前位置的关键帧。
然后在显示器9上显示当前关键帧212。最好以缩小的图像显示当前关键帧。缩小当前关键帧的大小，用户就仍能快速识别视频流中的当前位置，而不会受不需要的细节的干扰。但如果他想看全部的当前关键帧212，在一个优选实施例中他可按下遥控器上的一个键，例如“暂停”键。用户指令单元10接收到所述指令时，就产生暂停动作。对所述暂停动作出响应，当前关键帧212就以基本上全屏方式显示。不可能在整个屏幕上显示当前关键帧212，因为所述表示以及滑块也需保留在屏幕9上。
现在，以这种方式呈现当前关键帧212提供了适当数量的上下文，但有时需要提供甚至更多的上下文。这时，可以选择并显示集合中邻近当前关键帧212的另一关键帧。也就是说，显示集合中当前关键帧的后续帧或前趋帧。
事实上，可以呈现五帧来获得更多的上下文即当前关键帧212；前趋帧211；后续帧213；前趋帧211的前趋帧210；以及后续帧213的后续帧214。用这种方式呈现五帧，就可建立大量的上下文，而各关键帧210-214仍能以足够数量的细节一起显示。
在当前关键帧212之外对拟呈现的任何另加的关键帧的选择不必是对称的。用户常在视频流的起点处开始，并寻找位于视频流中稍后的场景。这时，他需要前进方向而不是后退方向的更多上下文。于是，例如，除当前关键帧212之外，可以显示三个后续帧和一个前趋帧。
另一个实施例是通过显示沿所述表示200的关键帧集合中至少一个关键帧的指示来实现的，显示位置对应于与所述至少一个关键帧相关联的部分。在图2所示的实施例中，集合中的全部关键帧都用黑框205表示。此时立即可以看出，集合中的关键帧不是沿所述表示200均匀分布的。这意味着所述表示被划分的各部分沿所述表示200的分布也是不均匀的。没有指示器205的话，当滑块206沿所述表示200移动时，当前关键帧212的显示会在看上去是随机的时刻发生变化。有了指示器205，当滑块206接近或滑过一个指示器205时，当前关键帧212的显示就改变。这就给用户提供了对正在发生的情况的可视反馈。
当关键帧集合包含大量帧时，要显示代表集合中全部关键帧的指示器205就可能不大实际。例如，对于一个90分钟(5400秒)的电影，且每10秒一个关键帧，就会有超过500个关键帧。这意味着在水平发方向上所述表示200的每个象素一个关键帧。在这种情况下，只能显示关键帧集合的子集的显示指示器205。
最好是当滑块206沿所述指示器205之一的位置移动时选择当前关键帧212。这可为用户提供一种可视的“触发器”。在此实施例中，每当滑块206通过指示器205之一时，就显示一个新的当前关键帧212。一直到把指示器205定位在与它们相关联的各部分的开始处，都可以得到同样的效果。
当多个关键帧210-214一起显示时，使滑块206横过所述表示200被划分成的各部分移动就可实现用户以滚动方式浏览关键帧210-214。
通过例如在指示器和对应的关键帧之间画一条连接线(如图2所示)就可以在视觉上增强指示器205和显示的关键帧210-214之间的关系。这就在显示器9上造成一种“变焦距”效果。当选择了一个新的当前关键帧212时，表明对应关系的线条就移到其他指示器205上。
本发明的系统可以以装有适当软件的电视接收器、机顶盒、录象机或计算机的形式来实施。所述系统可以用计算机程序来实现，计算机程序可以存储在诸如软盘或CD ROM等存储介质上，也可用文件服务器在网络上得到。当安装在可编程装置中时所述计算机程序将使所述装置中的处理器执行本发明的方法。这样，所述计算机程序使可编程装置能够起本发明的系统的作用。
权利要求
1.一种选择图像序列中的位置的方法，它包括显示所述图像序列的所述表示(200)；设置可以沿所述表示(200)移动的位置指示器(206)；以及与所述位置指示器(206)的当前位置对应地选择所述图像序列中的位置，其特征在于获取关键帧的集合，每一个帧与所述表示(200)的一部分相关联；从所述关键帧集合中选择其关联部分包含所述位置指示器(206)的当前位置的当前关键帧(212)；以及显示所述当前关键帧(212)。
2.如权利要求1所述的方法，其特征在于所述图像序列构成视频流。
3.如权利要求2所述的方法，其特征在于通过从所述视频流自动产生多个关键帧来获得所述关键帧集合。
4.如权利要求1所述的方法，其特征在于还包括显示所述集合中的另一关键帧(211，213)，所述另一关键帧(211，213)邻近所述集合中所述当前关键帧(212)。
5.如权利要求1所述的方法，其特征在于还包括显示以下关键帧所述关键帧集合中的下一关键帧(213)，作为所述关键帧集合中所述当前关键帧(212)的后继帧；所述关键帧集合中的前一帧(211)，作为所述关键帧集合中所述当前关键帧(212)的前趋帧；所述关键帧集合中再下一关键帧(214)，作为所述关键帧集合中所述下一帧(213)的后继帧；以及所述关键帧集合中再前一帧(210)，作为所述关键帧集合中所述前一帧(211)的前趋帧。
6.如权利要求1所述的方法，其特征在于所述位置指示器(206)配置成可由用户操作沿所述表示(200)定位。
7.如权利要求1所述的方法，其特征在于还包括沿所述表示(200)显示所述关键帧集合中至少一个关键帧的指示器(205)，显示位置对应于与所述至少一个关键帧相关联的部分。
8.如权利要求7所述的方法，其特征在于每当所述位置指示器(206)沿所述关键帧集合中一个关键帧的指示器(205)的位置移动时，就选择所述当前关键帧(212)。
9.如权利要求1所述的方法，其特征在于还包括对暂停动作作出响应而以基本上全屏方式显示所述当前关键帧(212)。
10.一种用于选择图像序列中的位置的系统，它包括浏览装置(15)，用于显示所述图像序列的表示(200)和配置成沿所述表示(200)移动的位置指示器(206)；以及选择装置，用于与所述位置指示器(206)的当前位置对应地选择所述图像序列中的位置，其特征在于排序装置(16)，用于获取关键帧集合，每一个关键帧与所述表示(200)的一部分相关联；以及当前帧选择装置，用于从所述关键帧集合中选择其关联部分包含所述位置指示器(206)的当前位置的当前关键帧(212)，所述浏览装置配置成进一步显示所述当前关键帧(212)。
11.如权利要求10所述的系统，其特征在于配置成当第一次发生提高速度动作时、以比正常显示速度快的显示速度显示所述图像序列，而当再次发生提高速度动作时、启动所述浏览装置。
12.一种计算机程序产品，它使可编程装置能够起如权利要求10所述的系统的作用。
全文摘要
一种选择图像序列中的位置的方法和系统。显示图像序列的所述表示(200)以及配置成可沿所述表示(200)移动的位置指示器(206)。与位置指示器(206)的当前位置对应地选择图像序列中的位置。获得关键帧的集合，每一个关键帧与所述表示(200)的一部分相关联。显示所述关键帧集合中其关联部分包含位置指示器(206)的当前位置的当前关键帧(212)。还可以显示所述集合中关键帧位置的指示器(205)。
文档编号H04N5/76GK1461484SQ02801251
公开日2003年12月10日 申请日期2002年4月9日 优先权日2001年4月17日
发明者E·范德斯特雷克, J·B·特基夫特, D·A·D·达斯 申请人:皇家菲利浦电子有限公司