用于在电视系统上表示图形图像组的方法以及电视系统的制作方法

专利名称：用于在电视系统上表示图形图像组的方法以及电视系统的制作方法
技术领域：
本发明主要涉及图像表示，尤其涉及用于快速扫描的图像表示。
背景技术：
在现实世界中，我们能够通过快速翻阅书页获得书的整体梗概。当该书通过图解说明时这项任务甚至会更加容易。同样的技术能够用于定位该书中的已知目标，即，读者以前看过而现在试图再次定位的某页。由于获取提供的内容的梗概和搜索已知目标通常也是在电子信息应用中同样遇到的任务，在数字世界中存在类似于迅速翻阅书页的技术。
电子媒介中的标准实践是在“页面”上静态地表示信息。提供控制以允许用户变换到不同的页，但不是快速地向前或向后翻过一组“页面”。类似于迅速翻阅书页的最为接近的活动是在视频内快进或倒带，或通过电视信号的频道“冲浪”。然而，这些控制不允许用户控制表示的速度和方向控制到最大的便利并且该方法通常不是可用于总览或以除视频之外的信息为目标的方法。
多年来心理学家已经通过如快速连续图象显示(RSVP)的已知类型的表示研究人类的视觉感知。已知人类能够非常快速地简要处理所表示的图像。其中图像或文本快速闪过的阅读和视觉感知中所涉及的调查研究认知过程的实验有很长的历史。最近编辑的论文卷提供了这项工作的概要和历史性综述，参见Coltheart(Ed.)，“FleetingMemoriesCognition of Brief Visual Stimuli”，MIT Press，1999。
应当相信，人们通常在150到300微秒的眼睛的一系列简短不连续定影中处理视觉信息。在这些定影之间，快速眼睛移动非常迅速。
细节的感知与理解处于不连续定影的中心，而在视觉外围的模糊感知在确定下一个快速扫描的目标过程中使用。
总之，应当相信，视觉感知进展处于能够导致在记忆中长期保持的阶段。然而，对于视觉信息有可能在被看到然后很快被忘掉。导致记忆保持的认知过程的后续阶段需要能够干涉视觉感知的资源，反之亦然。
人机界面中所使用的现有技术RSVP方法最基本的是使用大致对应于心理学著作中所研究条件的单幅图像的时间序列。每个连续的图像替代之前显示的图像。这种表示方法已经被称为幻灯片放映或锁眼模式，参见Tse等的“Dynamic Key Frame Presentation Techniquesfor Augmenting Video Browsing”，Proceedings of the WorkingConference on Advanced Visual Interfaces(AVI 1998)，pp.185-194，1998；以及Spence等的“Rapid，Serial and VisualA PresentationTechnique with Potential”，Information Visualization，vol.1，PP.13-19，2002。
图1～4示出了包括旋转式传送带模式100，见图1；动态拼贴模式200，见图2；浮动模式300，见图3；以及搁板(shelf)模式400，见图4的其他几种变化。这些模式都使用图像的额外的移动或位移。
到此为止，关于人机界面中的RSVP方法的功效仅有一些初步的发现。看起来实验迄今仅仅证实了人类能够抽取以幻灯片放映模式快速表示的视觉信息。Tse等人调查了用于视频浏览的固定速率的幻灯片放映方法。即使是当图像被极其快速(例如每秒八帧)表示时用户也能够抽取出电影的梗概。
然而，已经假定其他RVSP方法可以通过允许用户对其关注点有更多的灵活性和控制而提供了多种优势。用户能够及早拒绝无关图像，并在相关图像上聚焦更长时间。然而，诸如旋转式传送带模式100和动态拼贴模式200的具有更复杂的2D空间/时间布局的初步实验未能够显示出优于幻灯片放映模式的任何优势。例如在Wittenburg等的“Browsing Through Rapid-Fire ImagingRequirements and IndustryInitiatives”Proceedings of Electronic Imaging 2000InternetImaging，PP.48-56，2000中描述了将动态拼贴模式与幻灯片放映模式相比较的飞行员实验的例子。他们描述了将任务包含在因特网购物中的试验，其中用户对表示的速度和方向具有完全的控制。他们将幻灯片放映RSVP模式与动态拼贴模式相比较，以及与更加传统的网页表示方法进行了比较。参见图2，在动态拼贴模式中，图像被连续放置并半随机地围绕着中心点201，直至图像被随后的图像遮挡或从显示中清除。与旋转式传送带模式100不同，其不涉及图像移动或比例变化。产品的图像在幻灯片放映、动态拼贴和网页三种模式中显示。要求用户执行两个任务。第一个是梗概抽取任务。第二个任务是确定目标产品出现或未出现。相关的发现是相比动态拼贴和网页模式，用户更喜欢幻灯片放映模式，尽管没有观察到性能差异。
由于用户必须同时关注许多快速变化的图像和/或切换注视到新的2D位置上的图像，用户对除了幻灯片放映模式之外的现有技术方法要求太多的感知过程。这些方法中的一些要求在2D中跟踪，例如，旋转式传送带模式100，而其它的要求切换注视聚焦到不同位置，例如，动态拼贴模式200。不应当感到惊奇的是，其中图像移动了或其中图像在新的位置上弹出的变化要求额外的感知开销。
De Bruiin等描述了与RSVP接口方法有关的眼睛跟踪试验，参见De Bruiin等的“Patterns of Eye Gaze During Rapid Serial VisualPresentation”，Proceedings of the Working Conference on AdvancedVisual Interfaces(AVI 2002)，pp.209-217，2002。他们比较了许多要求跟踪的(例如旋转式传送带)或者要求集中焦点于不同位置的(例如动态拼贴)的RSVP替代物。他们就RSVP各种被测模式的眼睛注视的方式做了许多观察。他们观察到对搁板模式400使用了不同的眼睛跟踪策略。一个用户看起来仅注意到其中新图像在移动到表示的背景部分之前出现的区域。另一个用户看起来在当图像移动时跟踪图像。我们从以上观察假定，为了适应他们的任务，需要新的方法支持用尸改变注意的焦点(例如，搜寻目标图像对抽取序列的梗概)。
因此，期望开发人类视觉和认知能力以改进电子多媒体内容的表示和浏览。

发明内容
本发明提供一种用于以适用于快速扫描的方式交互表示(present)图像的系统和方法。本发明利用了自然的人类认知能力以跟踪在三维空间中移向或远离观察者的目标。
本发明结合了使得能够处理快速表示的视觉信息而不需过多眼睛移动的聚焦区域。将布局的精巧(refinement)应用于时间上相关或逻辑上分组的图像。为了前进贯穿整个集合中的目标图像，进一步的创新允许相对的时间的排序。
本发明能够应用于其中必须要从能够在视觉上表示的图像集合中做出选择的大量显示的系统。例子包括浏览和搜索所录制的视频，选择电视节目，寻人，以及从虚拟的或虚拟增长的零售环境中的目录中选择条目。


图1示出了根据现有技术的旋转式传送带显示方式显示的图像；图2示出了根据现有技术的动态拼贴模式显示的图像；图3示出了根据现有技术的浮动模式显示的图像；图4示出了根据现有技术的搁板模式显示的图像；图5示出了根据本发明沿线性三维轨迹显示的图像；图6示出了根据本发明沿曲线三维轨迹显示的图像；图7示出了根据本发明沿蛇形三维轨迹显示的图像；图8示出了根据过渡图像分离的图像组；图9示出了根据本发明的图像控制；图10A-C示出了根据本发明的收集器帧；图11示出了根据本发明具有目标帧的图像的半自动表示；图12是用户输入装置的框图；
图13是根据本发明的表示方法的流程图；图14是根据本发明的活动图像组的框图；图15是根据本发明的实施例利用基于时间上下文的视频浏览接口用于浏览视频的电视系统的框图；图16是根据本发明的实施例用于在电视系统上浏览的方法的框图；以及图17是图15和16的系统和方法的流程图。
具体实施例方式
引言我们的发明的一个实施例提供了一种更好地利用了人类视觉系统，特别是深度和外围感知，用于表示和浏览图像的方法和系统。该方法与快速连续图象显示(RSVP)的更为常见的幻灯片放映模式相结合，并使用许多用于空间和时间布局的技术得到了增强。我们包括了一组用于以可调节的速率线性向前和向后遍历的公共控制集合。
系统结构和方法如图13和14所示，方法1300开始于一组图像101。该组图像能够被存储在计算机系统的存储器中。该图像可以是静态图像、文本文档的页面、产品图片、或视频(例如MEPG视频)中的图像序列。步骤110选择一组显示图像111。该选择可以是摘要、定期选择(例如每十帧)、或其他选择过程。
步骤120为该组显示图像分配布局121。对于每个图像，该布局包括3D坐标、尺寸、以及方向。步骤120还为虚拟相机1410分配3D轨迹122。步骤130根据布局121和轨迹122呈现(render)一组活动图像1400。该组活动图像1400包括收集器图像1401，而剩余的图像是动态的。线122显示了相机1410的轨迹。收集器图像在收集器帧中被静态显示，如下所述，而该组活动图像中的剩余部分向收集器帧移动。该轨迹和该组活动图像实质上提供穿过显示组111的移动窗口。如下所述，该窗口可以在不同方向上移动，向前或向后，并且以不同的速率移动。
动画步骤140可能利用用户输入141改变该布局和轨迹。于是重复呈现130和动画140步骤直至所有显示图像都得到呈现，或用户中止了该方法。
选择显示图像给定该组图像101，例如视频帧、产品或人脸的图片、书页等，该组显示图像111被选择(110)。这个组可以包括任何数量的原始组的图像，直至并且包括整个组。用于选择该显示组111的过程可以是任何数量的已知技术，包括使用密钥或MPEG视频的编码I帧、视频摘要、或定期或随机选择。该显示组中的图像可以是相关或不相关的图像序列。
为显示图像分配布局方法1300为显示组111中的每个图像分配3D坐标、尺寸、以及方向(120)。该布局可以是线性、圆形、螺旋、蛇形、或以下一些其它函数。如图5～7所示，图像500的布局沿从显示图像中的中心点503到中心点504的一条线形成的三维轨迹排列。
为虚拟相机分配轨迹虚拟相机1410的轨迹可以是直线510、曲线602、或蛇形线702。
呈现活动图像沿着轨迹122排列的每个图像的“深度”由其大小指示，较小的图像距离观察者更远。最近的图像是显示装置或查看“屏幕”的图像平面中的一个。
制作显示图像动画如图9所示，用尸控制相机1410沿着轨迹122遍历。遍历在任一方向上以可变的速度发生。当相机移动时，依赖于沿轨迹122的方向，图像看起来似乎移动得更近、或更远。
如图5～7所示，动画的视觉效果是推进图像序列500靠近或远离焦点504(502)。该推进是时间的，其中在深度维度上较远的图像，当向前移动穿过该序列时，该图像比较近的图像更晚到达焦点504。
图像的表示可以模拟为沿公路的标志的出现。在这项比拟中，用户能够控制汽车的速度和方向(向前或向后)。留意挡风玻璃901，标志看起来似乎以规律的时间和空间间隔移动过去，最初看起来是从远处然后移动得更近。如果用户反向移动，该标志就会从肩膀的上方出现在视野中，然后退回到远方。
收集器帧在如上所述的在我们的发明的操作的基本模式中，图像看起来似乎离用户越来越近直至他们最终移过图像平面并消失。这是当汽车沿着公路经过各个标志时汽车内直视前方的驾驶员将看到什么的标准隐喻。
我们基于具有维护跨越相关图像(例如，同一视频场景中的关键帧)的连续性的基本显示模式提供变型。我们还在轨迹的近端提供静态焦点501。由此，当显示快速改变的序列时用户不必须切换注视。
如图10A-C所示，我们使用沿轨迹位于固定深度位置的收集器帧1010。当视觉图像移近时，它们最终到达位于视野前方的收集器帧1010的位置。在图像到达收集器帧的平面之后，替代移过该帧，其取代了之前显示的最后的图像。换言之，活动组中的第一图像1401静态地保持在收集器帧中，而组中的其他图像看上去似乎朝向收集器帧移动。其它的图像从不会阻塞收集器帧中的图像。从视觉观点来看，收集器帧充当其内容以比图像在序列中推进慢得多的速度被替换的视觉聚焦的区域，例如，收集器帧每秒钟被替换一次。
收集器帧类似于常规视频播放器的主要显示区。由此，我们的方法将常规视频播放器的快进或快退的优点与允许用尸在图像序列中的焦点之前或之后看的距离技术相结合。
我们的发明还利用了用户的外围视觉。当用户集中注意于收集器帧1010时，图像序列从用户的外围视觉中的近处推进。由此，用户可以预测外围的高级信息，比如场景改变或图像内容的语义分组，同时仍旧聚焦于收集器帧内的前景。
语义分隔和分组在基本的情况下，图像沿3D轨迹均匀分隔为单个组。然而，图像可不均匀地在多个组中分隔。这种分隔可以在时间意义上以语义方式表示图像，作为逻辑排序的场景或章节，或作为根据成本排序的产品或服务的类别。这都依赖于布局。
过渡图像(transition image)为了允许如图8所示的语义分隔和分组，我们在序列中的各组之间插入逻辑过渡图像801。该过渡图像可以表示从序列中的一个组到下一个组的任何形式的视觉过渡。该过渡图像可以仅仅是序列中的空白位置，即，透明图像802。
组和过渡图像的使用反映了可被映射到某些一维线性或非线性标度(scale)，例如内容的对象的时间的放置，的图像中的内容当中的语义相干关系。
停止图像序列的遍历从心理学著作中，已知的是感知源用于对最初的低级视觉处理的识别和随后的反应。当利用现有技术的RSVP模式时这导致“过度关注(overshooting)”的常见问题。这在搜索特定所期望的场景或图像的视频时太常见了。
当RSVP序列以很快的速度显示时，要求处理并响应快速显示图像的感知的开销不可避免地导致后面的图像会取代所期望的图像的问题。然后，用户可能不得不后退一直到重新获得所期望的图像，可能会再次过度关注所期望的图像。当图像序列摆动时时间就被浪费了。
因此，我们提供新颖的技术来停止沿轨迹快速遍历序列。我们的方法涉及用于在停止事件之后“回退(backing up)”的规则，以便落在所期望的图像上的可能性得到增加。
我们基于识别图像所需的时间的估计(即，大约150微秒)以及驱使诸如释放开关或将鼠标从控制图标上移开的控制动作的电机传动(motor movement)所需的时间的估计(即，大约100微秒)确定所期望的图像。因此，当发送停止事件信号时，所期望的图像是在发送该停止事件信号之前大约250微秒在焦点501处显示的图像。例如，以每秒30帧的速度，将会显示第八个先前的帧。
有目标的遍历(targeted traversal)如图11中所示，我们的发明还实现了半自动遍历给定的一组目标帧111的序列。首先，使用查询或菜单操作以从整个可用的图像组101(即要显示的图像序列111)中选择内容(110)。例如，如果图像表示不同电视频道上的可用视频内容，那么用户可仅选择体育频道。或者，监视系统可以从场景获得图像。然后，用户可以为特定时间周期、或一个所选的移动级别、或所识别出的个人选择图像。
已经选择了该组目标帧111后，用户以所描述的方式利用图12的控制器1200操纵方向和速度控制向前或向后、更快或更慢地移动。然而，遍历的速率还依赖于与目标帧的距离，以便从一个目标帧到下一个的过渡耗费恒定的时间。在此，距离根据3D坐标测量。这具有能感知的效果，其中经过图像的速度以及收集器帧1010中的帧速率根据图像距离最近的目标帧有多远而变化。
例如，在远离的目标帧之间的遍历与在靠近分隔的目标帧之间的遍历花费相同的时间。同样，目标帧比其它图像在收集器帧中保留得更长。在目标遍历期间，用户以该序列被穿越的速率控制全局帧速率。所有的其它速率，从一个目标帧到下一个，以及收集器帧的替代速率，都与用尸控制的全局帧速率相关。
可选实施例本发明能够在任何需要某些种类的视觉扫描或搜索的地方的多种显示应用中使用。
频道冲浪在这个应用中，将要浏览的频道图像的典型代表是电视节目。在所有接收的节目广播中循环的调谐器(频道选择器)能够抽取频道图像。在通过所有节目的一个循环期间从每个节目中抽取一幅图像。或者，广播电台可以提供具有代表性的频道图像。
如图12所示，控制装置1200具有用于速度和方向控制的切换器(swtich)1210。在优选实施例中，该切换器是摇臂开关。该摇臂开关允许在特定范围上以向前和向后方向连续控制速度。或者，该控制装置可包括快进键1201、后退/倒带键1202、以及播放键1203。
当用户按下摇臂开关时，当前节目被中断，系统进入频道冲浪模式。用户然后以可控的速率向前或向后遍历频道图像。当用户释放摇臂开关时，系统显示对应于收集器帧内的频道图像的节目。这个实施例可以被扩展到时间移位的视频节目。查询模块用于选择一组构建可浏览序列的候选节目。
视频略读在这个实施例中，我们的方法用于浏览、略读(skim)、或搜索视频。视频概括方法决定了要在可浏览的序列中包含的关键帧。概括方法可以使用众所周知的瞄准检测或场景分析技术，在日期/时间601中，序列中每个关键帧的位置在与该关键帧相关联的数据中指示，并如图6所示在收集器帧之下显示。
产品浏览在这个实施例中，图像是产品。用户选择要浏览或略读的特定产品。产品图像可通过价格、尺寸、颜色、制造商或其它属性分组。
人员寻找在这个实施例中，图像是关于人群的。这种内容的获得能够通过目录服务、政府机构、或监视视频做到。面部图像的序列能够根据时间、位置、或相似性排序。
用于允许PVR的电视系统的基于时间上下文的视频浏览接口以上的实施例描述了用于以快进(FF)或倒带(REW)模式浏览存储的数字视频的方法。该方法通过显示重叠的连续的未来和过去的图像提供了时间上下文。这些实施例使用了传统的电视和计算机系统用于处理和显示所存储的视频，参见在此引入作为参考的Divakaran，A.，Forlines，C.，Lanning，T.，Shipman，S.，Wittenburg，K.，的“Augmenting Fast-forward and Rewind for Personal DigitalVideo Recorders”，IEEE International Conference on ConsumerElectronics(ICCE)，Digest of Technical Papers，PP.43-44，January2005。
其中，部分解码的DC帧从MPEG编码的比特流中抽取出来。DC帧接着以较小的比例下采样并利用视频接口显示。这要求在快速回放期间提前在MPEG流中相对于流的当前位置进行读取的能力，或在快速回放期间在记录媒介上的其他地方抽取、存储、和索引DC帧以及检索DC帧的能力。这些要求中的任一个均不由电视系统1500提供。
如图15～17所示，我们现在描述用于允许个人视频记录器(PVR)的电视系统1500的基于时间上下文的视频浏览接口的实施例。尽管该实例实现是使用高清晰度电视(HDTV)描述的，应当理解的是其它的实现也是可能的。例如，电视监视器能够连接到机顶盒、DVD播放器、或包括如在此描述的必不可少的功能的其他等价组件。如此处所用的术语电视系统代指能够显示电视节目的一类装置。
系统1500包括电视监视器1510、和PVR 1520。PVR包括硬盘驱动器1521，在系统的传统“非浏览”操作期间，所述硬盘驱动器1521作为由系统1500使用系统1500的视频接口1701作为视频帧1531回放的视频的存储介质。也可以使用DVD播放器或机顶盒。PVR为电视系统提供用于正常回放的视频流和用于快进和倒带回放的“特技播放(trick-play)”视频流。
该系统还包括传统的视频解码器和定标器(scaler)1530。该系统还包括根据本发明的一个实施例连接到在浏览期间所使用的视频接口1701和图形接口1702的处理器1540。图形接口用于显示合成的图形RGB图像1612。
处理器包括存储器，如以下更加详细的描述，我们使用它的一部分作为循环缓冲器1541以存储减少了尺寸(缩放)的RGB图像1611。各组件通过总线1542连接。例如，总线可以使用IEEE 1394协议，或其他等价的总线协议。
挑战是消耗电视系统的最小计算资源以避免系统任何现有功能的中断。此外，期望采样所存储的视频帧以生成采样的图形图像。合成下采样(减小尺寸的)图形RGB图像并利用图形接口1702呈现。
显示装置参见图12，这个实施例的浏览接口通过按下电视的遥控装置1200上的FF/FWD或REW/REV键1201-1202调用。视频源被选作硬盘1521。图15示出了快进重放期间在电视屏幕1510上显示的合成RGB图像1612的例子。
减少了尺寸的图像在输出图形图像的非对称“V”布局1503中合成。如上所述的其它布局也是可能的。图像的尺寸范围是从V的较低顶点1501处的整个屏幕的1/9大小(1/3比例)到每个端点1502处的1/16大小(1/12比例)。
新的(未来的)图像首先在V的右上端合成，并沿着V的右侧下行到顶点1501处的收集器帧。在顶点处显示的图像被称作聚焦图像。聚焦图像被认为是当前图像。当观看者按下播放键1203时聚焦图像表示在时间上正常速度全屏回放恢复的瞬间。
顶点右侧的图像是相对于聚焦图像的未来图像，而左侧的图像是过去的图像。没有其它的图像重叠该聚焦图像。该外观充分等价于以1/3比例观看传统的快进视频。
尽管未来的图像重叠了，场景边界和相机移动是清晰可见的，这有助于观看者识别视频中感兴趣的即将到来的点并因此进行反应。
由于相比过去布局更远地看到未来布局更为有用，布局是不对称的。在快速反向回放期间，V布局端对端的反向；新的帧在V的左上端进入，在右下端退出。
我们的实现通过利用用于高质量视频缩放和帧采样的系统设施成功地解决了之前提及的挑战。
图16和17示出了用于利用电视系统1500浏览视频的方法和系统的基本步骤。该方法定期获得在‘未来’相对于当前图像的尺寸减小的图像1611的序列采样(1610)。换句话说，采样是时间的和定期的。例如，每第五或第十帧被采样。通过定期仅选择一些帧，快进或后退效果得到了实现。例如，如果在采样期间十个帧中仅有一个被选择，在回放期间就以因子10加速。采样帧存储在循环缓冲器1541中。
减小尺寸的图像的缓存给予我们将一些图像作为‘未来的’图像表示的能力，并且给予了控制PVR传送以在恢复回放之前将回放位置向后移动的能力。这给用户保留了回放能够在时间上向前或向后移动的错觉。传统的PVR和AV/C盘不具有这种能力。本发明纠正了这个问题。
所选择的视频的最后n个图像被存储在循环存储器1541中(1620)，其中n是在V布局中显示的图像数量。所存储的图像被组合到输出图形图像1612的V布局中。所合成的输出图形图像1612被定期呈现(1630)，至少每秒五次，作为V布局显示1503。这些步骤在每次循环中以较小的等待定期重复(1635)。当观看者按下播放键时，系统返回到正常速度的回放(1640)。
对于之前描述的实施例，计算机系统被用作到电视的接口。其中，采样图像通过在编码的MPEG-2流中向前读取而获得。此外，DC图像从I帧中的压缩数据中抽取。然后，DC图像向下缩放。所有的操作在视频域内运行。相反，在这个实施例中所显示的图像位于图形域内。
电视系统1500的一个实施例使用IEEE 1394音频/视频控制(AV/C)盘1521存储视频，参见“1394 Trade Association Document2002001，AV/C Disk Subunit General Specification 1.2，September 13，2002.”。
AV/C盘提供了用于录制和回放音频和视频内容的高级接口。对于回放，以正常和快进以及倒带模式，AV/C盘利用IEEE 1394等时传输协议仅以实时速率提供视频流。这使得不可能在回放期间在正常输入视频流1531中提前读取。也就是说，不可能播放“未来的”帧。
如图17中所示，期望我们的实现对电视系统的结构、功能、以及性能具有尽可能小的影响。由这个实施例提供的附加功能以虚线示意。在解码之前缓存MPEG视频流以累积“未来的”视频帧将在时间苛刻的解码路径期间增加另外的复杂步骤。
由于电视系统支持高质量的向下缩放(1530)，这个实施例使用了该功能来获得减少了尺寸的图像用作聚焦(顶点)图像(1611)，并使用图形定标器以进一步减少图像的尺寸，用于利用图形接口1702在V布局的任何一侧显示作为合成图像。所谓任何一侧，我们意指相对于收集器帧中的图像在时间上向前或向后。
电视系统还提供了用于采样当前解码和向下缩放的视频图像并将该图像从YUV视频格式转换为图形接口的RGB图形格式的硬件和软件，以支持现有的电视系统的特征，例如画外画或“POP”屏幕格式。
代替如现有技术中提前读取或缓冲MPEG视频流，我们缓冲n个采样的1/3比例的图像(1611)。该n个1/3比例的图像被存储在循环缓冲器1541中以利用图形接口1702呈现V布局1503。V布局被完整合成作为RGB格式的图形覆盖。作为优点，图形覆盖不要求与解码的视频输出同步。也就是说，向下缩放过程相对于解码/缩放过程是异步的。
将V布局填充以合成图像所要求的时间对于缓冲有用数量的未来图像，例如十个或更多，来说是足够的。最初的填充时间很短，大约为两秒，因此典型的观看者不应当注意到该较小的时间延迟。这个系统可以与由广播信号或经由机顶盒的电缆信号输送的预先存储的媒介或实时媒介一同使用。
除以上所提及的硬件支持的图形操作之外，所有用于浏览接口的步骤都由处理器1540执行。处理器能力的基本部分已经在支持解码和用于其它传统功能中使用。为了避免中断任何现有的功能，用于浏览接口的执行的线程被分配给了适当的调度优先级，并被允许自由运行并且异步直至由定时器事件强制执行的最大速率。精确的更新速率和定时并不重要，在实际上达到了可用的更新速率，例如7Hz，并且抖动不显著。
因为视频中的回放位置比聚焦输出图像要提前几秒钟，所以调整回放位置以便当观看者按下播放键以返回到正常速度的全屏回放时与该聚焦图像的位置对应。每个减少了尺寸的图像在其被采样时被盖有时间戳，并且聚焦图像和位于V的“到来”侧的上端的图像的时间戳之间的区别被传递给AV/C装置控制功能，其使用该值在切换到正常速度回放之前调整回放位置。
本发明的效果我们成功地使我们的基于时间上下文的视频浏览接口适应于用户产品，将其实现为配备了内部PVR的高清晰度电视的特征。我们能够利用目标平台的特征来创建非常不同于我们以前的原型的实现，但是更加适用于该平台的强度和缺点。因为该特征无需额外的硬件，其不会导致额外的加工成本。
尽管已经通过优选实施例示例的方式描述了本发明，应当理解的是可以在本发明的精神与范围之内进行各种其它的适应和修改。因此，所附权利要求书的目的在于覆盖属于本发明真正精神和范围的所有这种变化和修改。
权利要求
1.一种用于在电视系统上表示一组图形图像的方法，包括以下步骤接收视频帧的序列；解码并缩放该序列的帧为减小了尺寸的帧；在时间上并且定期地采样所述减小了尺寸的帧以提供所选择的帧；在循环缓冲器中存储前n个所选择的帧；将所述n个所选择的帧转换为n个图形图像；将在所述循环缓冲器中存储的所述n个图形图像定期合成为输出图形图像；以及利用所述电视系统的图形接口定期呈现所述输出图形图像。
2.权利要求1所述的方法，其中所述帧的序列存储于个人录像机中。
3.权利要求1所述的方法，其中所述减小了尺寸的帧在非对称V布局中合成。
4.权利要求3所述的方法，其中所述V布局的右端包括未来的图像，所述V布局的左端包括过去的图像，而所述V布局的顶点为当前图像。
5.权利要求所述4的方法，其中所述V布局的所述右端大于所述左端。
6.权利要求1所述的方法，其中十帧的其中之一被选择用于存储。
7.权利要求1所述的方法，其中所述图形图像的所述合成和呈现速率为每秒至少五个。
8.权利要求1所述的方法，其中所述帧的序列为YUV视频格式，而所述图形图像为RGB图形格式。
9.权利要求1所述的方法，其中所述减小了尺寸的帧大约为所述视频帧尺寸的三分之一。
10.权利要求1所述的方法，其中所述合成和呈现相对于所述解码和采样是异步的。
11.权利要求10所述的方法，其中所述合成和呈现以及所述解码和采样之间的延迟大约为两秒。
12.权利要求4所述的方法，其中所述当前图像在时间上向前和向后移动。
13.一种用于表示一组图形图像的电视系统，包括用于提供视频帧的序列的装置；用于解码并缩放该序列的帧为减少了尺寸的帧的装置；用于在时间上并且定期地采样所述减小了尺寸的帧以提供所选择的帧的装置；配置用于存储前n个所述所选择的帧的循环缓冲器；用于将所述n个所选择的帧转换为n个图形图像的装置；用于将在所述循环缓冲器中存储的所述n个图形图像定期合成为输出图形图像的装置；以及配置用于定期呈现所述输出图形图像的图形接口。
14.权利要求13所述的系统，其中所述用于提供的装置是个人数字记录器。
15.权利要求13所述的系统，其中所述用于提供的装置是机顶盒。
16.权利要求13所述的系统，其中所述用于提供的装置是广播视频信号。
17.权利要求13所述的系统，其中所述电视系统使用高清晰度电视信号。
18.权利要求13所述的系统，其中所述合成和呈现在时间上向前和向后移动。
全文摘要
本发明提出了一种用于在电视系统上表示一组图形图像的方法和系统。视频帧的序列被接收。所述帧被解码并缩放为减小了尺寸的帧，减小了尺寸的帧在时间上并且定期地被采样以提供所选择的帧。所选择的帧被存储在循环缓冲器中并被转换为图形图像。该图形图像被定期合成并利用图形接口呈现为输出图形图像。
文档编号H04N5/445GK1997103SQ200610171300
公开日2007年7月11日 申请日期2006年12月28日 优先权日2006年1月4日
发明者萨谬尔·E·什普曼, 艾加·蒂瓦卡兰 申请人:三菱电机株式会社