专利名称：用于显示器的合成速率降低的制作方法
相关申请本申请涉及美国专利申请号____，于____提交，名为“Spatio-Temporal Generation of Motion Blur”，并转让给英特尔公司。
背景个人电脑(PC)显示器一般显示一叠对应于用户可能正在执行的不同类型工作(例如，文字处理、电子邮件、电子数据表、视频等)的窗口，当前激活的应用窗口位于叠层的顶部，这样看上去离用户最近。当用户从一个作业改变成另一个作业时，这些窗口重新组合成新的桌面图像，将新的应用窗口带到最前面。
未来的PC产品计划使用三维(3D)动画技术合成应用窗口，为用户提供更丰富的可视体验，其中动画平滑移动。为使动画平滑移动，它们必须没有跳跃(如果没有足够快地合成桌面图像将发生跳跃)。遗憾的是，以足够高的速度合成PC桌面图像需要极大的图形存储器带宽，这使成本增加到在面向移动和低成本PC市场的产品中所不能接收的程度。
按照惯例，为处理不合适的计算或存储器资源，帧只是被停止。因为放弃了表示原始内容的图像信息，结果通常是外观上跳跃的动画，类似于如今个人电脑上经常看到的动画视频。这种帧跳跃可以导致视频帧频降低到感觉平滑移动所需的帧频以下。因此，低比特率视频可能时常给用户呈现跳跃。
附图简述
图1示出了包括图形显示系统的计算机系统的实施例的框图。
图2示出了正在执行文字处理应用程序的窗口。
图3是用于合成速率降低的时间平均的实施例的示意图。
图4是合成速率降低的一个实施例的流程图。
发明详述本发明的实施例在特定时间间隔上混合显示的帧，以在降低的帧频下为用户呈现平滑的外观。该过程类似于在时延照相过程为移动对象产生的运动模糊。当应用窗口更远离观察者或更接近观察者移动时，可以通过时间平均完成运动模糊。尤其是，在输出帧的时间之前或之后，以预定/短暂的时间间隔使用时间平均来混合图像信息，以略模糊的形式保留所有的图像信息。在相关图像信息保留之后，输出速率可以减少而保留足够的信息以产生平滑移动动画序列的外观。取样(例如丢失帧)之前加权平均为序列强加一个较低频率限制，从而可以实现后来高质量的再现。运动模糊在3D动画中保持图像质量，以低合成速率呈现合意的外观，这减少了对过度高的图形存储器带宽的需求，由此减少了PC的制造成本。
在详细的说明书中，提出众多特定细节以提供对本发明彻底的理解。然而，本领域技术人员应当理解的是，本发明可以不以这些特性细节实现。在其它实例中，为不混淆本发明，详细描述了已知的方法、步骤、元件和电路。
下面详述的一些部分以计算机中的数据位或二进制信号操作的算法和符号表示的方式呈现。这些算法描述和表达是数据处理领域中技术人员使用的方法，以向本领域的其他技术人员传达他们工作实质。这里一般将算法考虑成通向所需结果的自相一致的步骤序列。这些步骤包括物理量的物理操作。通常，但并不必要，这些量具有能够被保存、传输、合成、比较或其它操作的电学或磁学信号的形式。已经证明原则上用于一般使用的原因，把这些信号归类成位、值、元件、符号、字符、术语、数字等是方便的。然而应当理解所有这些和类似的术语与合适的物理量相关，且仅是这些量的方便的标记。除非特别声明，否则当在下面的讨论中出现时，应当理解的是在整个说明书中，使用诸如“处理”或“用计算机计算”或“计算”或“确定”等这样术语的讨论，指计算机或计算系统或类似的电子计算装置的动作和处理，这些计算装置对计算系统的寄存器和/或存储器中的以物理(电子)量表征的数据进行操作，并将其转换成其它数据，这些其它数据类似地以计算系统的存储器、寄存器或其它信息存储、转换和显示装置中的物理量表征。
本发明的实施例可以以硬件或以软件(微代码)的方式执行，或结合它们二者执行。然而，本发明的实施例可以以在可编程系统上执行的计算机程序执行，该可编程系统包括至少一个处理器、数据存储系统(包括易失性和非易失性存储器和/或存储元件)、至少一个输入装置以及至少一个输出装置。程序代码可以应用到输入数据以执行这里描述的功能和产生输出信息。输出信息可以以已知的方式应用到一个或多个输出装置。出于本申请的目的，处理系统包括任何具有处理器(例如数字信号处理器(DSP)、微控制器、专用集成电路(ASIC)或微处理器)的系统。
本发明的所述实施例的上述描述并不是穷举性的或并不将本发明限制成所公开的特定形式。这里描述本发明的特定实施例和实例用于示例性目的，相关领域的技术人员将意识到可以在本发明的范围内进行各种等效修改。可以根据上述描述对本发明做出修改。下面权利要求书中使用的术语不应理解成将本发明限制成说明书和权利要求书中公开的特定实施例。而是，本发明的范围完全由下面的权利要求书确定，权利要求书将理解成与权利要求解释制订的条款一致。
图1示出了一种计算机系统的实施例100的图示，该计算机系统包括一个3D显示处理器102，用于使用空间和时间平均产生运动模糊。为方便起见，省略了对理解本发明不必要的计算机系统的元件。尽管显示处理器102以存储控制器104的一部分示出，显示处理器102还可以配置成独立的装置。显示处理器102还可以配置成单独芯片装置或片上系统、多芯片模块或插入电路板的一部分。显示处理器102可以被包括在任何各种类型的系统中，包括计算机系统、网络PC、英特网设备、电视机(包括HDTV系统和交互式电视系统)、个人数字助理(PDA)、穿戴式电脑以及其它显示2D和或3D图像表示的装置。
如图所示，计算机系统包括与存储控制器104通信的主处理器106，存储控制器104包括显示处理器102。显示处理器102还与存储器108通信。主处理器106可以包括一个或多个各种类型的处理器，例如微处理器、多处理器和CPU。存储器108可以包括不同类型的存储器子系统，包括随机访问存储器(例如DDR、SDRAM、RDRAM等)和大容量存储装置的任何组合。显示装置110可以耦合到显示处理器102。显示装置110可以是任何各种类型的显示监视器或装置，包括但不限于下例装置视频监视器、阴极射线管(CRT)、液晶显示器(LCD)、反射型硅基液晶(LCOS)或气体等离子体显示器。系统可以执行应用软件以在显示装置110上显示图形和视频对象。
各种输入装置(未示出)可以与计算机系统相连，包括键盘和/或指针控制装置。指针控制装置允许用户选择各种命令模式、修改图形数据和输入其它数据。更具体而言，输入装置允许用户通过在表面移动指针控制装置而选择性地放置指针在显示器上的任何所需位置(例如窗口图标)。应当理解本发明可以使用各种已知的输入装置，包括其它控制装置，例如机械鼠标、跟踪球等。
图2示出了显示环境的屏幕截图的实施例200的图示。该屏幕截图示出了当初始窗口202和最终窗口204之间的感知距离(perceiveddistance)作为动画转换206的一部分经过时本发明的执行方案怎样产生模糊运动的实例。“窗口”一般可以是显示数据的显示器上的传统矩形区域，以及较小的子区域，例如弹出、下拉或其它菜单、图标、符号或其它显示元件以及对象。这种环境中，操作系统(例如Windows、Linux、OS/2或Macintosh)提供用户界面以及一个或多个与当前运行的应用程序相关的窗口。一般的执行方案中，可以在一个窗口中运行英特网浏览器应用程序，可以在操作系统桌面上的第二窗口中运行文字处理器应用程序。
视窗显示系统的另一个实施例中，用户点击图标并激活窗口204，使它位于其它窗口的顶部，以在窗口204内对数据进行操作。在激活序列过程中，产生增大尺寸的中间系列窗口206以表示窗口动画运动到它的最终位置204。在诸如矩形窗口、菜单或子菜单的对象中，这些对象中显示的数据可以包括字母数字和/或图形数据。因此，应当理解本发明的设备和方法应用到显示器上显示的任何对象，而不管在任何特殊计算机显示系统中的对象的形状、大小或功能。
现在参考转换状态，该窗口的多个中间子序列被一起平均(例如206)并呈现到显示器上。因为平均中保留所有的原始信息，与平均208、210相关的减少的帧频保持了从初始图像202到最终图像204平滑运动的幻影。通过使得显示器上对象的各个帧模糊，这种方法可以以较平滑的方式而不是尖锐的、跳跃的方法变换对象。如图所示，窗口的文本清晰可见全部细节，且当它以整幅状态204出现时适于被用户操作。相反，当它正被变换成它的整幅状态204时，窗口文本对于用户是模糊的。当窗口从图标变成整幅状态时文本变得更加详细。通过在每个平均中包括足够数目的中间帧，外观可以以平滑方式呈现变化，而不管与显示帧有关的帧频的减少。
小图标包括缩略图方式的窗口内容的表示。例如，图标包括标题，当它的尺寸增大时，看上去就像它从薄雾中出来并且渐渐地像动画一样。当点击和打开一个窗口图标时，它可以以多种方式呈现。一个执行方案中，窗口打开以显示整幅内容，在整个动画序列保持窗口的水平方向。另一个实例中当窗口随时间逐渐变大成整幅大小时，以早先新闻影片中看到的旋转新闻标题的方式旋转窗口。
根据本发明的实施例，在特定时间窗口上平滑地混合帧，以在减少的帧频条件下产生平滑的外观。使用运动模糊以在这些3D动画过程中保持图像质量，使它们在低的合成速率下呈现合意的外观，这减少了对过度高的图形存储器带宽的需求，由此降低了PC产品的成本。使用运动模糊以更信服的方式传递窗口的运动。当和屏幕剩余部分的尖锐或对焦属性相比较，窗口的运动特别明显。
图3是帧序列的实施例300的图示，更具体地示出了时间关系。帧序列302包括第一帧304和第n帧306。帧302可以是大量公共格式中的任何一种。序列302中的每个帧表示在特定时间点呈现的内容。序列302的各个部件快速连续地呈现。序列302中的各个帧可以通过以即时时间对应用模型进行取样而产生。
通过一起平均各个帧308的序列310和312，取样模型模拟了摄影机的快门，以产生子取样帧314。运动模糊模拟了时间周期曝光产生的真实世界的视频快门。一般地，在平均间隔期间对象移动的显示是拍摄时在该间隔将发生的真实世界运动模糊的模拟。后续的平均间隔310和312同样模拟了后续的平均间隔的真实世界运动模糊。如下详细描述的，该过程依赖于所选帧的加权平均的计算。
尤其是，为帧310和312的每个子集计算加权平均，产生随后显示的数目减少的帧314。数目减少的显示帧314提供了节省存储器带宽之后的搜寻。
如上所述，当窗口远离或接近观察者移动时，可以通过时间平均完成运动模糊。尤其是，在输出帧时间之前或之后，使用时间平均以预定/短暂的间隔混合图像信息，以略模糊的形式保留所有的图像信息。这种加权在每个平均间隔给第一和最后帧较少的突出(prominence)，给平均间隔中心附近的帧较多的突出。以这种方法调整权重允许一个子取样的图像平滑地流动到下一个，以减少速率的显示序列保持了平滑运动的幻影。
取样(例如丢失帧)之前，加权平均为序列强加一个较高的频率限制使得可以实现后来的高质量再现。
图4是合成速率降低的实施例400的流程图。通过沿时间相邻的帧序列计算加权平均来执行帧的运动模糊。
在步骤402，由已知技术制造一系列帧。该系列帧可以包括任意数目的帧。一个实施例中，该序列帧包括n个帧，当应用窗口被打开观看时表示该应用窗口每秒x帧。动画序列在整个周期一般是0.25～0.5秒。
在步骤404，帧系列被分割成帧的子集。一个实施例中，n帧系列被分割成一系列n/x组帧，每组由y个帧组成。
在步骤406，为每个帧子集计算加权平均。尤其是，使用时间平均在输出帧时间之前或之后以预定/短暂间隔混合图像信息，这样以略模糊的形式保留所有的图像信息，从而可能实现后来的高质量再现。
操作中，为所选数目的相邻高速帧计算加权平均。然后为高速帧的后续者计算加权平均，以此类推。获得了帧频减少同时维持了整个高速序列中包含的信息。结果是平滑的图像显示。
可以使用选择子集的很多基数(base)。这些基数包括上述基数、上述基数的任何修改以及上述基数的任何组合和/或其修改中的任意一种。本发明的范围内，子集大小没有限制，各组之间可能不同。
在典型的执行方案中，小图标具有缩略图方式的窗口内容。该窗口可以包括诸如标题之类的内容。当包括标题的窗口尺寸增大时，它看上去以雾状、平滑、模糊的方式呈现。窗口以小状态出发产生连续的中间状态。每个状态看上去可能在不同的位置或方向比它之前的那个状态更大，且在所选点计算时间平均以产生帧。这些转换一般很短，可能仅包括5-6个加权平均，但是完全足够产生外观连续的运动。
在步骤408，显示加权平均的帧。如上所述，在显示低速帧之前表示原始内容的帧被模糊。当播放低频帧时，操作系统需要的窗口动画将看上去自然而平滑。
最后的图像包括子帧的组合。例如，从图标到整幅窗口的路径是模糊的。本领域技术人员应当意识到帧可以以任何方法使用或处理，例如，例如，以视频图像为代表的正向序列方式，或以反向或杂乱的方式。
本发明所述实施例的上述描述并不是穷举性的或并不将本发明限制成所公开的具体形式。这里描述本发明的特定实施例和实例用于示例性目的，相关领域的技术人员将意识到可以在本发明的范围内进行各种等价修改。可以根据上述说明书对本发明做出修改。下面权利要求书中使用的术语不应理解成将本发明限制成说明书和权利要求书中公开的特定实施例。而是，本发明的范围完全由下面的权利要求书限定，权利要求书将理解成与权利要求解释制订的条款一致。
权利要求
1.一种产生运动模糊的方法，包括产生一系列窗口帧；将该系列帧分割成帧的子集；为每个帧子集计算加权平均；以及显示该加权平均的帧。
2.权利要求1所述的方法，其中产生一系列窗口帧还包括当应用窗口被打开用于观看时，表示所述应用窗口的每秒x个帧。
3.权利要求1所述的方法，其中将该系列帧分割成帧的子集还包括将该系列的n个帧分割成一系列n/x组帧，每组由y个帧组成。
4.权利要求1所述的方法，其中为每个帧子集计算加权平均还包括在输出帧时间之前或之后，使用时间平均以预定/短暂的间隔来混合图像信息。
5.权利要求1所述的方法，其中为每个帧子集计算加权平均还包括为所选数目的相邻高速帧计算加权平均。
6.一种机器可读介质，其中具有存储的多个机器可读指令，该指令可由处理器执行以提供运动模糊，所述指令包括产生一系列窗口帧的指令；将该系列帧分割成帧子集的指令；为每个帧子集计算加权平均的指令；以及显示该加权平均的帧的指令。
7.权利要求6所述的机器可读介质，其中产生一系列窗口帧的指令还包括当应用窗口被打开用于观看时，表示所述应用窗口的每秒x个帧。
8.权利要求6所述的机器可读介质，其中将该系列帧分割成帧子集的指令还包括将该系列的n个帧分割成一系列n/x组帧的指令，每组由y个帧组成。
9.权利要求6所述的机器可读介质，其中为每个帧子集计算加权平均的指令还包括在输出帧时间之前或之后，使用时间平均以预定/短暂的间隔来混合图像信息的指令。
10.权利要求6所述的机器可读介质，其中为每个帧子集计算加权平均的指令还包括为所选数目的相邻高速帧计算加权平均的指令。
11.一种系统，包括显示处理器，以产生一系列窗口帧，将该系列帧分割成帧子集，为每个帧子集计算加权平均，以及显示该加权平均的帧。
12.权利要求11所述的系统，还包括与该显示处理器通信的存储控制器。
13.权利要求11所述的系统，其中显示处理器配置成独立的装置。
14.权利要求11所述的系统，还包括用于保存该系列窗口帧的存储器。
全文摘要
本发明的实施例在特定时间窗口上混合帧以在减少的帧频下产生平滑的外观。当窗口远离或接近观察者移动时，可以通过时间平均完成运动模糊。尤其是，使用时间平均，在输出帧时间之前或之后以预定/短暂的间隔来混合图像信息，以略微模糊的形式保留所有的图像信息。在保留了相关图像信息之后，可以在减少的输出速率下显示帧，同时保留足够的信息以再现平滑移动的动画序列。
文档编号G09G5/14GK1898703SQ200480038861
公开日2007年1月17日 申请日期2004年12月17日 优先权日2003年12月23日
发明者B·巴克斯特, P·科里沃, T·沃尔什 申请人:英特尔公司