时空产生运动模糊的制作方法

专利名称：时空产生运动模糊的制作方法
相关申请本申请涉及美国专利申请号____，该申请于____提交，名为“Compose Rate Reduction For Display”，并转让给英特尔公司。
背景个人电脑(PC)显示器一般显示一叠对应于用户可能正在执行的不同类型工作(例如，文字处理、电子邮件、电子数据表、视频等)的窗口，当前激活的应用窗口位于叠层的顶部，这样看上去离用户最近。当用户从一个作业改变成另一个作业时，这些窗口重新组合成新的桌面图像，将新的应用窗口带到最前面。
未来的PC产品计划使用三维(3D)动画技术合成应用窗口，为用户提供更丰富的可视体验，其中动画平滑移动。为使动画平滑移动，它们必须没有跳跃(如果没有足够快地合成桌面图像将发生跳跃)。遗憾的是，以足够高的速度合成PC桌面图像需要极大的图形存储器带宽，这使成本增加到在面向移动和低成本PC市场的产品中所不能接收的程度。
按照惯例，为处理不合适的计算或存储器资源，帧只是被停止。因为放弃了表示原始内容的图像信息，结果通常是外观上跳跃的动画，类似于如今个人电脑上经常看到的动画视频。这种帧跳跃可以导致视频帧频降低到感觉平滑移动所需的帧频以下。因此，低比特率视频可能时常给用户呈现跳跃。
附图简述

图1示出了包括图形显示系统的计算机系统的实施例的框图。
图2示出了正在执行文字处理应用程序的窗口。
图3是时空平均的实施例的示意图。
图4是时空平均的一个实施例的流程图。
发明详述本申请涉及美国专利申请号____，于____提交，且名为“ComposeRate Reduction For Displays”，其中运动模糊用于在窗口转换过程中产生低帧频显示。本发明的实施例采用空间模糊以进一步减少所需的图形存储器带宽。本发明通过将一定量的时间平均与较低代价的空间平均进行交换减少了运动模糊的计算代价。
本发明中，窗口的局部区域被一起平均，在和先前和以后时间生成的类似产生的图像做进一步平均之前，空间平滑化窗口图像。这在减少的帧频下使用减少的计算工作量产生了平滑的外观。例如，当窗口移向观察者或远离观察者时，通过空间和时间平均的组合可以产生运动模糊效果。空间平均与时间平均相结合使用以减少合成图像(包括桌面图像)所必须的频率。空间平均减少了处理量，否则这些处理量将贡献于时间平均处理。运动模糊在3D动画过程中保持感觉上是平滑的运动，既便它们以低频合成和显示，但仍呈现出满意的外观。这减少了所需的图形存储器带宽，由此减少了PC的制造成本。
在详细的说明书中，提出众多特定细节以提供对本发明彻底的理解。然而，本领域技术人员应当理解的是，本发明可以不以这些特性细节实现。在其它实例中，为不混淆本发明，详细描述了已知的方法、步骤、元件和电路。
下面详述的一些部分以计算机中的数据位或二进制信号操作的算法和符号表示的方式呈现。这些算法描述和表达是数据处理领域中技术人员使用的方法，以向本领域的其他技术人员传达他们工作实质。这里一般将算法考虑成通向所需结果的自相一致的步骤序列。这些步骤包括物理量的物理操作。通常，但并不必要，这些量具有能够被保存、传输、合成、比较或其它操作的电学或磁学信号的形式。已经证明原则上用于一般使用的原因，把这些信号归类成位、值、元件、符号、字符、术语、数字等是方便的。然而应当理解所有这些和类似的术语与合适的物理量相关，且仅是这些量的方便的标记。除非特别声明，否则当在下面的讨论中出现时，应当理解的是在整个说明书中，使用诸如“处理”或“用计算机计算”或“计算”或“确定”等这样术语的讨论，指计算机或计算系统或类似的电子计算装置的动作和处理，这些计算装置对计算系统的寄存器和/或存储器中的以物理(电子)量表征的数据进行操作，并将其转换成其它数据，这些其它数据类似地以计算系统的存储器、寄存器或其它信息存储、转换和显示装置中的物理量表征。
本发明的实施例可以以硬件或以软件(微代码)的方式执行，或结合它们二者执行。然而，本发明的实施例可以以在可编程系统上执行的计算机程序执行，该可编程系统包括至少一个处理器、数据存储系统(包括易失性和非易失性存储器和/或存储元件)、至少一个输入装置以及至少一个输出装置。程序代码可以应用到输入数据以执行这里描述的功能和产生输出信息。输出信息可以以已知的方式应用到一个或多个输出装置。出于本申请的目的，处理系统包括任何具有处理器(例如数字信号处理器(DSP)、微控制器、专用集成电路(ASIC)或微处理器)的系统。
本发明的所述实施例的上述描述并不是穷举性的或并不将本发明限制成所公开的特定形式。这里描述本发明的特定实施例和实例用于示例性目的，相关领域的技术人员将意识到可以在本发明的范围内进行各种等效修改。可以根据上述描述对本发明做出修改。下面权利要求书中使用的术语不应理解成将本发明限制成说明书和权利要求书中公开的特定实施例。而是，本发明的范围完全由下面的权利要求书确定，权利要求书将理解成与权利要求解释制订的条款一致。
图1示出了一种计算机系统的实施例100的图示，该计算机系统包括一个3D显示处理器102，用于使用空间和时间平均产生运动模糊。为方便起见，省略了对理解本发明不必要的计算机系统的元件。尽管显示处理器102以存储控制器104的一部分示出，显示处理器102还可以配置成独立的装置。显示处理器102还可以配置成单独芯片装置或片上系统、多芯片模块或插入电路板的一部分。显示处理器102可以被包括在任何各种类型的系统中，包括计算机系统、网络PC、英特网设备、电视机(包括HDTV系统和交互式电视系统)、个人数字助理(PDA)、穿戴式电脑以及其它显示2D和或3D图像表示的装置。
如图所示，计算机系统包括与存储控制器104通信的主处理器106，存储控制器104包括显示处理器102。显示处理器102还与存储器108通信。主处理器106可以包括一个或多个各种类型的处理器，例如微处理器、多处理器和CPU。存储器108可以包括不同类型的存储器子系统，包括随机访问存储器(例如DDR、SDRAM、RDRAM等)和大容量存储装置的任何组合。显示装置110可以耦合到显示处理器102。显示装置110可以是任何各种类型的显示监视器或装置，包括但不限于下例装置视频监视器、阴极射线管(CRT)、液晶显示器(LCD)、反射型硅基液晶(LCOS)或气体等离子体显示器。系统可以执行应用软件以在显示装置110上显示图形和视频对象。
各种输入装置(未示出)可以与计算机系统相连，包括键盘和/或指针控制装置。指针控制装置允许用户选择各种命令模式、修改图形数据和输入其它数据。更具体而言，输入装置允许用户通过在表面移动指针控制装置而选择性地放置指针在显示器上的任何所需位置(例如窗口图标)。应当理解本发明可以使用各种已知的输入装置，包括其它控制装置，例如机械鼠标、跟踪球等。
图2示出了显示环境的屏幕截图(screen shot)的实施例200的图示。该屏幕截图示出了当窗口202和观察者之间的视距(apparentdistance)增大或减小时本发明的执行方案怎样产生模糊运动感觉的实例。“窗口”一般可以是显示数据的显示器上的传统矩形区域，以及较小的子区域，例如弹出、下拉或其它菜单、图标、符号或其它显示元件以及对象。这种环境中，操作系统(例如Windows、Linux、OS/2或Macintosh)提供用户界面以及一个或多个与当前运行的应用程序相关的窗口。一般的执行方案中，可以在一个窗口中运行英特网浏览器应用程序，可以在操作系统桌面上的第二窗口中运行文字处理器应用程序。
在视窗显示系统的一个实施例中，用户点击图标202并激活移动到前面的窗口204，以允许在该窗口中对数据进行操作。在诸如矩形窗口、菜单或子菜单这样的对象中，这些对象中显示的数据可以包括字母数字和/或图形数据。因此，应当理解本发明的设备和方法应用到显示器上显示的任何对象，而不管在任何特殊计算机显示系统中的对象的形状、大小或功能。
进一步参考图2，中间窗口208和210被空间模糊，就像使用没有对焦的透镜拍摄它们对应的全速帧的照片时将要发生的一样。通过对显示器上的对象的各个帧使用空间模糊，这种方法可以以平滑的方式使用较小数目的中间帧(和在没有空间模糊的情况下所需的数目相比)转换对象。如图所示，窗口的文本清晰可见，且当它以整幅状态出现时适于被用户操作。相反，当它没有处于整幅状态时，窗口文本对于用户是模糊的。当窗口从图标变成整幅状态时文本变得更加详细。
小图标可以包括缩略图方式的窗口内容的表示。例如，图标包括尺寸增大的标题，看上去就像它从远远的薄雾中出来，像动画一样平滑。当点击和打开一个窗口图标时，它可以以多种方式呈现。一个执行方案中，窗口自动打开以显示整幅内容，如图2所示。另一个实例中，窗口随时间逐渐变大成整幅大小，随后填充内容。另一个实施例中，当窗口转换成整幅大小时它可以旋转。
根据本发明的实施例，帧首先经历局部空间模糊，然后在特定时间平滑地混合，以在减少的帧频条件下产生平滑的动画。使用运动模糊以在这些3D动画过程中保持运动的感知，低合成速度下呈现合意的外观，这导致节省图形存储器带宽之后的探寻。
如上所述，时间平均可以用于减少图像(包括桌面图像)合成的频率。根据本发明的实施例，空间平均和时间平均相结合使用以减少与运动模糊有关的计算负担。这样，空间平均减少了处理量，否则这些处理量将在严格的时间平均处理中需要。在一个典型的执行方案中，动画用户影响是短周期的，一般为0.25～0.5秒。只要动画导致受影响的对象平滑地移动，眼睛一般不能觉察以平均的方式完成的微小差异。可以使用空间模糊以产生一般与运动中的项目相关的模糊图像。
图3的图示进一步示出了在窗口转换302期间对帧的时空平均的实施例300，该窗口转换以第一帧304开始以第n帧306结束。本发明的典型实施例对在时间上间隔巨大的帧执行空间平均308，和缺少空间平均的所需处理相比，后续处理需要较少的代价。本领域技术人员应当理解也可使用其它配置。帧302可以是大量公共格式中的任意一种。
空间模糊序列308的较宽间距是因为和原始内容相比该帧具有较低的空间分辨率。当帧经历空间平均时在转换过程中需要较少的输出帧。空间和时间模糊的同时使用开拓了一般在现代显示处理器产品中可获得的多处理能力。
分辨率减小的帧可以保存在存储器中。一旦需要显示帧，可以以合适的分辨率构建每个帧，但是更有效的是提前构建帧并把它保存在存储器中，以在一旦需要显示窗口转换时进行快速检索。因为帧可以以各种分辨率示出，可以构建和保存帧的多个不同版本以用于后来的检索。因为能够选择具有不同分辨率的帧，从存储器获取仅实际需要的数据量。
帧的每个版本可以以它的分辨率数标识。以最高分辨率版本开始，每个版本逐渐地具有比前面一个更低的分辨率预滤波表达。每个不同大小的版本具有不同的细节程度。典型的执行方案中，每个连续的帧具有它前一帧的一半的分辨率。形成一组相同窗口的不同大小的版本，例如全分辨率、1/2分辨率、1/4分辨率、1/8分辨率等等。
每个帧可以以适合它在显示平面上的外观大小和运动程度的特定分辨率处理。示意性地，最大的帧(分辨率0)可以对应于显示器的全分辨率图像(例如1024×768)以允许观看具有内容的窗口，例如电子邮件/网页。分辨率-1可以是分辨率0的一半大小，而分辨率-2可以是分辨率-1的一半大小，以此类推。每个连续的帧可以具有前一帧的一半的水平和垂直尺寸。
在窗口移动过程中，使用表示具有不同程度分辨率的窗口的帧。当窗口到观察者的察觉距离增加时，可以看见的细节减少，可以使用较低的分辨率版本，这在本领域中已众所周知。例如，当窗口被旋转或收缩或后退到一定距离时，帧分辨率可以从级别-2切换到-3，具有1/4到1/8的行或列。这减小到原始数据量的1/16或1/64，这样允许额外节省存储器带宽。
当窗口远离或接近观察者移动时，可以通过各种方法模拟运动模糊，包括但不限于使用减少的分辨率(更负的分辨率数)。本发明的实施例平衡了空间和时间平均的合适量，以获得平滑的移动效果。尤其是，本发明的实施例以空间模糊来和时间模糊“交易”。通过起始于图像产生的较低频率，可以对具有较低级别细节的图像进行时间平均计算，这样使用较少的数据。
在计算机产生的成象中使用模拟的运动模糊以减轻源自于取样离散属性的视觉上讨厌的假象。运动模糊模拟能够实现真实世界视频快门的短周期曝光间隔的再造。一般地，第一和第二位置之间的对象移动的显示是真实世界运动模糊的模拟。如下面详细描述的，该过程依赖于所选帧的时空平均的计算。
当窗口远离或靠近观察者移动时，可以通过空间和时间平均310、312的组合完成运动模糊。尤其是，在输出帧时间之前或之后，时空平均被用来混合图像信息一个预定/简短的间隔，以略模糊的形式保留所有的图像信息。在保留相关图像信息之后，可以放弃帧以减少输出频率同时保留足够的信息以再现平滑移动的动画序列314。
图4是时空平均方法的实施例400的流程图。通过使用具有不同分辨率的窗口帧计算时间和空间平均来执行帧的运动模糊。
在步骤402，产生并保存一系列窗口帧，每个帧具有不同的分辨率。如上所述，因为窗口可以以不同尺寸示出，构建并存储多个不同分辨率版本的窗口用于后来的检索。从最大分辨率版本开始，每个这些版本是前面一个渐低分辨率的预滤波表达。每个不同尺寸的版本具有不同程度的细节。在一个典型的执行方案中，每个连续的帧具有它前一帧的一半的分辨率。形成一组相同窗口的不同尺寸的版本，例如全分辨率、1/2分辨率、1/4分辨率、1/8分辨率等等。
在步骤404，帧的子集被组合以表示窗口所需的路径和外观。例如，当窗口被旋转或收缩或后退到一定距离时，帧选择可以从级别0切换到-1到-2到-3等等。相应地，当帧旋转或从图标放大到全分辨率图像时，帧选择可以从分辨率-3切换到-2到-1到0。
在步骤406，为每组低分辨率帧计算时间平均。和不使用变化的分辨率帧的方法相比，输入序列的较宽间隔(由于表示原始内容的具有不同分辨率的帧)表示需要较少的输入帧来一起空间平均。
在步骤408，为显示产生空间和时间平均的帧以形成过渡效应。结果是平滑地动画窗口过渡效应。可以使用选择子集的很多基数(base)。这些基数包括上述任意基数、上述基数的任何组合和/或其变型。在本发明的范围内，子集大小没有限制，各组之间可能不同。
在典型的执行方案中，小图标具有缩略图方式的窗口内容。该窗口可以包括诸如标题之类的内容。当包括标题的窗口尺寸增大时，它看上去以雾状、平滑、模糊的方式呈现。窗口以小状态出发产生连续的中间状态。每个状态看上去比另一个更大，且在所选点产生时间平均以产生帧。例如，在多个帧放大之后，基于这些帧计算另一个时间平均以产生下一个帧，直到所有的帧都被处理为止。动画变换一般很短，可能仅需要5-6个加权平均以产生完全连续移动的外观。当播放低频帧时，操作系统希望的窗口动画将看上去自然而平滑。
最后的窗口变换帧包括所有时空平均的帧的组合。例如，从图标到整幅窗口的路径是模糊的。本领域技术人员应当意识到，帧可以以任何多种方法使用或处理，例如，以视频图像表示的正向序列方式，或以反向或杂乱的方式。
本发明所述实施例的上述描述并不是穷举性的或并不将本发明限制成所公开的具体形式。这里描述本发明的特定实施例和实例用于示例性目的，相关领域的技术人员将意识到可以在本发明的范围内进行各种等价修改。可以根据上述说明书对本发明做出修改。下面权利要求书中使用的术语不应理解成将本发明限制成说明书和权利要求书中公开的特定实施例。而是，本发明的范围完全由下面的权利要求书限定，权利要求书将理解成与权利要求解释制订的条款一致。
权利要求
1.一种产生运动模糊的方法，包括产生并保存一系列的窗口帧，每个帧具有不同的分辨率；选择一系列帧以表示窗口的所需路径和外观；计算帧的空间平均；将空间平均的帧分割成帧子集；计算每个帧子集的加权平均；以及使用时空平均的帧以产生窗口的显示。
2.权利要求1所述的方法，其中产生并保存一系列的窗口帧，每个帧具有不同程度的细节，还包括产生连续的帧，每个帧具有下一个较高分辨率的一半的分辨率。
3.权利要求1所述的方法，其中选择一系列帧以表示窗口的所需路径和外观还包括当窗口旋转或收缩或在远处出现/后退到远处/从远处后退时，选择一系列帧以表示窗口所需的路径和外观。
4.权利要求1所述的方法，其中选择一系列帧以表示窗口的所需路径和外观还包括当窗口旋转或从图标增大到全分辨率图像时，选择一系列帧以表示窗口的所需路径和外观。
5.权利要求1所述的方法，其中计算帧的空间平均还包括因为帧具有不同的分辨率，计算输入序列上数目减少的帧的空间平均。
6.权利要求1所述的方法，其中为每个帧子集计算加权平均还包括为所选数目的时间相邻的全速帧计算加权平均。
7.一种运动模糊方法，包括产生并保存一系列的窗口帧，每个帧具有不同的分辨率；组合空间平均的帧子集以表示窗口所需的路径和外观；为每组低分辨率帧计算时间平均；以及产生空间和时间平均的帧的显示以形成过渡效应。
8.权利要求1所述的方法，其中产生并保存一系列的窗口帧，每个帧具有不同的分辨率，还包括产生多个不同分辨率版本的窗口。
9.权利要求2所述的方法，其中产生多个不同分辨率版本的窗口还包括以最大分辨率版本开始，产生具有前面一个渐低分辨率的预滤波表示的这些版本中的每个版本。
10.权利要求1所述的方法，其中组合空间平均的帧子集以表示窗口所需的路径和外观还包括组合空间平均的帧子集以表示窗口收缩或增大所需的路径和外观。
11.一种机器可读介质，其上存储多个可由处理器执行的机器可读指令，以提供运动模糊，所述指令包括产生并保存一系列的窗口帧、每个帧具有不同分辨率的指令；组合空间平均的帧子集以表示窗口所需的路径和外观的指令；为每组低分辨率帧计算时间平均的指令；以及产生空间和时间平均的帧的显示以形成过渡效应的指令。
12.权利要求11所述的机器可读介质，其中产生并保存一系列的窗口帧、每个帧具有不同的分辨率的指令还包括产生多个不同分辨率版本窗口的指令。
13.权利要求12所述的机器可读介质，其中产生多个不同分辨率版本窗口的指令还包括指令，起始于最大分辨率版本，以产生具有前面一个渐低分辨率的预滤波表示的这些版本中的每个版本。
14.权利要求11所述的机器可读介质，其中组合空间平均的帧子集以表示窗口所需的路径和外观的指令还包括组合空间平均的帧子集以表示窗口收缩或增大所需的路径和外观的指令。
15.一种系统，包括显示处理器，以使用空间和时间平均产生运动模糊，包括产生并保存一系列的窗口帧，每个帧具有不同的分辨率；组合空间平均的帧子集以表示窗口所需的路径和外观；为每组低分辨率帧计算时间平均；以及产生空间和时间平均的帧的显示以形成过渡效应。
16.权利要求15所述的系统，还包括与显示处理器通信的存储控制器。
17.权利要求15所述的系统，其中显示处理器配置成独立的装置。
18.权利要求15所述的系统，还包括用于保存一系列窗口帧的存储器。
全文摘要
本发明的实施例在特定的空间和时间范围混合帧，以减少的帧频产生平滑地动画外观。当窗口远离或靠近观察者移动时，可以通过组合空间和时间平均完成运动模糊。空间平均与时间平均结合使用以减少包括桌面图像的图像的合成速率并且减少合成所需的图形存储器带宽的数目。
文档编号G09G5/14GK1898702SQ200480038682
公开日2007年1月17日 申请日期2004年12月13日 优先权日2003年12月23日
发明者B·巴克斯特 申请人:英特尔公司