对运动估计的时间平滑的制作方法

文档序号:6479015阅读:233来源:国知局

专利名称::对运动估计的时间平滑的制作方法
技术领域
:本发明涉及视频处理。更具体地说,本发明的实施例涉及对运动估计的时间平滑。
背景技术
:图像处理应用可估计与运动图像序列的图像帧中的各个特征相关的运动。该应用可估计与块、段或可包含特征的其它区域相关的运动。估计的运动可描述特征或区域从一帧到另一帧的空间变换。空间变换可描述平移、旋转、弯曲或其它空间变换。估计的运动可描述特征或区域的非空间变换。非空间变换可描述强度或颜色变化、模糊或其它非空间变换。这里使用的术语“运动估计”指的是这种运动估计。这里使用的术语“特征”、“块”、“段”和“区域”指的是运动估计所关联的运动图像的特性。这里使用的术语“区域”指的是图像帧的块、段或其它不同范围,它可包含图像的一个或多个特征。运动估计用在涉及视频、计算机成像、医疗成像和其它某种程度上更专门的图像处理应用中。运动估计和二维(2D)成像应用以及和三维(3D)应用一起使用。这里,术语2D和3D指的是空间维度。应用可包括或涉及视频压缩,视频压缩涉及减少借助其保存和传送(例如,编码、传输、接收和解码)的视觉信息的数据的量。运动估计与视频压缩应用一起使用,以显著减少为表示运动图像序列中的图像帧而需要的数据。视频压缩应用会试图把图像区域的平移或其它运动从一帧映射到另一帧。例如,已知参考帧A和描述从帧A到后续帧B的图像运动的运动映射,那么通过从帧A投射运动映射,能够形成运动预测帧Bm。通过从帧B中减去运动预测帧Bm,能够形成差帧Bd。当编码运动映射和差帧Bd所需的数据量小于直接编码帧B所需的数据量时,实现压缩。从而,应用会寻找与帧B的区别相对小的运动预测帧Bm。对与压缩有关的用途来说,运动映射表示运动图像序列中的图像特征的实际运动的精度不会是需要考虑的主要事项。换句话说,从实现压缩的观点来看,给定的运动映射仅仅减少编码运动映射和差帧Bd所需要的数据量就足够了。使用运动估计的应用可相对于参考帧对准出现在运动图像序列的一帧或多帧中的图像特征。运动估计可描述当包含一特征的区域在时间上与参考帧相邻的一组帧内移动时,包含该特征的区域的运动。运动估计可描述所述区域从参考帧到所述一组帧中的每个其它帧的变换。为了对准每一帧中的该特征,可对每个其它帧的相关区域应用反向变换,以反转或撤消运动估计描述的运动。随后可按照公式相互混合或组合所得到的一组图像特征对准的区域。这里使用的术语“对准”可涉及持续对于一帧或多帧,对于包含特征的区域反转或撤消由运动估计描述的运动,以使每帧中的该特征对准参考帧中的相同特征。对于对准图像特征的应用来说,运动估计表示运动图像序列中的图像特征的实际运动的精度是需要考虑的主要事项。对于在运动图像序列的各帧之间精确对准特征来说,精确的运动估计意义重大。对图像特征的精确帧间对准意义重大的应用来说,运动估计精确性的重要性不言而喻。这些应用可包括超分辨率、帧速率转换、运动补偿去交织(de-interlacing)和运动补偿降噪。对超分辨率应用来说,相对精确的对准,从而精确的运动估计变得特别重要。不过,精确运动估计的重要性并不局限于这些应用。应认识到实质上对于任何2D或3D视频,医疗成像和计算机成像应用来说,精确的运动估计都意义重大。在示例运动估计方法中,可对于图像序列得到描述图像区域的帧到帧平移运动的运动估计。为了得到该图像序列的运动估计,对图像序列的每一帧的每个区域得到运动估计。对于特定区域,包含该区域的帧是参考帧,运动估计描述该区域在时间上与参考帧相邻的一组帧内的运动。在参考帧中选择区域C,并可在该一组帧中的另一帧中寻找具有相同图像特征的相关区域C'的可能位置。在寻找C'区域时,可在一定范围内把区域C平移到许多不同的位置,并与所述另一帧中位于这些位置的区域比较。认为最可能是被平移区域C的区域是区域C'。当对该一组帧的每个其它帧重复该过程时,得到该区域的运动估计。对2D图像来说,平移可用两个分量,例如“X”分量和“y”分量表示。联系在一起的这两个分量可被称为运动矢量。对于所述一组帧的每一帧可得到一个运动矢量。通过按照每一帧在所述一组帧内的时间位置对所述一组帧的每一帧的运动矢量排序,能够形成变量“t”(时间)的两个离散函数,例如x(t)和y(t)。这两个函数对应于运动的两个分量。联系在一起的这两个函数是区域的运动估计,它们详述该区域在所述一组帧内的平移运动。应明白的是在本例中,说明由两个分量表示的平移运动。对于描述例如平移、旋转、弯曲和强度变化的更复杂运动的例子,区域从一帧被变换到另一帧,为了表示该运动需要多于两个的分量。同样使用区域C和C'来表示两个帧中的关联区域,参考帧的区域C可在其所有分量的一定范围内被变换,并与另一帧中的区域比较。同样,认为最可能是被平移区域C的区域是区域C',对该一组帧的每一帧重复该过程。所描述的变换可用七个分量表示。联系在一起的分量可被称为运动矢量。通过按照每一帧在所述一组帧内的时间位置对运动矢量排序,能够形成变量“t”(时间)的七个离散函数。联系在一起的七个函数是该区域的运动估计,它们详述该区域在所述一组帧内的复杂运动。更一般地,运动估计指的是运动矢量和/或其它运动估计如何把参考帧的区域映射到一个或多个其它帧的描述(例如定量描述)。运动估计把参考帧的区域与其它帧(例如在时间上与参考帧相邻的窗口内的其它帧)的区域联系起来。对于参考帧中的每个区域,可对一个或多个其它帧搜索类似的区域,所述一个或多个其它帧可能位于离参考帧一定的位移(例如,一定数目的帧,时间距离)内。这里使用的术语“运动估计”可指的是由关于描述运动的空间或非空间属性的任意特定分量的许多分量函数组成的运动估计。这里使用的术语“运动估计”可以指的是在一段时间内,例如在定义时间窗口的一组帧内采样的分量;样本或帧可以间隔相等的时间,或者可不间隔相等的时间。可关于另一变量对分量采样,如果关于该变量描述运动估计,例如关于距离或温度采样运动估计。附图中举例说明了本发明,但不是对本发明的限制,附图中,相同的附图标记表示相似的元件,其中图1A描述可用其实践本发明的实施例的示例运动图像序列;图1B按照本发明的一个实施例,描述示例运动估计;图2A描述可用其实践本发明的实施例的借助运动估计的示例多帧图像特征对准;图2B按照本发明的一个实施例,描述图像特征的示例对准;图3A按照本发明的一个实施例,描述一组运动矢量的一组示例第一分量的曲线图;图3B按照本发明的一个实施例,描述一组运动矢量的一组示例第二分量的曲线图,所述第二分量正交于所述第一分量;图4按照本发明的一个实施例,描述第一示例过程的流程图;图5按照本发明的一个实施例,描述第二示例过程的流程图;图6按照本发明的一个实施例,描述复合运动的第一例子的运动矢量分量的曲线图;图7按照本发明的一个实施例,描述复合运动的第二例子的运动矢量分量的曲线图;图8描述可用其实践本发明的实施例的示例计算机系统平台。具体实施例方式运动估计可具有偏差,例如,它们预测运动的精度可变化。差异可能源于估计运动的特定方法,或者源于特定图像序列的一个或多个特性,比如噪声、图像失真(aliasing)、过程伪像等。由于这些不精确性,运动估计可伴随运动估计精确的似然性或置信度的度量。对描述在一组帧内的区域的运动的运动估计来说,对于每一帧(例如,对于每个运动矢量)的独立置信值可伴随所述估计。通过按照每一帧在一组帧内的时间位置对置信值排序,能够形成变量“t”(时间)的函数。这里使用的术语“置信度”可指的是运动估计的似然性、置信度、可能性或精确性的指示符。这里使用的术语“置信值”、“置信函数”和“置信度”可指的是伴随运动估计的置信度的函数。这里使用的运动估计可被认为包含附随置信函数。下面说明时间上平滑运动估计的示例实施例。在下面的说明中,为了便于说明,陈述了众多的具体细节,以便充分理解本发明。不过显然可在没有这些具体细节的情况下实践本发明。在其它情况下,没有详尽地描述公知的结构和设备,以避免不必要地模糊本发明。概述实施例涉及时间上平滑运动估计。对于运动图像序列的一组帧来说,得到运动估计。一组帧定义序列的时间窗口。运动估计描述一组帧的参考帧的区域相对于一组帧中的至少一个其它帧的变换。参考帧和所述其它帧的区域都包含图像特征的一部分。在时间窗口内平滑运动估计。在此为了所有目的并入ChristopherJ.Orlick,JeromeD.Shields,RichardWebb和ScottMiller于2008年11月21日提出的PCT申请号[待分配]的题为"TemporalImagePrediction”。平滑操作可独立地平滑运动的每个分量。附随的置信函数可不被平滑。所述平滑至少部分地便于更准确地对准每一帧的相同图像特征。通过平滑图像序列的每一帧的每个区域的运动估计,平滑运动图像序列的运动估计。这里说明的示例实施例涉及时间上平滑运动估计。运动图像序列包含多帧。运动图像序列的帧是以一定的帧速率呈现的,所述帧速率描述序列的时间尺度。从而,运动图像序列的一组给定帧可被看作该序列内的时间窗口。时间窗口内的帧可包括参考帧,窗口内的其它帧的运动可以所述参考帧为参照。运动估计描述在定义时间窗口的一组帧内的运动。在帧的较小时间窗口内,与实际的图像特征相关的运动可被认为具有平滑特性。对帧的较小时间窗口来说,时间上不平滑的特定区域或图像特征的运动估计可被认为是不精确的或者是错误的。时间上不平滑的运动估计会影响窗口中帧的特征的精确对准。实施例在时间上平滑运动估计,从而便于改进图像特征之间的对准。在一些运动图像序列或帧组中,另一个运动特性,例如,除平滑外的运动特性可与平滑运动特性组合。例如,帧抖动或场格式转换(filmcadence)特性可以与平滑运动特性组合。在按照这种方式复合另一运动特性和平滑运动特性的情况下,帧可显示总的复合运动特性。不过,平滑运动仍然可被看作复合运动的基本特性。在一个实施例中,运动估计可具有一个或多个分量,或者可用一个或多个分量来描述。例如,帧区的运动估计可包括正交关联的矢量分量(比如水平和垂直分量“χ”和“y”等)的一对函数。分量函数可描述帧组内与该区域相关的平移运动。运动估计可包括相对于在关于其发生旋转运动的参考帧的区域中的一个点的旋转或角运动分量(比如角度θ)的函数。角分量函数描述帧组内与该区域相关的旋转运动。角分量函数可被包括在平移分量里,比如正交关联的矢量分量(例如,“X”和“y”)的一对函数中。运动估计可包括更多的分量函数。例如,运动估计可包括至少六个函数,所述六个函数描述帧组内与该区域相关的仿射运动(affinemotion),比如弯曲和平移。通过利用二分量运动矢量来表示图像区域在2D运动图像序列内的帧组中的平移运动,参考运动估计说明示例实施例。不过根据下面的说明,显然实施例并不局限于这些示例特征,这里使用这些示例特征仅仅是考虑到一致性、简明性和清楚性。相反,根据下面的说明,显然实施例很好地适于和对任意种类的运动使用任意种类的运动估计的应用一起工作。实施例适合于使用2D、3D和各种多维图像的应用,以及诸如计算机成像和生物医学成像之类的成像应用。与2D视频应用相反,3D生物医学成像应用可直观地呈现跳动的心脏。运动图像序列的运动估计可以使用三分量运动矢量来表示平移运动,例如,“x”、“y”和深度或者说“ζ”分量。可描述平滑关于某一区域的运动估计的示例实施例。平滑关于某一区域的运动估计可被看作不同的操作。对图像序列中的每一帧的每个区域重复该操作可平滑所述图像序列的运动估计。这里,描述平滑关于某一区域的运动估计的任何示例实施例可被用于平滑相同或其它帧的其它区域,以便平滑单帧或者整个序列的运动估计。运动估计关于时间(或者某一其它变量)描述运动,每个分量可被看作时间的单值函数。分量也可被看作另一变量的函数,如果关于该变量,例如关于距离或温度描述运动估计。例如,在一个实施例中,运动估计关于独立变量描述窗口内的运动。独立变量可涉及时间、距离、温度和/或运动图像序列内的运动与之关联的另一性质。帧组的帧可在窗口内基本上周期性地间隔开,或者可在窗口内间隔不是基本上周期性地间隔开。在一个实施例中,可独立地平滑区域的每个分量的函数。可联合地平滑两个不同分量的函数。可利用低通滤波,或者通过拟合曲线,比如抛物线或样条曲线,或者借助其它某种平滑方法,平滑函数。附随的置信函数可被用作用于滤波、曲线拟合或其它方法的加权函数。置信函数不被平滑。可用不同方法平滑关于不同区域的运动估计,可用不同方法平滑关于某一区域的估计的不同分量函数。在一个实施例中,对于运动图像序列的一组帧,获得运动估计。该运动估计使该一组帧中的每一帧与自变量的值联系起来。该运动估计还把一组帧中的一帧中的区域相对于该一组帧中的至少一个其它帧的变化描述成自变量的函数。关于该独立变量平滑运动估计。在一个实施例中,对于运动图像序列的一帧中的区域,获得运动估计。该运动估计描述该区域在一组帧的子帧组内的运动。该运动估计还把一组帧中的每一帧与自变量的值联系起来。此外,该运动估计把一组帧中该帧的所述区域相对于一组帧中的至少一个其它帧的变化描述成自变量的函数。关于该自变量平滑运动估计。在一个实施例中,平滑便于至少部分地对准存在于一组帧中的多于一帧中的图像特征。自变量可以涉及时间、帧编号、距离、温度或可描述运动的另一性质中的至少一个。运动估计可包括多个分量函数。分量函数可包括描述平移运动的平移分量函数、描述旋转运动的角分量函数、描述仿射运动的仿射分量函数、描述颜色变化的颜色分量函数、或者描述空间分辨率变化的分辨率分量函数中的至少一个。在一个实施例中,对帧的所有区域重复这些步骤,以平滑该帧的整个运动估计。在一个实施例中,对运动图像序列的所有帧重复这些步骤,以平滑该运动图像序列的整个运动估计。实施例便于使出现在运动图像序列的多帧中的图像特征对准。对运动图像序列的帧组来说,获得运动估计。该运动估计描述该帧组中的一帧,即参考帧的区域到帧组中的每个其它帧的变换。帧组定义运动图像序列的时间窗口。这些帧的关联区域可至少包含相同图像特征的一部分。在时间窗口内平滑该运动估计。所述平滑至少部分地使帧组中的每一帧的图像特征的对准更容易。使每一帧的图像特征与参考帧中的图像特征对准。平滑平移运动例子关于一帧的某一区域的运动估计可包括正交关联的矢量分量(比如水平和垂直分量“X”和“y”)等的一对函数。根据第一运动估计,为例如运动图像序列的一组运动矢量的两个正交关联分量中的每个分量分配第一分量函数和置信函数。对于围绕参考帧时间上定义的窗口内的帧,假定实际图像特征的运动是平滑的。该窗口可被定义成覆盖例如较短的一段时间或者数目较少的帧。不过,任何其它时间上较长的时期可定义所述窗口。在时间上定义的窗口内,基于平滑性的假设,根据第一运动估计确定区域的第二运动估计。通过平滑第一估计确定第二运动估计。根据第二运动估计,分配一组运动矢量的两个正交关联分量中的每个分量的第二分量函数。在一个实施例中,例如和利用低通滤波的情况一样,可通过过滤运动矢量的正交分量,平滑运动估计。在另一个实施例中,可对于运动估计样条曲线或抛物线(或者某一其它平滑倾斜的曲线),以形成平滑的第二运动估计。附随的置信函数可被用作过滤、曲线拟合或其它方法的加权函数。这里描述的示例实施例便于使运动图像序列中的图像特征对准。此外,示例实施例从而可增强运动图像序列中的特征的视觉质量属性。对于通过平滑与运动图像序列中的图像特征的运动估计来对准运动图像序列中的图像特征来说,可执行这里描述的示例处理。可以用与所示的示例步骤相比更多或更少的步骤,和/或用按照可与示例过程的顺序不同的顺序执行的步骤执行用实施例实现的过程。示例过程可以在一个或多个计算机系统上执行,所述一个或多个计算机系统可受在一个或多个计算机可读存储介质中编码的机器可读指令控制。可以改善初始运动估计中的偏差。可如下确定初始运动估计。可分析图像序列,以估计其中的运动。可选择参考帧中的一个区域,并在另一帧,例如下一帧或前一帧中寻找该区域的最可能位置。在搜索中使用该区域位于特定位置的相对似然性的度量,来寻找所述最可能位置。对于参考帧中的每个区域,对位于例如离参考帧预定(例如较小)时间距离内的一组其它帧中的每一帧进行该搜索。可确定所找到的最可能位置的置信度。从而,提供关于参考帧的运动估计。图IA描述可用其实践本发明的实施例的示例运动图像序列100。对于每个其它帧,搜索产生包含该特征的区域的最可能位置,该位置被记录在运动估计中。图IA描述当其在五帧间隔100内移动时,或者在各帧之间在空间位置方面发生移动时,图像特征(字母“A”)的位置。图IB描述按照一个实施例的示例运动估计100。图IB描述相同的运动特征“A”,同时位置被记录在用X指示的运动估计中。发现任一帧中的位置与其它各帧无关。图2A描述可用其实践本发明的实施例的借助运动估计的示例多帧图像特征对准201。在图2A中,按照用X指示的运动,使每一帧的图像特征与参考帧对准。图像特征可能由于例如每个独立搜索中的误差而未被对准。估计运动的误差会导致运动估计偏离平滑的运动轨迹。本实施例的平滑操作可除去运动估计中可能以别的方式产生的误差,而不改变图像特征的实际运动。通过平滑初始运动估计,可实现更精确的运动估计。通过关于匹配区域在所选时间窗口内的所有其它帧中的位置,考虑匹配区域的位置,而不仅仅考虑匹配区域在每个搜索到的帧中的最可能位置,可平滑运动估计。图IB描述通过平滑图像特征“A”的估计轨迹的运动估计(用0表示)而找到的位置。在这个例子中,“A”的实际运动被假定是平滑的。图2B描述按照一个实施例的图像特征“A”的示例对准212。在图2B中,按照由在图IB中使用的0指示的平滑运动,使每一帧的图像特征“A”与参考帧对准。从而,与关于对准201的例子(图2A)相比,使运动估计平滑可改善图像特征“A”的对准212。此外,在一个实施例中对准图像特征之后,按照预定公式混合包含特征的图像区域。不过,对准和混合特征的目的是改善图像质量,而不是改善图像质量,混合未对准的特征会造成显著恶化图像质量的风险。在一个实施例中,混合公式根据每个特征位于特定的预测位置的似然性、置信度或者类似的概率因子,向每个对准的图像特征赋予权重。当置信度高时,一个实施例混合图像。在独立查找所述位置的情况下,同样独立地确定置信值。不过,在使用平滑后的运动估计对准图像特征的情况下,每个位置的置信度增大,因为所述位置彼此相符。参考图IB和图2B,考虑图像特征的相对位置显示出所找到的对准的0位置不一定匹配依据各个独立搜索所使用的相对似然度的测量确定的X位置。检查在对比的X位置和0位置的相对似然度预期会表现出一定的差异。搜索不完美性和/或诸如噪声、图像失真和过程伪像之类的图像特性会导致各个独立搜索或多或少地倾向于X位置。通过平滑运动估计,从而把找到的位置从X移动到0,相对似然度的度量会降低,从而置信度也会降低。不过,由于平滑操作所实现的位置的一致性,实施例用更大的置信度增大抵消了这种降低。对准精确性的增大伴随有与对准相关的置信度的适当相伴增大。平滑后的运动估计的有用性和平滑后的运动估计与运动图像序列中的实际图像特征的运动精密一致的程度有关。有时会存在不一致。如下参考图5所述,通过对图像序列部分地重复运动估计处理,可改善所述不一致。确定运动估计的处理会具有相当大的相关计算成本,在一些应用中,这会使重复该处理变得不经济。另外,高质量运动估计有用的应用可能不能控制估计运动的一个或多个处理。从而,对这样的应用来说,现有运动估计的质量是给定值。不过,一个实施例通过在时间上平滑现有的运动估计,改善了运动估计的质量,从而可用在这样的应用中。关于运动图像序列中的平移运动的现有运动估计可包含多组平移运动矢量。对平移运动的估计来说,运动图像序列中的每一帧被分割成矩形的像素块。每个像素块具有相关的一组运动矢量。运动矢量描述该像素块在运动图像序列的一些帧内的运动。包含像素块的帧被视为该像素块的一组运动矢量的参考帧。该组运动矢量具有位于离参考帧给定时间距离内的每个其它帧的矢量。对给定块来说,运动矢量集中的每个矢量指示相对于对应块在其参考帧中的位置,相关块尺寸区域在一个其它帧中的计算的最可能位置。通过搜索所述其它帧,寻找包含与像素块中的特征最匹配的图像特征的块尺寸区域,确定另一帧中像素块移往的最可能位置(或者前一帧中像素块移离的最可能位置)。为了为一些应用提高精确度,可按子像素精度搜索各帧中的位置。在使用子像素精度搜索的情况下,可以使用过采样插值器。过采样插值器产生用于匹配的子像素样本。对与给定块相关的一组矢量来说,与其它帧中的搜索无关地进行运动图像序列的各帧之间的搜索。对应像素值(例如,亮度值和/或色度值)的绝对差和(SAD)被用作每个块的匹配度量。为零的ZAD指示基本完美的匹配。相反,较大的SAD指示较差的匹配。在其它实施例中,块的匹配度量还可包括或者另一方面可包括平均绝对差值(MAD)或最小均方差(MMSE)计算。每个矢量可具有指示匹配置信度的相关值。置信值可得自于SAD。置信值可来源于SAD与包含在块中的信息量的度量的组合。可以使用其它置信度公式。用于计算置信值的公式可由下面的方程式1给出。置信度=1/(1+K*SAD)(方程式1)方程式1中的常数“K”控制误差容限。在置信度计算中,当置信度趋向于1(或者另一个较大的值)时,指示较好的匹配。类似地,当置信度趋向于0(或者与指示良好匹配的值明显相反的另一个值)时,指示较差的匹配。在一个实施例中,通过单独处理每个块的一组运动矢量,改进运动估计。当处理运动图像序列中的每一帧的所有块的运动矢量集时,运动估计被平滑。对一个块来说,彼此独立地平滑每个运动矢量(例如,x和y)的各个函数。可以使用各种处理来平滑运动矢量集。这些处理可包括初始运动估计的低通滤波,或者对于初始运动估计拟合样条曲线或抛物线(或者另一种平滑曲线)。置信值可被用于加权运动矢量。按照一个实施例,图3A描述一组运动矢量的示例第一分量(例如水平(x)分量)的曲线图300。图3B描述一组运动矢量的一组示例第二分量(例如垂直(y)分量)的曲线图350,所述第二分量正交于第一(x)分量。关于以参考帧为中心的11帧,分别在曲线图300和350中单独绘制运动矢量的x和y分量的值。X符号指示关于现有运动估计找到的位置。运动的x和y分量被绘制为帧编号(对应于时间)的函数。实曲线描述通过平滑所述函数产生的轨迹。虚曲线指示对参考帧中的块的已知位置来说的轨迹。换句话说,虚曲线实质上代表被移动以经过参考帧的位置(0,0)的实曲线。通过用由虚曲线确定的运动矢量代替矢量集中的原始运动矢量,形成平滑后的运动估计。当存在相关的置信值时,相关的置信值也被替换。例如,重新计算误差,得到新的置信值。从而可实现在图2B中描述的图像特征的对准。示例过程本发明的实施例利用一个或多个过程平滑运动估计。可以用与所示的示例步骤相比更多或更少的步骤,和/或用按照和示例过程的顺序不同的顺序运行的步骤执行用实施例实现的过程。可以用如下所述的计算机平台的一个或多个组件执行所述过程。示例过程可以在具有一个或多个处理器的一个或多个计算机系统上执行,所述一个或多个处理器在机器可读指令的控制下工作,所述机器可读指令在一个或多个计算机可读存储介质中被编码。在各个实施例中,这里描述的过程的执行涉及软件(例如包括一个或多个编码算法)、固件、硬件和它们的组合。图4按照本发明的一个实施例,描述第一示例过程400的流程图。在步骤401,关于视频序列的一帧的一个区域获得运动估计。该区域的运动估计描述该区域在一组帧内的运动。包含该区域的帧是该帧组的参考帧,并且所述帧组中的各帧在时间上与参考帧相邻。在步骤402,平滑运动估计。从而可对准出现在该区域中的图像特征,如图2B中所示。可对视频序列的每一帧的每个区域重复过程400,从而平滑视频序列的运动估计。图5按照本发明的一个实施例,描述第二示例过程500的流程图。在步骤501,获得现有的运动估计。根据现有的运动估计,指定运动矢量集的水平和垂直分量x和y。当存在初始置信值时,指定初始置信值。不过,初始置信值可能不可获得。例如,可能不可获得SAD信息,或者认为不需要置信值。在这种情况下,可指定单一值(比如都为1)作为置信度。在一种实现中,源自现有运动估计的正交关联的矢量集分量和置信值被指定名称,例如,Current_X,Current_Y*Current_Confidence,以便存储和处理。为视频序列的帧组中的每一帧包括当前矢量集分量和当前置信值。在步骤502,通过平滑当前矢量集分量,形成轨迹的x和y分量的新估计。在一种实现中,轨迹x和y分量的新估计被指定名称,例如New_X和New_Y。假定平滑的运动,在步骤503,形成新的平滑后的估计。相互独立地平滑x和y分量函数。在一个实施例中,使用当前置信值加权用于过滤、曲线拟合或其它平滑操作的位置样本。再次参考图3A和图3B,X符号表示初始估计,虚曲线表示平滑后的估计。在步骤504,确定现有运动估计的矢量集分量和新的估计的矢量集分量之间的差异的度量。所述差异包含图像空间中的距离测量,从而指示为了形成新的估计分量而对现有运动估计的矢量集分量的位置进行移动的程度。在实施例中按照下面的方程式2确定所述差异的对应值“diff”,其中特定帧的x和y分量的差异由“dx”和“dy”给出。在一种实现中,现有运动估计的矢量集分量和矢量集分量的新估计之间的差异被指定名称,例如New_Difference。在步骤505,通过检查差异值(例如New—Difference)的大小,确定现有运动估计的矢量集分量(例如,Current_X,Current_Y)是否与平滑后的估计(图3A、B,实曲线,而不是虚曲线)足够类似。矢量集分量的新估计(例如,NeW_X,NeW_Y)是平滑的;从而,所述差异,NeW_DifTerence是现有运动估计相对于平滑后的估计的相似性的有力指标。当确定现有运动估计足够类似于平滑后的运动估计时,存在平滑现有运动估计的合理性,可继续过程500。从而,在步骤508,新的平滑后的运动估计被移动到参考帧中的块的已知位置。例如,图3A和图3B中通过把实曲线移动到虚曲线,描述了所述移动。不过,当确定现有运动估计不够类似于平滑后的轨迹时,对该块中止平滑操作,使用现有的运动估计;不过,可对剩余的块继续进行过程500。关于现有运动估计是否足够类似于平滑后的运动估计的决定可由几种技术之一处理。在一个实施例中,简单地确定小于某一距离阈值的差值项(例如,New_Difference)的数目。关于每个差值项形成逻辑认可变量。在一种实现中,逻辑认可变量被指定为New_Difference_ACC印table。如果对应的差值小于距离阈值,那么逻辑认可值指示“真”。从而,真的逻辑认可变量项可表示其初始估计位置足够接近平滑后的估计位置的帧。如果“真”项的数目足够大,确定现有运动估计足够类似于平滑后的运动估计。例如,再次参见图3A和图3B,其中对值为2的距离阈值来说,所有逻辑认可变量项都为“真”,位于帧3的项除外,它具有标记的“错误”或游离(outlying)矢量。在其中断定运动估计足够类似于平滑后的运动估计需要至少8个“真”项的情况下,在曲线图300和350中,表现出现有运动估计足够类似于平滑后的运动估计。执行过程500的一些系统平台可具有随后可行地重新检查运动图像序列的足够计算资源和作业灵活性。借助具有这种能力的平台,过程400可任意地参与这种重新检查。从而,在步骤506,确定是否随后将搜索帧组中的一些帧。例如,可能发现对一些帧来说,逻辑认可变量为“假”,这表示在现有运动估计中找到的对应位置超出距离阈值,例如,过度地远离平滑的运动估计。在步骤507,再次搜索不够接近的帧。在一个实施例中,在有限的范围中搜索不够接近的帧。例如,在平滑后的运动估计附近搜索帧,寻找与参考帧中的块最匹配的块尺寸区域的最可能位置。在时间窗口内的每个其它帧中,搜索范围局限于以由平滑后的估计指示的位置为中心,并且刚刚延伸到用于确定逻辑认可变量的值的距离阈值外的较小局部区域。如上参考步骤502和503所述,继续进行匹配的度量和置信值的指定。对于后来搜索的各帧找到的后续位置和置信度被分配给现有运动估计和指定的当前置信度,过程500返回步骤502。对于特定块的矢量集,最初不能接受的游离帧可能需要不超过一次的后续搜索。例如,再次参考图3A和图3B,再次搜索帧3,在平滑后的估计附近找到新的最佳匹配位置。当在可选的步骤506中确定不存在随后要搜索的帧时(或者当在步骤505中确定初始运动估计足够类似于平滑后的运动估计,而不选择步骤506时),通过把实曲线移动到虚曲线,新的平滑后的估计被移动到该块在参考帧中的已知位置,例如如图3A和图3B中所示。不过,一些帧会仍然具有虚假的逻辑认可变量项。在一个实施例中,与这些帧对应的置信度项被指定为零值。在方框509中,用源于新的平滑后的运动估计的值替换该块的矢量集,并替换相关的置信值(如果存在的话),从而改善运动估计。修改后的矢量集可被用于对准和混合图像区,这可改善运动视频序列中的图像质量。复合运动例子帧抖动和场格式转换本发明的实施例并不限于作用于平滑运动。相反,本发明的实施例同样适于作用于复合运动,比如与帧抖动结合的平滑运动和/或与场格式转换结合的平滑运动。此外,尽管这里的描述涉及的是运动矢量,不过作用于复合运动的实施例同样适合于使用任何种类的运动估计分量。这里使用的术语“帧抖动”实质上指的是施加于视频序列的所有帧的一般化运动。可用各种已知技术测量帧抖动。在已知存在帧抖动,并且帧抖动被测量的运动图像序列中,一个实施例消除与抖动相关的运动特性,平滑与消除抖动特性后的剩余运动特性相关的运动估计,随后把抖动特性替换成平滑后的运动估计。图6按照一个实施例,描述复合运动(例如与帧抖动结合的平滑运动)的第一例子的运动矢量分量的曲线图600。为了简单、清楚和简洁起见,图6描述运动矢量的y分量(未显示对应的x分量)。双虚曲线表示复合运动的轨迹,包括帧抖动特性以及该帧内的块的运动特性。星号表示对于现有运动估计找到的位置。虚曲线表示与帧抖动相关的轨迹。在一个实施例中,从运动矢量(或者其它运动估计)值中减去已知的帧抖动。当从运动矢量中减去帧抖动时,帧内的块的运动特性保持没有抖动特性的状态,这里可被称为无抖动运动估计。无抖动运动估计现在可被平滑,如图6中用带有用X符号表示的值的实曲线轨迹所示。在一个实施例中执行参考图4和图5说明的过程,以平滑帧内的无抖动运动估计。依据所述平滑,把帧抖动运动特性增加到新平滑的运动估计中,以产生具有基础的平滑后运动特性的复合运动估计。当平滑运动与通过重复各帧而插入图像序列中的场格式转换结合时,也会产生复合运动。例如,当24帧/秒视频输入被转换成60帧/秒视频输出时,可以重复一对输入帧,以产生5个输出帧。在这个例子中,所述一对输入帧中的第一帧可被重复三次,第二帧可被重复两次。预期对每对输入帧继续这样的重复。借助各种技术可知晓或测量场格式转换。图7按照一个实施例,描述复合运动的第二例子的运动矢量分量的曲线图700。图7表示在图像序列中存在24:60场格式转换的平滑运动。为了简单、清楚和简洁起见,在图7中表示了代表任意运动估计的一组运动矢量的y分量(未显示对应的x分量)。通过观察各帧的重复位置,可证明场格式转换的存在。由于帧重复的缘故,在一个实施例中,平滑被延迟,直到通过应用相反的场格式转换,重复的帧被移回其初始时间位置为止。在图7中,用箭头指向各个位置值被移到的帧时间。当移动位置值时,应用如上关于图4和图5说明的过程,以平滑无场格式转换的运动估计。依据所述平滑,对新平滑的运动估计重新应用场格式转换,以产生具有基础的平滑后运动特性的复合运动估计。示例计算机系统平台图8描述可在其上实现本发明的实施例的示例计算机系统800。计算机系统800包括总线802或用于传送信息的其它通信装置,和与总线802耦接用于处理信息的处理器804(它可代表一个或多个处理器)。计算机系统800还包括与总线802耦接的主存储器806,比如随机存取存储器(RAM)或其它动态存储装置,用于保存信息和由处理器804执行的指令。主存储器806还可用于保存在由处理器804执行的指令的执行过程中的临时变量或其它中间信息。计算机系统800还包括与总线802耦接的只读存储器(R0M)808或其它静态存储装置,用于为处理器804保存静态信息和指令。提供诸如磁盘或光盘之类的存储装置810,并使之与总线802耦接,用于保存信息和指令。计算机系统800可经总线802与诸如液晶显示器(IXD)、阴极射线管(CRT)、平板显示器或类似监视器之类的显示器812耦接,以便向计算机用户显示信息。包括字母数字键和其它按键的输入装置814与总线802耦接,以便向处理器804传送信息和命令选择。另一种用户输入装置是光标控制器,比如鼠标、跟踪球或光标方向键,用于向处理器804传送方向信息和命令选择,以及控制显示器812上的光标移动。这种输入装置一般具有在两个轴,即第一轴(例如,χ轴)和第二轴(例如,y轴)的二自由度,使该装置可以指定平面中的位置。本发明涉及使用计算机系统800平滑运动估计。按照本发明的一个实施例,响应处理器804执行包含在主存储器806中的一个或多个指令的一个或多个序列,计算机系统800提供对游离对象的重写查询。这样的指令可从另一个计算机可读介质,比如存储装置810被读入主存储器806中。包含在主存储器806中的指令序列的执行使处理器804执行这里说明的处理步骤。也可采用多处理配置中的一个或多个处理器执行包含在主存储器806中的指令序列。在备选实施例中,可以使用硬连线电路代替软件指令或者与软件指令结合来实现本发明。从而,本发明的实施例并不局限于硬件电路和软件的任何具体结合。这里使用的术语“计算机可读介质”指的是参与向处理器804提供指令以便执行的任意介质。这样的介质可以采取多种形式,包括但不限于非易失性介质、易失性介质和传输介质。例如,非易失性介质包括例如光盘或磁盘,比如存储装置810。易失性介质包括动态存储器,比如主存储器806。传输介质包括同轴电缆、铜线和其它导体及光纤,包括包含总线802的导线。传输介质也可采取声波或电磁波的形式,比如在无线电和红外数据通信中产生的声波或电磁波。计算机可读介质的常见形式包括,例如,软盘、软磁盘、硬盘,磁带或者任何其它磁介质,CD-ROM、DVD或者任何其它光介质,穿孔卡片、纸带、具有小孔图案的任何其它传统的或者其它物理介质,RAM、PROM和EPR0M、FLASH-EPR0M、任何其它存储芯片或存储盒,后面说明的载波,或者计算机能够读取的任何其它介质。各种形式的计算机可读介质可参与向处理器804传送一个或多个指令的一个或多个序列以便执行。例如,指令最初可装在远程计算机的磁盘上。远程计算机可把指令装载到其动态存储器中,并利用调制解调器通过电话线发送该指令。计算机系统800本地的调制解调器能够接收电话线上的数据,并使用红外发射器把数据转换成红外信号。与总线802耦接的红外探测器能够接收携带在红外信号中的数据,并把数据放在总线802上。总线802把数据运送到主存储器806,处理器804从主存储器806取回并执行指令。可选的是,在被处理器804执行之前或之后,主存储器806接收的指令可被保存在存储装置810上。计算机系统800还包括与总线802耦接的通信接口818。通信接口818提供与网络链接820耦接的双向数据通信,网络链接820与本地网络822连接。例如,通信接口818可以是提供与对应种类的电话线的数据通信连接的综合业务数字网(ISDN)卡或数字用户线(DSL),电缆或其它调制解调器。作为另一个例子,通信接口818可以是提供与兼容LAN的数据通信连接的局域网(LAN)卡。也可实现无线链接。在任何这样的实现中,通信接口818发送和接收携带表示各种信息的数字数据流的电、电磁或光信号。网络链接820—般提供通过一个或多个网络到其它数据设备的数据通信。例如,网络链接820可提供通过本地网络822到主计算机824,或者到由因特网服务提供商(ISP)826操作的数据设备的连接。ISP826又通过全球分组数据通信网络(目前一般称为“因特网”)828提供数据通信服务。本地网络822和因特网828都使用携带数字数据流的电、电磁或光信号。往来于计算机系统800传送数字数据的、通过各种网络的信号和网络链接820上并通过通信接口818的信号是传送信息的载波的示例形式。通过网络、网络链接820和通信接口818,计算机系统800能够发送消息和接收数据,包括程序代码。在因特网例子中,服务器830可通过因特网828、ISP826、本地网络822和通信接口818传送所请求的应用程序代码。按照本发明,一个这样下载的应用为这里所述的时间上平滑运动估计创造条件。接收的代码可在接收时由处理器804执行,和/或保存在存储装置810或者其它非易失性存储器中,以便稍后执行。按照这种方式,计算机系统800可以载波的形式获得应用代码。可在诸如解码器和/或编码器之类的设备中实现本发明的实施例,所述设备用于利用示例计算机系统800的组件,如参考图4和/或图5所述地平滑运动估计。在各个实施例中,可用与计算机系统800相关的固件和/或用与之一起执行的软件实现所述设备。在各个实施例中,在计算机系统800使用的一个或多个计算机可读存储介质中,编码用于配置所述设备和/或执行这里描述的过程的指令。在一个实施例中,计算机系统800可被配置成包括具有其它功能的附加组件。在另一个实施例中,计算机系统800可不包括一个或多个说明的组件,和/或可被配置成用外部组件、系统或装置实现关于所示的一个或多个组件说明的功能。在一个实施例中,用专用集成电路(ASIC)实现计算机系统800的一个或多个功能。在一个实施例中,用ASIC实现设备的功能。在一个实施例中,计算机系统800和/或用其构成的设备包含网络822和/或因特网828的部件。在一个实施例中,计算机系统800和/或用其构成的设备包含个人计算机(PC),工作站计算机等,视频编辑和/或处理系统,移动和/或具有网络能力的计算和/或通信设备,比如蜂窝电话机、个人数字助手(PDA),膝上型或手持式计算机等,电视机(TV),数字通用视盘(DVD)播放器,诸如HD-DVD之类的高清晰度(HD)介质的播放器,诸如蓝光光盘(BD)之类的其它光学编码介质的播放器,游戏设备,流媒体播放器,科学、医学或其它成像设备等等。例子在一个实施例中,一种方法包括下述步骤,或者一种带有一个或多个指令序列的计算机可读介质,当被一个或多个处理器执行时,所述指令使一个或多个处理器执行下述步骤对运动图像序列内的限定时间窗口的一组帧,获取描述参考帧的区域相对于所述一组帧内的至少一帧的变化的运动估计,所述至少一帧在时间窗口内偏离所述参考帧;其中参考帧和所述至少一帧的区域至少包含图像特征的一部分;和在时间窗口内平滑所述运动估计。在一个实施例中,一种方法或计算机可读介质还包括其中所述平滑便于至少部分地对准所述一组帧内的图像特征。在一个实施例中,一种方法或计算机可读介质还包括确定与所述一组帧中的帧相关的复合运动分量,所述复合运动分量进一步描述对应帧区域的变化;和伴随平滑所述运动估计,补偿复合运动分量。在一个实施例中,一种方法或计算机可读介质还包括其中复合运动分量至少包括下述之一与运动图像序列的帧相关的帧抖动特性;或与运动图像序列的帧相关的场格式转换特性。在一个实施例中,一种方法或计算机可读介质还包括其中运动估计包括多个分量,其中所述多个分量包括至少下述之一一对正交关联的矢量分量,所述一对正交关联的矢量分量描述在所述一组帧的一帧或多帧之间,与一个或多个区域相关的平移运动;角分量,所述角分量描述在所述一组帧的一帧或多帧之间,与一个或多个区域相关的旋转运动;或者描述在所述一组帧的一帧或多帧之间,与一个或多个区域相关的仿射运动的分量。在一个实施例中,一种方法或计算机可读介质还包括其中第一帧和第二帧的对应区域包括多个区域关系中的第一区域关系;其中图像特征至少部分地分布在所述多个区域关系中的一个或多个区域关系中;其中运动估计包括多个运动估计之一;其中每个运动估计描述关于区域关系之一的变化;并且其中所述方法还包括对关于每个区域关系的每个运动估计,重复所述获取步骤和平滑步骤。在一个实施例中,一种方法或计算机可读介质还包括其中运动估计关于独立变量描述时间窗口内的运动。在一个实施例中,一种方法或计算机可读介质还包括其中独立变量和时间、温度或与运动图像序列内的运动关联的另一性质中的至少一个相关。在一个实施例中,一种方法或计算机可读介质还包括其中所述一组帧中的帧在所述时间窗口内基本上周期地隔开。在一个实施例中,一种方法或计算机可读介质还包括其中所述一组帧中的帧在所述时间窗口内不是基本上周期地隔开。在一个实施例中,一种方法或计算机可读介质还包括其中运动图像序列的所述一组帧至少包括在所述一组帧内的第三帧,所述第三帧在至少一部分的时间窗口内偏离第一帧和第二帧;并且其中所述方法还包括关于所述一组帧中的每一帧重复获取步骤和平滑步骤。在一个实施例中,一种方法或计算机可读介质还包括其中平滑步骤包括下述步骤对于与时间上平滑运动估计对应的运动估计的每个分量计算平滑值;比较平滑值和与每个获取的运动估计对应的加权估计值;其中加权估计值包含按照置信度加权的运动估计,所述置信度与运动估计预测第一帧的区域相对于第二帧的对应区域的变化的精确度相关;当计算的平滑值与加权估计值相比在可接受的容限内时,选择该平滑值;和按照平滑值,呈现在运动图像序列内的所述一组帧的帧。在一个实施例中,一种方法或计算机可读介质还包括当对所述一组帧的子集中的一帧或多帧来说,计算的平滑值与加权估计值相比在可接受的容限外时,对所述子集中的一帧或多帧重复平滑步骤,其中所述平滑步骤还包括计算所述子集中的一帧或多帧的运动估计的每个分量的后续平滑值,其中所述后续平滑值局限于初始平滑值和加权估计值之间的值;当计算的后续平滑值与加权估计值相比在可接受的容限内时,选择该后续平滑值;和按照后续平滑值,呈现在运动图像序列内的所述一组帧的子集中的所述一帧或多帧。在一个实施例中,一种处理运动图像序列的设备包括便于运动图像序列的图像特征的对准的至少一个处理器;和包含一个或多个保存的指令序列的计算机可读介质,当被所述至少一个处理器执行时,所述指令使所述至少一个处理器执行下述步骤对运动图像序列内的限定时间窗口的一组帧,获取描述参考帧的区域相对于所述一组帧内的至少一帧的变化的运动估计,所述至少一帧在时间窗口内偏离所述参考帧;其中参考帧和所述至少一帧的区域至少包含图像特征的一部分;和在时间窗口内平滑所述运动估计。在一个实施例中,一种设备还包括其中该设备至少包括下述之一计算机;视频解码器或编码器中的至少一个;电视机;至少一种光学编码介质的播放器应用;流式数字信号的播放器应用;显示来自成像应用的信息的监视器;网络部件;便携式通信设备;医学成像设备;科学成像设备;视频编辑系统;视频处理系统;或者游戏设备。在一个实施例中,一种处理运动图像序列的便于运动图像序列的图像特征的对准的系统,所述系统包括对运动图像序列内的限定时间窗口的一组帧,获取描述参考帧的区域相对于所述一组帧内的至少一帧的变化的运动估计的装置,所述至少一帧在时间窗口内偏离所述参考帧;其中参考帧和所述至少一帧的区域至少包含图像特征的一部分;和在时间窗口内平滑所述运动估计的装置。在一个实施例中,一种方法包括下述步骤,或者一种带有一个或多个指令序列的计算机可读介质,当被一个或多个处理器执行时,所述指令使一个或多个处理器执行下述步骤对运动图像序列的一组帧,获取使所述一组帧中的每一帧与自变量的值关联,并以自变量的函数的形式,描述所述一组帧中的一帧的区域相对于所述一组帧中的至少一个其它帧的变化的运动估计;和关于所述自变量平滑该运动估计。在一个实施例中,一种方法或计算机可读介质还包括对运动图像序列的一帧的区域,获取描述该区域在一组帧的子集内的运动,使所述一组帧中的每一帧与自变量的值关联,并以自变量的函数的形式描述所述一组帧中的该帧的区域相对于所述一组帧中的至少一个其它帧的变化的运动估计;和关于所述自变量平滑该运动估计。在一个实施例中,一种方法或计算机可读介质还包括其中所述平滑便于至少部分地对准存在于所述一组帧中的多于一帧中的图像特征。在一个实施例中,一种方法或计算机可读介质还包括其中自变量涉及时间、帧编号、距离、温度或可描述运动的另一性质中的至少一个。在一个实施例中,一种方法或计算机可读介质还包括其中运动估计包括多个分量函数,其中所述多个分量函数包括下述至少之一描述平移运动的平移分量函数;描述旋转运动的角分量函数;描述仿射运动的仿射分量函数;描述颜色变化的颜色分量函数;或者描述空间分辨率变化的分辨率分量函数。在一个实施例中,一种方法或计算机可读介质还包括其中对帧的所有区域重复所述步骤,以平滑该帧的整个运动估计。在一个实施例中,一种方法或计算机可读介质还包括其中对运动图像序列的所有帧重复所述步骤,以平滑该运动图像序列的整个运动估计。扩展物、等同物、备选物和其他由此说明了时间上平滑运动估计的示例实施例。在上面的说明书中,关于因实现而异的众多具体细节说明了本发明的实施例。由此,本发明是什么以及本申请人想要的发明是什么的单独或唯一指示仅由本申请提出的权利要求以这些权利要求所发布的特定形式(包括任何后续修改)限定。这里关于包含在这些权利要求中的术语明确陈述的任何定义应决定在权利要求中使用的这些术语的含义。从而,权利要求中未明确陈述的任何限制、元件、性质、特征、优点或属性不应以任何方式限制权利要求的范围。因此,说明书和附图应被看作对本发明的举例说明,而不是对本发明的限制。权利要求一种方法,包括下述步骤对运动图像序列内的限定时间窗口的一组帧,获取描述参考帧的区域相对于所述一组帧内的至少一帧的变化的运动估计,所述至少一帧在时间窗口内偏离所述参考帧;其中参考帧和所述至少一帧的区域至少包含图像特征的一部分;和在时间窗口内平滑所述运动估计。2.按照权利要求1所述的方法,其中所述平滑便于至少部分地对准所述一组帧内的图像特征。3.按照权利要求1所述的方法,还包括确定与所述一组帧中的帧相关的复合运动分量,所述复合运动分量进一步描述对应帧区域的变化;和伴随平滑所述运动估计,补偿复合运动分量。4.按照权利要求3所述的方法,其中复合运动分量至少包括下述之一与运动图像序列的帧相关的帧抖动特性;或与运动图像序列的帧相关的场格式转换特性。5.按照权利要求1所述的方法,其中运动估计包括多个分量,其中所述多个分量包括至少下述之一一对正交关联的矢量分量,所述一对正交关联的矢量分量描述在所述一组帧的一帧或多帧之间,与一个或多个区域相关的平移运动;角分量,所述角分量描述在所述一组帧的一帧或多帧之间,与一个或多个区域相关的旋转运动;或者描述在所述一组帧的一帧或多帧之间,与一个或多个区域相关的仿射运动的分量。6.按照权利要求1所述的方法,其中第一帧和第二帧的对应区域包括多个区域关系中的第一区域关系;其中图像特征至少部分地分布在所述多个区域关系中的一个或多个区域关系中;其中运动估计包括多个运动估计之一;其中每个运动估计描述关于区域关系之一的变化;并且其中所述方法还包括对关于每个区域关系的每个运动估计,重复所述获取步骤和平滑步骤。7.按照权利要求1所述的方法,其中运动估计关于独立变量描述时间窗口内的运动。8.按照权利要求7所述的方法,其中独立变量和时间、温度或与运动图像序列内的运动关联的另一性质中的至少一个相关。9.按照权利要求1所述的方法,其中所述一组帧中的帧在所述时间窗口内基本上周期地隔开。10.按照权利要求1所述的方法,其中所述一组帧中的帧在所述时间窗口内不是基本上周期地隔开。11.按照权利要求1所述的方法,其中运动图像序列的所述一组帧至少包括在所述一组帧内的第三帧,所述第三帧在至少一部分的时间窗口内偏离第一帧和第二帧;并且其中所述方法还包括关于所述一组帧中的每一帧重复获取步骤和平滑步骤。12.按照权利要求11所述的方法,其中平滑步骤包括下述步骤对于与时间上平滑运动估计对应的运动估计的每个分量计算平滑值;比较平滑值和与每个获取的运动估计对应的加权估计值;其中加权估计值包含按照置信度加权的运动估计,所述置信度与运动估计预测第一帧的区域相对于第二帧的对应区域的变化的精确度相关;当计算的平滑值与加权估计值相比在可接受的容限内时,选择该平滑值;和按照所述平滑值,呈现在运动图像序列内的所述一组帧的帧。13.按照权利要求12所述的方法,还包括当对所述一组帧的子集中的一帧或多帧来说,计算的平滑值与加权估计值相比在可接受的容限外时,对所述子集中的一帧或多帧重复平滑步骤,其中所述平滑步骤还包括计算所述子集中的一帧或多帧的运动估计的每个分量的后续平滑值,其中所述后续平滑值局限于初始平滑值和加权估计值之间的值;当计算的后续平滑值与加权估计值相比在可接受的容限内时,选择该后续平滑值;和按照后续平滑值,呈现在运动图像序列内的所述一组帧的子集中的所述一帧或多帧。14.一种处理运动图像序列的设备,包括便于运动图像序列的图像特征的对准的至少一个处理器;和包含一个或多个保存的指令序列的计算机可读介质,当被所述至少一个处理器执行时,所述指令使所述至少一个处理器执行下述步骤对运动图像序列内的限定时间窗口的一组帧,获取描述参考帧的区域相对于所述一组帧内的至少一帧的变化的运动估计,所述至少一帧在时间窗口内偏离所述参考帧;其中参考帧和所述至少一帧的区域至少包含图像特征的一部分;和在时间窗口内平滑所述运动估计。15.按照权利要求14所述的设备,其中该设备至少包括下述之一计算机;视频解码器或编码器中的至少一个;电视机;至少一种光学编码介质的播放器应用;流式数字信号的播放器应用;显示来自成像应用的信息的监视器;网络部件;便携式通信设备;医学成像设备;科学成像设备;视频编辑系统;视频处理系统;或者游戏设备。16.一种具有编码指令的计算机可读存储介质,当用计算机系统的一个或多个处理器执行时,所述编码指令使处理器执行下述步骤对运动图像序列内的限定时间窗口的一组帧,获取描述参考帧的区域相对于所述一组帧内的至少一帧的变化的运动估计,所述至少一帧在时间窗口内偏离所述参考帧;其中参考帧和所述至少一帧的区域至少包含图像特征的一部分;和在时间窗口内平滑所述运动估计。17.—种处理运动图像序列的便于运动图像序列的图像特征的对准的系统,所述系统包括对运动图像序列内的限定时间窗口的一组帧,获取描述参考帧的区域相对于所述一组帧内的至少一帧的变化的运动估计的装置,所述至少一帧在时间窗口内偏离所述参考帧;其中参考帧和所述至少一帧的区域至少包含图像特征的一部分;和在时间窗口内平滑所述运动估计的装置。18.一种方法,包括下述步骤对运动图像序列的一组帧,获取使所述一组帧中的每一帧与自变量的值关联,并以自变量的函数的形式,描述所述一组帧中的一帧的区域相对于所述一组帧中的至少一个其它帧的变化的运动估计;和关于所述自变量平滑该运动估计。19.一种方法,包括下述步骤对运动图像序列的一帧的区域,获取描述该区域在一组帧的子集内的运动,使所述一组帧中的每一帧与自变量的值关联,并以自变量的函数的形式描述所述一组帧中的该帧的区域相对于所述一组帧中的至少一个其它帧的变化的运动估计;和关于所述自变量平滑该运动估计。20.按照权利要求19所述的方法,其中所述平滑便于至少部分地对准存在于所述一组帧中的多于一帧中的图像特征。21.按照权利要求19所述的方法,其中自变量涉及时间、帧编号、距离、温度或可描述运动的另一性质中的至少一个。22.按照权利要求19所述的方法,其中运动估计包括多个分量函数,其中所述多个分量函数包括下述至少之一描述平移运动的平移分量函数;描述旋转运动的角分量函数;描述仿射运动的仿射分量函数;描述颜色变化的颜色分量函数;或者描述空间分辨率变化的分辨率分量函数。23.按照权利要求19所述的方法,其中对帧的所有区域重复所述步骤,以平滑该帧的整个运动估计。24.按照权利要求23所述的方法,其中对运动图像序列的所有帧重复所述步骤,以平滑该运动图像序列的整个运动估计。全文摘要对运动图像序列的一组帧,获取运动估计。运动估计描述参考帧的区域相对于至少一个其它帧的变化。所述参考帧和其它帧在时间窗口范围内的所述一组帧内相互偏离。这两帧的区域至少包含图像特征的一部分。在时间窗口范围内平滑运动估计。平滑至少可部分地便于对准一组帧内的图像特征。文档编号G06T7/20GK101878486SQ200880118149公开日2010年11月3日申请日期2008年11月21日优先权日2007年11月30日发明者C·J·奥利克,J·D·希尔兹申请人:杜比实验室特许公司
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1