专利名称：用于运动估计的装置和方法
技术领域：
本发明的 实施例涉及用于运动估计(motion estimation)的设备，并涉及用于估计关于当前帧的参考帧的源块(source block)的运动的方法。
背景技术：
运动估计技术形成了诸如帧速率转化器之类的视频压缩和视频处理应用的核心。 这些技术就准确度、速度、复杂度或稳定性而言可以不同。
发明内容
本发明的目的是提供具有整体改进的特性的运动估计设备。进一步的目的是提供一种用于估计在关于当前帧的参考帧中的源块的运动的方法。
本发明的细节将从与附图一起的以下对实施例的描述而变得显而易见。多个实施例的特性可被组合，除非其彼此排斥。图1是根据一个实施例的运动估计设备的示意性视图。图2是对在参考帧中的源块和在由候选向量所定义的当前帧中的目标块的简化视图。图3涉及图1的运动估计设备，并且示出了根据一个实施例的运动估计单元的细节。图4涉及图1和图3的运动估计设备，并且示出了根据一个实施例的估计单元的细节。图5是用于示出用于估计在关于参考帧的当前帧中的源块的运动的方法的简化流程图。
具体实施例方式图1涉及运动估计设备100，其可被包括在包括诸如TV接收机之类的视频处理的多种应用中。运动估计设备100可包括被配置为确定参考帧的源块的图像特性的块特性测量单元110。运动估计设备100还可包括被配置为估计关于当前帧的参考帧的源块的运动的运动估计单元120，其中，取决于图像特性来估计源块的运动。换言之，用于估计在关于当前帧的参考帧中的源块的运动的方法取决于源块的图像特性。更具体地，图像特性确定源块的运动是由除了相位关联(phase correlation)以外的运动估计方法所估计，还是由相位关联所估计。根据一个实施例，块特性测量单元110包括被配置为提取源块内的特征点的特征点提取单元。图像特性随后被与特征点的存在相关。例如，图片中的诸如拐角或边缘之类的特性区域可被用作特征点。作为示例，块特性测量单元110可被配置为通过利用赫塞行列式(Hesse determinant)的最大值来提取源块中的拐角。取代提取源块内的单个特征点， 块特性测量单元110还可提取源块内的多个特征点。因此，块特性测量单元110的结果可以与在参考帧的源块中的一个或多个特征点的存在、类型或形状相关。根据其他实施例，块特性测量单元110可基于源块是否为平坦块(flat block)来确定参考帧的源块的图像特性。根据又一实施例，块特性测量单元110可基于源块是否为纹理块来确定参考帧的源块的图像特性。块特性测量单元110还可确定关于诸如噪声、颜色、对比度(例如，相似或平坦的)或亮度之类的图片属性的块特性。源块的大小可以小于参考帧的大小。作为示例，该大小可等于以下值中的任一个 33x32像素、32x16像素、16x32像素、16x16像素、16x8像素、8x16像素、8x8像素、8x4像素、 4x8像素、4x4像素。根据另一示例，块大小还可以是不同于2的乘方的大小。根据一个实施例，运动估计单元120被配置为取决于由诸如3D递归运动估计之类的块匹配方法或相位关联所确定的图像特性来估计参考帧的源块的运动。根据另一实施例，除了相位关联以外的运动估计方法可以是全搜索算法或基于运动模型的估计中的任一个。根据一个实施例，在由相位关联所进行的对源块的运动估计的情形中，如果由相位关联所估计的运动并未满足预定的标准(例如，如果被认为并不足够好)，则运动估计单元120可再次通过运动估计方法(例如，块匹配)而非相位关联来估计相应源块的运动。作为示例，预定标准可涉及任一个或任意数目的峰值、峰值间比率、峰值维度(诸如，宽度、最大峰值高度、噪声地毯水平(noise carpet level))的组合。作为进一步的示例，相位关联的结果是否满足某标准的决定可通过将相位关联结果与一个或多个可被预先确定和/或编程的阈值相比较来确定。出于例示运动估计的基础的目的，图2的左侧部分涉及包括源块210的参考帧 200。示出在图2的右侧部分的关于诸如目标帧205之类的当前帧的源块210的运动可被图1的运动估计设备100所估计。在目标帧205(例如，当前帧)中，源块210的运动(出于例示目的，在源帧200中的源块210的位置在目标帧205中通过虚线被指示)可基于一个候选向量220或多个候选向量被评估。候选向量220确定从源帧200到目标帧205中的目标块230的源块210的运动。例如，候选向量220或多个获选向量可从之前的估计中被得知。作为示例，例如，估计参考帧200的源块210的运动中所涉及的候选向量的数目可在 1到5的范围内变 化。针对每个候选向量220，取决于所使用的运动估计方法，可以与源块 210相关地设置目标块230，并且，可以选择一个候选向量来确定在源帧200和目标帧205 之间的相应源块210的运动。图3涉及图1中所示的运动估计设备100，并且提供了关于根据实施例的运动估计单元120的细节。运动估计单元120可包括决定单元130，该决定单元130被配置为决定对关于当前帧的参考帧的源块的运动的估计是由相位关联实施的还是由除了相位关联以外的诸如块匹配之类的运动估计方法(例如，3D并行递归运动估计)所实施的。出于例示的目的，以下描述将涉及作为非相位关联方法的块匹配。但是，还可利用其他运动估计方法。决定单元 130可通过考虑由块特性测量单元110所提供的源块的图像特性来决定其所基于的运动估计方法。
在决定单元130决定将实施块匹配的情形中(例如，因为在参考帧中的源块缺少任意特征点)，块匹配单元160可通过块匹配来估计关于当前帧的参考帧中源块的运动。在决定单元130决定将实施相位关联以确定关于当前帧的参考帧的源块的运动的情形中，候选向量选择单元140可选择一个或多个候选向量。这些候选向量可被选作之前估计的候选向量。除了空间 /时间估计以外，候选向量可通过运动估计/检测的其他手段(例如外部手段)被提供。例如，静态区域检测可传送带有某种程度可靠性的零向量。该向量可进一步在运动估计处理中被检查。全局运动估计器还可提供与图片淘选(panning) 相关的信息，其可被认为是候选向量。基于由选择单元140所选择的候选向量，评估单元150评估由相位关联所估计的源块的运动，其中，取决于该评估的结果，源块的运动或者被确定为由相位关联所估计的运动(其被转发到输出单元170)，或者再次被块匹配单元160所估计。在后一种情形中，由相位关联所估计的运动可被丢弃，或者从相位关联结果所导出的信息可被用于建立块匹配。 作为示例，如果评估单元决定相位关联的结果不满足预定标准，因此评估单元指示块匹配单元160通过块匹配来估计在关于目标帧的当前帧中的相应源块的运动，则块匹配可被实施。块匹配单元160将所估计的源块的运动转发给输出单元170。运动估计设备100允许实现准确且快速的收敛运动估计(例如仅从相位关联已知的)，并且还允许稳定且健壮的运动估计(例如仅从块匹配已知的)。另外，与仅通过相位关联来实施运动估计的设备相比，由设备100所实施的运动估计的整体计算复杂度可被降低。这可能由于对在设备100中的相位关联的有限的且减少的使用。图4涉及在图1和图3中所示的运动估计设备，并且进一步提供了根据实施例的评估单元150的细节。评估单元150包括被配置为提取目标块中的一个或多个特征点的特征点提取单元152。特征点提取单元152可与块特性测量单元110共享功能性元件。作为示例，块特性测量单元110和评估单元150可共用一个特征点提取单元。评估单元150还可包括全局运动模型匹配单元154，该全局运动模型匹配单元154 被配置为评估由候选向量选择单元140所选择的候选向量与全局运动向量的匹配。例如， 全局运动向量可被输入到全局模型匹配单元154。由全局运动模型所确定的全局运动向量可指比源块大的图像区域，例如指整个帧。例如，全局运动向量可通过评估已知的多个特征点的运动静态特性来确定。作为进一步的示例，例如，全局运动向量还可通过全屏淘选检测或基于模型的运动估计来确定。关于由候选向量选择单元140所选择的候选向量中的每一个，相位关联适用性单元156可估计相位关联的适用性，其中，提升相位关联的适用性的标准可包括由特征点提取单元152对在相应目标块中的特征点的提取，以及相应候选向量与由全局运动模型匹配单元154所确定的全局模型向量的匹配。作为示例，表1包括关于与候选向量相关联的目标块的相位关联的适用性的列表。
在目标块中的特征点与全局运动向量的匹配~~相位关联的适用性
~~^ ^ fi
权利要求
1.一种运动估计设备(100)，包括块特性测量单元(110)，该块特性测量单元被配置为确定参考帧(200)的源块(210)的图像特性；运动估计单元(120)，该运动估计单元被配置为估计关于当前帧(205)的所述参考帧 (200)的源块(210)的运动，其中，取决于所述图像特性，所述源块的运动由a)除了相位关联以外的运动估计方法，或者b)相位关联所估计。
2.如权利要求1所述的设备(100)，其中，所述运动估计单元(120)包括评估单元(150)，该评估单元被配置为评估由相位关联所估计的所述源块(210)的运动，其中，取决于评估的结果，所述源块(210)的运动被a)确定为由相位关联所估计的运动，或者b)再次由除了相位关联以外的运动估计方法所估计。
3.如权利要求1所述的设备(100)，其中，所述块特性测量单元(110)包括特征点提取单元，该特征点提取单元被配置为提取所述源块(210)中的特征点，所述图像特性是与所述特征点的存在相关的，并且其中，如果在所述源块(210)中不存在特征点，则所述运动估计单元(120)通过除了相位关联以外的运动估计方法来估计所述源块(210)的运动，如果在所述源块(210)中存在特征点，则所述运动估计单元(120)通过相位关联来估计所述源块(210)的运动。
4.如权利要求1所述的设备(100)，其中，除了相位关联以外的运动估计方法是如下方法中的任一个块匹配、光学流和基于运动模型的估计。
5.如权利要求1所述的设备(100)，还包括候选向量选择单元(140)，该候选向量选择单元被配置为选择用于由相位关联所进行的运动估计的至少一个候选向量(220)；特征点提取单元(152)，该特征点提取单元被配置为提取由所述至少一个候选向量 (220)和所述源块(210)所定义的目标块(230)内的特征点；全局运动匹配单元(154)，该全局运动匹配单元被配置为评估所述至少一个候选向量(220)和全局运动向量的匹配，所述全局运动向量被输入到所述全局运动模型匹配单元 (154)中；以及相位关联适用性单元(156)，该相位关联适用性单元被配置为估计关于所述至少一个候选向量(220)中的每一个的相位关联的适用性，其中，提升相位关联的适用性的标准包括对由所述特征点提取单元(152)在相应目标块(220)中的特征点的提取，以及相应候选向量与由所述全局运动模型匹配单元(154)所确定的全局模型向量的匹配。
6.如权利要求5所述的设备(100)，其中所述运动估计单元(120)被配置为通过关于目标块(230)的相位关联来估计所述源块 (210)的运动，所述目标块(230)由所述相位关联适用性单元(156)所确定的具有最高的相位关联适用性的候选向量(220)所定义。
7.如权利要求1所述的设备(100)，其中，所述运动估计单元(120)被配置为通过相位关联来估计一帧的多个块的运动，其中， 所述多个块的每一个的大小等于以下值中的任一个32x32像素、32x16像素、16x32像素、 16x16像素、16x8像素、8x16像素、8x8像素、8x4像素、4x8像素、4x4像素。
8.—种运动估计方法，包括确定参考帧(200)的源块(210)的图像特性；以及估计关于当前帧(205)的参考帧(200)的源块(210)的运动，其中，取决于所述图像特性，所述源块(210)的运动由a)除了相位关联以外的运动估计方法，或者b)相位关联所估计。
9.如权利要求8所述的方法，还包括评估由相位关联所估计的所述源块(210)的运动，其中，取决于评估的结果，所述源块 (210)的运动被a)确定为由相位关联所估计的运动，或者b)再次由除了相位关联以外的运动估计方法所估计。
10.如权利要求8所述的方法，还包括检查所述源块(210)以寻找特征点的存在，所述图像特性与所述特征点的存在相关；以及如果在所述源块(210)中不存在特征点，则通过除了相位关联以外的运动估计方法来估计所述源块(210)的运动，如果在所述源块(210)中存在特征点，则通过相位关联来估计所述源块的运动。
11.如权利要求8所述的方法，其中除了相位关联以外的运动估计方法是如下方法中的任一个块匹配、基于运动模型的估计。
12.如权利要求8所述的方法，还包括通过相位关联选择用于运动估计的至少一个候选向量(220)；检查目标块(230)以寻找特征点的存在，所述目标块(230)由所述源块(210)和所述至少一个候选向量(220)所定义；评估所述至少一个候选向量(220)和全局运动向量的匹配；以及估计关于所述至少一个候选向量(220)中的每一个的相位关联的适用性，其中，提升相位关联的适用性的标准包括在相应目标块(220)中特征点的存在，以及相应候选向量 (220)和全局运动向量的匹配。
13.如权利要求12所述的方法，还包括通过关于由具有最高相位关联适用性的候选向量(220)所定义的目标块(230)的相位关联来估计所述源块(210)的运动。
14.如权利要求9所述的方法，其中所述相位关联是关于所述源块(210)和所述目标块(230)所实施的，其中，这些块的每一个的大小等于以下值中的任一个32x32像素、32x16像素、16x32像素、16x16像素、16x8 像素、8x16像素、8x8像素、8x4像素、4x8像素、4x4像素。
15.一种消费者电子设备，其包括根据权利要求1所述的运动估计设备(100)。
全文摘要
本发明公开了一种用于运动估计的装置和方法。一种运动估计设备(100)包括被配置为确定参考帧(200)的源块(210)的图像特性的块特性测量单元(110)。运动估计单元(120)估计关于当前帧的参考帧(200)的源块(210)的运动，其中，取决于图像特性，源块(210)的运动是通过除了相位关联以外的运动估计方法估计的，或者是通过相位关联估计的。
文档编号G06T7/20GK102222344SQ20111009759
公开日2011年10月19日 申请日期2011年4月15日 优先权日2010年4月15日
发明者皮尔乔治奥·萨托尔, 麦特瑟斯·布鲁格玛尼 申请人:索尼公司