用于视频图像数据中的运动估计的方法和装置制造方法

用于视频图像数据中的运动估计的方法和装置制造方法
【专利摘要】一种用于视频图像数据中的运动估计的方法，包括以下步骤：提供当前图像（F（t））的像素块（B（F（t）））、先前图像（F（t-1））的像素块（B（F（t-1）））和再先前图像（F（t-2））的像素块（B（F（t-2）））。通过结合所述先前图像的像素块（B（F（t-1），v））和所述再先前图像的像素块（B（F（t-2），v）），确定重建的像素块（B*（F（t），F（t-2），v））。通过比较所述当前图像的像素块（B（F（t）））和所述重建的像素块（B*（F（t），F（t-2），v）），评估所述当前图像的像素块（B（F（t）））的运动向量（v）。
【专利说明】用于视频图像数据中的运动估计的方法和装置
【技术领域】
[0001]本发明适用于视频处理和显示技术的领域。
【背景技术】
[0002]运动估计为多数视频系统的基本部分。在视频的帧的部分之间的被估计的运动用于许多不同的提高显示器上的图像质量的方法:用于降低运动模糊和运动颤动的帧速率转换；交错伪像的运动补偿的降低，即，去交错；运动补偿降噪；超分辨率等。所有这种视频增强操作高度依赖于所估计的运动的精确度。
[0003]视频图像通常会被不适当地空间采样，且包含混叠(alias)。交错的材料为在竖向方向上信号被不适当地采样的常见使用实例。非适当的向下采样的图像也可以出现在某些像素被移除和向下采样的图像以限制存储带宽和计算成本的视频处理系统中。运动估计是基于比较来自至少两个图像的像素值和查找最佳匹配。如果图像被不适当地空间地采样，且包含混叠，这将影响图像之间的比较，并导致不精确的运动估计。
[0004]需要的是提供一种用于视频图像数据中的运动估计的方法，其中，混叠效应对运动估计的影响被降低。另外，还涉及提供一种用于建立视频图像数据中的运动估计的装置和一种用于存储程序代码以建立运动估计的设备，其中，混叠效应对运动估计的影响被降低。

【发明内容】

[0005]在权利要求1中说明了用于视频图像数据中的运动估计的方法的实施方式。用于视频图像数据中的运动估计的方法可以包括以下步骤:
[0006]-提供当前图像的像素块、先前图像的像素块和再先前图像的像素块，
[0007]-通过结合先前图像的像素块和再先前图像的像素块，确定重建的像素块，
[0008]-通过比较当前图像的像素块和重建的像素块，评估当前图像的像素块的运动向量。
[0009]在权利要求10中说明了用于建立视频图像数据中的运动估计的装置的实施方式，在权利要求11中说明了用于存储程序代码以建立运动估计的设备。
[0010]将理解到，前述的总体描述和下面的详细描述呈现了实施方式，且意在为了理解本公开的本质和特征而提供了概述或构架。附图被包括以提供进一步的理解，且被合并到和构成这个说明书的一部分。附图示出了各种实施方式，且与本说明书一起，用来解释所公开的概念的原理和操作。
【专利附图】

【附图说明】
[0011]通过在附图的示图中的非限制性实施例，阐明本发明的实施方式，其中:
[0012]图1示出在不同的帧中的图像块，
[0013]图2示出用于运动估计的方法的实施方式，[0014]图3示出用于运动估计的方法的另一个实施方式，
[0015]图4示出利用全像素精度的交错视频数据的竖向运动估计，
[0016]图5示出利用半像素精度的交错视频数据的竖向运动估计，
[0017]图6示出交错视频运动估计的实施例，
[0018]图7示出交错视频运动估计的另一个实施例。
【具体实施方式】
[0019]提出了用于精确比较视频的图像之间的像素数据的解决方案，该视频被不适当地空间采样(例如，交错的视频)。精确的比较可用于在被不适当地空间采样的视频上的精确的运动估计。
[0020]对于来自一个视频帧(例如，交错视频的当前场)的像素集或单一的像素，解决方案结合了一组先前的帧或即将来临的帧(例如，交错视频的先前的和再先前的场)，以精确地重建对应于来自初始帧(例如，当前场)的像素的信号。基于在来自初始帧的像素集和重建的信号之间的某些比较，选择最佳运动向量。
[0021]图1阐明总体思路。当前图像、先前图像和再先前图像表示为F (t)、F (t-Ι)和F(t-2)。假设三个视频图像被不适当地采样，且包含混叠。来自当前图像的像素集(例如，图像块)表示为B (F (t))。图像块可以配置为矩形的图像块。为了评估运动向量V，典型的运动估计技术比较来自当前帧F (t)和含有混叠的先前图像F (t-Ι)的图像像素。图2示出了这种确定运 动向量V的可靠性的标准方法的框图。在先前的图像中沿着向量V的块表示为B (F (t-l)，v)。比较(例如，像素值之间的绝对误差和)表示为:
[0022]比较(B(F (t))，B (F (t-1)，V)) (I)
[0023]比较的结果通常为值，其中，例如，最小值对应像素集B (F⑴)和B (F (t-1),V)之间的最佳匹配。为了精确的运动估计，需要的是，对于正确的运动向量V，比较被预期表明这是最佳匹配。由于图像含有混叠，这将不能发生该情况，即使对于正确的向量V，比较可能表明差的匹配。这给出了差的质量运动估计结果。
[0024]我们的解决方案结合多帧的图像像素，以适当地重建对应于当前图像像素的样本，且去除混叠对像素比较的影响。参见图1，在先前的图像中的沿着向量V或对应于向量V的像素块表示为B (F (t-Ι )，V)，在再先前的图像中的沿着向量V或对应于向量V的像素块表示为B (F (t-2), V)，在当前图像中的像素块表示为B (F (t)。结合先前的块和再先前的块，以重建对应于被表示为B* (F (t)，F (t-2)，v)的像素集的样本。也可以使用更多的图像和块。重建的像素块B* (F (t)，F (t-2)，V)用于(I)中的比较，则该比较变成:
[0025]比较(B(F (t))，B* (F (t)，F (t-2)，V)) (2)
[0026]用这种方法，如果适当地进行来自多帧的重建(例如，B* (F (t)，F (t_2)，v))，比较将不被在图像中的不同的混叠分量影响。例如，参见图3的这种改进的方法的框图，以确定运动向量V的可靠性。采样和运动应该允许这种适当的重建，如稍后所描述的，对于交错的视频数据来说通常是这种情况。来自多图像的像素的重建(例如，B* (F (t)，F (t-2),ν?可以是降低混叠对比较(2)的影响的任何方法。
[0027]所提出的改进的信号比较可以是任何运动估计构架的一部分。例如，所执行的实施方式和实验是利用如在第6278736号美国专利，Motion estimation, (Gerard De Haan等，Philips, 2001年8月21日)中所描述的常见的运动估计构架[I]。
[0028]说明该解决方案以给出用于交错视频数据更加精确的向量，且运动补偿去交错结果的质量可被极大地提高。在当信号被不适当地空间采样的情况下，该解决方案对于任何其他的运动补偿视频处理技术(帧速率转换、时间超分辨率)是相关的。
[0029]在下文中，将呈现对于交错视频-全像素的实施方式。图4示出交错视频数据的图示，其中，利用全像素精度估计竖向运动，即，在去交错的帧中的全像素和在交错的视频场上的半像素。
[0030]比较在当前场/图像F (t)和先前场/图像F (t-Ι)之间(用于运动估计)的像素，将导致偶数像素竖向移位(...-2,0,2,...)的问题，这是由于，在先前场的那些位置上存在像素缺失。内插这些来自可用像素的像素值将受混叠影响，而导致不精确的运动向量。
[0031]图4示出如果考虑再先前场/图像F (t-2)，则可以做适当的比较，而且总是比较可用像素。在这种情况下，对于奇数像素竖向移位(...，-3，_1，1，3，...)，可以选择来自先前的场F (t-Ι)的像素或选择来自再先前的场F (t-2)的像素。利用先前的场F (t-Ι)的像素将给出对在图像序列中加速的更快的响应，但再先前的场F (t-2)更易于实现，从而优选。
[0032]在图6中示出对于交错视频的运动估计的实施例。在左列中的图像涉及利用当前场和先前场的运动估计(受混叠影响的标准方法)。在右列中的图像涉及利用当前场、先前场和再先前场的运动估计(全像素实施方式)。叠加的颜色表示估计的运动向量。场景具有一致的竖向运动，从而正确的结果应该是一致的颜色。可以看出，由于混叠，在当前场和先前场之间的估计的标准解决方案导致噪声向量场。这里所描述的全像素移动的解决方案提高了全像素移动的结果(右上角和右下角的图像)。对于1.5像素移动(右侧的中间图像)，可利用线性插值，且可观测到降低图片质量的噪音向量。下面描述解决子像素移动的实施方式。
[0033]在下文中，描述了对于交错视频-子像素的实施方式。在图5中呈现了对于交错视频数据的实施例，其中，利用1/2像素精度估计竖向运动。对于全像素向量，在先前的实施方式中的解决方案可以被使用。
[0034]对于在像素之间(例如，在图5中所示的1/2像素)的向量，不存在直接可用的像素，像素值需要被适当地内插，例如，如图5所示，包括来自先前场的相应的像素。
[0035]来自多场/图像的像素的重建(例如，B* (F (t)，F (t-2)，ν))可以是降低混叠的影响的任何技术。在我们的实施中，我们利用最佳的线性滤波器，其中，最佳意味着选择滤波器的系数，使得该系数在降低混叠对在初始图像F (t)的像素块B (F (t))和重建的像素块B* (F (t)，F (t-2)，ν)之间的比较的影响上是最佳的。最佳的线性滤波器呈现了来自两个图像场的相邻像素的线性组合，例如，在图5中由粗圈表示的、靠近向量ν的四个像素。
[0036]滤波器系数从一组逐行视频估计，其中，精确的运动向量是已知的。视频被竖向地子采样，以模拟交错视频。如此估计滤波器系数，以对于正确的已知的运动向量，使混叠对产生的比较值的影响最小化。在我们的实例中，比较值为绝对像素误差和。
[0037]对于交错视频内容，混叠仅存在于竖向方向中。因此，可以利用用于水平方向的标准插值滤波器，例如，线性插值滤波器。于是，仅用于竖向方向(即，图像的竖向维度)的线性重建滤波器被优化，以降低混叠的影响。
[0038]图7在左列中示出涉及利用当前的帧和再先前的帧的运动估计的图像(全像素实施方式)。在右列中的图像涉及利用当前的帧、先前的帧和再先前的帧、通过混叠减少重建的运动估计(子像素实施方式)。图7所示的结果说明，对于子像素运动，混叠的影响也被去除。叠加的颜色表示估计的运动向量。场景具有一致的竖向运动。所提出的基于重建的解决方法进一步降低了混叠的影响，且相比仅改善全像素移动的第一实施方式有所改进。
[0039]在下文中，将描述用于通过子采样降低对于逐行视频的存储带宽的实施方式。对于运动估计所需要的典型的存储带宽对应于读取2个全图像帧。如果图像例如通过读取每第二个像素来子采样，则存储带宽和计算成本可被降低，但图像将含有混叠，且这将降低运动估计的准确度。
[0040]解决方案是利用多个这种被子采样的图像，然后利用所呈现的用于重建信号的方法，以降低混叠的影响。
[0041]对于逐行图像的示例性实施方式是读取在X方向和y方向上的每第二像素。如果读取3帧，则这给出3*1/4帧来读取，其在标准情况下远小于2帧。如果被子采样的图像中的一个在两个方向上含有奇数位像素，另外的一个在两个方向上含有偶数位像素，于是，如在先前的实施方式中所描述的相同的方法可被用来重建信号，且去除在运动估计期间的混
叠的影响。
[0042]可替选的实施也可被包括在本公开的范围内。在这些可替选的实施中，依赖于所涉及的功能性，功能可以不以所示的或讨论的顺序执行，包括大体上同时发生的或以相反的顺序执行。前面的描述被呈现用于说明和描述的目的。并不意味是全部的或将本公开限制于所公开的明确的形式。根据以上的启示，明显的修改或变型是可以的。然而，所讨论的实施被选择和描述，以阐明本公开的原理和其实际应用，从而能够使本领域的技术人员以各种实施和通过作为适于所考虑的特定用途的各种修改来利用本公开。当根据附加的权利要求被适度且合法地享有的广度而解读时，所有这种修改和变型在由附加的权利要求所确定的公开的范围内。
【权利要求】
1.一种用于视频图像数据中的运动估计的方法，包括以下步骤: -提供当前图像(F (t))的像素块(B (F (t)))、先前图像(F (t-ι))的像素块(B (F(t-Ι)))和再先前图像(F (t-2))的像素块(B (F (t-2)))， -通过结合所述先前图像的像素块(B (F (t-1)，V))和所述再先前图像的像素块(B (F(t-2)，V))，确定重建的像素块(B* (F (t)，F (t-2), v)), -通过比较所述当前图像的像素块(B (F (t)))和所述重建的像素块(B* (F (t)，F(t-2)，V))，评估所述当前图像的像素块(B (F (t)))的运动向量(V)。
2.根据权利要求1所述的方法，其中，所述当前图像的像素块(B(F (t)))、所述先前图像的像素块(B (F (t-l)，v))和所述再先前图像的像素块(B (F (t-2)，v))具有矩形的形状。
3.根据权利要求1或2所述的方法，其中，通过评估在所述当前图像的像素块(B(F(t)))的像素值和所述重建的像素块(B* (F (t)，F (t-2)，V))的像素值之间的绝对误差，将所述当前图像的像素块(B (F (t)))与所述重建的像素块(B* (F (t)，F (t-2), V))进行比较。
4.根据权利要求1至3中任一项所述的方法，其中，结合至少两个先前图像(F(t-2)、F (t-1))的至少两个像素块(B (F (t-1), V),B (F (t-2)，V))，以确定所述重建的像素块(B* (F ⑴，F (t-2), V))。
5.根据权利要求1至4中任一项所述的方法，其中，通过应用降低混叠对所述当前图像(F (t))的像素块(B (F (t)))和所述重建的像素块(B* (F⑴，F (t-2), v))之间的比较的影响的任一方法，确定所述重建的像素块(B* (F (t)，F (t-2)，v))。
6.根据权利要求1至5中任一项所述的方法，其中，通过将线性滤波器应用于所述先前图像(F (t-Ι))的像素块(B (F (t-1), V))和所述再先前图像(F (t-2))的像素块(B (F(t-2)，V))，确定所述重建的像素块(B* (F (t)，F (t-2)，v))。
7.根据权利要求1至6中任一项所述的方法，其中，通过线性组合来自所述先前图像(F (t-Ι))和所述再先前图像(F (t-2))的相邻像素，确定所述重建的像素块(B* (F⑴，F (t-2), V))。
8.根据权利要求1至7中任一项所述的方法，其中，将线性重建滤波器应用于所述先前图像的像素块(B (F (t-l)，v))和所述再先前图像的像素块(B (F (t-2)，v))中的一个方向，以确定所述重建的像素块(B* (F (t)，F (t-2)，V))，其中，将插值滤波器应用于所述先前图像的像素块(B (F (t-l)，v))和所述再先前图像的像素块(B (F (t-2)，v))中的另一个方向。
9.根据权利要求1至8中任一项所述的方法，其中，利用小于包括在所述先前图像的像素块(B (F (t-l)，v))和所述再先前图像的像素块(B (F (t-2)，v))的每个中的像素数量的像素量，以确定所述重建的像素块(B* (F (t)，F (t-2)，v))。
10.—种用于建立视频图像数据中的运动估计的装置，其中，所述装置配置成应用根据权利要求1至9中任一项所述的用于视频图像数据中的运动估计的方法。
11.一种用于存储程序代码以建立运动估计的设备，所述程序代码配置成实施根据权利要求I至9中任一项所述的用于视频图像数据中的运动估计的方法。
【文档编号】H04N7/01GK103875233SQ201280044161
【公开日】2014年6月18日 申请日期:2012年7月13日 优先权日:2011年7月13日
【发明者】佐兰·基夫科维奇 申请人:熵敏通讯公司