方便运动估计的制作方法

专利名称：方便运动估计的制作方法
技术领域：
本发明涉及便于对视频信号作运动估计的装置和方法。这种方法在运动补偿的视频格式转换(即MC-VFC)中以及3维(3-D)递归块匹配技术领域中有特殊的应用，但这并不是其唯一的应用。
运动估计一般包括以下步骤1)获取许多侯选运动矢量；2)计算这些运动矢量中每一个的误差量(measure)；以及3)选择最佳矢量。此过程应用在图像的所有部分。由于这是一个计算上非常精细而量大的任务，人们提出了许多方法和策略来限制侯选矢量的数目，但同时保持所计算的运动矢量的高度精确性和可靠性。
一种适用于MC-VFC的特别有效的搜索装置被用在G.de Haan等人在“用3维(3-D)递归块匹配作真运动估计”(IEEE，Trans.CSVT，Oct.’93，pp.368-388)一文中说明的3维(3-D)递归搜索块匹配器(3D-RS)中。
在电影模式中用于扫描速率转换的运动估计包括比较两个帧(通常是前一个帧和当前帧)的图像块来检测两连续帧之间的相似性区域以及在何处存在有高度的相似性，相似区域的位置差异就代表运动矢量。在视频格式转换中，然后将图像数据移过运动矢量的一部分、以便构成在时间上位于原先两个连续帧之间的新(原先不存在)的数据帧。
在有视频信号时，如果需要这样一种格式转换，就会出现一个稍微更复杂的问题，因为视频信号通常以隔行格式广播的(一帧＝两场，一个场含有帧的奇数行，而另一个场合有帧的偶数行)。此时，视频序列含有连续场，它们包含一个帧中的垂直方向上分隔的奇数行或偶数行。这种隔行交织的格式妨碍了对各图像部分之间的相似性的检测，因为有一半的行“遗失了”。对于“无运动”区域更是如此，因为两个连续场(即一个具有奇数行，一个具有偶数行)源自图像中不同的垂直位置，故不能直接相互比较。
对上述问题的一个部分解决方案是利用去隔行算法。在此算法中接收到的帧经由用电子学方法处理(例如用内插法)以便建立既有奇数行又有偶数行的帧，把随后接收到的场与这样建立的帧中对应的行进行比较。但是，应当指出，由于这些对应的行是计算的结果，而不是自然发生的，所以去隔行算法的误差会影响运动估计器中任何“无运动”检测的质量。
US-A-5682205(Eastman Kodak Company柯达公司)公开了一种从多个顺序隔行图像场中产生去隔行输出图像的过程和装置。按照此专利，总是把同一极性的场(即偶/偶或奇/奇)相互比较来估计运动。这种做法的一个后果是存在相对较大的“时间距离”，因为所比较的场总是非连续的。
US-A-5 329 317(美国Matsushita电气公司)公开了一种用于隔行视频信号的自适应场/帧滤波器。在此专利中，在有静态图像处就进行帧滤波，而对于运动图像或部分图像就作场滤波。这样，既进行帧滤波又进行场滤波，并且根据运动检测器的输出将结果合并。运动检测器总是以两个帧为基础工作的。
本发明的优选实施例的一个目的是提供一种方法，通过此方法，在电影模式估计中使用的以帧为基础的运动估计器以比较经济的方式适用于视频模式估计。另一个目的是提供一种方便随后选择运动矢量的装置和方法，它避免或在一定程度上克服先有技术的至少部分问题。为此目的，本发明提出一种如独立权利要求中定义的运动估计。在从属权利要求中定义了一些优选实施例。
此处，第一组图像数据可以是隔行扫描信号的第一场、第二组是第二场、而第三组是第三场。如同在优选实施例中一样，这是一种隔行扫描型信号，第一和第三场(以及第二和第四场等等)具有相同极性(即二者都代表图像的奇数行或都代表偶数行)。
在本发明的一个优选实施例中，侯选运动矢量之一是零矢量。零矢量就是将一个帧中的一个图像部分直接映射到另一帧中的同一图像部分(即同一位置)的矢量。零矢量是个非常重要的矢量，因为它代表“无运动”，这种情况在自然视频序列中经常发生。如果这些图像部分的图像数据都相同，那么就存在所述图像部分的“无运动”条件，并且在优选实施例中，所述零矢量的第一误差量就等于零。但是，如果那些图像部分的图像数据不相同，那么，将存在可量化的非零误差量。
采用本发明的比较第一和第三组图像数据的方法，隔行扫描信号中的零矢量总是在相同极性的场之间进行测试。因此，利用第一和第三组图像数据计算的误差量就要比用两个连续组(例如用第一和第二组或第二和第三组图像数据)的不同极性的场计算的误差量可靠得多。所以，在本发明的一个优选实施例中，将主要或只是根据来自第一和第三组图像数据的误差量来建立输出误差量。但对于非零侯选运动矢量，利用第一和第二组或第二和第三组图像数据计算的误差量比利用第一和第三组图像数据计算的误差量更为可靠。因此，将主要或只是根据来自第一和第二组或第二和第三组图像数据的误差量来建立输出误差量。
对于给定的图像部分，最佳的侯选运动矢量可能是与最低的输出误差量相关联的侯选运动矢量。
从第一和第二误差量计算输出误差量可以基于关联的侯选运动矢量的矢量长度。在侯选运动矢量长度为零的情况下，最好用第一误差量作为输出误差量。最好当垂直运动矢量分量为偶数时就利用第一误差量。在侯选运动矢量长度超过最大值VMAX的情况下，最好利用第二误差量作为输出误差量。在侯选运动矢量长度介于零和VMAX之间的情况下，最好利用第一和第二误差量一起来计算组合的输出误差量。
组合的误差量最好是在关联的侯选运动矢量的第一误差量和第二误差量之间的慢转换(fade over)的结果。
可以采用以下方法来计算侯选运动矢量的误差量把一个图像的一部分和另一图像的一部分进行比较并进行绝对差值求和计算。
第一组图像数据可以只包括单一场(即只含有奇数或偶数视频行的第一或第二场)，或者它可以包含由两个场组成的一个完整帧。如果是源自电影材料的视频序列，两个连续的场可以源自一个时间位置。在这种情况下，第一组图像数据可能就是将两个连续的场组合而建立的帧。或者，该帧也可用更为先进的去隔行计算来建立，为此存在着许多算法。如果第一组图像数据是一个完整的帧，那么，与单个场比较，图像的垂直分辨率提高了。于是，可以预期误差量可以是相关图像部分相似性的更精确的表示，而且运动估计器的结果的质量将会提高。
由上述可知，为了实现该方法从而方便运动补偿，本发明的方法仅需要存储三个场的数据。如果第一组图像数据是一个帧，那么总共需要一个帧和两个场。
本发明还扩展到利用运动估计法进行视频运动估计的视频处理装置，其中，利用本发明的方法可以便于进行侯选运动矢量的选择。
为了更好地理解本发明并说明本发明的实施例如何实现，现利用实例参考附图加以说明，附图中

图1示出三组图像数据和与它们关联的侯选运动矢量；图2示出根据本发明实施例的误差计算的性能；图3示出处理误差数据的衰减器单元；图4示出用于控制图3的衰减器的慢转换算法；以及图5是示出用于实现本发明方法的装置的示意的方框图。
图1示出包括第一场10的第一组图像数据、包括第二场20的第二组图像数据、以及包括第三场30的第三组图像数据。
第一、第二和第三场可以是例如代表隔行视频信号的连续场的前一场(N-2)、当前场(N-1)和下一场(N)。第一场10和第三场30具有相同极性(即它们都代表一个帧的偶数行或一个帧的奇数行)，而第二场20则具有与第一场10和第三场30不同的极性。
在图1中，示出第一场10的第一图像部分12。还示出第二场20的第二图像部分22和第三场30的第三图像部分32。
按照本发明的实施例，将第一场10的图像部分与第三场30的图像部分进行比较，计算出第一误差量，并且还将第一场10的同样或接近同样的图像部分与第二场20的图像部分进行比较，计算出第二误差量。
应当指出，第二误差量可以从任何一对连续图像组求得，所以在此情况下，也可以对第二场20的第二图像部分22和第三场30的第三图像部分32进行比较，也同样进行计算。但在下述的具体实例中均假定第二误差量是从对第一和第二图像部分12，22进行比较而导出的。
在图1中，第一图像部分和第二图像部分之间的标称运动矢量用箭头VPC代表，第一图像部分和第三图像部分之间的延伸的运动矢量用箭头VPN代表。标称和延伸的运动矢量都代表相同的或几乎相同的物体速度。此处，图像部分可以理解为是例如代表诸如一组像素等图像数据的图像区域(例如一个块或一行)。利用总和绝对误差算法就可估计误差量。这种算法在先有技术中已众所周知，这种测量的计算细节在此省略。
在图1中，只示出单一侯选运动矢量，因为只有图像的单一部分需要计算运动矢量。在一个优选实施例中，通常会对一组侯选运动矢量进行类似计算，然后选择对于图像的某一特定部分的最佳运动矢量。而且，此过程通常要对全部图像重复进行，这样得出图像每个位置的已知矢量。
通常，侯选运动矢量中有一个是零矢量。此时，图像部分12和32处于图像的同一位置，并具有同样的场极性。所以，在这两个图像部分之间的比较就是图像内容相似性的可靠测量。故该比较就可用作输出误差量(以下讨论)。对于零矢量以外的其它侯选运动矢量，图像部分12和22之间的比较可用来计算图像部分之间的相似性，且使用该比较来估计输出误差量。
现参阅图2，图中示意地说明分别对于给定的延伸运动矢量和标称运动矢量计算第一误差块Error1 40的第一误差量和第二误差块Error2 50的第二误差量的方法。
在可以进行绝对差值计算的第一次求和的第一误差块Error1 40中，计算第一场10的图像部分12的图像数据IP1previous和第三场30的图像部分32的图像数据IP2next之间的误差，以便形成第一误差量Errorpn。在第二误差块Error2 50中计算第一场10的图像部分12的图像数据IP1previous和第二场20的图像部分22的图像数据IP3current之间的误差，例如绝对差值块的第二次求和，以便形成第二误差量Errorpc。
应当指出，为了找出对于第一场10的某一特定部分的最佳运动矢量，需要多个Error1单元(或计算)，要测试多少个侯选运动矢量，就要有多少个Error1单元。同理，也会有多个Error2单元(或计算)。实际上，多个单元40和50可以相当于以时分复用方式使用的一个或多个单元。
图3示出接收第一误差量Errorpn和第二误差量Errorpc的自适应衰减器单元60。在自适应衰减器单元60中，根据控制输入信号k的数值，输出误差量Errorout或选择为Errorpn、Errorpc，或选择为合成混合中间结果Errorpn/Errorpc。
图4示出如何确定混合数值k。图4中，k示为矢量长度VL的函数，该函数在侯选运动矢量的给定矢量长度(VMAX)范围内从零到1线性上升。具体地说，在侯选运动矢量的长度为零时，k为零；在侯选运动矢量的长度等于或大于数值VMAX时，k为1。对于在0和VMAX中间的侯选运动矢量长度，对k进行线性插入。例如，如果VMAX＝1，则对于矢量长度0.75，k＝0.75。
基于所示k的上升的简单混合算法可以用下式表示Errorout＝k*Errorpc+(1-k)*Errorpn。
可以导出组合第一和第二误差量的更通用的方程。例如，假定侯选运动矢量为L，可以定义一个函数f(L)，当L＝0时，f(L)为零，当输入在0到VMAX之间时，f(L)从零上升到1。有了这样一个概念函数，提供给运动估计器的输出误差量可以用下式给出Errorout＝f(L)*Errorpc+(1-f(L))*Errorpn。
由上可见，由于衰减器单元60的工作，输出误差量Errorout可能是Errorpn、Errorpc，或是逐渐转换结果的中间值。
应当示出，有些计算可以省略。在衰减器只使用Errorpc的情况下，不需计算Errorpn的数值。同理，在衰减器只使用Errorpn的情况下，不需计算Errorpc的数值。在不需要误差量的情况下，也不需要从中导出误差量的图像数据。这样可以节省一些系统资源，例如计算时间、功率或存储器的存取(即存储器带宽)。
如果视频序列源自电影材料，那么，两个连续场可能源自同一时间位置。在这种情况下，第二和第三图像可能源自一个原始帧。这样，侯选运动矢量不需延伸，且标称和延伸运动矢量相等。仍可通过对Errorpn和Errorpc进行计算来获得基于帧的误差量。当把衰减器60的k值固定在0.5时(与侯选运动矢量长度无关)，求这两个误差量的平均值来计算数值Errorout。这样，同一系统(仅在各种块的控制方面作少许修改)就计算了全帧的误差量，从而改进了输出误差量的质量。
还应指出，可以在不激活第三图像的情况下使用本发明方法的优选实施例。很明显，在这种情况下不能计算数值Errorpn，故衰减器的控制参数k必须控制为数值1。这样，一些系统资源，例如存储器、带宽和功率可以节约，但代价是运动估计量的质量有所下降。
现参阅图5，图中示意地示出用于向运动估计装置提供关于侯选运动矢量的适合性的指示的装置。该装置包括存储装置70，用于接收和存储来自三个连续图像数据组的图像数据；以及处理装置80，用于计算侯选运动矢量的误差量，并将这些误差量传送到运动估计装置90的矢量选择部分；这些部件中的每一个构成较大的视频处理装置100(例如电视机，VCR等)的一部分。所述处理装置按照图1，2，3和4所示的方法工作。
以上说明了关于产生反应运动估计器中侯选运动矢量适合性的输出误差量的方法。该方法当然可以以同样方式应用于所有运动矢量和图像的所有图像部分，以便为整个图像提供输出误差量和运动矢量。
应当指出，本发明所述方法与侯选运动矢量的数目无关，与侯选运动矢量的来源无关，与对侯选运动矢量的任何潜在限制无关，与侯选运动矢量组的任何其它属性无关，与各个侯选运动矢量自身的任何其它属性无关。
还应当指出，本发明所述方法中所计算的误差量不是运动估计器的唯一选择准则。
还应当指出，由于误差量表示在第一/第三和第一/第二组图像数据的图像部分的图像数据之间匹配的接近程度，所以这些误差量可以用总体运动估计法所需的任何格式来提供，以便于在拟建立的帧中选择适当的数据替代。记住这一点，本发明的方法就可应用于许多类型的运动估计系统和方法。
还应当指出，包括本发明内容的有些运动估计方法不需要提供除第一和第二误差量外的误差量，因此慢转换算法和方法可以是任选的。或者，它可以在第一和第二误差量之间转换。
以上说明了连续三组图像数据如何用作运动估计系统和方法的一部分。该装置和方法提出了一种增强的系统，其中零或小的侯选矢量与大矢量的处理不同，对于小矢量，使用的图像之间的时间距离大于对大矢量所用的图像之间的时间距离。由于在优选实施例中，只需要三个场图像数据，所以在现有的通常存储2个帧数据的扫描速率转换装置中很容易实现本方法。在其他实施例中，第一组图像数据可能是一个帧，其它两组数据可能是两个场。在这种情况下，需要总共4个场图像数据。如果该方法应用于电影模式，这4个场可构成两个原始电影帧。
在此方法中，甚至在隔行场的情况下也可以对零矢量的适用性进行简单的测试。在一个具体的实施例中，此方法仅需要对同极性的图像数据组(场)测试零矢量，而其他测试则在邻近的非同一极性的组之间进行。
还应当指出，凡是在讨论到硬件特性的地方，这些特性都可以用等效软件来替代，反之亦然。
本发明不限于上述实施例，而仅受所附的权利要求书的限制。在权利要求书中括弧中的参考符号不应被认为是对权利要求的限制。“包括”一字不排除具有权利要求所列之外的元件或步骤。在元件前的“一个”一字不排除具有多个这种元件。本发明可以用包括数个各不相同的元件的硬件实现，以及用适当编程的电脑实现。在列举数种装置的装置权利要求中，数种装置可以用同一项硬件实现。在各不相同的从属权利要求中引用的某些措施这一事实并不表明不能在有利的情况下使用这些措施的组合。
权利要求
1.一种在运动估计方法中便于从多个侯选运动矢量中选择运动矢量的方法，所述方法包括从连续的第一、第二和第三组图像数据(10，20，30)中接收视频图像数据；识别所述第一组图像数据(10)的第一图像部分(12)、所述第二组图像数据(20)的第二图像部分(22)和所述第三组图像数据(30)的第三图像部分(32)，其中，所述三个图像部分(12，22，32)的位置对应于由侯选运动矢量表示的运动轨迹；计算第一误差量，方法是测试所述第一图像部分(12)和所述第三图像部分(32)之间的差异，并量化这些差异作为所述第一误差量；计算第二误差量，方法是测试所述第一图像部分(12)和所述第二图像部分(22)之间的差异、或测试所述第二图像部分(22)和所述第三图像部分(32)之间的差异，并量化这些差异作为所述第二误差量；以及输出输出误差量，所述输出误差量是从所述第一误差量和/或所述第二误差量导出的。
2.如权利要求1所述的方法，其特征在于所述第一组图像数据(10)是完整的帧，所述第二和第三组图像数据(20，30)是隔行扫描信号的两个连续的场。
3.如权利要求1所述的方法，其特征在于所述输出误差量基于所述侯选运动矢量的矢量长度。
4.如权利要求3所述的方法，其特征在于当所述侯选运动矢量长度大于最大长度VMAX时，选择所述第二误差量作为所述输出误差量。
5.如权利要求3所述的方法，其特征在于当所述侯选运动矢量的矢量长度在零和VMAX之间时，所述输出误差量是基于所述第一误差量和所述第二误差量的组合的数值。
6.如权利要求5所述的方法，其特征在于所述输出误差量由方程Errorout＝f(L)*Errorpc+(1-f(L))*Errorpn给出，式中，Errorout为所述输出误差量；Errorpc为所述第二误差量；Errorpn为所述第一误差量；f(L)为所述侯选运动矢量的矢量长度的函数，当矢量长度等于或大于VMAX时f(L)为1，而当矢量长度等于零时，f(L)为零。
7.如权利要求4所述的方法，其特征在于对于矢量长度大于VMAX的所述侯选运动矢量，不使用所述第三图像部分(32)，在这种情况下，所述输出误差量仅包括所述第二误差量，并且不需要计算所对相应的第一误差量。
8.如权利要求1所述的方法，其特征在于所述第二和第三图像组(20，30)是源自同一时间位置的两个场，因此一起代表一个完整的图像。
9.如权利要求8所述的方法，其特征在于所述输出误差量是取所述第一误差量和所述第二误差量的加权和来计算的。
10.如权利要求1所述的方法，其特征在于对于所述第一组的所述图像部分，对多个侯选运动矢量计算多个输出误差量。
11.一种在运动估计装置中便于从多个侯选运动矢量中选择运动矢量的装置，所述装置包括存储装置(70)，用于接收和存储来自连续的第一、第二和第三组图像数据的视频图像数据；处理装置(80)，用于识别所述第一组图像数据(10)的第一图像部分(12)、所述第二组图像数据(20)的第二图像部分(22)和所述第三组图像数据(30)的第三图像部分(32)，其中，所述三个图像部分(12，22，32)的位置对应于由侯选运动矢量表示的运动轨迹；并且所述处理装置(80)还用于计算第一误差量，方法是测试所述第一图像部分(12)和所述第三图像部分(32)之间的差异，并量化这些差异作为所述第一误差量；计算第二误差量，方法是测试所述第一图像部分(12)和所述第二图像部分(22)之间的差异、或者测试所述第二图像部分(22)和所述第三图像部分(32)之间的差异，并量化这些差异作为所述第二误差量；以及输出输出误差量，所述输出误差量是从所述第一误差量和/或所述第二误差量导出的。
12.一种视频处理装置(100)，它包括利用运动估计方法的视频运动估计，在所述运动估计方法中，采用权利要求1的方法而便于选择侯选运动矢量。
全文摘要
公开一种在运动估计方法中便于从多个侯选运动矢量中随后选择一个运动矢量的装置和方法。在此方法中，接收来自连续的第一、第二和第三组图像数据(10，20，30)的视频图像数据。对第一组图像数据(10)的第一图像部分(12)、第二组图像数据(20)的第二图像部分(22)、第三组图像数据(30)的第三图像部分(32)加以识别，其中，三个图像部分(12，22，32)的位置对应于由侯选运动矢量表示的运动轨迹。然后计算第一误差量，方法是测试第一图像部分(12)和第三图像部分(32)之间的差异并加以量化作为第一误差量。计算第二误差量，方法是测试第一图像部分(12)和第二图像部分(22)之间的差异、或第二图像部分和第三图像部分之间的差异、并加以量化作为第二误差量。然后将输出误差量量化，该输出误差量从第一误差量或第二误差量或此二误差量的组合导出。
文档编号H04N7/01GK1461556SQ02801239
公开日2003年12月10日 申请日期2002年1月11日 优先权日2001年2月21日
发明者R·J·舒藤, A·K·里门斯 申请人:皇家菲利浦电子有限公司