专利名称：使用正交变换域中的块匹配进行运动估测的方法和装置的制作方法
技术领域：
本发明涉及图象块匹配方法，并且尤其涉及在正交变换的域中操作的两个图象之间的像素的块匹配的方法。
运动估测是一种基本类型的数字视频处理。运动估测可在许多数字视频应用例如，视频编码、运动补偿视频标准转换和机器视觉中找到。视频编码前后的运动信息用来减少信号的平均信息量从而压缩的视频信号可经限带宽信道被传送。视频标准转换前后的运动信息有助于转换器通过沿运动路径内插信号来在空间上和/或暂时地恢复丢失的数据。运动信息在机器视觉应用中是有用的，允许自动机经各种处理步骤找到或跟踪工件。在这些例子的每一个中，运动估测典型地使用像素域块匹配(BM)技术并且匹配标准为当前帧中运动块与搜索帧中试验匹配块之间的最小均方差(MSE)。该最小MSE可由最小平均绝对值差(MAD)来取代用于成本更低廉的硬件设备。
像素域BM技术非常适合于这些应用，因为它们的算法简单并且因为它们可使用超大规模集成(VLSI)电路来执行。但是，这些现有的BM技术可提供的比最佳结果少，因为它们基于像素域比较并且因为最佳匹配是基于最小误差索引(MAD/MSE)来确定的。通常认为像素域MSE(或互相关)测量与人类感受到的图像视觉误差不完全一致。因此当前在运动估测中使用的误差测量需要进一步修改。换言之，在匹配过程期间应考虑人类视觉系统的特性。
本发明在考虑了人类视觉特性的运动估测技术中得到体现。该方案利用变换域块匹配技术来获得与使用像素域块匹配技术所能达到的相比更准确的运动矢量。
根据本发明的一方面，运动估测方法对运动块和所有试验匹配块执行变换操作。然后该方法比较变换后的运动块与各个变换后的试验匹配块并选择表现出与变换域中的运动块有最小差别的试验匹配块作为匹配块。
根据本发明的另一方面，变换操作是阿达玛变换操作。
根据本发明的另一方面，该方法计算变换后的运动块与各个变换后的试验匹配块之间的最小均方差(MSE)并选择具有最小MSE的变换后的试验匹配块作为匹配块。
根据本发明的另一方面，该方法计算变换后的运动块与各个变换后的试验匹配块之间的平均绝对值差(MAD)并选择具有最小MAD的变换后的试验匹配块作为匹配块。
根据本发明的另一方面，该方法允许运动块的大小改变。
图1(已有技术)是用来描述块匹配技术的多帧图像的图示。
图2是根据本发明的示例的块匹配处理器的框图。
图3是根据本发明的另一示例的块匹配处理器的框图。
图4是根据本发明的另一示例的块匹配处理器的框图。
图5是使用诸如图4所示的块匹配处理器的视频信号编码系统的框图。
图6是使用根据本发明的块匹配技术而产生运动矢量场的机器视觉系统的框图。
图7是表示图6所示的处理器之一的操作的流程图。
图8A和8B是用来描述根据本发明的一种块匹配技术的多帧图像的图示。
图9是用来描述根据本发明的另一种块匹配技术的多帧图像的图示。具体描述运动估测技术被广泛用在视频分析、编码和标准转换中。在视频编码中，运动信息被用来减少图像平均信息量并从而减少传送或存储图像所需要的位数。在视频标准转换应用中，运动信息通常被用来帮助丢失的像素的内插。在机器视觉中，运动估测被用来限定需要被分析的图像部分。在所有情况下，编码或转换的图像的质量直接与运动估测准确度相关联。尽管实际上被摄像机拍摄到的可观察的数据是图像的强度而不是图像的运动。感受到的由于物体和摄像器的相对运动而引起的图像序列中的强度图案的暂时的位移是图像分析中重要的一方面并且被称为光流。光流提供与移动物体的空间安排和结构相关的信息。因此，尤其是在机器视觉和标准转换应用中，需要通过估测图像序列中的光流来模拟真实的运动。
以块为基础的运动估测和补偿技术是用于视频编码和标准转换的最普遍的方法之一。一个示例的以块为基础的运动估测和补偿技术在题目为“DERIVATION AND USE OF MOTION VECTORS IN ADIFFERENTIAL PULSE CODE MODULATION SYSTEM”(差动脉冲编码调制系统中的运动矢量的获取和应用)的美国专利No.5,198,091中进行了描述，在这里因其教导以块为基础的运动估测技术而被引用为参考文献。以块为基础的运动估测已经被采纳在数字视频压缩的国际标准如H.261和MPEG1-2中。但是，这些标准并没有指定特定的运动估测方法。以块为基础的运动估测，包括用于标准转换和机器视觉的运动补偿滤波(内插)也被广泛地用在一些其它的数字视频应用中。
块运动模型假设视频图像由运动的块组成。为减少计算的复杂性，通常假设一个简单的2维平移。在许多其它以块为基础的运动估测算法中，因为块匹配更少的硬件复杂性，它被认为是用于实际运动估测实现的最普遍的方法。结果，它被广泛应用在VLSI中，并且几乎所有H.261和MPEG1-2编码和解码都使用块匹配来进行运动估测。这些块匹配技术中的很多都利用像素域搜索过程来确定给出的运动块的最好的运动矢量估测。
基本的块匹配算法在图1中表示，其中用于当前帧(参考帧)100中的像素x(u1，v1)的位移通过考虑以(u1，v1)为中心的N1×N2运动块102并在下一/前一帧(搜索帧)104搜索具有相同大小的最好匹配块110的位置来确定。一旦找到最好的匹配块，运动矢量相对于在搜索图像中占据了与运动块在当前帧中所占据的位置相同的位置的块108来确定。为了计算的原因，这种搜索通常限定在N1+2M1×N2+2M2区(搜索窗口)106。块匹配算法在以下几个方面不同匹配标准(例如最小互相关、最小MSE、最小MAD)，搜索策略(例如3步快速搜索)或块大小的确定(例如分层的)。
焦点是关于用来从大量试验匹配块中找到最好匹配块的匹配标准。
典型地，匹配标准是基于像素域误差索引测量如最大互相关和最小MSE的。为减少块匹配中的计算需要量，最小平均绝对值差(MAD)或最大匹配像素数(MPC)可取代MSE或MAD，但这是以牺牲性能为代价的。在最小MSE标准中，MSE由等式(1)来定义
其中R代表用于一组候选运动矢量(d1，d2)的N1×N2块。运动矢量的估测取为把MSE降低到最小的(d1，d2)值，如等式(2)所示。[d1,d2]T=argmin(d1,d2)MSE(d1,d2)---(2)]]>因为难以有效地实现硬件中的平方操作，等式(3)定义的最小MAD标准可用来取代MSE标准。
那么位移估测由等式(4)给出。[d1,d2]T=argmin(d1,d2)MAD(d1,d2)---(4)]]>如果两帧之间的差别代表帧间运动，位移可直接转化为运动矢量作为代表运动块的预定像素沿例如x和y坐标轴在当前帧与搜索帧之间的位移的有序对值。
在实际的视频应用中，无论采用哪种匹配标准，运动估测方案的准确性最终由摄像器来判定。通常认为像素域误差测量(例如MSE，MAD)不能与人眼感受的图像视觉误差完全一致。因此当前用在运动估测中的误差测量需要进一步修改来适应人类视觉系统的特性。本发明通过在变换(序列/频率)域中而非像素域中执行块匹配而考虑了这些特性。序列/频率域变换的应用可提供更高效的块匹配，因为如果它们在较低空间频率分量中而不是在较高空间频率分量中发生，那么感受到的图像块误差更能注意到。典型的基于像素的块匹配技术因为其仅在像素域中操作能在匹配期间同等处理所有的像素。
本发明的方法首先把运动块和试验匹配块变换为正交域，然后再应用例如MSE/MAD匹配标准来进行系数与系数对比。应用变换域块匹配与传统像素域块匹配相比具有几个优点(1)低阶变换分量更可能在与人类的感觉一致的匹配结果方面具有效果；(2)在变换域中的有效噪音功率被降低；(3)如果违反了图像仅表现为越界的运动的假设，运动估测误差小于像素域块匹配技术。
有几种变换可把图像块转换为序列/频率域。傅立叶变换(FT)，离散余弦变换(DCT)和阿达玛变换(HT)分别是三种代表性方法。由于FT和DCT操作分别是复数和实数变换，由于它们的硬件设备方面的相对的高成本而不被考虑。HT因为它的单纯的+1和-1的变换核心及快速变换算法的存在而更适合这项任务。因此它花费比FT或DCT处理少得多的硬件逻辑来实现HT处理。尽管主题发明根据阿达玛变换来描述，假设它实际可应用于任何频率/序列域变换或信号能量被压缩为相对小数目的分量的其它正交变换。另外，尽管主题发明被描述为使用变换后的块的最小平均绝对值差(MAD)来确定最好的匹配块，也可假设其它的匹配措施也可应用，如最大互交叉、最小MSE或最大匹配像素数(MPC)。
阿达玛矩阵，H＝(hij)被定义为n×n尺寸的方阵，这里i.所有项为±1；ii.任何两个不同的行是正交的，即
iii.阿达玛矩阵的阶为1，2，4，8，16…，4m，其中m＝1，2……在没有通常损失时，我们考虑通用的阿达玛矩阵的子矩阵来变换，即，秩2n的西尔威斯特—阿达玛(Sylvester-Hadamard)矩阵。它的递归形式由等式(5)定义。
Hn＝H1Hn-1(5)这里代表Knonecker积，并且H1=+1+1+1-1]]>从而H2=+1+1+1+1+1-1+1-1+1+1-1-1+1-1-1+1,]]>H3=+1+1+1+1+1+1+1+1+1-1+1-1+1-1+1-1+1+1-1-1+1+1-1-1+1-1-1+1+1-1-1+1+1+1+1+1-1-1-1-1+1-1+1-1-1+1-1+1+1+1-1-1-1-1+1-1+1-1-1+1-1+1+1-1]]>
二维平方阿达玛变换被等式(6)定义。
F＝HmfN1N2Hn(6)这里Hm和Hn分别是N1×N1(2m×2m)和N2×N2(2n×2n)阿达玛矩阵。矩阵fN1N2是N1×N2大小的图像数据矩阵。注意也可能用与上面限定的阿达玛矩阵的第三特性一致的阶来使图像数据矩阵实现阿达玛变换。
与传统的像素域BM类似，阿达玛变换域BM通过考虑以(u1，v1)为中心的N1×N2运动块并在下(或前)一帧(搜索帧)搜索同样大小的最好匹配块的位置来确定当前帧(参考帧)中像素f(u1，v1)的位移。这种搜索也被限定在N1+2M1×N2+2M2的区域。差别是参考和搜索帧中的块都进行各自的阿达玛变换，如等式(7)和(8)所定义的。
Fref(R)＝Hmfref(R)Hn(7)Fsearch(R)＝Hmfsearch(R)Hn(8)
这里R代表N1×N2大小的像素块。
MAD标准可被用来根据等式(9)计算变换域块差。
然后位移估测可由等式(10)计算。[d1,d2]T=argmin(d1,d2)MAD(d1,d2)---(10)]]>尽管用于BM的匹配标准被改变了，提出的变换域BM(TBM)可与BM算法系列中的其它形式一起使用。例如，TBM可用在分级运动估测算法中，其中匹配块通过起初使用当前和搜索图像的十分之一的低分辨率方案并使用为这些图像确定的匹配进行搜索以改进对连续高分辨率图像的搜索来确定。另一种情况是，不是对图像进行滤波和十中抽一，而是较大的块大小和相应的高阶阿达玛矩阵可被用来找到粗略的运动矢量并且然后块大小和矩阵大小可被连续减少以把粗略运动矢量转换为一个或多个精细的运动矢量。
该技术可和快速搜索运动估测算法如三步搜索法一起使用，该搜索法是由J.N.Kim和T.S.Choi在他们的IEEE Trans.on ConsumerElectronics pp638-648的题目为“A Fast Three-Step Search AlgorithmWith Minumum Checking Points Using Unimodal Error SurfaceAssumption”的文章中于1998年8月公开的，这里因其教导快速搜索运动估测算法而被引用为参考文献。使用这些快速搜索技术，来自当前帧的运动块与来自搜索帧的各个试验匹配块可在执行该技术的各个步骤之前被变换。另外，因为TBM技术对图像的空间频率内容更敏感，它适用于呈现出非平移运动如旋转或缩放的图像序列。
图2是适合于用在执行根据本发明的变换块匹配算法中的电路的框图。图2示出的电路把来自当前帧210的运动块映射到来自下一帧212的匹配块中。块匹配处理器200包括阿达玛变换处理器214，其在微处理器226的控制下选择来自当前帧210的运动块。
块匹配处理器200也包括大量阿达玛变换处理器216，218，220和222，其在微处理器226的控制下选择来自下一帧存储器212的试验匹配块。微处理器226可控制阿达玛变换处理器214到222以根据全面搜索算法或快速搜索算法选择来自当前帧210和下一帧212的块。如果块匹配处理器200被用在使用分级块匹配技术的系统中，从当前帧和下一帧取回的像素块大小可在X和Y方向上变化并且相应的阿达玛变换可被用于如上根据等式(7)和(8)所述的取回的像素块。
由阿达玛变换处理器214到222提供的变换后的像素数据块被用于预测块判定处理器224。处理器224可把例如根据等式(9)和(10)如上所述的最小值MAD标准用于像素值的各种变换后的块以选择相对于变换后的运动块具有最小平均绝对值差的变换后的搜索块。
预测块判定处理器224也被耦合来接收来自微处理器226的块识别信号。一识别出满足等式(10)标准的搜索块，运动块与该搜索块之间的位移可被预测块判定处理器224计算出来。该位移表示为运动矢量，其是由预测块判定处理器224提供的输出信号。
图3是另一种可选择的块匹配处理器200′的框图。处理器通过在先前帧310和下一帧212中搜索匹配块来扩展图2所示的块匹配处理器200。如图3所示，例示的块匹配处理器200′包括阿达玛变换处理器312，314，316和318，其被微处理器226′控制在把这些块应用于预测块判定处理器224′之前取回并变换来自先前帧310的试验匹配块。图3示出的电路的剩余部分与图2所示相同，没有进行描述。预测块判定处理器224′计算来自当前帧210的变换后的运动块与来自先前帧310或下一帧212的所提供的变换后的块的任何一个之间的最小绝对值差。
图3所示的发明的例示实施例平行处理来自下一帧和先前帧的试验匹配块。图4表示本发明的另一实施例，其中来自下一帧和先前帧的试验匹配块在三个顺序步骤中被处理。图4所示的系统包括多路复用器/块平均处理器410，其被耦合来接收来自下一帧212和先前帧310的试验匹配块。处理器410也被耦合来接收来自微处理器226＂的控制信号。块匹配处理器200＂如下操作。在第一区间，来自当前帧210的的运动块被用于阿达玛变换处理器214并且然后用于预测块判定处理器224＂。另外，在这个区间，来自先前帧的试验匹配块经多路复用器/块平均处理器410被用于各个阿达玛变换处理器216，218，220和222以产生被用于预测块判定处理器224＂的变换后的试验匹配块。
在该第一区间中，预测块判定处理器224＂从相对于变换后的运动块具有最小平均绝对值差的先前帧中选择变换后的匹配块。
在第二时间区间中，尽管变换后的运动块仍用于预测块判定处理器224＂，微处理器226＂切换多路复用器/块平均处理器410以提供来自下一帧212的试验匹配块。在该第二时间区间中，来自下一帧的匹配块被阿达玛变换处理器216，218，220和222变换以产生变换后的匹配块来用于预测块判定处理器224＂。在该第二时间区间中，预测块判定处理器224＂基于各个变换后的匹配块和变换后的运动块之间的最小平均绝对值差从下一帧中选择一个匹配块。
在第三时间区间中，预测块判定处理器224＂通知微处理器226＂来自下一帧212和先前帧310的所选择的匹配块。接着多路复用器/块平均处理器410平均来自下一帧和先前帧的所选择的块并把平均的块提供给阿达玛变换处理器之一，如处理器216。这种变换后的块被用于预测块判定处理器224＂，在第三时间区间中，其计算变换后的运动块如阿达玛变换处理器214所提供的和阿达玛变换处理器216所提供的变换后的平均块之间的平均绝对值差。
然后预测块判定处理器224＂比较用于变换后的平均块的平均绝对值差和用于来自下一帧212和先前帧310的变换后的所选择的块的平均绝对值差。具有最小平均绝对值差的块确定块匹配处理器200＂所应用的运动矢量。在比较变换后的平均块的平均绝对值差和来自下一帧和先前帧的匹配块的平均绝对值差时，预测块判定处理器224＂可从下一帧和先前帧存储MAD值或者在它接收变换后的平均块的同时接收来自下一帧和先前帧的变换后的匹配块。在此例中，变换后的匹配块可通过多路复用器/块平均电路410被分别路由到各个阿达玛变换处理器216，218，220和222中的几个，如处理器218和220。
图4所示的电路可用于例如代码转换处理器如MPEG-2编码器，其使用向前预测和双向预测运动补偿编码技术。
图2，3和4所示的例示块匹配处理器表示为从下一帧和/或先前帧提供4个试验匹配块来与来自当前帧的运动块作比较。这些图只为了图示的目的。可假设例如使用全面搜索运动估测技术，可从各个先前帧和下一帧提供256个之多的试验匹配块。对于快速搜索过程，如上面参考文献所描述的一样，下一帧和先前帧的每一个可在三步处理的每一步提供8个运动块。
图5是传统运动适应性视频编码器电路的框图，其被采纳来包括本发明的实施例并根据MPEG-2标准产生例如编码的视频信号。在图5所示的系统中，输入视频信号被用于耦合于运动补偿处理器200＂的帧存储器212′。运动补偿处理器访问帧存储器以从下一帧获得试验匹配块。本发明示例中的帧存储器212′也耦合于帧延迟210′。当帧存储器212′持有一帧视频信息时，仅靠前面的一帧经帧延迟210′被提供给解码电路。由帧延迟210′提供的输出信号是耦合于运动补偿处理器200＂以提供参考图4所描述的运动块的当前视频帧。运动补偿处理器200＂也被耦合于帧延迟310′以接收来自原来图像帧的试验匹配块。
一般意义上，图5所示的编码器通过编码经从运动补偿处理器200＂提供的运动补偿视频数据减去帧延迟210′提供的当前视频信息而获得的差分像素值来操作。
在本发明的例示实施例中，处理器210＂提供的运动补偿视频数据被减法器510从当前视频数据减去。结果的差分信号在DCT处理器512中进行离散余弦变换(DCT)处理。处理器512提供的变换后的差分信号被用于量化电路514。如下所述，DCT编码的差分信号的量化分辨率被控制响应于缓冲器控制处理器526。量化电路514的输出信号被用于变量长度编码器522，其也接收运动补偿处理器200＂提供的运动矢量。变量长度编码器522把保密编码应用于量化变换的差分编码值及运动矢量以产生编码的输出视频流。编码的视频流被应用于先进先出(FIFO)缓冲器524，其在输出端口提供减少编码视频信号的位率给传输信道。
依据视频图像中的运动细节和运动量，提供给FIFO缓冲器524的视频数据可处于与传输信道所支持的相比较高的位率。在接近传输信道极限值时，为减少用于代表编码的视频信号的数据量，FIFO缓冲器524指示缓冲器控制电路526信号以减少量化器514所应用的量化分辨率。因为缓冲器控制电路526，图5所示的编码处理器能可靠地把具有不同电平的细节和运动的图像序列编码为平均位率视频信号。
帧延迟电路310′提供的视频数据的先前帧从编码的视频信号再次产生。在本发明例示的实施例中，反向的量化电路516对量化器514执行的量化操作进行反向并且把解除量化的变换后的差分编码视频信号应用于反向的离散余弦变换处理器518。处理器518对处理器512执行的DCT操作进行反向以提供解码的差分视频信号给加和电路520。加和电路520通过把运动补偿视频数据与解码的差分视频数据相加再构成来自当前帧的数据。再构成的数据被应用于帧延迟电路310′，其延迟当前帧数据一个帧间隔以提供先前帧视频数据给运动补偿处理器200＂。
图6是被用来根据本发明的例示的实施例产生运动矢量场的高度平行处理器系统的框图。该处理器系统包括NH乘以NV个处理器P0，0到PNv-1，Nh-1。从而处理器系统具有用于图像的各个块的处理器，其中图像包括NH水平块与NV垂直块的乘积的块或者是NH倍NV个块。
如图6所示，相应于当前场FK，先前场FK-1和下一个场FK+1的输入取样被应用于输入/输出(I/O)处理器612。该处理器在控制处理器610的控制下把取样存储到多出口存储器614。存储器614可以是例如具有分别与大量处理器P0，0到PNv-1，Nh-1的每一个共驻内存的不同部分的分布式存储器。控制器610和大量处理器P0，0到PNv-1，Nh-1根据上面的参考图2，3和4所描述的方法来操作以从代表2或3个图像场的取样产生代表用于当前图像的运动矢量场的取样。
尽管I/O处理器612被表示为接收3帧数据，可假设它处于稳态操作中，在任何给定的时间仅一个新的帧数据被用于处理器612。两个先前存储的帧可简单地被再指定从而相应于帧FK的存储数据将变为代表帧FK+1的数据并且相应于帧FK-1的数据将变为代表帧FK的数据。在例示的发明的实施例中，各个处理器例如P0，0经存储器614的一个端口从帧FK获得像素数据的分别不同的运动块。处理器也经存储器端口从帧FK-1和帧FK+1获得试验匹配块。
各个处理器P0，0到PNv-1，Nh-1根据图7所示的流程图来操作。流程图中的第一步，步骤710从帧FK取回运动块并进行阿达玛变换。步骤712从帧FK-1并可选择地从帧FK+1取回试验匹配块。另外，步骤712把变量MINMAD初始化为最大值。接着步骤714选择试验匹配块之一并对所选择的块进行阿达玛变换。这种操作根据等式(8)在上面已经作了描述。步骤714也计算选择的变换后的匹配块与变换后的运动块之间的平均绝对值差(MAD)。平均绝对值差的计算根据等式(9)在上面已经作了描述。在步骤716，比较在步骤714计算的MAD值与MINMAD。如果MAD小于MINMAD，那么执行步骤718，其把MAD的值分配给变量MINMAD并且把在步骤714被处理的块的块标识符(BLOCK ID)记录为变量MINMATCH。如果在步骤716或步骤718之后MAD不小于MINMAD，那么执行步骤720。在步骤720，处理器确定是否还有匹配块需要处理。如果有，控制返回步骤714以选择下一个匹配块。如果没有其它的匹配块需要被处理，执行步骤722，其计算用于块MINMATCH的参考等式(10)在上面进行描述的运动矢量。
图7所示的流程图表示本发明的软件实现过程。该软件实现过程可以是计算机程序的形式，其经载体如盘片、CD-ROM或调制载波而被传送。
图6所示的处理器系统提供的结果是包括用于各个运动块帧FK的运动矢量的运动矢量场。和参考等式(7)和(8)而在上面进行的描述一样，阿达玛矩阵和参考块与搜索块可包括沿各个水平和垂直方向上的不同数目的像素。从而，图6所示的处理器可在4×4块上也可在16×16块上操作。因为如等式(6)所定义的阿达玛变换操作使用两个不同阶的阿达玛矩阵，图6所示的处理器也可在16×4块或在8×16块上操作。
图8A和8B表示主题发明在分级运动块搜索算法上的应用。图8A中，包括像素值的16个8×8块的运动块140使用32×32阿达玛矩阵来变换并且在先前帧104中的匹配块150和152也进行32×32阿达玛变换。对每个变换后的块150和152计算平均绝对值差。因为块150在先前帧104中具有与块140在当前帧100中相同的位置，块150和块152之间的位移限定用于块140的运动矢量。另一种情况是，可对像素值的32×32块通过低通滤波像素值的32×32块和对滤波后的像素值十中抽一来计算运动矢量以产生例如像素值的8×8块。像素值的32×32块的低通滤波用来减少在滤波的块被重取样以产生像素值的8×8块时的图形失真。像素值的8×8块然后进行阿达玛变换并与类似滤波的十中抽一的并变换的试验匹配块相比以找到最好的匹配。低通滤波器和抽取器在图中未示出。
如图8A所示来计算的运动矢量在MPEG-2标准下覆盖4个宏块。应用由图8A所揭示的方法确定的运动矢量160，用于单个宏块的运动矢量可如图8B所示来产生。在图8B中，当单个宏块170被用作运动块时，运动矢量160可用来限制用于把匹配块放置在先前帧104中的搜索域106′。如图8B所示，块172，174，176和178可被确定为试验匹配块。
根据该算法，16×16阿达玛变换被用于运动块170及各个试验匹配块172，174，176和178。然后，为了在搜索域106′中选择一个块作为运动块170的匹配块，使用如上参考等式(9)和(10)所述的最小平均绝对值差算法来比较变换后的块。如前所述，不是利用像素值的16×16块和16×16阿达玛变换，该算法可对16×16块进行滤波并十中抽一以产生8×8块并将8×8阿达玛变换应用于该运动块及一组类似滤波并重取样的试验匹配块中的每一个。
参考图8A和8B描述的算法使用两个不同阶的阿达玛变换。在图8A中，进行32阶阿达玛变换。而在图8B中进行16阶阿达玛变换。如上面参考图2到5所述，用于执行阿达玛变换的处理电路可在其处理过程中的不同时间使用不同阶的阿达玛变换。还可假设单一序列的图像可使用多阶的变换，高阶变换可用于图像与图像之间变化不明显的图像序列的较大区域，而低阶阿达玛变换可用于变化频繁的图像部分。例如，在新闻广播中，背景可应用相对大的阶数的阿达玛变换来编码而新闻广播员的脸应使用相对低的阶数的阿达玛变换来编码。
在参考图8A和8B所描述的运动估测技术中，分级的运动估测是从大块向小块进行的。但是，可假设分级技术可从小块向大块进行。图9是表示小块的运动在大块运动矢量之前的运动估测方法的例示图。在图9中，当前帧100的运动块118包括4个子块120，122，124和126。在本发明例示的实施例中，对于各个子块确定独立的运动矢量。这表示在图9中的搜索帧104中，块118′代表处在与运动块118处于当前图像中时相同的位置的块和搜索图像。一旦运动矢量确定了，运动块的子块120，122和126被映射到搜索图像中的块130的子块120′，122′和123′，而子块124被映射到搜索块132的子块124′。和参考图1在上面描述的传统块运动算法一样，搜索域被限定为搜索图像104的区域106。因为运动块的3个子块映射到匹配块130而仅一个子块映射到块132，块130被选择为用于运动块118的匹配块。
在图9所示的块匹配方法中，作为搜索帧104的搜索域106中的所有子块，各个子块120，122，124和126首先进行阿达玛变换。然后上述的块匹配算法被应用在搜索图像104的搜索域106中的子块基础上。
尽管本发明根据例示的实施例作了描述，在后附权利要求的范围内可设定这只是作为上面所概括的一种实践。
权利要求
1.用于处理代表第一和第二图像的像素数据以确定相应于第一图像中的像素值的运动块的第二图像中的像素值的匹配块的方法，该方法包括步骤利用预定正交变换操作来变换像素值的运动块以产生变换后的运动块；从第二图像选择大量试验匹配块；利用预定正交变换操作来变换各个试验匹配块以产生相应的大量变换后的匹配块；产生变换后的运动块与相应的大量变换后的匹配块的每一个之间的大量测量差值；及选择相应于具有作为大量测量差值中最小的测量差值的变换后的匹配块的试验匹配块作为匹配块。
2.如权利要求1的方法，其中预定变换操作是阿达玛变换操作。
3.如权利要求2的方法，其中产生变换后的运动块与相应的大量变换后的匹配块的每一个之间的大量测量差值的步骤包括计算变换后的运动块与变换后的匹配块的每一个之间的均方差(MSE)的步骤；及选择匹配块的步骤选择相应于具有小于任何其它的变化后的匹配块的MSE的MSE的变换后的匹配块的匹配块。
4.如权利要求2的方法，其中产生变换后的运动块与相应的大量变换后的匹配块的每一个之间的大量测量差值的步骤包括计算变换后的运动块与变换后的匹配块的每一个之间的平均绝对值差(MAD)的步骤；及选择匹配块的步骤选择相应于具有小于任何其它的变换后的匹配块的MAD的MAD的变换后的匹配块的匹配块。
5.如权利要求2的方法，其中运动块包括第一数值M行像素值和第二数值N列像素值并且变换运动块的步骤包括步骤用运动块乘以M×M阿达玛矩阵以产生M×N矩阵值；及用N×N阿达玛矩阵乘以M×N矩阵值以产生N×M块变换后的图像值。
6.如权利要求1的方法，其中第一和第二图像是第一和第二连续帧视频信号并且第一和第二图像之间的差相应于帧间运动，该方法还包括步骤确定在位置上相应于运动块的第二帧中的参考块；确定参考块与第二帧中的选择匹配块之间的位移；及从该位移产生运动矢量。
7.用于处理代表第一和第二图像的像素数据以确定相应于第一图像中的像素值的运动块的第二图像中的像素值的匹配块的方法，该方法包括步骤在第一图像中选择像素值的M×N块，该像素值的M×N块包括作为适当的子集的像素值的运动块；利用预定正交变换操作来变换像素值的M×N块以产生变换后的像素值的M×N块；从第二图像中选择大量试验的M×N匹配块；利用预定变换操作来变换大量试验M×N匹配块的每一个以产生相应的大量的变换后的M×N匹配块；产生变换后的M×N运动块与相应的大量变换后的M×N匹配块的每一个之间的大量测量差值；及比较产生的测量差值以确定最小的测量差并确定哪个变换后的M×N匹配块相应于最小的测量差；确定M×N块与选择的M×N匹配块之间的位移；利用预定正交变换操作来变换像素值的运动块以产生变换后的运动块；从第二图像选择大量试验匹配块，该选择的试验匹配块被团簇在从运动块被移开预定位移的试验匹配块周围；利用预定正交变换操作来变换像素值的各个试验匹配块以产生相应的大量的变换后的匹配块；产生变换后的运动块与相应的大量变换后的匹配块的每一个之间的大量测量差值；及选择相应于具有小于大量测量差值中任何一个其它的测量差值的测量差值的变换后的匹配块的试验匹配块作为匹配块。
8.用于处理代表第一和第二图像的像素数据以确定相应于第一图像中的像素值的运动块的第二图像中的像素值的匹配块的装置，该装置包括利用预定正交变换操作来变换像素值的运动块以产生变换后的运动块的变换处理器；从第二图像选择相应的大量试验匹配块并利用预定正交变换操作来变换像素值的相应的试验匹配块以产生相应的大量变换后的匹配块的大量再变换处理器；产生变换后的运动块与相应的大量变换后的匹配块的每一个之间的大量测量差值并确定一个测量差值作为最小测量差值的比较器，其中相应于具有最小的测量差值的变换后的匹配块的试验匹配块被确定为相应于像素值的运动块的像素值的匹配块。
9.如权利要求8的装置，其中各个变换处理器和大量变换处理器是阿达玛变换处理器。
10.如权利要求9的装置，其中比较器包括用于计算变换后的运动块与变换后的匹配块的每一个之间的均方差(MSE)的装置；及用于选择相应于具有小于任何其它的变换块的MSE的MSE的变换后的匹配块的试验匹配块作为像素值的匹配块的装置。
11.如权利要求9的装置，其中比较器包括用于计算变换后的运动块与变换后的匹配块的每一个之间的平均绝对值差(MAD)的装置；及用于选择相应于具有小于任何其它的变换后的块的MAD的MAD的变换后的匹配块的试验匹配块作为像素值的匹配块的装置。
12.如权利要求11的装置，其中第一和第二图像是第一和第二连续帧视频信号并且第一和第二图像之间的差相应于帧间运动，该装置还包括用于确定在位置上相应于运动块的第二帧中的参考块的装置；用于确定参考块与第二帧中的选择匹配块之间的位移的装置；及从该位移产生运动矢量的装置。
13.包括计算机程序的载体，计算机程序包括大量引起计算机执行下述步骤的指令从第一图像确定像素的运动块；利用预定正交变换操作来变换像素值的运动块以产生变换后的运动块；从第二图像中选择大量试验匹配块；利用预定正交变换操作来变换像素值的试验匹配块的每一个以产生相应的大量的变换后的匹配块；产生变换后的运动块与相应的大量变换后的匹配块的每一个之间的大量测量差值；及选择相应于具有小于大量测量差值中任何一个其它的测量差值的测量差值的变换后的匹配块的试验匹配块作为匹配块。
全文摘要
一种对一个视频图像帧中的运动块与另一块视频图像帧中的匹配块进行匹配的块匹配装置和方法,该装置包括大量阿达玛变换处理器,该处理器对运动块和来自另一视频图像帧的大量试验匹配块进行变换,然后变换后的匹配块与变换后的运动块进行比较,并且确定相对于变换后的运动块具有最小差值的变换后的匹配块,相应于所确定的变换后的匹配块的匹配块被选择为用于运动块的匹配块。
文档编号G06T7/20GK1262496SQ0010034
公开日2000年8月9日 申请日期2000年1月18日 优先权日1999年1月27日
发明者朱强 申请人:松下电器产业株式会社