专利名称：运动估计方法
技术领域：
本发明涉及一种运动估计方法，特别涉及一种减小计算复杂性的运动估计方法。
在对运动图像进行高压缩编码时必须有效去除四种冗余。首先，在信号成分中就存在的冗余。第二，由于数据生成的统计概率，还存在统计冗余。第三，在图像之间存在时间冗余。第四，在图像内存在空间冗余。
通过采用亮度与色度之比为2∶1的信号可以减少信号成分中存在的冗余。通过进行可变长度的编码可以减少统计冗余，这种编码在编码过程中使用数据生成概率减少了位的平均数。通过离散余弦变换(DCT)可以减少空间冗余。通过运动估计(ME)和运动补偿(MC)可以减少运动图像中经常发生的时间冗余。
根据传统运动估计方法减少冗余的一个例子，采用全搜索(FS)作为块匹配算法。当采用全搜索作为块匹配算法时，编码器的复杂度取决于运动估计算法。在对运动图像编码时这种方法显示出最高的可压缩性。然而，由于计算的过度复杂性，编码器的总体性能还是较低的。
根据另一种用于解决上述问题的运动估计方法，可以在众所周知的3步或4步搜索的基础上，减小计算的复杂性。这些方法通过将当前块与固定搜索区域内的所有块进行比较，搜索到与当前块最相似的块。3步搜索法能够相对简单和精确地估计运动。
然而，还是需要能够通过减小计算复杂性来进行快速块匹配的运动估计方法。
为了解决上述问题，本发明的一个目的是提供一种能通过减小计算复杂性来进行快速块匹配的运动估计方法。
因此，为了达到上述目的，提供一种运动估计方法，包括以下步骤(a)计算搜索块中心点和相邻搜索点的平均绝对差(MAD)；(b)如果中心点具有最小MAD值，则在中心点周围进行运动估计；(c)如果中心点不具有最小MAD值，则利用相邻搜索点之间的相关性来进行运动估计。
此外，步骤(b)最好还包括以下步骤(b-1)如果在步骤(a)中确定中心点具有最小MAD值，则引进预定数量的新搜索点，这些新搜索点与中心点具有预定像素距离的位移；和(b-2)计算所引进搜索点的MAD值并确定具有最小MAD值的搜索点的位移矢量作为移动矢量。
步骤(c)最好还包括以下步骤(c-1)如果在步骤(a)中确定中心点不是具有最小MAD值，则利用相邻搜索点之间的相关性来确定运动的方向。
所述相关性也能基于具有最小MAD值的搜索点的MAD值和相邻搜索点的MAD值之间的绝对差。
步骤(c)最好还包括以下步骤(c-1)如果最小MAD值位于某个相邻搜索点，则以相邻搜索点之间的相关性为基础确定第二步的新的搜索点；(c-2)计算在步骤(c-1)中所确定的搜索点的MAD值；(c-3)以步骤(c-2)的结果中具有最小MAD值的搜索点和相邻搜索点之间的相关性为基础，确定第三步的一个新的搜索中心点。
此外，步骤(c-3)最好还包括(c-3-1)在中心点的MAD值和某个相邻搜索点的MAD值之间的绝对差小的方向上，在中心点和相邻搜索点之间选择一个中间点；(c-3-2)计算中间点和中心点的MAD值，并确定中间点和中心点中具有较小MAD值的那个作为新的搜索点。
此外，在步骤(c-3)之后，最好还包括(c-4)引进预定数量的搜索点，这些搜索点与新确定的搜索中心点有预定像素距离的位移；和(c-5)计算所引进搜索点的MAD值，并确定具有最小MAD值的搜索点的位移矢量作为运动矢量。
或者，所述的平均绝对差(MAD)也可以是平均方差(MSD)。
通过结合附图对本发明的优选实施例进行详细描述，本发明的上述目的和优点将会变得更加清楚，其中
图1是表示依据本发明优选实施例的运动估计方法主要步骤的流程图；图2a、2b、2c和2d表示四种正交通用中间格式(Quadrature CommonIntermediate Format，QCIF)如“Carphone”、“Foreman”、“Mom&Daughter”和“Susie”的每个图像序列中的运动矢量分布；图3表示第一步的处理过程；图4a表示的例子是，为了研究具有最小MAD值的搜索点和相邻搜索点之间的相关性，在100帧“Carphone”和“Mom&Daughter”测试图像中存在的所有块中确定八个搜索点；
图4b和4c表示对相应搜索点的平均MAD值进行计算的结果；图5表示估计运动矢量(7，1)的一个例子。
以下将参考附图对本发明的优选实施例进行详细描述。图1是表示依据本发明优选实施例的运动估计方法主要步骤的流程图。以3步运动估计为基础对优选实施例进行描述。
首先，依据本发明的运动估计方法利用的事实是，在每秒20-30帧的运动图像中，约70％的运动矢量都集中于运动矢量坐标(0，0)。图2a、2b、2c和2d表示图像序列中四种正交通用中间格式(QCIF)“Carphone”、“Foreman”、“Mom&Daughter”和“Susie”的运动矢量分布，。参考图2，运动矢量分布都集中在(0，0)周围。
第二，依据本发明的运动估计方法考虑到搜索点之间的相关性。特别地，这种方法考虑到大多数的运动矢量趋向于向预定的平均方差(MSD)或平均绝对差(MAD)最小的方向运动，这在局部最小点处很容易找到。因此，如果将一个任意搜索点确定为局部最小点，则将该点确定为运动矢量的一点。否则，以MAD值为基础采用相邻搜索点之间的相关性，以使得减小搜索的计算复杂性。本发明的优选实施例还利用的事实为，如果相邻搜索点之间MAD值的差在某个方向上较小时，则很可能在该方向上存在运动。这样，在本发明的优选实施例中，可以使用MAD值和相邻搜索点之间的差作为搜索点和相邻搜索点之间的相关性。
图3是表示第一步处理过程的图。如图3所示，距离搜索中心点±4个像素的四个搜索点(a，b，c，d)被确定作为新的搜索点。下一步，在第一步所确定的搜索点处计算MAD值(步骤102)。下一步，对于每个MAD值，确定该MAD值是否是中心点(o)的最小值(步骤104)。可以将步骤S104理解为用于确定运动矢量的方向是否向着中心点的步骤。如果该MAD是中心点(o)的最小值，则引进8个位移±1像素的新搜索点(步骤110)，并在所引进的搜索点处计算MAD值，具有最小MAD值的搜索点的位移矢量被确定为运动矢量(步骤112)。
如果步骤(104)中中心点(o)的MAD值不是最小值，而最小MAD值存在于搜索点(a，b，c，d)，则采用相邻搜索点之间的相关性来确定运动的方向。也就是说，如果最小MAD值存在于搜索点(a，b，c，d)，则以相邻搜索点之间的相关性为基础确定第二步的新的搜索点(步骤120)。
图4a表示的例子是，为了研究最小的搜索点和相邻搜索点之间的相关性，在“Carphone”和“Mom&Daughter”每个测试图像的100帧中存在的所有块中确定八个搜索点，图4b和4c表示对相应搜索点的平均MAD值进行计算的结果。
以下将描述搜索点(a)具有最小MAD值的情况。参考图4b，搜索点(a)是中心点，|MAD(a)-MAD(b)|是74，而|MAD(a)-MAD(c)|是78，因此|MAD(a)-MAD(b)|＜|MAD(a)-MAD(c)|。这就意味着点(a)和点(b)之间的点(ab)的MAD值小于点(a)和点(c)之间的点(ac)的MAD值，同样这也能统计地表明，差值小的方向上MAD值也变小。
同样，参考图4c，搜索点(d)是中心点，|MAD(d)-MAD(c)|是167，而|MAD(d)-MAD(b)|是12，因此|MAD(d)-MAD(c)|＞|MAD(d)-MAD(b)|。这就意味着点(bd)的MAD值小于点(dc)的MAD值。当点(a)、(b)、(c)或(d)是中心点时，也构成了搜索点之间的相关性。
也就是说，除了对应于第一步中宏块中点(o)的搜索点之外，如果确定搜索点(a，b，c，d)中的一个为具有最小MAD值的搜索点，则依据本发明的运动估计方法采用相邻搜索点之间的相关性作为运动矢量方向成分的估计。在优选实施例中，具有最小MAD值的搜索点的MAD值和相邻搜索点的MAD值之间的绝对差被用于具有最小MAD值的搜索点和相邻搜索点之间的相关性中。也就是说，下一步的搜索点和运动是根据下列公式估计的。
|MAD(a)-MAD(b)|＝|MAD(a)-MAD(c)|…(1)|MAD(a)-MAD(b)|＞|MAD(a)-MAD(c)|…(2)|MAD(a)-MAD(b)|＜|MAD(a)-MAD(c)|…(3)如果满足公式1，则可确定八个从搜索点(a)位移±1像素的搜索点，并且将具有最小MAD的搜索点的位移矢量确定为运动矢量，但图1中未表示。
同样，如图4a所示，如果满足公式2，则新确定一个在搜索点(a)和(c)之间的中间点(ca)，并且根据对其他搜索点比较和计算的结果来执行第二步。
MAD(a)＝MAD(ca)…(4)MAD(a)＞|MAD(ca)…(5)MAD(a)＜MAD(ca)…(6)如果不满足公式4，则新构建八个从搜索点(a)和(ac)之间的中间点位移±1像素的搜索点，并且将具有最小MAD的搜索点的位移矢量确定为运动矢量。同样，如果满足公式5，则确定点(ca)为第二步的新的搜索中心点。下一步，确定从这个新的搜索中心点(ca)位移±2像素的四个搜索点。如果满足公式6，则确定点(a)为第二步的新的搜索中心点。下一步，确定从这个新的搜索中心点位移±2像素的四个搜索点。也就是说，确定从新确定的搜索中心点位移±2像素的四个搜索点(步骤122)。
下一步，计算步骤122中所确定搜索点的MAD值(步骤124)。下一步，根据步骤124中的计算结果，以具有最小MAD值的搜索点和相邻搜索点之间的相关性为基础，确定第三步的新的搜索中心点(步骤126)。下一步，在第三步中，引进从所确定的搜索中心点位移±1像素的八个搜索点(步骤128)。然后，计算所引进搜索点的MAD值，并且将具有最小MAD值的搜索点的位移矢量确定为运动矢量(步骤130)。
图5表示一个估计运动矢量(7，1)的例子。参考图5，在第一步中，最小MAD值对应搜索点不是点(o)而是点(a)的情况。依据本发明，在这种情况下，应采用相邻搜索点之间的相关性。分析这种相关性，满足|MAD(b)-MAD(a)|＞|MAD(b)-MAD(d)|，从而计算搜索点(b)和(d)之间中间点(e)的MAD值。搜索点(b)的MAD值大于搜索点(e)的MAD值；因此，将搜索点(e)确定为第二步的新搜索点，并且确定从该搜索中心点(e)位移±2像素的四个搜索点，然后再执行第二步。如果搜索点(f)具有最小MAD，并且满足|MAD(g)-MAD(h)|＞|MAD(g)-MAD(f)，|则计算搜索点(j)和(g)之间中间点(j)的MAD值。因为MAD(g)大于MAD(j)，所以在第三步中引进从搜索中心点(j)位移±1像素的八个搜索点。在最后一步中，给出最优点(7，1)，并且用与最优点的距离来确定运动矢量。
如果该过程在第一步中就完成，则搜索点的最小数量为“5+8＝13”。如果经过所有步骤才确定运动矢量，则搜索点的最小数量为“5+1+4+1+8＝19”。
进行一个模拟实验，用于评价传统运动估计方法和本发明运动估计方法的性能。比较的对象是能最精确估计运动的全搜索方法(FSM)、能相对较块速估计运动的3步搜索(3SS)和近来才被知道具有良好性能的4步搜索(4SS)。选择每个宏块的平均搜索点(ASP)作为比较计算复杂性的项目。表1表示比较ASP的结果。
表1
参考表1，依据本发明的运动估计方法其每个宏块的ASP比传统运动估计方法(FSM，3SS，4SS)少。也就是说，依据本发明的运动估计方法显著地减少了计算的复杂性，并提高了图像压缩速度。
同样，使用以分贝(db)表示的PSNR作为比较运动估计精度的项目。表2表示对每种测试图像的100帧测量平均PSNR的结果。
表2
参考表2，依据本发明的运动估计方法与传统的运动估计方法(FSM，3SS，4SS)不同，在图像压缩期间不会损坏图像的质量。
同样，依据本发明的运动估计方法还可以被制作成一个可以在个人计算机或服务器计算机上运行的程序。本领域技术人员能够容易地推断出构成该程序的程序代码和代码段。该程序也可以储存在计算机可读记录介质中。这种记录介质可以是磁性记录介质、光学记录介质或者广播介质。
权利要求
1.一种运动估计方法，包括以下步骤(a)计算搜索块的中心点和相邻搜索点的平均绝对差(MAD)；(b)如果中心点具有最小MAD值，则在中心点周围进行运动估计；(c)如果中心点不具有最小MAD值，则利用相邻搜索点之间的相关性来进行运动估计。
2.如权利要求1所述的方法，其中，步骤(b)包括以下步骤(b-1)如果在步骤(a)中确定中心点具有最小MAD值，则引进预定数量的新搜索点，这些新搜索点与中心点具有预定像素距离的位移；(b-2)计算所引进搜索点的MAD值并确定具有最小MAD值的搜索点的位移矢量作为移动矢量。
3.如权利要求1所述的方法，其中，步骤(c)包括(c-1)如果在步骤(a)中确定中心点不是具有最小MAD值，则利用相邻搜索点之间的相关性来确定运动的方向。
4.如权利要求3所述的方法，其中，所述相关性是基于具有最小MAD值的搜索点的MAD值和相邻搜索点的MAD值之间的绝对差。
5.如权利要求1所述的方法，其中，步骤(c)包括(c-1)如果最小MAD值位于某个相邻搜索点，则以相邻搜索点之间的相关性为基础确定第二步的新的搜索点；(c-2)计算在步骤(c-1)中所确定的搜索点的MAD值；(c-3)以步骤(c-2)的结果中具有最小MAD值的搜索点和相邻搜索点之间的相关性为基础，确定第三步的一个新的搜索中心点。
6.如权利要求5所述的方法，其中，步骤(c-3)包括(c-3-1)在中心点的MAD值和某个相邻点的MAD值的绝对差小的方向上，在中心点和相邻搜索点之间选择一个中间点；(c-3-2)计算中间点和中心点的MAD值，并确定中间点和中心点中具有较小MAD值的那个作为新的搜索点。
7.如权利要求1到6中任何一个所述的方法，其中，所述平均绝对差(MAD)是平均方差(MSD)。
8.如权利要求5或6所述的方法，在步骤(c-3)之后还包括(c-4)引进预定数量的搜索点，这些搜索点与新确定的搜索中心点有预定估计距离；(c-5)计算所引进搜索点的MAD值，并确定具有最小MAD值的搜索点的位移矢量作为运动矢量。
9.如权利要求8所述的方法，其中，所述平均绝对差(MAD)是平均方差(MSD)。
全文摘要
提供一种运动估计方法。本发明的运动估计方法包括以下步骤:(a)计算搜索块中心点和相邻搜索点的平均绝对差(MAD);(b)如果中心点具有最小MAD值,则在中心点周围进行运动估计;(c)如果中心点不具有最小MAD值,则利用相邻搜索点之间的相关性来进行运动估计。本发明的运动估计方法与传统的运动估计方法不同,在图像压缩期间不会损坏图像的质量,并且能通过显著减小计算复杂性来提高图像压缩速度。
文档编号H03M7/36GK1346216SQ0110170
公开日2002年4月24日 申请日期2001年1月20日 优先权日2000年7月28日
发明者沈优星 申请人:三星电子株式会社