专利名称：利用分级搜索的运动估计方法和装置和图像编码系统的制作方法
技术领域：
本发明涉及实时图像编码系统，特别涉及利用分级搜索方法的运动估计方法和装置以及采用这种方法和装置的图像编码系统。
背景技术：
在一般图像编码器的各部件中，运动估计器执行最大强度的计算。快速运动估计算法可以减少运动估计器执行的计算量。而且，快速运动估计算法执行计算比全搜索块匹配算法快，而并不降低性能。快速运动估计的一种解决方案就是分级搜索的方法。
如果分级搜索的方法用于MPEG-2编码器，帧运动估计和场运动估计必须要在一个帧图像分出的所有级的图像上进行。
图1的原理图说明用于普通MPEG-2编码器的分级搜索方法。参照图1，当前帧和参考帧(或前一帧)通过子采样形成分级结构。在3级的分级搜索方法中，当前帧和参考帧每一个都是由最低分辨率级(2级)图像110、中间分辨率级(1级)图像120、最高分辨率级(0级)图像130组成的。
对分级帧结构的分级运动估计开始是对2级图像110进行全搜索，得到具有最小绝对差总和(Sum ofAbsolute Difference，SAD)的多个初始搜索点。接着，根据从2级图像110得到的初始搜索点对1级图像120进行局部搜索。通过对1级图像120的局部搜索，提取具有最小SAD的多个新的初始搜索点。随后，根据从1级图像120得到的新的初始搜索点对0级图像130进行局部搜索。结果是，对0级图像130的局部搜索得到各最终运动矢量。
因此，当MPEG-2处理预测帧(P-frame)时，对帧和场—即在帧之间，在顶部到顶部(top to top，Top2Top)的场，在顶部到底部(top to bottom，Top2Bot)的场，在底部到顶部(bottom to top，Bot2Top)的场，在底部到底部(bottom tobottom，Bot2Bot)的场—进行5次分级的搜索。当MPEG-2编码器处理双向帧(B-frame)时，对B-frame执行总共10次分级的搜索，其中包括向前和向后的搜索。相应地，在MPEG-2编码器的运动估计过程中，采用这种分级运动搜索需要额外的存储器用于帧和场的运动估计，并且仍要求大强度的计算。
发明内容
本发明提供一种运动估计方法和装置，可以在场运动估计中的计算量最少，而且采用MPEG-2编码器中使用的一般分级搜索方法。
本发明也提供了采用该运动估计方法和装置的图像编码系统。
根据本发明的一方面，提供一种对以分级结构组成的多帧的图像进行运动估计的方法。该方法中，用初始搜索点在低级帧数据上执行搜索，得到具有最小绝对差总和(SAD)的多个搜索点，并且这些具有最小SAD的搜索点被用作一个基本运动矢量。然后，用基本运动矢量既对高级帧数据也对高级场数据执行搜索，以得到具有最小SAD的搜索点，并且这些具有最小SAD的搜索点被用作帧和场运动矢量。
根据本发明的另一方面，提供了一种对以分级结构组成的多帧分图像进行运动估计的装置。该装置包括预处理器以及第一和第二运动估计单元。预处理器，对当前帧和参考帧(前一帧)执行低通滤波和子采样，把当前帧和参考帧组织成分级结构。第一运动估计单元对预处理器得到的低分辨率级的帧数据执行搜索，搜索至少一个具有最小绝对差总和(SAD)的初始搜索点。第二运动估计单元把初始搜索点设为基本帧和场运动矢量，通过利用基本帧和场运动矢量，对预处理器得到的高分辨率级的帧数据执行搜索，以估计具有最小SAD的帧和场运动矢量。
通过参照附图详细描述其典型的实施例，本发明以上和另外的特点和优势会更明确图1的原理图说明用于普通MPEG-2编码器的分级搜索方法；图2是根据本发明实施例的图像编码系统的方框图；图3是图2里的运动估计(ME)单元的更详细的方框图；图4的流程图说明根据本发明实施例的分级运动估计方法；图5图示说明一个实施例，例中按比例缩放基本运动矢量(BMV)，以估计从顶部场到底部场的运动矢量(MV)(也就是，Top2Bot场MV)。
具体实施例方式
参照图2，一个到来的图象对应一组画面(GOP)。离散余弦变换(DCT)单元220对8×8的块执行DCT，以从到来的图像获得空间上的冗余。
量化(Q)单元230量化经过DCT变换的图像。去量化单元250对量化图像去量化。
逆DCT(IDCT)单元260对去量化了的图像执行IDCT。帧存储器(fFM)270一帧接着一帧存储经过IDCT变换的图像。
运动估计(ME)单元280通过对存储在FM270的当前帧的图像数据和前一帧的图像数据取样，形成分级帧结构，并且，通过把从1级图像(参照图1)得到的基本运动矢量施用到帧和场上，执行运动估计。
可变长度编码(VLC)单元240根据ME单元280估计得到的运动矢量(ME)，从量化图像去除统计冗余。
图3是更详细的图2的ME单元280的方框图。参照图3，预处理器310对当前帧和参考帧(前一帧)执行低通滤波(LPF)，并且通过子采样组织分级结构中的每一个当前帧和参考帧。在3级的分级搜索方法中，每一个当前帧和参考帧由最低分辨率级(2级)帧数据、中间分辨率级(1级)帧数据、和最高分辨率级(0级)帧数据构成。最高分辨率级(0级)图像是原始图像，中间分辨率级(1级)图像的长和宽都是原始图像的1/2，最低分辨率级(2级)图像的长和宽都是原始图像的1/4。
通过对预处理过的最低分辨率级(2级)帧数据执行全搜索，并找到至少一个具有最小SAD的初始搜索点(运动矢量)，第一帧ME单元320开始帧运动估计。
通过用那些初始运动矢量(MV)对预处理过的中间分辨率级(1级)帧数据执行局部搜索，再找出具有最小SAD的初始MV，第二帧ME单元330继续帧运动估计。这些从中间分辨率级(1级)帧数据得到的初始MV被称为基本MV。
通过用基本MV对最高分辨率级(0级)帧数据执行局部搜索，第三帧ME单元340涉及帧运动估计和场运动估计。然后，第三帧ME单元340找到具有最小SAD的帧MV，以及具有最小SAD的相同的场之间的场MV。从当前的顶部场到前一个顶部场的MV被称为Top2Top场MV。从当前的顶部场到前一个底部场的MV被称为Top2Bot场MV。从当前的底部场到前一个顶部场的MV被称为Bot2Top场MV。从当前的底部场到前一个底部场的MV被称为Bot2Bot场MV。获得Top2Top和Bot2Bot场MV不需要额外的计算，因为它们可以根据从帧运动估计上自动得到的场间SAD获得。
第一按比例缩放器350利用当前帧的顶部场和前一帧的底部场之间的距离缩放基本MV。
通过当前帧的顶部场和前一帧的底部场之间的局部搜索，第一场ME单元360实现场运动估计。利用经过第一按比例缩放器350缩放的基本MV，以最高分辨率级(0级)进行搜索，得到一个具有最小SAD的Top2Bot场MV。
第二按比例缩放器370利用当前帧的底部场和前一帧的顶部场之间的距离缩放基本MV。
通过分别在当前帧和前一帧的底部及顶部场上局部搜索，第二场ME单元380实现场运动估计。利用经过第二按比例缩放器370缩放的基本MV，以最高分辨率级(0级)进行搜索，得到一个具有最小SAD的Bot2Top场MV。
图4的流程图说明根据本发明实施例的分级运动估计方法。首先，当前帧和它的前一帧每个都通过LPF和子采样被以分级结构组织。
然后，在步骤410，通过以最低分辨率级(2级)全搜索进行帧运动估计，提取至少一个具有最小SAD的初始搜索点(也就是，初始MV)。
接着，在步骤420，利用提取出的初始MV，在中间分辨率级(1级)通过局部搜索进行帧运动估计，得到一个具有最小SAD的帧MV。在中间分辨率级(1级)得到的逐帧MV被称为基本MV。
接下来，在步骤430和440，利用基本MV，通过在最高分辨率级(0级)局部搜索进行帧运动估计和场运动估计，估计具有最小SAD的帧MV和具有最小SAD的各个场MV。
参照从帧运动估计自动获得的场间SAD，Top2Top和Bot2Bot场MV被估计出来。在Top2Bot和Bot2Top场运动估计过程中，基本MV不能不经变化地施用，因为顶部到底部场之间的距离不同于顶部场之间和底部场之间的距离。因此，考虑相应场之间的距离按比例缩放得到一个新的基本MV。根据这个MV，通过局部搜索，估计Top2Bot和Bot2Top场运动。通过局部搜索，得到SAD最小的Top2Bot和Bot2Top场运动MV。
总之，不是靠在最低和中间分辨率级(2级和1级)执行搜索来完成场运动估计，而是，利用在中间分辨率级(1级)的帧运动估计得到的搜索点(也就是，MV)，在最高分辨率级(0级)执行局部搜索。
图5图示说明一个实施例，例中按比例缩放一个基本MV，以估计一个底部场和顶部场之间的MV(也就是，Top2Bot场MV)。参照图5，假定每一个当前帧和它的前一帧都有一个顶部场，也有一个底部场。如果相同的场之间(比如，顶部场之间或底部场之间)的距离是m，不同场之间(比如，底部场和顶部场之间)的距离是n，基本MV是BMV，这个Top2Bot场MV可以被估计成BMV×n/m。另外，考虑场的特性，一个偏移被加入到这个按比例缩放的BMV。Bot2Top场MV可以用和估计Top2Bot场MV相似的方式获得。
尽管本发明是参照其典型实施例详细描述的，但本领域的普通技术人员应该理解，在不脱离由所附权利要求限定的本发明的精神和范围的情况下，可以对其进行形式和细节的各种修改。本发明可以用计算机可读记录介质上的计算机可读代码体现。这里，计算机可读记录介质可以是任何数据存储装置，存储的数据其后能被计算机系统读取。计算机可读记录介质的例子包括只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘、光数据存储设备等等。计算机可读代码也可以通过例如互联网那样的载波传送。计算机可读记录介质也可以被分散到计算机网络系统上，于是该计算机可读代码可以分布式地储存和执行。
如上所述，当MPEG-2编码器采用分级搜索方法时，从中间分辨率级(1级)得到的基本MV共同地被施用于帧运动估计和场运动估计，因而降低了运动估计所需的计算量。
权利要求
1.一种对以分级结构组成的多帧的图像进行运动估计的方法，该方法包括利用初始搜索点对低级帧数据执行搜索，以得到具有最小绝对差总和(SAD)的多个搜索点，把这些具有最小SAD的搜索点当作基本运动矢量；利用基本运动矢量对高级帧数据和高级场数据执行搜索，以得到具有最小SAD的各个搜索点，把这些具有最小SAD的搜索点当作帧和场运动矢量。
2.如权利要求1所述的方法，其中在获取帧和各个场运动矢量过程中，参照由帧运动估计得出的场间SAD，估计出顶部到顶部(Top2Top)和底部到底部(Bot2Bot)的场运动矢量，按比例缩放基本运动矢量，对顶部到底部(Top2Bot)和底部到顶部(Bot2Top)场执行基于这个经过缩放的基本运动矢量的搜索，以得到具有最小SAD的运动矢量。
3.如权利要求2所述的方法，其中基本运动矢量根据一个缩放比例系数被按比例缩放，这个系数考虑了场之间的距离。
4.如权利要求3所述的方法，其中如果相同的场之间的距离是m，不同场之间的距离是n，基本运动矢量是BMV，Top2Bot和Bot2Top场运动矢量是BMV×n/m。
5.一种对以分级结构组成的多帧的图像进行运动估计的装置，装置包括预处理器，对当前帧和参考帧(前一帧)执行低通滤波和子采样，以把当前帧和参考帧组织成分级结构；第一运动估计单元，以低分辨率级对预处理器得到的帧数据执行搜索，搜索至少一个具有最小绝对差总和(SAD)的初始搜索点；第二运动估计单元，把初始搜索点设为基本帧和场运动矢量，通过利用基本帧和场运动矢量以高分辨率级对预处理器得到的帧数据执行搜索，以估计出具有最小SAD的帧和各个场运动矢量。
6.如权利要求5所述的装置，其中第二运动估计单元包括帧运动估计单元，通过利用从低分辨率级帧数据得到的运动矢量，对高分辨率级帧数据执行帧和场搜索，以估计具有最小SAD的帧运动矢量以及具有最小SAD的顶部到顶部(Top2Top)和底部到底部(Bot2Bot)场运动矢量；第一按比例缩放器，根据当前帧的顶部场和前一帧的底部场之间的距离，按比例缩放基本运动矢量。第一场运动估计单元，利用经第一按比例缩放器缩放的基本运动矢量，以最高分辨率级对顶部到底部场执行纵向和横向的局部搜索，以估计具有最小SAD的顶部到底部(Top2Bot)场运动矢量；第二按比例缩放器，根据当前帧的底部场和前一帧的顶部场之间的距离，缩放基本运动矢量；第二场运动估计单元，利用经第二按比例缩放器缩放的基本运动矢量，以最高分辨率级对底部到顶部场执行纵向和横向的局部搜索，以得到具有最小SAD的底部到顶部(Bot2Top)场运动矢量。
7.一个图像编码系统，包括离散余弦变换(DCT)单元，对到来的图像数据执行DCT变换；量化单元，量化经DCT变换的图像数据；去量化单元，对量化图像数据去量化；逆DCT(IDCT)单元，对去量化的图像数据执行IDCT变换；帧存储器，逐帧地存储经过IDCT变换的图像数据；运动估计单元，对存储在帧存储器的当前帧的图像数据和前一帧的图像数据取样，得到每一帧的分级结构，并且，根据从低分辨率级帧数据得到的运动矢量，在高分辨率级估计帧和场运动矢量；可变长度编码单元，利用运动估计单元估计出的运动矢量，从量化图像数据中去除统计冗余。
全文摘要
一种利用搜索到的运动矢量估计运动的方法和装置，和采用这种方法和装置的图像编码系统。在该方法中，估计在低级帧数据之间的运动，得到具有最小绝对差总和(SAD)的多个搜索点，这些搜索点被用作个基本运动矢量。利用基本运动矢量，对高级帧数据和高级场数据执行搜索，得到具有最小SAD的各个搜索点。从高级帧数据和场数据搜索得到的这些搜索点被用作帧和场运动矢量。
文档编号G06T7/20GK1469649SQ0314844
公开日2004年1月21日 申请日期2003年6月30日 优先权日2002年7月18日
发明者宋秉哲, 千畺旭 申请人:三星电子株式会社