专利名称：运动估计和模式判定的设备及其方法
技术领域：
本发明涉及运动估计和模式判定的设备及其方法，更具体地说，涉及能够在扫描格式转换下高速进行运动估计和模式判定的设备、及其方法。
背景技术：
一般说来，实现数字图像的方法根据帧的结构分为隔行扫描和逐行扫描。参照图1A，隔行扫描这样构造一个帧，在一个半帧(上半帧)扫描奇数行(用实线标记)和另一个半帧(下半帧)扫描偶数行(用虚线标记)之后由两个半帧变成一个帧。因此，每个半帧的高度是帧高的一半。上述方法用于低频实现像1024×768那样的高分辨画面，但是，形成的画面是闪烁的。另一方面，参照图1B，逐行扫描在实现一个帧时，通过一行一行地扫描图像信号形成一个帧。与隔行扫描相比，逐行扫描提供的画面闪烁得不厉害一些。
并且，在MPEG标准下定义了三种类型的帧内部编码帧(I帧)、预测编码帧(P帧)、和双向预测编码帧(B帧)。通过进行运动补偿/估计，P帧和B帧具有高的压缩比。
对I帧编码不需要参照其它帧。对P帧编码要参照过去的帧，换句话说，要参照反向I帧或反向P帧。当在反向I帧或反向P帧与当前P帧之间进行运动信息估计和运动补偿估计之后，编码预测误差和运动信息时，可以有效地进行数字图像的压缩。
B帧是压缩比最高的帧。并且，对B帧进行估计不仅要参照反向I帧或反向P帧，而且要参照前向I帧或前向P帧。与P帧一样，B帧也使用运动补偿估计。另外，B帧使用两参考帧，并且从两个参考帧中选择估计精度更好的帧，因此，B帧具有最高的压缩比。但是，B帧不可以成为其它帧的参考帧。与B帧不同，I帧和P帧可以成为其它帧的参考帧。
图2是示意性地显示传统代码转换器的图形。参照图2，代码转换器200含有变长解码器(VLD)201、第一和第二逆量化器(IQ)203a和203b、第一和第二离散余弦逆变换器(IDCT)205a和205b、第一和第二加法器207a和207b、运动补偿器(MC)209a、运动估计补偿器(MEC)209b、缩减取样器(DSamp)211、减法器213、离散余弦变换器(DCT)215、量化器(Q)217、和变长编码器(VLC)219。
VLD 201根据数据生成频率，通过标记符号的长度减少数据量。第一IQ203a逆量化VLD 201编码的DCT系数。第一IQ 203a把逆量化的DCT系数提供给第一IDCT 205a和第二IDCT 205b。第一IDCT 205a和第二IDCT 205b把通过对逆量化DCT系数进行离散余弦逆变换获得的预测误差信号提供给第一加法器207a。第一加法器207a相加预测误差信号和预测信号。这里，把‘预测’定义为计算帧和半帧之间像素数据的差值。换句话说，在以前处理的帧/半帧的数据中搜索与当前要处理的帧/半帧上的宏块(macro block)匹配得最佳的宏块之后，根据匹配最佳宏块的运动方向检测运动向量。
MC 209a根据输入的运动向量的编码顺序预测运动估计，和把预测信号发送到第一加法器207a。第一加法器207a相加预测误差信号和预测信号，和把相加信号发送到DSamp 211。DSamp 211缩小还原和相加的信号的尺寸。把尺寸缩小了的图像信号输入到减法器213a。减法器213a从按比例缩小图像信号中减去预测运动补偿信号，和把获得的预测误差信号提供给DCT 215。DCT 215对获得的预测误差信号进行DCT，和把DCT系数提供给Q 217。Q217量化DCT系数。
Q 217把量化DCT系数提供给VLC 219，同时，把它提供给第二IQ 203b。第二IQ 203b逆量化DCT系数。第二IQ 203b把逆量化的DCT系数提供给第二IDCT 205b。第二IDCT 205b对逆量化的DCT系数进行离散余弦逆变换，和把获得的预测误差信号提供给第二加法器207b。第二加法器207b相加获得的预测误差信号和预测运动补偿信号，和把相加信号提供给MEC 209b。MEC 209b根据编码的顺序，从输入的运动向量中预测运动补偿信号。MEC209b把预测运动补偿信号提供给减法器213，同时，把它提供给第二加法器207b。VLC 219输出通过变长编码一种类型的输入画面、运动向量和量化DCT系数获得的位流。
并且，当输入代码转换器的MPEG2位流是隔行扫描的时，需要根据显示设备把输出转换成逐行扫描的。但是，传统代码转换器在输入扫描格式和输出扫描格式相同时，可以进行代码转换。因此，当输入解码器的扫描格式和从编码器输出的扫描格式彼此不同时，还没有引入能够有效重新编码转换序列的代码转换器。
另外，传统代码转换器不能支持18种ATSC格式。换句话说，已经引入了减少图像的尺寸或位速率，或帧速率的代码转换，但不能用于改变扫描格式。例如，当把1920×1080隔行扫描输入图像转换成720×480逐行扫描输出图像时，帧的类型在代码转换时改变了，因此，高速估计运动受到限制。
发明内容
本发明的各种目的和优点部分将在如下的描述中陈述出来，部分可从如下的描述中明显看出，或可以在实践本发明的过程中获悉。
本发明是为了克服现有技术中存在的上述问题而作出的。因此，本发明的目的的是提供一种在保持高压缩效率的同时，能够提高编码速度的、用于运动估计和模式判定的设备和方法。
为了实现本发明的上述和其它目的，本发明提供了包括如下部件的运动估计和模式判定的设备候选向量组生成单元，用于生成包括穿过第一宏块的、相邻图像的运动向量的候选向量组，其中第一宏块是定标之前的图像的宏块，和第一宏块和相邻图像存在于同一子画面组(sub-GOP)中；运动向量估计单元，用于从与第二宏块重叠的第一宏块的运动向量和候选向量组中估计第二宏块的基向量，其中第二宏块是定标之后的图像的宏块；和模式判定单元，用于从估计基向量和第一宏块的模式中确定第二宏块的模式。
按照图像的类型，运动向量估计单元根据与第二宏块重叠的第一宏块的运动向量和候选向量组计算绝对差之和(SAD)，和估计具有最小SAD的运动向量，作为第二宏块的基向量。
运动向量估计单元包括候选宏块提取单元，用于从与第二宏块重叠的第一宏块的运动向量中计算第一中值，和从与第二宏块重叠的第一宏块中提取运动向量与第一中值接近的候选宏块；和基向量估计单元，用于根据提取候选宏块的运动向量和候选向量组计算SAD，和估计SAD具有最小值的运动向量，作为第二宏块的基向量。
按照图像的类型，运动向量估计单元根据与第二宏块重叠的第一宏块的运动向量和候选向量组计算中值或平均值，并估计所计算的值，作为基向量。
运动向量估计单元包括候选宏块提取单元，用于从与第二宏块重叠的第一宏块的运动向量中获取第一中值，和从与第二宏块重叠的第一宏块中提取运动向量与第一中值接近的候选宏块；和基向量估计单元，用于根据提取候选宏块的运动向量和候选向量组计算中值或平均值，并估计所计算的值，作为第二宏块的基向量。
模式判定单元在与第二宏块重叠的第一宏块中的内部模式(intra mode)部分在预定值之上时，确定第二宏块是内部模式，和在与第二宏块重叠的第一宏块中的内部模式部分在预定值之下时，确定第二宏块是中间模式(intermode)。
当第二宏块被确定为内部模式和没有第一宏块的候选向量组时，运动向量估计单元包括候选向量提取单元，用于从与第二宏块接近的一个或多个相邻宏块的运动向量中计算候选向量；和基向量估计单元，用于根据所提取的候选向量以及与第二宏块重叠的第一宏块的运动向量，通过比较SAD，估计SAD具有最小值的运动向量，作为第二宏块的基向量。
候选向量是一个或多个相邻宏块的运动向量的中值和/或平均值。当相邻宏块不与第二宏块接近时，运动向量估计单元根据与第二宏块重叠的第一宏块的运动向量，通过比较SAD，判定SAD具有最小值的运动向量，作为第二宏块的基向量。
模式判定单元在与第二宏块重叠的第一宏块的模式是内部模式时，确定第二宏块的模式是内部模式，并且还配备了扫描格式区分单元，用于比较和确定第一宏块和第二宏块的扫描格式。当第一宏块和第二宏块的扫描格式不同时，候选向量组生成单元生成候选向量组。
为了实现本发明的上述和其它目的，本发明提供了包括如下步骤的、基于本发明实施例的运动估计和模式判定的方法生成包括穿过第一宏块的、相邻图像的运动向量的候选向量组，第一宏块是定标之前的图像的宏块，和第一宏块和相邻图像存在于同一子画面组(sub-GOP)中；从与第二宏块重叠的第一宏块的运动向量和候选向量组中估计第二宏块的基向量，其中第二宏块是定标之后的图像的宏块；和从估计基向量和第一宏块的模式中确定第二宏块的模式。
按照图像的类型，基向量的估计包括根据与第二宏块重叠的第一宏块的运动向量和候选向量组计算绝对差之和(SAD)，和估计具有最小SAD的运动向量，作为第二宏块的基向量。
基向量的估计包括从与第二宏块重叠的第一宏块的运动向量中计算第一中值，和从与第二宏块重叠的第一宏块中提取运动向量与第一中值接近的候选宏块；和根据提取候选宏块的运动向量和候选向量组计算SAD，和估计SAD具有最小值的运动向量，作为第二宏块的基向量。
按照图像的类型，基向量的估计包括根据与第二宏块重叠的第一宏块的运动向量和候选向量组计算中值或平均值，并估计所计算的值，作为基向量。
基向量的估计包括从与第二宏块重叠的第一宏块的运动向量中获取第一中值，和从与第二宏块重叠的第一宏块中提取运动向量与第一中值接近的候选宏块；和根据提取候选宏块的运动向量和候选向量组计算中值或平均值，并估计所计算的值，作为第二宏块的基向量。
模式的确定包括在与第二宏块重叠的第一宏块中的内部模式部分在预定值之上时，确定第二宏块是内部模式，和在与第二宏块重叠的第一宏块中的内部模式部分在预定值之下时，确定第二宏块是中间模式。
当第二宏块被确定为内部模式和没有第一宏块的候选向量组时，基向量的估计包括从与第二宏块接近的一个或多个相邻宏块的运动向量中计算候选向量；和根据所提取的候选向量以及与第二宏块重叠的第一宏块的运动向量，通过比较SAD，估计SAD具有最小值的运动向量，作为第二宏块的基向量。
候选向量是一个或多个相邻宏块的运动向量的中值和/或平均值。当相邻宏块不与第二宏块接近时，基向量的估计还包括根据与第二宏块重叠的第一宏块的运动向量，通过比较SAD，确定SAD具有最小值的运动向量，作为第二宏块的基向量。
模式的确定在与第二宏块重叠的第一宏块的模式是内部模式时，确定第二宏块的模式是内部模式，并且还提供了比较和确定第一宏块和第二宏块的扫描格式的步骤。当第一宏块和第二宏块的扫描格式不同时，候选向量组的生成包括生成候选向量组。
以后将更加清楚的这些以及其它目的和优点，存在于从现在开始的结合作为本说明书组成部分的附图更全面地描述和表明的结构和操作的细节中，在附图中相同标号自始至终表示相同部件。
通过参照附图，对本发明的优选实施例进行如下描述描述，本发明的上述目的和优点将更加清楚，在附图中图1A是显示传统隔行扫描方法的图形；图1B是显示传统逐行扫描方法的图形；图2是显示传统代码转换器(transcoder)的图形；图3是显示根据本发明实施例的代码转换器的基本结构的图形；图4是显示在根据本发明实施例的代码转换器中解码和重新编码图像帧的例子的图形；图5是显示根据本发明实施例的运动估计/补偿设备的基本结构的图形；图6是显示根据本发明实施例确定与sub-GOP中的宏块相对应的候选向量组的例子的图形；图7是显示根据本发明实施例确定与sub-GOP中的宏块相对应的候选向量组的例子的图形；图8是显示根据本发明实施例的运动向量估计单元的详细结构的方块图；图9是显示定标之前和之后图像之间的尺寸变化的图形；图10是显示当没有候选向量组时建立基向量的图形；图11是显示根据本发明实施例估计运动和确定模式的方法的流程图；图12A是显示隔行扫描图像的图形；和图12B是显示利用根据本发明实施例的运动估计和模式判定转换成逐行扫描图像的隔行扫描图像的宏块的图形。
具体实施例方式
从现在开始，将参照附图详细描述本发明的实施例。但是，可以以许多种不同方式具体实现本发明，不应该把本发明理解为仅限于在这里陈述的这些实施例；而是，提供这些实施例是为了使本公开更彻底和更全面，和把本发明的概念更完整地传达给本领域的普通技术人员。
图3是显示根据本发明实施例的、含有运动估计和模式判定设备的代码转换器的基本结构的图形。图4是显示根据本发明实施例的运动估计和模式判定设备的详细结构的方块图。
参照图3，代码转换器300含有在解码器310和编码器330之间的扫描格式转换单元320。本发明的代码转换器300支持包括逐行扫描和隔行扫描在内的18种ATSC DTV格式。解码器310通过解码输入位流还原输入图像。当输入位流的解码完成时，扫描格式转换单元320不仅按比例缩小还原图像的尺寸，而且通过重新编码还原图像，把还原图像转换成扫描格式。
例如，当把隔行扫描型的地波广播显示成图像的设备是用于PC(个人计算机)的时，扫描格式转换单元320把隔行扫描转换在逐行扫描。此外，扫描格式转换单元320还对输入图像的尺寸进行按比例缩小，使其适合于PC屏幕的尺寸。也就是说，扫描格式转换单元320包括按比例缩小模块、去隔行扫描模块、和隔行扫描模块。在输入到编码器330之前，进行图像定标和扫描格式转换操作。编码器330利用给定位速率重新编码由扫描格式转换单元320按比例缩小和转换成原来尺寸的图像。
输入第一宏块的图像序列按照图4所示那样被解码和重新编码。代码转换器300中的基本处理单元(未示出)考虑诸如IBBP、PBBI、和PBBP之类子画面组(sub-GOP)的情况。下文将描述GOP＝12和M(P帧之间距离)＝3的情况。下标数字是输入图像序列的顺序，上标字母‘t’是上半帧(top，例如，奇数行)，上标字母‘b’是下半帧(bottom，例如，偶数行)，I、B和P是图像帧，和箭头表示帧之间的关联。解码器310的解码按照图4所示那样进行操作。扫描格式转换单元320改变解码图像的尺寸，和把改变图像转换成逐行扫描(或隔行扫描)。按照编码顺序把改变图像输入编码器330中。
参照图4，扫描格式转换单元320对除了第一I帧之外的第一sub-GOP中的所有宏块进行解码至少直到B2b，以便创建每个宏块的候选向量组。把第一I帧排除在外是因为第一I帧不需要估计运动。另一方面，除了B-2和B-1之外，需要估计运动的第一帧是P3。由于从编码P3的时间开始使用从第一sub-GOP生成的候选向量组，因此，开始编码的最快时间是当解码B1b时的时间。
从现在开始，描述进行去隔行扫描，把隔行扫描的输入图像转换成逐行扫描的图像的例子。
编码器330含有如图5所示的运动估计/补偿单元500。运动估计/补偿单元500用于估计运动和判定图像的模式。运动估计/补偿单元500利用解码器310解码的每一个宏块的运动向量和模式信息，估计和补偿新图像的宏块的运动向量。
参照图5，运动估计/补偿单元500含有扫描格式区分单元510、候选向量组生成单元520、运动向量估计单元530、和模式判定单元540。扫描格式区分单元510比较输入图像的扫描格式和输出图像的扫描格式。输入图像是在定标过程之前的图像，和输出图像是在定标过程之后的图像。当输入图像的扫描格式和输出图像的扫描格式相同时，运动估计/补偿单元500利用解码运动向量来估计运动，而无需生成候选向量组来估计运动。另一方面，当输入图像的扫描格式和输出图像的扫描格式不同时，运动估计/补偿单元500通过生成候选向量组来估计运动。
候选向量组生成单元520生成包括穿过第一宏块的、相邻图像的运动向量的候选向量组。这里，相邻图像存在于与包含定标之前的图像的第一宏块的图像相同的sub-GOP之中。
图6和7是显示根据本发明实施例确定与某个sub-GOP中宏块的每一个相对应的候选向量组的例子的图形。参照图6，在第一Bt帧中用斜线标记的宏块被称为第一宏块(MB_1′)。从现在开始，描述第一宏块(MB_1′)的候选向量组生成过程。
在图6中，用粗边界线标记的宏块(MB′)是在相同位置上的宏块。当Pt帧的一个宏块的运动向量(MV′)穿过第一宏块(MB_1′)时，相应的运动向量(MV′)变成第一宏块(MB_1′)的候选向量。
在图7中，当第二Bt帧的一个宏块(MB″)的运动向量(MV″)穿过第一宏块(MB_1″)时，运动向量(MV″)变成第一宏块(MB_1″)的候选向量。也就是说，在sub-GOP中的所有宏块的运动向量当中，穿过第一宏块的运动向量构成候选向量组。通过如上所述的方法，生成了进行代码转换的、相对于每个宏块的候选向量组。但是，基于宏块的候选向量组也有可能不存在。也就是说，当输入图像的扫描格式和输出图像的扫描格式被扫描格式区分单元510确定为相同时，候选向量组生成单元520不生成候选向量组。
图8是显示根据本发明实施例的运动向量估计单元530的详细结构的方块图。运动向量估计单元530含有候选宏块提取单元532、候选向量提取单元534、和基向量估计单元536。
运动向量估计单元530从与第二宏块(MB_0)重叠的宏块(MB_1)的运动向量和候选向量组中，估计第二宏块(MB_0)的基向量，其中第二宏块(MB_0)是定标之后的图像的宏块。
定标之前宏块的运动向量的大小随定标之后屏幕的改变尺寸，即随定标比而改变。如图9所示，当屏幕尺寸按给定比率缩小时，输入编码器330的图像的第二宏块(MB_0)包括从解码器310输出的图像的宏块(MB_1、MB_2、MB_3、MB_4)的一个或多个。
图9是显示定标之前和之后图像之间的尺寸变化的图形。参照图9，(a)是定标之前的图像(原始分辨率)，和(b)是定标之后一些部分的图像(定标分辨率)。在图9中，(a)的虚线中的方块是与第二宏块(MB_0)相对应的方块。但是，对于运动估计，只考虑虚线中的方块当中尺寸为16×16的宏块(MB_1、MB_2、MB_3、MB_4)。也就是说，图9显示了对于编码器330上的每个宏块计及从解码器310输出的4个宏块的运动估计的情况。换句话说，第二宏块(MB_0)计及运动向量和候选向量组达宏块(MB_1、MB_2、MB_3、MB_4)的个数那么多次。第二宏块(MB_0)的运动是借助于宏块(MB_1、MB_2、MB_3、MB_4)每一个的解码运动向量和计及的宏块(MB_1、MB_2、MB_3、MB_4)每一个的候选向量组得以估计的。
作为运动估计的一个例子，运动向量估计单元530根据宏块(MB_1、MB_2、MB_3、MB_4)每一个的解码运动向量和宏块(MB_1、MB_2、MB_3、MB_4)每一个的候选向量组计算SAD(绝对差之和)。把SAD具有最小值的运动向量估计为第二宏块(MB_0)的基向量。SAD通过如下数学表达式计算。
SAD＝∑|x(i，j)-x′(i+x，j+y)|宏块包括256个像素(16×16)。‘x(i，j)’是在当前宏块的运动向量所示的(i，j)上的像素，和‘x′(i+x，j+y)’是在反向帧的运动向量(x，y)所示的(i+x，j+y)上的像素。换句话说，SAD是通过在获得存在于两个宏块中的相同位置上的像素的差值的绝对值之后，再相加这些绝对值计算出来的。当SAD较小时，两个宏块是相似的，当SAD较大时，两个宏块是不同的。
这里，‘当前宏块’是按照时间顺序在第一宏块和第二宏块中间的、要定标的宏块。如上所述，当获得与第二宏块(MB_0)重叠的宏块(MB_1、MB_2、MB_3、MB_4)每一个的候选向量组，和将宏块(MB_1、MB_2、MB_3、MB_4)每一个的运动向量和候选向量组的SAD加以比较时，可以在屏幕上显示更加精确清晰的边缘和图像。
作为运动估计的另一个例子，通过从每一个宏块都与第二宏块(MB_0)重叠的宏块(MB_1、MB_2、MB_3、MB_4)当中选择一个宏块，做一些又快又少的计算就可以获得基向量，即第二宏块(MB_0)的运动向量的高速运动估计。
从现在开始描述在提取候选向量组之后估计基向量的高速运动估计。候选宏块提取单元532从与第二宏块(MB_0)重叠的宏块(MB_1、MB_2、MB_3、MB_4)当中选择一个宏块，和为宏块(MB_1、MB_2、MB_3、MB_4)的每一个计算解码运动向量的第一中值。然后，候选宏块提取单元532从宏块(MB_1、MB_2、MB_3、MB_4)中提取运动向量与计算中值最接近的宏块，和把提取的宏块指定为候选宏块。例如，当与第一中值最接近的运动向量位于宏块(MB_3)上时，候选宏块提取单元532就把宏块(MB_3)指定为候选宏块。
基向量估计单元536获取与候选向量组生成单元520生成的候选宏块(MB_3)的候选向量组和候选宏块(MB_3)的解码运动向量相对应的SAD。此外，把SAD具有最小值的运动向量估计为第二宏块(MB_0)的基向量。
作为运动估计的另一个例子，运动向量估计单元530计算与各自宏块(MB_1、MB_2、MB_3、MB_4)的解码运动向量和宏块(MB_1、MB_2、MB_3、MB_4)的候选向量组相对应的中值或平均值。然后，运动向量估计单元530估计包含计算中值或平均值的运动向量作为第二宏块(MB_0)的基向量。在这种情况下，基向量估计单元536计算与在候选向量组生成单元520上生成的候选宏块(MB_3)的候选向量组和候选宏块(MB_3)的解码运动向量相对应的中值或平均值。然后，把具有计算中值或平均值的运动向量估计为第二宏块(MB_0)的基向量。
模式判定单元540从在基向量估计单元536上估计的基向量和宏块(MB_1、MB_2、MB_3、MB_4)每一个的模式中判定第二宏块(MB_0)的模式。
在宏块(MB_1、MB_2、MB_3、MB_4)每一个的一部分，即大于25％与第二宏块(MB_0)重叠时存在内部模式的地方，模式判定单元540判定第二宏块(MB_0)为内部模式。否则的话，第二宏块(MB_0)被判定为内部模式，并且进行运动估计。与此同时，当宏块(MB_1、MB_2、MB_3、MB_4)当中的至少一个宏块是跳越型宏块时，模式判定单元540判定第二宏块(MB_0)为中间模式。并且，当所有宏块(MB_1、MB_2、MB_3、MB_4)都是跳越型宏块时，模式判定单元540判定第二宏块(MB_0)为跳越模式。
并且，不采用高速运动估计的情况的模式判定如下。当不需要候选向量组时，根据帧或画面类型(I、B和P)的转换类型，模式判定单元540把定标之后的第二宏块(MB_0)判定为内部模式。例如，当把B帧转换成I帧时，定标之后的第二宏块(MB_0)被判定为内部模式。另外，当定标之前宏块(MB_1、MB_2、MB_3、MB_4)每一个的解码模式是内部模式时，模式判定单元540与候选向量组无关地把定标之后的第二宏块(MB_0)判定为内部模式。
图10是显示当没有候选向量组时建立基向量的图形。在一些情况下，第二宏块(MB_0)处在中间模式下，并且在与第二宏块(MB_0)重叠的宏块(MB_1、MB_2、MB_3、MB_4)的每一个上没有候选向量组。例如，当第二宏块(MB_0)指示边界时，或当相邻宏块(MB_1、MB_2、MB_3、MB_4)处在内部模式下时，没有候选向量组。在这种情况下，如图8所示，运动向量估计单元530还含有候选向量提取单元534。
参照图10，候选向量提取单元534从与第二宏块(MB_0)相邻的一个或多个相邻宏块的运动向量(MV1、MV2、和MV3)中提取候选向量。候选向量提取单元534把相邻宏块的运动向量(MV1、MV2、和MV3)的中值或平均值用作第二宏块(MB_0)的候选向量。基向量估计单元536利用上面所示的数学表达式1，根据与第二宏块(MB_0)重叠的宏块(MB_1、MB_2、MB_3、MB_4)每一个的候选向量和运动向量，计算SAD。另外，把SAD具有最小值的运动向量估计为第二宏块(MB_0)的基向量。
并且，当没有与第二宏块(MB_0)相邻的宏块时，基向量估计单元536利用上面所示的数学表达式1，根据宏块(MB_1、MB_2、MB_3、MB_4)每一个的运动向量和运动向量(0，0)，计算SAD。另外，把SAD具有最小值的运动向量估计为第二宏块(MB_0)的基向量。
图11是显示根据本发明实施例估计运动和确定模式的方法的流程图。在图11中，定标之前的图像的第一宏块被称为MB_1和MB_2，和定标之后的图像的第二宏块被称为MB_0。参照图11，在步骤S1110，该方法比较MB_1和MB_2与MB_0的扫描格式。在步骤S1120，当两种扫描格式不同时，确定sub-GOP中的相邻图像的运动向量当中是否存在穿过MB_1和MB_2的运动向量。并且，在步骤S1130，利用穿过MB_1和MB_2的运动向量生成MB_1和MB_2的候选向量组。在生成MB_1和MB_2的候选向量组之后，计算MB_1和MB_2的解码运动向量的第一中值，以便高速估计运动。另外，在步骤S1140，通过在MB_1和MB_2之间选择运动向量与计算第一中值接近的宏块，提取候选宏块。然后，在步骤S1150，获取基于提取候选宏块的候选向量组和运动向量、或中值、或平均值的SAD。在本发明的一个示范性实施例中，可以利用SAD获得基向量。SAD是利用上述数学表达式1计算出来的。在步骤S1160，在将获得的运动向量每一个的SAD彼此加以比较之后，把SAD具有最小值的SAD估计为MB_0的基向量。最后，在步骤S1170，从MB_0的基模式和MB_1和MB_2的模式中确定MB_0的模式。
此外，在步骤S1120，当在sub-GOP中的相邻图像的运动向量当中没有穿过MB_1和MB_2的运动向量和与包括MB_1和MB_2的图像相同时，在步骤S1180，从与MB_0接近的宏块的运动向量中提取候选运动向量。候选运动向量使用每一个运动向量的中值或平均值。另外，在步骤S1190，利用上述数学表达式1计算基于MB_1和MB_2的提取候选运动向量和运动向量的SAD。在步骤S1170，在步骤S1160把SAD具有最小值的运动向量估计为MB_0的基向量之后，在步骤S1170确定模式。
并且，在步骤S1110，当确定两种扫描格式相同时，在步骤S1115，只考虑MB_1和MB_2的解码运动向量。随后，在步骤S1160，估计MB_0的基向量，和在步骤S1170判定模式。
图12A和12B是显示根据本发明实施例进行运动估计和模式判定的例子的图形。‘GOP’＝9，‘M’＝3，‘I、B、P’是扫描格式转换之前和之后的图像类型，‘t’是上半帧，‘b’是下半帧，每个数字是帧号，圆圈中的数字是重新编码的顺序，并且考虑了去隔行扫描的情况。屏幕尺寸可以改变，也可以不改变。另外，运动估计只考虑解码模式是中间模式的情况。从现在开始，描述在被转换成如图12A所示的逐行扫描图像之后如何采用图12A所示的隔行扫描图像的每一个宏块的情况。此外，定标之前的宏块被标记成MB_b，定标之后的宏块被标记成MB_n，和运动向量被标记成MV。
情况1当I0t帧对应于I0帧时，所有MB_n的模式是内部模式。
情况2首先，当B1b帧对应于P3帧和MB_b的解码模式是前向MC模式时，MB_b的候选向量组包括MB_b的解码运动向量和穿过MB_b的运动向量当中的前向运动向量。此外，基向量是利用获得的候选向量组，通过如上所述的方法(例如，利用中值的高速估计)确定的。其次，当MB_b的解码模式是反向MC模式时，MB_b的候选向量组包括穿过MB_b的运动向量当中的前向运动向量。并且，基向量是利用获得的候选向量组，通过如上所述的方法判定的。最后，当解码模式是双向MC模式时，MB_b的候选向量组包括MB_b的运动向量当中的反向运动向量和穿过MB_b的运动向量当中的前向运动向量。另外，基向量是利用获得的候选向量组，通过图11所示的方法确定的。
情况3当I0b帧对应于B1帧时，MB_b的候选向量组包括穿过MB_b的运动向量当中的反向/前向运动向量。并且，基向量和反向/前向/双向MC模式同样可以利用获得的候选向量组，通过如上所述的方法确定。
情况4首先，当B1t帧对应于B2帧和MB_b的解码模式是前向MC模式时，MB_b的候选向量组包括穿过MB_b的运动向量当中的反向/前向运动向量和MB_b的解码运动向量的前向运动向量。此外，基向量和反向/前向/双向MC模式利用获得的候选向量组来确定。其次，当MB_b的解码模式是反向MC模式时，MB_b的候选向量组包括穿过MB_b的运动向量当中的反向/前向运动向量和MB_b的解码运动向量的反向运动向量。并且，基向量和反向/前向/双向MC模式利用获得的候选向量组来确定。最后，当解码模式是双向MC模式时，MB_b的候选向量组包括穿过MB_b的运动向量当中的反向/前向运动向量和MB_b的运动向量当中的反向/前向运动向量。另外，基向量和反向/前向/双向MC模式利用获得的候选向量组来确定。
情况5当P3t帧对应于P6帧时，MB_b的候选向量组包括穿过MB_b的运动向量当中的前向运动向量和MB_b的运动向量。基向量利用获得的候选向量组来确定。
情况6当B2t帧对应于B4帧时，这种情况与情况4相同。
情况7当B2b帧对应于B5帧时，这种情况与情况4相同。
情况8当B4b帧对应于I9帧时，MB_n的所有模式都是内部模式。
情况9当P3b帧对应于B7帧时，MB_b的候选向量组包括穿过MB_b的运动向量当中的反向/前向运动向量和MB_b的运动向量。基向量和反向/前向/双向MC模式利用获得的候选向量组来确定。
情况10当B4t帧对应于B8帧时，这种情况与情况4相同。
根据估计运动和判定模式的设备和方法，当扫描格式从隔行扫描转换成逐行扫描或从逐行扫描转换到隔行扫描时，重新压缩功能没有变差，并且可以提高重新编码的速度。此外，当可以以解码运动向量方式，通过生成候选向量组估计扫描格式转换图像的运动时，可以用较小的计算量来估计运动。并且，根据本发明的实施例，能够支持18种ATSC DTV格式的代码转换是切实可行的。
虽然已经描述了本发明的一些优选实施例，但是本领域的普通技术人员应该明白，本发明不仅限于所述的那些优选实施例，在本发明的精神和范围内，可以进行各种各样的改变和改进。因此，本发明的范围不是由所述的范围来限制，而是由所附的权利要求书来限制。
权利要求
1.一种运动估计和模式判定的设备，包括候选向量组生成单元，用于生成包括穿过第一宏块的、相邻图像的运动向量的候选向量组，其中第一宏块是定标之前的图像的宏块，以及第一宏块和相邻图像存在于同一子画面组(sub-GOP)中；运动向量估计单元，用于从与第二宏块重叠的第一宏块的运动向量和候选向量组中估计第二宏块的基向量，其中第二宏块是定标之后的图像的宏块；和模式判定单元，用于从所述估计的基向量和第一宏块的模式确定第二宏块的模式。
2.根据权利要求1所述的设备，其中，按照图像的类型，运动向量估计单元根据与第二宏块重叠的第一宏块的运动向量和候选向量组计算绝对差之和(SAD)，和估计具有最小SAD的运动向量，作为第二宏块的基向量。
3.根据权利要求2所述的设备，其中，运动向量估计单元包括候选宏块提取单元，用于从与第二宏块重叠的第一宏块的运动向量中计算第一中值，和从与第二宏块重叠的第一宏块中提取运动向量与第一中值接近的候选宏块；和基向量估计单元，用于根据所提取的候选宏块的运动向量和候选向量组计算SAD，和估计SAD具有最小值的运动向量，作为第二宏块的基向量。
4.根据权利要求1所述的设备，其中，按照图像的类型，运动向量估计单元根据与第二宏块重叠的第一宏块的运动向量和候选向量组计算中值或平均值，并估计所计算的值，作为基向量。
5.根据权利要求4所述的设备，其中，运动向量估计单元包括候选宏块提取单元，用于从与第二宏块重叠的第一宏块的运动向量中获取第一中值，和从与第二宏块重叠的第一宏块中提取运动向量与第一中值接近的候选宏块；和基向量估计单元，用于根据所提取的候选宏块的运动向量和候选向量组计算中值或平均值，并估计所计算的值，作为第二宏块的基向量。
6.根据权利要求1所述的设备，其中，模式判定单元在与第二宏块重叠的第一宏块中的内部模式部分在预定值之上时，确定第二宏块是内部模式，在与第二宏块重叠的第一宏块中的内部模式部分在预定值之下时，确定第二宏块是中间模式。
7.根据权利要求6所述的设备，其中，当第二宏块被确定为内部模式和没有第一宏块的候选向量组时，运动向量估计单元包括候选向量提取单元，用于从与第二宏块接近的一个或多个相邻宏块的运动向量中计算候选向量；和基向量估计单元，用于根据提取的候选向量以及与第二宏块重叠的第一宏块的运动向量，通过比较SAD，估计SAD具有最小值的运动向量，作为第二宏块的基向量。
8.根据权利要求7所述的设备，其中，候选向量是一个或多个相邻宏块的运动向量的中值和/或平均值。
9.根据权利要求7所述的设备，其中，当相邻宏块不与第二宏块接近时，运动向量估计单元根据与第二宏块重叠的第一宏块的运动向量，通过比较SAD，判定SAD具有最小值的运动向量，作为第二宏块的基向量。
10.根据权利要求1所述的设备，其中，模式判定单元在与第二宏块重叠的第一宏块的模式是内部模式时，确定第二宏块的模式是内部模式。
11.根据权利要求1所述的设备，还包括扫描格式区分单元，用于比较和确定第一宏块和第二宏块的扫描格式。
12.根据权利要求11所述的设备，其中，当第一宏块和第二宏块的扫描格式不同时，候选向量组生成单元生成候选向量组。
13.一种运动估计和模式判定方法，包括下列步骤生成包括穿过第一宏块的、相邻图像的运动向量的候选向量组，第一宏块是定标之前的图像的宏块，以及第一宏块和相邻图像存在于同一子画面组(sub-GOP)中；从与第二宏块重叠的第一宏块的运动向量和候选向量组中估计第二宏块的基向量，其中第二宏块是定标之后的图像的宏块；和从所述估计的基向量和第一宏块的模式确定第二宏块的模式。
14.根据权利要求13所述的方法，其中，按照图像的类型，基向量的估计包括根据与第二宏块重叠的第一宏块的运动向量和候选向量组计算绝对差之和(SAD)，和估计具有最小SAD的运动向量，作为第二宏块的基向量。
15.根据权利要求14所述的方法，其中，基向量的估计包括从与第二宏块重叠的第一宏块的运动向量中计算第一中值，和从与第二宏块重叠的第一宏块中提取运动向量与第一中值接近的候选宏块；和根据所提取的候选宏块的运动向量和候选向量组计算SAD，并估计SAD具有最小值的运动向量，作为第二宏块的基向量。
16.根据权利要求13所述的方法，其中，按照图像的类型，基向量的估计包括根据与第二宏块重叠的第一宏块的运动向量和候选向量组计算中值或平均值，并估计所计算的值，作为基向量。
17.根据权利要求16所述的方法，其中，基向量的估计包括从与第二宏块重叠的第一宏块的运动向量中获取第一中值，和从与第二宏块重叠的第一宏块中提取运动向量与第一中值接近的候选宏块；和根据所提取的候选宏块的运动向量和候选向量组计算中值或平均值，并估计所计算的值，作为第二宏块的基向量。
18.根据权利要求13所述的方法，其中，模式的确定包括在与第二宏块重叠的第一宏块中的内部模式部分在预定值之上时，确定第二宏块是内部模式，和在与第二宏块重叠的第一宏块中的内部模式部分在预定值之下时，确定第二宏块是中间模式。
19.根据权利要求18所述的方法，其中，当第二宏块被确定为内部模式和没有第一宏块的候选向量组时，基向量的估计包括从与第二宏块接近的一个或多个相邻宏块的运动向量中计算候选向量；和根据所提取候选向量以及与第二宏块重叠的第一宏块的运动向量，通过比较SAD，估计SAD具有最小值的运动向量，作为第二宏块的基向量。
20.根据权利要求19所述的方法，其中，候选向量是一个或多个相邻宏块的运动向量的中值和/或平均值。
21.根据权利要求19所述的方法，其中，当相邻宏块不与第二宏块接近时，基向量的估计还包括根据与第二宏块重叠的第一宏块的运动向量，通过比较SAD，确定SAD具有最小值的运动向量，作为第二宏块的基向量。
22.根据权利要求13所述的方法，其中，模式的确定在与第二宏块重叠的第一宏块的模式是内部模式时，确定第二宏块的模式是内部模式。
23.根据权利要求13所述的方法，其中，还包括下列步骤比较和确定第一宏块和第二宏块的扫描格式。
24.根据权利要求23所述的方法，其中，当第一宏块和第二宏块的扫描格式不同时，候选向量组的生成包括生成候选向量组。
全文摘要
公开一种运动估计和模式判定的设备和方法。该设备包括候选向量组生成单元，用于生成包括穿过第一宏块的、相邻图像的运动向量的候选向量组，其中第一宏块是定标之前的图像的宏块，以及第一宏块和相邻图像存在于同一子画面组(sub－GOP)中；运动向量估计单元，用于从与第二宏块重叠的第一宏块的运动向量和候选向量组中估计第二宏块的基向量，其中第二宏块是定标之后的图像的宏块；以及模式判定单元，用于从估计的基向量和第一宏块的模式确定第二宏块的模式。
文档编号H04N7/32GK1430182SQ02131938
公开日2003年7月16日 申请日期2002年9月5日 优先权日2002年1月2日
发明者宋秉哲 申请人:三星电子株式会社